百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （下）

原创 已于 2022-07-07 11:13:20 修改 · 1.2k 阅读 · 3
标签
#深度学习 #人工智能 #动作识别 #时序定位 #视频分类
于 2022-07-06 09:30:02 首次发布
本文详细介绍了使用百度飞将BMN进行时序动作定位的步骤，包括训练数据处理、配置文件修改、模型训练、时序提名生成，并涉及到AttentionLSTM的时序提名处理和模型训练。在训练过程中，对数据集进行了调整，以适应有限的训练数据，并导出了BMN推理模型，最后展示了如何使用该模型进行后续处理。

三、BMN

上篇说到处理一下BMN需要的训练数据，在PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/features这个文件下面

（1）训练数据处理

打开PaddleVideo-develop/applications/FootballAction/datasets/script这个目录，在这个路径下面执行：

python get_instance_for_bmn.py

（2）修改配置文件

打开PaddleVideo-develop/applications/FootballAction/train_proposal/configs/bmn_football_v2.0.yaml

第22、26、31行改为刚才生成的：PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/input_for_bmn/label.json的绝对路径

第38、49、60行改为datasets绝对路径：PaddleVideo-develop/applications/FootballAction/datasets/EuroCup2016/input_for_bmn/feature

第84行PaddleVideo-develop/applications/FootballAction/BMN_INFERENCE_results的绝对路径然后在这个位置新建一个叫做BMN_INFERENCE_results的文件夹

第17行batchsize改为1

（3）训练BMN

在PaddleVideo项目根目录执行：

python -B -m paddle.distributed.launch --gpus="0" --log_dir=./football/logs_bmn m
最低0.47元/天 解锁文章
百度飞将BMN时序动作定位框架 | 数据准备与训练指南 （上）
Andrwin的博客
07-05 3670
百度飞桨时序动作定位框架 | 数据准备与训练指南
基于PP-TSM+BMN+LSTM实现足球精彩时刻剪辑_副本1
m0_63642362的博客
02-20 3142
本项目基于PaddleVideo的PP-TSM、BMN、LSTM模型实现足球精彩时刻剪辑，从数据处理到模型推理全流程教学讲解，通过大量优化实验F1-score 60.67%提升至76.2%。
Actionformer: 基于Transformer的时序动作定位模型解析与实践
最新发布
weixin_33686714的博客
04-02 346
本文深入解析了Actionformer这一基于Transformer的时序动作定位模型，探讨其如何通过局部自注意力机制、多尺度特征金字塔和轻量级解码器等创新设计颠覆传统方法。文章详细介绍了模型架构的工程实现细节，并分享了实战中的调参经验和工业级优化技巧，帮助开发者高效应用于视频分析领域。
手把手教学训练MTCNN模型.
疯狂的鸡窝
09-14 8329
手把手教学训练MTCNN模型0 背景介绍1.关于训练集,测试集,校验集1.1 获取数据集1.2 数据集预处理mtcnn网络结构介绍预处理过程1.3 开始训练 0 背景介绍 我在学习人脸识别时,发现虽然网络上关于人脸识别理论的文章非常的多,但涉及到如何获取训练样本,如何进行预处理,以及如何去训练,并研究训练中的主要耗时情况等问题的文章非常的零散.因此在这里我结合我自己训练的步骤重头进行汇众整理并加入...
ActivityNet Challenge 2019 冠军模型BMN算法全解析
百度大脑
05-27 3685
【飞桨开发者说】储泽栋，北京交通大学软件学院大四在读，曾获ICPC国际大学生程序设计竞赛亚洲区域赛铜牌，全国大学生服务外包大赛二等奖随着互联网世界视频数量的急剧增长，视频内容分析技术得...
BMN模型
u010243662的博客
03-03 1116
参考文章： 《BMN 视频动作定位模型》 https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/localization/bmn.md 《论文解析丨基于BSN算法改进的动作时序检测BMN算法论文解析》 https://god.yanxishe.com/columnDetail/28315 《ActivityNet Challenge 2019 冠军模型BMN算法全解析》https://blog.c..
【代码复现失败】BMN: Boundary-Matching Network for Temporal Action Proposal Generation
CSPhD-winston的博客
01-05 961
前言 现在有那么多视频检测框架，为什么选BMN进行复现？ 1，2019 年 ActivityNet 夺冠方案 2，这是中国人做出来的，而且作者在知乎也写了详细的讲解（这一点才是最重要的） 3，BMN距离现在时间很近，能算是最前沿的技术，通过对BMN的改进，可以用作我的毕业论文的写作。 参考 ActivityNet Challenge 2019 冠军模型BMN算法全解析 [ICCV 2019][时序动作提名] 边界匹配网络详解 github代码 准备 1，ubuntu系统，我用的是ubuntu16 2，Pad
【代码复现】BMN: Boundary-Matching Network for Temporal Action Proposal Generation
CSPhD-winston的博客
01-06 1802
一，开始前的准备 1.1，前言 现在有那么多视频检测框架，为什么选BMN进行复现？ 1，2019 年 ActivityNet 夺冠方案 2，这是中国人做出来的，而且作者在知乎也写了详细的讲解（这一点才是最重要的） 3，BMN距离现在时间很近，能算是最前沿的技术，通过对BMN的改进，可以用作我的毕业论文的写作。 1.2，参考资料 ActivityNet Challenge 2019 冠军模型BMN算法全解析 [ICCV 2019][时序动作提名] 边界匹配网络详解 github代码 1.3,系统、深度学习框架
探秘SMP Cup 2016：一个数据挖掘与机器学习实战平台
gitblog_00007的博客
04-05 418
探秘SMP Cup 2016：一个数据挖掘与机器学习实战平台 项目简介 是一个开源的数据挖掘和机器学习竞赛项目，由著名数据科学家Jimmy YFeng发起。该项目旨在为数据科学爱好者和专业人士提供一个实践、交流和提升技能的平台。通过参与此项目，你可以挑战实际问题，运用并提高你的数据分析和机器学习技巧。 技术分析 数据集与任务 项目提供了丰富的数据集，涵盖多个领域的实际问题，如电子商务、社交媒体等。...
BMN: Boundary-Matching Network for Temporal Action Proposal Generation【文章分析与理解】
我亦无他，唯手熟尔
05-26 1615
BMN: Boundary-Matching Network for Temporal Action Proposal Generation【文章分析与理解】
百度飞桨PaddlePaddle---调参思路
qq_43840665的博客
05-14 1855
前言 这是老师给的一位学长的一次调参经历，实现的是图像识别中的物品分类。采用的是VGG模型。一开始的我毫无头绪，看完这个调参思路，把每个参数弄清楚，至少可以进行调参的测试了，寻找最优参数，需要更多的努力，共勉！！！！ 调参思路 • 第一次执行，迭代次数为300，同时将图像大小剪裁为50x50。这样训练出来的误差很小，达到了90%多，但测试误差极大，准确率仅为50%。我考虑这是由于图像区域过小，导致模型过分关注图像细节而过拟合造成的。 • 第二次执行，将图像放大，剪裁大小修改为150，在300次迭代过程
BMN（Boundary-Matching Network）论文翻译
ysy10599105的博客
12-17 2543
BMN: Boundary-Matching Network for Temporal Action Proposal Generation 现有的提案生成方法大多采用“自顶向下”的方式，以规则的时间间隔生成多尺度的时间滑动窗口（Most existing proposal generation methods [3, 4, 8, 24] adopted a “top-down” fashion to generate proposals with multi-scale temporal sliding
BMN：Boundary-matching network for temporal action proposal generation
liguandong
11-22 2145
上图，可以表示所有潜在的时序提名，在BM置信度图中每个点所代表的的数值就是其所对应的时序提名的置信度分数。因此可以通过生成置信度图来同时给所有时序提名生成置信度分数，横轴是T输入时序特征序列的长度，纵轴是D，为最大的时序提名长度， 注意上图，相同的行表明时序提名具有相同的时序长度，纵轴是时序提名长度，相同的纵轴表明时序长度相同，相同的列表明输入时序特征的长度的起始点是一样的，则具有相同的开始时间，实际上这个二维的BM图上的每个点都代表了一个二维坐标，即起始时间和时序长度，那么就锁定了一个时序的置信度。
BMN（Boundary Matching Network）代码解读
ysy10599105的博客
12-17 2602
代码地址：https://github.com/JJBOY/BMN-Boundary-Matching-Network 该代码以main.py中main函数为入口，根据命令汉参数，执行不同的函数。 def main(opt): if opt["mode"] == "train": BMN_Train(opt) elif opt["mode"] == "inference": if not os.path.exists("output/BMN_results"):
video analysis -- 时序动作提名-BMN
X_m_w的博客
04-11 1380
本文的主要贡献是通过引入一种全新的时序提名评估机制以及高效的特征采样方式，来提升了BSN方法的性能和效率 这篇论文中提出了一种新的时序提名置信度评估机制-边界匹配机制（Boundary-Matching mechanism, BM mechanism），以及基于边界匹配机制的边界匹配网络（Boundary-Matching Network, BMN）。BMN网络能够同时生成与BSN中类似的一维边...
OCR的开发实现（基于百度飞将Paddle）
海阔天空
12-31 1183
OCR的开发实现（基于百度飞将Paddle）
如何快速使用百度飞桨（PaddlePaddle）
wsl3465205046的博客
07-29 6589
以上就是使用百度飞桨进行开发的基本步骤。如果你遇到了任何问题，可以查阅飞桨的官方文档或访问社区获取帮助。
百度飞桨AI Stuidio打榜使用初体验
myq2017的博客
07-13 1837
百度AI Stuidio官网​： https://aistudio.baidu.com百度飞桨官网​： https://www.paddlepaddle.org.cn/GitHub公开项目地址：https://github.com/PaddlePaddle/Paddle。
EuRoC数据集简介与使用
热门推荐
colorsky100的博客
12-28 4万+
EuRoC数据集内容解释说明 本笔记用于EuRoC Datasets的解释说明，即如何读懂EuRoC数据集的各个文件。如果解释的不对的地方请诸位指出。 综述 用于室内MAV的双目+IMU数据集，包含两个场景 苏黎世联邦理工学院ETH的一个machine hall 普通房间 硬件设备 飞行器机体：AscTec Firefly 双目VIO相机：全局快门，单色，相机频率20Hz，IMU频率2...
百度飞桨 paddleX操作手册
qq_42089323的博客
02-03 7638
paddleX操作手册
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值