前言:CVPR2020一篇基于核的视频插帧文章
ps:代码已经公布,运行无压力,但是其中的adacof的部分写得太底层了读不大懂,就浅浅的从文章层面谈谈我的理解好了
论文地址:【here】
代码地址:【here】
AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation
引言
文章开始抛出了一个自由度Degrees of Freedom (DoF).的概念,即目前的不管是基于流的方法也好和基于核的方法也好,自由度都是受限的。
(一开始我特别迷惑这个自由度是啥)
文章给的自由度的解释如下这幅图

当然一开始我也看不明白这是啥意思,结合了后文的描述我的大致理解如下
图a基于核的方法,即用卷积核覆盖大部分的位移区域,然后算对应位置的位移
图b基于流的方法,位置随着流估计到达中间的某一个点
图c结合流和核的方法,在基于核的基础上,加上一个整体的偏移(类似光流),因此不用覆盖那么大的面积
图d的方法基于核的方法基础上,加上每个像素自适应的对应偏移(类似

这篇博客介绍了CVPR2020的一篇研究,探讨了如何通过AdaCoF方法提高视频帧插帧的自由度,从基于核的传统方法到引入像素级自适应偏移,降低运动模糊和伪影。作者解析了自由度概念,并概述了网络架构、对抗式损失函数和实验结果。

1万+

被折叠的 条评论
为什么被折叠?



