Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记

最新推荐文章于 2026-06-13 12:06:31 发布

原创

最新推荐文章于 2026-06-13 12:06:31 发布 · 6.8k 阅读

本文探讨了一种结合时空网络和运动补偿的实时视频超分辨率方法。通过利用帧间关联信息，该方法在保持输出质量的同时减少了计算需求。通过空间转换网络进行动作补偿，提升了视频超分辨率的效果，尤其是在与早期融合和慢速融合策略结合时。实验表明，该方法优于单帧模型，特别是在处理多帧时，但帧数过多会导致性能下降。

                    
                    Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记 
 
摘要 
作者的目的是引进一个spatio-temporal sub-pixel convolution networks，能够处理视频图像超分辨，并且做到实时速度。还提出了一个将动作补偿和视频超分辨联合起来的算法，并且可以端到端训练。
与单帧模型相比，时空网络即可以减少计算，又可以维持输出质量。
 
简介 
超分辨问题一直是信号处理领域中的一大挑战。在多帧超分辨问题中，假设能够对同一场景的不同观察，它们所共有的显示冗余（explicit redundancy）可以用来限制求解空间。
在之前的ESPCN方法中，已经能够做到非常快速的超分辨了，但是简单地用来处理每一帧视频便没有利用帧之间的关联信息。而VSRnet虽然有联合地处理多个输入帧，但是动作补偿算法不当，速度较慢，不能做到实时。
Spatial transformer networks可以推断两个图像间的映射参数，并且成功运用于无监督光流特征编码中，但还未有人尝试用其进行视频动作补偿。
作者用的结构是，用spatio-temporal networks进行超分辨，其中early fusion，slow fusion等来处理时间维度。另外还基于spatial transformers建立了动作补偿框架，与时空模型相结合，就可以得到非常好的video SR with motion compensation。 
 
I′LRt−1和