177、视频超分新范式:BasicVSR++的时空传播机制与双向光流对齐深度解析
177、视频超分新范式:BasicVSR++的时空传播机制与双向光流对齐深度解析去年有个项目让我头疼了整整两周——客户要求把一段监控录像从720p拉到4K,还要保持人脸细节不糊。我试了EDVR、TDAN这些老牌模型,结果要么光流对齐崩了导致鬼影,要么长序列传播时细节全丢。直到我翻到BasicVSR++的论文,才意识到之前的思路全错了——视频超分不是单帧的堆叠,而是时空信息的接力赛。从BasicVSR到BasicV++:他们到底改了啥?先说说BasicVSR的原始设计。它的核心是双向传播——从第一帧跑到最后一帧,再倒着跑回来,中间用光流把相邻帧的特征对齐。听起来很合理对吧?但我在实际跑代码时发现一个致命问题:当视频里出现快速运动(比如行人突然转身),光流估计会崩,对齐后的特征全是锯齿状伪影。BasicVSR++的改进点就藏在这个痛点里。他们引入了二阶网格传播和流引导变形卷积。别被术语吓到,说白了就是:光流不准?那我用更精细的网格来修正;对齐不够?那我让卷积核跟着光流变形。双向传播的坑与填坑先看传播部分。BasicVSR的传播是线性的:hidden_t = propagate(hidden_{t-1}, feat_t)这种设计在长序列里会累积误差。我试过处理100帧的视频,到第80帧时人脸已经模糊成马赛克了。BasicVSR++改成了