159、RealBasicVSR:真实场景视频超分的端到端训练与退化鲁棒性提升从一次翻车现场说起去年帮某安防厂商做夜间监控视频增强,客户给的素材全是老旧模拟摄像头转数字的产物——压缩伪影、运动模糊、传感器噪声混在一起,像被揉碎又拼起来的马赛克。我信心满满地丢进BasicVSR,结果输出画面里,人脸轮廓倒是锐利了,可背景的空调外机直接变成了抽象派油画,噪声被放大成雪花点,运动区域还出现了鬼影。客户当场黑脸:“这还不如原始画面呢。”这就是真实场景视频超分的典型困境:实验室里用双三次下采样造出来的“干净”低分数据,跟现实世界里的退化过程完全是两码事。RealBasicVSR就是冲着这个痛点来的——它不搞花里胡哨的注意力机制,而是老老实实把“真实退化”这件事建模清楚,再让网络学会怎么跟这些乱七八糟的退化共存。退化建模:别再用双三次下采样糊弄人了传统超分训练喜欢玩“先双三次下采样,再上采样回去”的把戏,这在真实场景里根本行不通。真实视频的退化链条长着呢:镜头光学模糊、传感器采样噪声、压缩编码块效应、传输丢包……这些因素叠加在一起,根本不是简单的模糊+噪声能模拟的。RealBasicVSR的做法很实在——它搞了一个退化池(Degradation Pool)。这个池子里装着各种退化操作:不同核大小的高斯模糊、各向异性模糊、泊松噪声、高斯噪声、JPEG压缩、甚至还有视频编码的H.264伪影模拟。训练时随机从池子里抽几个组合,按随机顺序叠加到高清视频上。这招看着简