100、超分领域前沿展望:扩散模型与NeRF在超分中的潜在应用上周帮师弟调一个视频超分的代码,他跑的是EDVR的改进版,结果在连续帧之间出现了严重的闪烁伪影。我盯着那几帧看了半天,突然意识到一个问题——我们折腾了这么多年CNN和Transformer,本质上还是在做“像素到像素”的映射,但人眼感知的清晰度,从来不只是像素密度的问题。这让我想起去年在NeurIPS上看到的那篇用扩散模型做盲超分的文章,当时觉得花里胡哨,现在回头看,方向确实对了。扩散模型:从“猜像素”到“画像素”传统超分模型,包括RCAN、SwinIR这些,本质上是在做条件概率估计——给定低分辨率输入,预测高分辨率输出。这就像让一个画家戴着镣铐作画,每个像素的位置都被低分图约束死了。扩散模型完全换了个思路:它先往高分辨率图像上加噪声,然后学一个去噪过程,低分辨率图像只是作为条件引导这个去噪方向。我去年复现SR3的时候踩过一个坑:训练时把噪声调度设得太激进,结果模型生成的纹理全是假的,放大看像油画笔触。后来改成cosine调度,配合一个简单的感知损失,效果才稳定下来。这里有个关键点——扩散模型做超分,采样步数不是越多越好。我试过1000步和50步的对比,50步的反而在边缘锐度上更好,因为步数太多会让模型过度“创作”,偏离真实结构。实际部署时还有个坑:扩散模型的推理速度。一张512x512的图,用DDIM采样50步,在V100上要跑将近3秒。我试过用LCM(Latent Consistency Model)蒸馏,把步数压到4步,PSNR掉了0.3dB,但肉眼几乎看不出区别。如果你的应用场景