一、论文简述经典论文《Fast Image/Video Upsampling》论文提出了一种简单且高效的上采样方法可自动提升图像/视频的分辨率同时保留其关键结构信息。本方法的主要优势在于采用了一种反馈控制框架该框架能够从输入数据中精准还原高分辨率图像信息而无需引入基于其他示例学习的额外局部结构约束。二、算法成像模型真实图像退化过程HR → LR物理模型I L R ( I H R ∗ k ) ↓ s n I_{LR} (I_{HR} * k) \downarrow_s n\ILR(IHR∗k)↓sn其中I H R I_{HR}IHR高分辨率图像∗ K *K∗K卷积相机点扩散函数 PSF模糊核↓ s \downarrow_s↓s表示s 倍下采样n噪声。上采样已知低分辨率LR 图反推高分辨率HR 图。本文创新反馈控制迭代机制约束逆过程保证重建的 HR 再次退化后和原始 LR 保持一致。三、整体算法架构反馈闭环迭代框架Feedback-Control Upsampling整体流程包含两个步骤一是图像反卷积步骤以浅绿色标示用于消除线性滤波的影响二是反馈控制过程以浅灰色且带红色边框标示用于约束图像的上采样过程。本系统输入为低分辨率图像或视频帧L首先通过快速双三次插值法以粉色标示将其上采样至目标分辨率随后初始上采样后的图像H̃(0)将在反馈控制循环中进行迭代优化从而逐步降低图像模糊度并恢复自然结构。全部卷积运算转到频域 FFT 加速计算成本极低。步骤 1初始上采样使用bicubic插值把I L R I_{LR}ILR插值到初始高清估计图L 0 L_0L0作为迭代起点。步骤 2退化高分辨率图求残差信息L 0 L_0L0与模糊核 K卷积得到中间模糊图中间模糊图下采样回到原始 LR 尺寸得到退化后的图像I ~ L R \tilde{I}_{LR}I~LR。计算残差e I L R − I ~ L R e I_{LR} - \tilde{I}_{LR}eILR−I~LR残差含义当前重建的 HR 和真实高清之间的偏差。备注高斯核大小固定为13×13。较大的核会导致高频信息丢失而过小的核则无法充分抑制混叠问题。步骤 3残差上采样反馈修正将残差 e 上采样放大至 HR 分辨率用残差反向修正上一轮 HR 结果I t 1 I t λ ⋅ Upsample ( e ) I_{t1}I_t\lambda \cdot \text{Upsample}(e)It1Itλ⋅Upsample(e)λ \lambdaλ为增益系数控制细节程度0.3~0.5 通用画面抖动 / 过冲调小至 0.2步骤 4迭代终止重复步骤 2-3 直到残差小于阈值一般仅迭代3-6轮即可收敛。卷积全部在频域通过 FFT/IFFT 实现频域卷积复杂度 (O(N\log N))远低于空域卷积因此速度极快。四、论文仿真论文仿真结果如下细节叠加的效果和迭代次数、高斯核函数、增强系数均有关在工业检测场景迭代次数为1较好自然观测场景迭代次数3~5次为佳测试代码链接https://github.com/AomanHao/ISP_Image_Interpolation/tree/master/Interpolation算法模式选择fun_fast_upsample_spatial五、后续分析论文用FFT到频域处理本质是做滤波处理掉噪声得到平滑图那在空域做滤波处理也是可以的频域处理的优点在于大模糊核处理速度较慢。模糊核很小高斯核 σ1.2核尺寸 7×7(m7)空域计算量很低空域速度 ≈ FFT甚至更快此时推荐空域。大模糊核老旧照片大模糊 σ2.5核 15×15 及以上空域复杂度随核平方暴涨FFT 优势极大必须用频域加速。空域滤波还有其他优点FFT 版本FFT 默认循环边界周期延拓图像左右、上下首尾相连做卷积容易产生振铃效应、边缘环状虚影尤其画面明暗反差大时非常明显。之前代码用circshiftsymmetric只能小幅缓解无法彻底消除循环卷积带来的振铃。空域 imfilter (‘symmetric’)采用镜像对称延拓边界符合真实图像边界分布几乎不会产生振铃伪影画质观感更好。我的个人博客主页欢迎访问我的CSDN主页欢迎访问我的GitHub主页欢迎访问我的知乎主页欢迎访问 【阅读笔记】基于残差信息的上采样Fast Image/Video Upsampling
一、论文简述经典论文《Fast Image/Video Upsampling》论文提出了一种简单且高效的上采样方法可自动提升图像/视频的分辨率同时保留其关键结构信息。本方法的主要优势在于采用了一种反馈控制框架该框架能够从输入数据中精准还原高分辨率图像信息而无需引入基于其他示例学习的额外局部结构约束。二、算法成像模型真实图像退化过程HR → LR物理模型I L R ( I H R ∗ k ) ↓ s n I_{LR} (I_{HR} * k) \downarrow_s n\ILR(IHR∗k)↓sn其中I H R I_{HR}IHR高分辨率图像∗ K *K∗K卷积相机点扩散函数 PSF模糊核↓ s \downarrow_s↓s表示s 倍下采样n噪声。上采样已知低分辨率LR 图反推高分辨率HR 图。本文创新反馈控制迭代机制约束逆过程保证重建的 HR 再次退化后和原始 LR 保持一致。三、整体算法架构反馈闭环迭代框架Feedback-Control Upsampling整体流程包含两个步骤一是图像反卷积步骤以浅绿色标示用于消除线性滤波的影响二是反馈控制过程以浅灰色且带红色边框标示用于约束图像的上采样过程。本系统输入为低分辨率图像或视频帧L首先通过快速双三次插值法以粉色标示将其上采样至目标分辨率随后初始上采样后的图像H̃(0)将在反馈控制循环中进行迭代优化从而逐步降低图像模糊度并恢复自然结构。全部卷积运算转到频域 FFT 加速计算成本极低。步骤 1初始上采样使用bicubic插值把I L R I_{LR}ILR插值到初始高清估计图L 0 L_0L0作为迭代起点。步骤 2退化高分辨率图求残差信息L 0 L_0L0与模糊核 K卷积得到中间模糊图中间模糊图下采样回到原始 LR 尺寸得到退化后的图像I ~ L R \tilde{I}_{LR}I~LR。计算残差e I L R − I ~ L R e I_{LR} - \tilde{I}_{LR}eILR−I~LR残差含义当前重建的 HR 和真实高清之间的偏差。备注高斯核大小固定为13×13。较大的核会导致高频信息丢失而过小的核则无法充分抑制混叠问题。步骤 3残差上采样反馈修正将残差 e 上采样放大至 HR 分辨率用残差反向修正上一轮 HR 结果I t 1 I t λ ⋅ Upsample ( e ) I_{t1}I_t\lambda \cdot \text{Upsample}(e)It1Itλ⋅Upsample(e)λ \lambdaλ为增益系数控制细节程度0.3~0.5 通用画面抖动 / 过冲调小至 0.2步骤 4迭代终止重复步骤 2-3 直到残差小于阈值一般仅迭代3-6轮即可收敛。卷积全部在频域通过 FFT/IFFT 实现频域卷积复杂度 (O(N\log N))远低于空域卷积因此速度极快。四、论文仿真论文仿真结果如下细节叠加的效果和迭代次数、高斯核函数、增强系数均有关在工业检测场景迭代次数为1较好自然观测场景迭代次数3~5次为佳测试代码链接https://github.com/AomanHao/ISP_Image_Interpolation/tree/master/Interpolation算法模式选择fun_fast_upsample_spatial五、后续分析论文用FFT到频域处理本质是做滤波处理掉噪声得到平滑图那在空域做滤波处理也是可以的频域处理的优点在于大模糊核处理速度较慢。模糊核很小高斯核 σ1.2核尺寸 7×7(m7)空域计算量很低空域速度 ≈ FFT甚至更快此时推荐空域。大模糊核老旧照片大模糊 σ2.5核 15×15 及以上空域复杂度随核平方暴涨FFT 优势极大必须用频域加速。空域滤波还有其他优点FFT 版本FFT 默认循环边界周期延拓图像左右、上下首尾相连做卷积容易产生振铃效应、边缘环状虚影尤其画面明暗反差大时非常明显。之前代码用circshiftsymmetric只能小幅缓解无法彻底消除循环卷积带来的振铃。空域 imfilter (‘symmetric’)采用镜像对称延拓边界符合真实图像边界分布几乎不会产生振铃伪影画质观感更好。我的个人博客主页欢迎访问我的CSDN主页欢迎访问我的GitHub主页欢迎访问我的知乎主页欢迎访问