1. 图像去雾与超分任务的数据集全景概览当你第一次接触图像去雾和超分辨率任务时可能会被各种数据集搞得晕头转向。就像我刚开始做这个方向时一样光是理解DIV2K、RESIDE这些缩写就花了不少时间。其实这些数据集就像是厨师做菜时的食材选对了才能做出好菜。图像去雾和超分辨率是计算机视觉中两个非常重要的底层任务。去雾任务的目标是从雾霾图像中恢复出清晰的场景而超分辨率则是从低分辨率图像重建出高分辨率图像。这两个任务都需要大量高质量的数据集来训练和评估模型。目前主流的数据集可以分为两大类合成数据集和真实数据集。合成数据集是通过算法生成的比如在清晰图像上添加模拟的雾霾效果而真实数据集则是直接拍摄的有雾和无雾图像对。两种数据集各有优劣合成数据集规模大、成本低但真实度可能不够真实数据集质量高但获取难度大、成本高。2. 超分辨率任务核心数据集详解2.1 DIV2K超分辨率研究的黄金标准DIV2K可以说是超分辨率领域的ImageNet几乎每篇超分辨率论文都会用到它。这个数据集包含1000张2K分辨率的高质量图像其中800张用于训练100张用于验证100张用于测试测试集不公开所以实际可下载的是900张。我第一次用DIV2K时犯了个错误直接把所有图像都用来训练了结果验证时发现效果很差。后来才明白验证集是用来调整模型参数的测试集才是最终评估的。这个数据集的特点是图像质量极高涵盖了人物、风景、建筑等多种场景。2.2 Flickr2K更丰富的场景多样性Flickr2K包含2650张从Flickr爬取的2K分辨率图像。相比DIV2K它的优势在于场景更加多样化包含了更多的生活场景和人物照片。不过需要注意的是这些图像的质量参差不齐有些可能达不到研究级的标准。在实际使用中我通常会结合DIV2K和Flickr2K一起训练这样可以让模型见识更多样的图像内容。有个小技巧是先用DIV2K训练再用Flickr2K微调这样效果往往比直接混合训练要好。2.3 RealSR真实世界的超分挑战RealSR数据集是用Canon 5D3和Nikon D810相机拍摄的559个真实场景其中459个用于训练100个用于测试。这个数据集最大的特点是它捕捉的是真实的低分辨率-高分辨率图像对而不是通过下采样生成的。我第一次用RealSR时很惊讶因为模型在合成数据上表现很好但在RealSR上却很差。这让我意识到真实世界的降质过程比简单的下采样复杂得多。现在很多研究都开始重视这种真实采集的数据集了。3. 图像去雾任务核心数据集解析3.1 RESIDE去雾研究的综合性基准RESIDE是目前最全面的去雾数据集包含了多个子集ITS110,000张室内合成雾图OTS313,950张室外合成雾图SOTS1000张合成测试图RTTS4322张真实雾图无对应清晰图HSTS20张混合主观测试图我在实际项目中发现用ITSOTS训练出来的模型在合成测试集上表现很好但在真实雾图上往往不尽如人意。这促使我开始探索更多真实雾图数据集。3.2 I-HAZE/O-HAZE真实雾图的宝贵资源I-HAZE包含35组室内真实雾图O-HAZE包含45组室外真实雾图。这两个数据集虽然规模不大但因为是完全真实的雾图-清晰图对所以非常珍贵。记得有一次我训练的去雾模型在合成数据上PSNR很高但在I-HAZE上视觉效果却很差。这让我意识到不能只看数值指标真实视觉效果同样重要。现在我做实验时一定会在这两个数据集上测试。3.3 Dense-HAZE挑战浓雾场景Dense-HAZE包含55组成对的浓雾和无雾图像。这个数据集的特点是雾非常浓很多传统方法在这里完全失效。我第一次尝试时模型输出的图像到处都是伪影后来通过调整网络结构和损失函数才有所改善。4. 数据集选择与应用策略4.1 根据任务目标选择数据集如果是做算法研究建议从DIV2K超分或RESIDE去雾开始。这些数据集规模大、标注规范适合方法开发和比较。如果是做实际应用则需要加入RealSR、I-HAZE等真实数据集来测试泛化能力。我曾经参与过一个监控摄像头去雾项目开始只用RESIDE训练实际部署效果很差。后来加入了大量真实监控场景的数据模型性能才达到实用水平。4.2 数据增强与混合训练技巧在实际应用中我通常会采用混合训练策略先用大规模合成数据如RESIDE-OTS预训练加入真实数据如O-HAZE微调最后用目标领域数据如特定场景的雾图做领域适应数据增强也很重要特别是对去雾任务。我常用的增强包括随机裁剪确保包含雾区和清晰区颜色抖动模拟不同光照条件雾浓度调整增强模型鲁棒性4.3 评估指标与测试集使用在评估模型时不能只看PSNR/SSIM这些指标。我养成了这样的评估流程先在标准测试集如SOTS上测定量指标在真实测试集如RTTS上检查视觉效果最后在目标应用场景中进行实地测试有个经验教训是测试集绝对不能用于训练哪怕只是看一眼都不行。我曾经不小心在训练时包含了几个测试样本结果论文被审稿人发现差点被拒稿。