一、制造认知缺口当看不见不再是调参问题而是物理极限安防行业有一句老话白天拼分辨率晚上拼补光。这句话背后是一个无法回避的物理事实——在照度低于0.01 lux的极暗环境下CMOS传感器接收到的有效光子数量已经逼近读出噪声的量级信噪比SNR趋近于零。这不是算法不够好而是信号本身已经不存在了。传统ISP的设计范式建立在一个隐含假设之上输入数据中存在可辨识的信号ISP的任务是对信号进行增强、校正、美化。这一假设在照度充足时完全成立但在黑光场景下彻底失效。当Bayer Raw数据中的每一个像素值都几乎被泊松噪声和读出噪声主导时分阶段串联的ISP模块——黑电平校正→去马赛克→降噪→白平衡→色彩校正→色调映射——每一步都在对已经不存在的信息做决策结果必然是误差累积与伪影放大。这就是黑光全彩面临的根本困境要输出彩色图像就必须完成完整的ISP流程但信号的匮乏让每一步变换都变成赌博。 行业里通行的补救手段是加装红外补光灯——用850nm或940nm红外光照射场景传感器接收反射信号生成单色图像。这是权宜之计而非解决方案红外补光带来额外的功耗一颗IR LED阵列的功耗大约1-3W并且破坏了全彩的承诺——红外图像没有色彩信息无法用于车牌颜色识别、服装颜色描述等关键安防任务。真正的问题不在于怎样把暗图画亮而在于当一个传感器几乎什么都没看到时ISP从哪里获得重建图像所需的信息二、核心洞见扩散模型的先验知识是黑光成像的第三种光源LDM-ISP论文的作者来自香港科技大学他们从根本上重新定义了极暗ISP的问题性质它不是一个信号恢复restoration问题而是一个条件生成conditional generation问题。这个区分的意义是根本性的。信号恢复假设输入中包含足够的信息算法只需清洗和增强。条件生成承认输入信息已严重不足算法必须从外部引入先验知识来完成重建。这种先验知识的来源可以理解为第三种光源——补光灯提供第一种主动红外环境光提供第二种被动可见光而模型在大规模数据中学会的世界应该长什么样的统计规律提供了第三种不消耗任何物理能量的认知光源。LDM-ISP选择了一个极其大胆的外部知识来源Stable Diffusion——一个在LAION-5B数据集58.5亿图文对规模是SID-Sony数据集的约300万倍上预训练的潜在扩散模型。Stable Diffusion在训练过程中吸收了海量自然图像的分布信息天空是蓝色的、草是绿色的、人脸有对称的五官结构、车牌有特定的笔画排列——这些常识恰好就是极暗ISP最缺乏的东西。但问题随之而来Stable Diffusion是一个860M参数的开环生成模型它可以在没有输入约束的情况下生成逼真的图像但无法保证生成内容与原始场景一致。直接用它来做ISP输出的是看起来真实但完全无关的图像——这在安防场景中不仅无用而且是危险的例如脑补出一个不存在的人脸。LDM-ISP的解决方案是一种工程上的精准手术冻结整个预训练扩散模型只插入和训练一组轻量级的驯化模块Taming Modules将Bayer Raw信号中的结构信息注入扩散过程引导生成方向。具体实现依赖三个支柱设计支柱一小波变换DWT替代下采样。 LDM-ISP对输入的Bayer Raw图像执行2D离散小波变换将其分解为低频子带LL和高频子带LH、HL、HH。LL子带保留了主要的结构内容且分辨率与UNet的潜在空间对齐。相比直接对含噪Raw图像做resize噪声会随下采样扩散并破坏结构DWT将噪声隔离在高频子带中使得LL子带在进入UNet时保持了更纯净的结构信息。消融实验的数据是决定性的DWT方案在ELD-Sony数据集上达到了SSIM 0.8906 / LPIPS 0.2035而Resize方案仅为SSIM 0.8233 / LPIPS 0.2834。更关键的是DWT仅消耗0.02秒且无额外参数而使用Stable Diffusion的Encoder做同样的事需要2.09秒和34.16M参数——对于需要实时推理的ISP应用来说这是不可接受的差距。支柱二SFT层做特征调制。 驯化模块的核心是Spatial Feature TransformationSFT层它接收DWT子带和扩散时间步输出一对仿射变换参数α和β对UNet/Ddecoder的中间特征进行逐通道调制输出 (1α) ⊙ 输入 β。这种设计的精巧之处在于它让RAW信号以指导者而非强加者的身份参与扩散过程——网络保留了生成高质量图像的能力但生成方向被RAW信号驯服了。支柱三任务解耦——UNet管结构Decoder管细节。 作者做了细致的机制分析发现UNet的去噪过程主要生成低频结构物体轮廓、整体布局而Decoder的重构过程负责添加高频细节纹理、边缘。基于这一观察UNet的驯化模块只接收LL子带低频内容引导Decoder的驯化模块同时接收LL子带和高频子带亮度缩放细节注入。这种解耦避免了一个模块同时被要求生成和保持的内在冲突。三、验证洞见极暗场景下的定量优势LDM-ISP在三个真实世界低光数据集上进行了全面评估每个数据集都对应不同的传感器和光照条件SID-Sony数据集×300放大倍率即曝光时间仅为参考的1/300LDM-ISP在LPIPS指标上达到0.2749此前最佳SID为0.3906改善幅度0.1127在无参考感知质量指标NIMA上达到3.5583此前最佳为3.1831改善幅度0.3752。×300放大倍率意味着入射光子数量已经低到单个像素级别——传统方法在这个条件下几乎无法重建可辨识的彩色内容。ELD-Sony数据集×200放大倍率LDM-ISP在SSIM上达到0.8906LPIPS达到0.2035均为所有对比方法中最优。值得注意的是它同时超越了RAW-to-sRGB方法和RAW-to-RAW方法——这说明扩散模型引入的视觉先验确实填补了从信号到图像的信息缺口。LRD数据集-3 EV曝光LPIPS 0.1858NIMA 3.6180均为最优。消融实验进一步确认了每个设计的必要性。冻结预训练模型仅训练驯化模块的策略是关键——如果去除驯化模块让模型自由生成输出内容与输入场景无关验证了驯化的必要性如果对UNet和Decoder使用相同的调制方式而不做解耦高频细节出现严重丢失验证了任务解耦的有效性如果只注入低频信息到Decoder而不注入高频子带输出图像明显模糊验证了高频维护的价值。四、推开一扇窗从论文方法论到Pico-G1的芯片级落地LDM-ISP最值得工程界借鉴的不是扩散模型本身——在嵌入式芯片上运行一个200步DDIM采样的860M参数模型显然不现实——而是它背后的方法论用一个在超大规模数据上获得了通用先验的Teacher模型通过轻量驯化机制将知识传递给端侧Student模型。Teacher训练一次端侧几乎零成本受益。这个方法论与ShiMeta Pico-G1的AI_NR训练策略——大模型蒸馏小模型微调——在逻辑上是同一范式。Pico-G1基于国科微GK7206芯片核心约束是1.0T NPU算力。工程师将0.5T分配给AI_NR降噪跑4M15fps剩余0.5T留给AI检测任务。在这0.5T的算力预算内要达到极暗降噪效果不可能从头训练或直接部署大模型。大模型蒸馏小模型微调策略的本质正是在云端用大规模数据训练一个通用降噪大模型Teacher充分吸收各类噪声模式的统计规律然后将这些规律蒸馏到一个可以在0.5T NPU上实时运行的轻量模型中Student再用目标场景的少量数据微调适配。这与LDM-ISP的冻结预训练扩散模型、只训练驯化模块共享同一个工程洞察通用先验在云端完成一次代价高昂的学习端侧只承担微不足道的适配代价。 区别在于LDM-ISP的Teacher是Stable Diffusion提供世界长什么样的视觉先验Pico-G1的Teacher是自研通用降噪大模型提供噪声长什么样的统计先验。但结构是相同的Teacher存储先验Student执行推理。Pico-G1的AI_NR在Bayer Raw域工作这与LDM-ISP选择在RAW域注入信息的设计也高度一致——在ISP管线的最前端处理在信号被后续模块污染之前抓住最后的有意义信息。结合双3DNR双通路架构AI_NR输出的降噪信号进入硬件ISP流水线完成后续处理最终实现无需红外补光灯的暗光全彩输出。在AOV低功耗模式下整机功耗可低至42mW2Mp/1fps——这对于电池供电的黑光全彩监控场景意义重大。LDM-ISP在学术上证明了一件事当信号不足以支撑重建时外部先验是唯一出路。 Pico-G1在工程上回答了下一个问题这种先验如何在芯片上以0.5T的代价落地。 论文和芯片之间隔着一道鸿沟而大模型蒸馏小模型微调的方法论正是跨越这道鸿沟的桥梁。-----本文是对原论文的解读与发散原作者和所属机构未参与本文撰写亦无任何利益关联。原论文LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion ModelsQiang Wen, Zhefan Rao, Yazhou Xing, Qifeng ChenICRA 2025. 论文地址https://arxiv.org/abs/2312.01027