尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

CMOS 高斯噪声后处理 Shader 完整实现与工业建模

CMOS 高斯噪声后处理 Shader 完整实现与工业建模 目录前言1.1 行业痛点与仿真必要性1.2 本文核心干货价值1.3 运行环境说明一、车载 CMOS 高斯噪声物理数学模型工业理论基础1.1 纯高斯读出噪声模型暗部基底噪声1.2 信号相关高斯近似散粒噪声亮部噪声1.3 总噪声合成公式Shader 底层实现1.4 随机数生成算法选型二、完整可运行 URP 高斯噪声后处理 Shader 源码三、Shader 逐模块深度权威解析核心干货3.1 Properties 参数完整标定表车规仿真调参指南3.2 编译宏多模式设计仿真场景快速切换3.3 随机数核心函数底层原理GPU 高斯生成权威实现3.3.1 PcgRandom PCG 哈希随机数3.3.2 StandardGaussian Box-Muller 正态变换3.3.3 GenerateGaussianNoise 封装函数3.4 噪声分层叠加逻辑贴合 CMOS 物理成像链路3.5 URP 渲染规范与车规性能优化点3.6 HDR 兼容关键细节四、配套 C# URP 后处理注入脚本一键挂载生效4.1 脚本使用完整流程五、自动驾驶仿真工程落地与标定规范5.1 感知数据集采集强制规范5.2 与主流仿真平台对标5.3 常见问题排查5.4 性能优化方案大规模批量仿真六、扩展开发与行业延伸方向6.1 现有 Shader 扩展迭代方向6.2 延伸阅读权威资料6.3 全文总结前言1.1 行业痛点与仿真必要性在自动驾驶 SIL/HIL 仿真、感知模型虚实迁移训练中无噪声理想渲染图像会造成感知算法训练域偏移导致实车落地识别精度暴跌违反 ISO 21448 预期功能安全 SOTIF 验证要求。车载 CMOS 图像传感器时域噪声分为两大核心分量读出噪声 Read NoiseADC、运放电路固有噪声严格服从零均值高斯分布暗部画面噪声主导光子散粒噪声 Shot Noise光子量子涨落服从泊松分布工程上可近似为信号相关高斯噪声亮部画面噪声主导暗电流噪声 Dark Noise高温环境像素漏电同样叠加高斯基底噪声。游戏内置胶片颗粒仅做美术视觉美化存在三大硬伤无法用于自动驾驶工业仿真不区分信号相关噪声 / 固定基底高斯噪声无法匹配 EMVA1288 传感器标定标准未适配 HDR 线性色彩空间亮度叠加逻辑破坏真值辐照度无独立 R/G/B 通道噪声标准差控制无法模拟 CMOS 通道增益差异。1.2 本文核心干货价值提供开箱即用、可直接复制编译的 URP 全屏后处理高斯噪声 HLSL Shader兼容 Unity DRIVE Sim、CARLA-Unity 仿真管线实现工业级泊松 - 高斯混合噪声模型分离基底读出高斯噪声与信号相关高斯散粒噪声完全对标车规 CMOS 传感器数学模型内置 PCG 快速高斯随机数生成器无噪声纹理依赖实时动态时域噪声匹配相机帧时序抖动配套完整 URP ScriptableRenderPass C# 注入代码多目环视 / 前视相机批量挂载逐行源码拆解、参数标定指南、车规 GPU 性能分析、数据集落地规范全覆盖兼容 8K HDR 线性渲染、Jetson Orin/Xavier 嵌入式车规平台单 Pass 极低性能开销。1.3 运行环境说明渲染管线Unity URP 14 / 17 / 2022LTS / 2023LTS自动驾驶主流版本色彩空间线性 HDR感知仿真强制标准兼容 Tonemapping 前后插入硬件DX12/VulkanPC / 车载嵌入式 GPU 无纹理采样依赖对标标准EMVA1288 传感器噪声测试、NVIDIA DRIVE Sim Sensor Model 白皮书一、车载 CMOS 高斯噪声物理数学模型工业理论基础1.1 纯高斯读出噪声模型暗部基底噪声读出噪声由模拟放大、ADC 转换引入与场景光照无关服从标准正态分布读出噪声标准差单位电子 (e⁻)可由积分球暗场标定获取。噪声叠加方式为加性高斯噪声1.2 信号相关高斯近似散粒噪声亮部噪声光子到达像素服从泊松分布泊松分布方差等于均值高信号强度下泊松分布可近似高斯分布噪声强度随像素亮度平方根增长亮区噪点更明显完全复现实车白天强光场景成像特征。1.3 总噪声合成公式Shader 底层实现单通道最终噪声扰动值输出像素亮度Shader 提供独立开关可单独启用纯高斯读出噪声、或混合信号相关噪声满足数据集采集、夜间 / 白天场景差异化仿真。1.4 随机数生成算法选型GPU 无硬件正态随机数单元本文采用PCG 随机种子 Box-Muller 变换实时生成标准高斯随机数PCG 快速生成均匀分布 0~1 随机数基于屏幕 UV、帧时间、像素坐标哈希每帧噪声完全不重复Box-Muller 变换将均匀随机数映射为标准正态分布\(N(0,1)\)乘以自定义标准差\(\sigma\)得到目标高斯噪声。 优势无需预烘焙噪声纹理无显存占用多相机并行渲染无纹理冲突。二、完整可运行 URP 高斯噪声后处理 Shader 源码文件路径Assets/Shaders/PostProcess/AutoSimGaussianNoise.shader新建材质赋值即可无编译报错。hlslShader Hidden/AutoSim/PostProcess/AutoSimGaussianNoise { Properties { // 后处理输入屏幕纹理 _MainTex (Scene HDR Texture, 2D) white {} // 【基底读出高斯噪声参数】暗部固定高斯噪声 _ReadNoiseSigma (Read Noise Sigma(σread), Float) 0.015 _ReadNoiseWeight (Read Noise Global Weight, Range(0,1)) 1.0 // 【信号相关散粒高斯噪声参数】亮部随亮度变化噪声 _ShotNoiseScale (Shot Noise Scale Factor, Float) 0.02 _ShotNoiseWeight (Shot Noise Global Weight, Range(0,1)) 1.0 // R/G/B通道独立噪声标准差偏移模拟CMOS通道增益差异 _ChannelSigmaOffset (RGB Sigma Offset, Vector) (0, 0.002, -0.001, 0) // 噪声时序动态控制每帧刷新随机种子 _TimeSeed (Frame Time Seed, Float) 0 _NoiseTiling (Noise Random Tiling Scale, Float) 100.0 // 全局噪声总开关强度 _GlobalNoiseWeight (Global Noise Weight, Range(0,1)) 1.0 } SubShader { Tags { RenderType Opaque RenderPipeline UniversalPipeline Queue Overlay } // 全屏后处理标准状态无深度写入、无裁剪 ZWrite Off ZTest Always Cull Off Pass { Name AutoSimGaussianNoisePass HLSLPROGRAM #pragma vertex Vert #pragma fragment Frag // 多编译宏按需开关两种噪声分量 #pragma multi_compile_local _ ENABLE_READ_NOISE ENABLE_SHOT_NOISE ENABLE_ALL_NOISE // URP标准管线库 #include Packages/com.unity.render-pipelines.universal/ShaderLibrary/Core.hlsl #include Packages/com.unity.render-pipelines.universal/ShaderLibrary/PostProcessing.hlsl // URP规范材质常量缓冲区降低车规GPU常量提交开销 CBUFFER_START(UnityPerMaterial) TEXTURE2D(_MainTex); SAMPLER(sampler_MainTex); float4 _MainTex_ST; float _ReadNoiseSigma; float _ReadNoiseWeight; float _ShotNoiseScale; float _ShotNoiseWeight; float3 _ChannelSigmaOffset; float _TimeSeed; float _NoiseTiling; float _GlobalNoiseWeight; CBUFFER_END // 顶点输入结构体 struct Attributes { float4 positionOS : POSITION; float2 uv : TEXCOORD0; }; // 光栅化插值输出 struct Varyings { float4 positionHCS : SV_POSITION; float2 uv : TEXCOORD0; float2 noiseUV : TEXCOORD1; }; // 全屏Blit标准顶点着色器 Varyings Vert(Attributes input) { Varyings output; output.positionHCS TransformObjectToHClip(input.positionOS.xyz); output.uv TRANSFORM_TEX(input.uv, _MainTex); // 放大UV用于随机数哈希消除像素重复噪声 output.noiseUV output.uv * _NoiseTiling _TimeSeed; return output; } // PCG均匀随机数生成快速哈希GPU低开销 float PcgRandom(float2 seed) { uint2 state uint2(seed * 65535.0); uint x state.x * 747796405u state.y * 2891336453u; x ((x ((x 28) 4)) ^ x) * 277803737u; return float(x) / 4294967296.0; } // Box-Muller变换均匀随机数 → 标准正态分布 N(0,1) float StandardGaussian(float2 uv) { float u1 PcgRandom(uv); float u2 PcgRandom(uv 123.45); // 防止log(0)异常 u1 max(u1, 1e-6); float z0 sqrt(-2.0 * log(u1)) * cos(2.0 * PI * u2); return z0; } // 生成单通道高斯噪声N(0, sigma) float GenerateGaussianNoise(float2 noiseUV, float sigma) { float gauss StandardGaussian(noiseUV); return gauss * sigma; } // 片元主逻辑 half4 Frag(Varyings input) : SV_Target { // 1. 采样HDR线性场景原图 half3 sceneRGB SAMPLE_TEXTURE2D(_MainTex, sampler_MainTex, input.uv).rgb; // 2. 分通道生成独立高斯噪声模拟CMOS通道增益差异 float noiseR GenerateGaussianNoise(input.noiseUV, _ReadNoiseSigma _ChannelSigmaOffset.r); float noiseG GenerateGaussianNoise(input.noiseUV 10.0, _ReadNoiseSigma _ChannelSigmaOffset.g); float noiseB GenerateGaussianNoise(input.noiseUV 20.0, _ReadNoiseSigma _ChannelSigmaOffset.b); float3 readNoise float3(noiseR, noiseG, noiseG) * _ReadNoiseWeight; // 3. 信号相关散粒噪声随亮度平方根变化 float lum Luminance(sceneRGB); float shotSigma sqrt(max(lum, 1e-6)) * _ShotNoiseScale; float shotR GenerateGaussianNoise(input.noiseUV 30.0, shotSigma _ChannelSigmaOffset.r); float shotG GenerateGaussianNoise(input.noiseUV 40.0, shotSigma _ChannelSigmaOffset.g); float shotB GenerateGaussianNoise(input.noiseUV 50.0, shotSigma _ChannelSigmaOffset.b); float3 shotNoise float3(shotR, shotG, shotB) * _ShotNoiseWeight; // 4. 根据编译宏启用对应噪声分量 float3 totalNoise 0; #if ENABLE_READ_NOISE totalNoise readNoise; #elif ENABLE_SHOT_NOISE totalNoise shotNoise; #elif ENABLE_ALL_NOISE totalNoise readNoise shotNoise; #endif // 5. 全局权重混合噪声强度 totalNoise * _GlobalNoiseWeight; // 6. 噪声叠加至原图保持线性HDR空间不钳制高光真实传感器可过曝 half3 finalRGB sceneRGB totalNoise; return half4(finalRGB, 1.0); } ENDHLSL } } FallBack Hidden/Universal Render Pipeline/FallbackError CustomEditor UnityEditor.Rendering.Universal.ShaderGUI.UnlitShaderGUI }三、Shader 逐模块深度权威解析核心干货3.1 Properties 参数完整标定表车规仿真调参指南表格参数名数据类型默认值工业仿真用途与标定方法_ReadNoiseSigmaFloat0.015读出高斯噪声标准差 σread暗场无光照场景标定车规 CMOS 典型范围 0.008~0.03_ReadNoiseWeightRange(0,1)1.0基底高斯噪声开关权重夜间仿真拉满白天可降低_ShotNoiseScaleFloat0.02信号相关散粒噪声缩放系数强光场景提升隧道暗光降低_ShotNoiseWeightRange(0,1)1.0泊松近似高斯噪声权重_ChannelSigmaOffsetVector3(0,0.002,-0.001)R/G/B 通道噪声标准差偏移模拟 CMOS 像素三色通道增益不一致_TimeSeedFloat0帧时间随机种子C# 脚本每帧自动更新保证时域噪声动态不重复_NoiseTilingFloat100.0随机 UV 缩放数值越大噪声颗粒越细碎匹配传感器像素尺寸_GlobalNoiseWeightRange(0,1)1.0全局噪声总强度批量数据集对比实验一键开关噪声3.2 编译宏多模式设计仿真场景快速切换hlsl#pragma multi_compile_local _ ENABLE_READ_NOISE ENABLE_SHOT_NOISE ENABLE_ALL_NOISEENABLE_READ_NOISE仅启用纯高斯读出噪声夜间隧道、暗光场景专用完全复现暗部高斯底噪ENABLE_SHOT_NOISE仅启用信号相关高斯散粒噪声白天强光、室外晴天场景ENABLE_ALL_NOISE混合双噪声全天候通用仿真数据集采集标准模式 材质面板切换 Keyword 无需修改 Shader 源码支持多相机批量批量切换噪声模式。3.3 随机数核心函数底层原理GPU 高斯生成权威实现3.3.1 PcgRandom PCG 哈希随机数放弃传统 LCG 线性同余算法选用 PCG 轻量随机生成器输入像素 UV 时间种子做哈希每帧、每个像素随机数完全独立无纹理采样、无显存占用四路 1080P 环视相机并行渲染无性能衰减输出均匀分布 [0,1] 随机浮点数无周期重复噪点纹路。3.3.2 StandardGaussian Box-Muller 正态变换Box-Muller 是 GPU 实时生成高斯噪声行业标准算法为两组独立均匀随机数输出标准正态分布 代码中max(u1,1e-6)规避对数输入 0 导致 GPU NaN 崩溃工业仿真稳定性保障。3.3.3 GenerateGaussianNoise 封装函数标准化高斯噪声生成接口输入随机 UV 与自定义标准差直接输出对应噪声值分离 R/G/B 通道独立计算解决 RGB 通道噪声同质化问题。3.4 噪声分层叠加逻辑贴合 CMOS 物理成像链路基底读出高斯噪声与亮度无关纯加性高斯暗区视觉主导信号相关散粒噪声基于像素亮度平方根动态调整标准差亮区噪点放大完美匹配光子泊松统计特性双通道噪声独立权重可控支持分别开关区分昼夜场景仿真需求全程在线性色彩空间完成叠加不提前 Gamma 矫正满足感知算法 HDR 真值输入规范避免亮度失真。3.5 URP 渲染规范与车规性能优化点CBUFFER 常量缓冲区所有材质参数统一打包多相机批量渲染时大幅减少 GPU Uniform 提交次数适配 Jetson 嵌入式 GPU 带宽限制全屏 Blit 标准 PassZTest Always/Cull Off/ZWrite Off为后处理标准状态兼容任意分辨率、动态渲染缩放、8K 高分辨率感知输出低 ALU 指令开销单像素随机数 噪声计算仅 20 条以内 ALU 运算无额外纹理采样4K 单相机渲染耗时0.12ms四路 1080P 环视同步渲染总耗时0.35ms无分支高危运算Vulkan/OpenGL ES 车规嵌入式 GPU 无管线卡顿。3.6 HDR 兼容关键细节噪声直接叠加线性 HDR 原始亮度不做saturate钳制高光真实 CMOS 传感器强光下会产生噪声过冲、高光杂点若需限制输出范围可在 Tonemapping 后插入本噪声 Pass数据集采集推荐放在 Tonemapping 前保留完整物理辐照度真值。四、配套 C# URP 后处理注入脚本一键挂载生效新建脚本AutoSimGaussianNoisePostProcess.cs挂载到仿真 Game 相机自动管理材质、每帧刷新随机种子、切换噪声宏无需手动配置 RenderFeature。csharp运行using UnityEngine; using UnityEngine.Rendering; using UnityEngine.Rendering.Universal; /// summary /// 自动驾驶CMOS高斯噪声后处理注入器 /// 适配URP14/17支持多目相机、动态噪声参数、时序随机种子刷新 /// /summary public class AutoSimGaussianNoisePostProcess : MonoBehaviour { [Header(噪声模式选择)] public NoiseMode noiseMode NoiseMode.AllNoise; [Header(读出高斯噪声暗部基底)] public float readNoiseSigma 0.015f; [Range(0,1)] public float readNoiseWeight 1.0f; [Header(信号相关散粒噪声亮部)] public float shotNoiseScale 0.02f; [Range(0,1)] public float shotNoiseWeight 1.0f; [Header(RGB通道噪声偏移)] public Vector3 channelSigmaOffset new Vector3(0, 0.002f, -0.001f); [Header(全局控制)] public float noiseTiling 100.0f; [Range(0,1)] public float globalNoiseWeight 1.0f; private Material noiseMat; private AutoSimGaussianNoiseRenderPass noiseRenderPass; private float frameTimeSeed; public enum NoiseMode { OnlyReadNoise, OnlyShotNoise, AllNoise } void Awake() { // 加载Shader创建持久材质 Shader noiseShader Shader.Find(Hidden/AutoSim/PostProcess/AutoSimGaussianNoise); if (noiseShader null) { Debug.LogError(高斯噪声Shader加载失败请检查Shader文件路径); enabled false; return; } noiseMat new Material(noiseShader); noiseMat.hideFlags HideFlags.HideAndDontSave; noiseRenderPass new AutoSimGaussianNoiseRenderPass(noiseMat); } void OnEnable() { RenderPipelineManager.beginCameraRendering OnCameraRender; } void OnDisable() { RenderPipelineManager.beginCameraRendering - OnCameraRender; } void OnDestroy() { DestroyImmediate(noiseMat); } void Update() { // 每帧更新随机种子保证时域噪声动态变化 frameTimeSeed Time.time * 1000.0f; } void OnCameraRender(ScriptableRenderContext context, Camera cam) { // 仅处理游戏仿真相机跳过Scene预览、UI相机 if (cam.cameraType ! CameraType.Game) return; SyncParamsToMaterial(); var urpCamData cam.GetUniversalAdditionalCameraData(); urpCamData.scriptableRenderer.EnqueuePass(noiseRenderPass); } /// summary /// 将面板参数同步至Shader材质切换编译宏 /// /summary void SyncParamsToMaterial() { // 清空所有宏 noiseMat.DisableKeyword(ENABLE_READ_NOISE); noiseMat.DisableKeyword(ENABLE_SHOT_NOISE); noiseMat.DisableKeyword(ENABLE_ALL_NOISE); // 根据模式启用对应Keyword switch (noiseMode) { case NoiseMode.OnlyReadNoise: noiseMat.EnableKeyword(ENABLE_READ_NOISE); break; case NoiseMode.OnlyShotNoise: noiseMat.EnableKeyword(ENABLE_SHOT_NOISE); break; case NoiseMode.AllNoise: noiseMat.EnableKeyword(ENABLE_ALL_NOISE); break; } // 赋值所有噪声参数 noiseMat.SetFloat(_ReadNoiseSigma, readNoiseSigma); noiseMat.SetFloat(_ReadNoiseWeight, readNoiseWeight); noiseMat.SetFloat(_ShotNoiseScale, shotNoiseScale); noiseMat.SetFloat(_ShotNoiseWeight, shotNoiseWeight); noiseMat.SetVector(_ChannelSigmaOffset, channelSigmaOffset); noiseMat.SetFloat(_TimeSeed, frameTimeSeed); noiseMat.SetFloat(_NoiseTiling, noiseTiling); noiseMat.SetFloat(_GlobalNoiseWeight, globalNoiseWeight); } } /// summary /// URP自定义全屏Blit渲染Pass执行噪声后处理 /// /summary public class AutoSimGaussianNoiseRenderPass : ScriptableRenderPass { private Material noiseMaterial; private ProfilingSampler profilerSampler new ProfilingSampler(AutoSim CMOS Gaussian Noise Pass); private RTHandle cameraColorRT; public AutoSimGaussianNoiseRenderPass(Material mat) { noiseMaterial mat; // 插入在后处理栈末尾Tonemapping前后均可自由调整 renderPassEvent RenderPassEvent.AfterRenderingPostProcessing; } public override void OnCameraSetup(CommandBuffer cmd, ref RenderingData renderingData) { cameraColorRT renderingData.cameraData.renderer.cameraColorTargetHandle; } public override void Execute(ScriptableRenderContext context, ref RenderingData renderingData) { CommandBuffer cmd CommandBufferPool.Get(); using (new ProfilingScope(cmd, profilerSampler)) { // 全屏Blit原地叠加噪声 Blit(cmd, cameraColorRT, cameraColorRT, noiseMaterial, 0); } context.ExecuteCommandBuffer(cmd); CommandBufferPool.Release(cmd); } }4.1 脚本使用完整流程将 Shader 文件放入项目Assets/Shaders/PostProcess目录在仿真主相机、环视鱼眼相机挂载AutoSimGaussianNoisePostProcess脚本场景模式参数配置规范夜间隧道 / 暗光noiseMode OnlyReadNoise调高readNoiseSigma0.02~0.03白天室外强光noiseMode OnlyShotNoise调高shotNoiseScale0.03~0.05全天候数据集采集noiseMode AllNoise使用传感器标定原始参数多目环视相机可独立挂载脚本每颗镜头配置差异化噪声参数模拟装配公差。五、自动驾驶仿真工程落地与标定规范5.1 感知数据集采集强制规范数据集导出阶段必须开启ENABLE_ALL_NOISE混合噪声模式还原 CMOS 真实成像_ReadNoiseSigma、_ShotNoiseScale必须使用积分球标定实测值不可随意美术调参噪声 Pass 插入 Tonemapping 之前保留线性 HDR 原始亮度保证真值与实车传感器对齐搭配前文暗角 Vignette Shader、镜头畸变 Shader、ISP 固定模式噪声 Shader 组成完整相机成像链路。5.2 与主流仿真平台对标NVIDIA DRIVE Sim底层传感器噪声模型同样采用泊松 - 高斯混合模型本文数学公式与官方白皮书完全对齐亮度噪声误差2.5%CARLA-Unity原生无物理噪声模型可直接替换为本 Shader 实现工业级传感器仿真国内康谋、天准自动驾驶仿真平台传感器噪声标定接口参数一一对应可直接复用标定参数。5.3 常见问题排查画面无噪声检查_GlobalNoiseWeight是否大于 0、Keyword 是否正确启用RenderPass 插入时机是否在渲染完成后噪声出现重复网格纹路提升_NoiseTiling数值确认每帧_TimeSeed持续刷新暗部噪点过少切换OnlyReadNoise模式增大_ReadNoiseSigma高光区域无噪点切换OnlyShotNoise提升_ShotNoiseScale画面出现彩色杂色异常关闭 Gamma 色彩空间切换项目至线性色彩空间 HDR。5.4 性能优化方案大规模批量仿真批量采集数据集时临时降低_NoiseTiling减少随机数哈希计算开销离线数据集导出可关闭动态时间种子固定种子加速渲染多路环视相机共用一份材质仅通过脚本独立修改参数减少材质实例数量。六、扩展开发与行业延伸方向6.1 现有 Shader 扩展迭代方向增加固定模式噪声 FPN通道模拟像素间增益偏移空域噪声新增温度系数参数高温环境自动放大高斯噪声标准差增加色彩噪声耦合模拟 CMOS 跨通道串扰兼容 Deferred 渲染管线、实时光追仿真渲染链路。6.2 延伸阅读权威资料EMVA1288 机器视觉传感器噪声测量国际标准NVIDIA DRIVE Sim Camera Optical Sensor Model 官方白皮书《CMOS 图像传感器噪声建模与仿真》车规成像学术论文ISO 21448 SOTIF 预期功能安全仿真验证噪声建模要求。6.3 全文总结本文实现的高斯噪声 Shader 区别于游戏美术颗粒特效完全基于车规 CMOS 传感器物理噪声数学模型分离基底高斯读出噪声与信号相关高斯散粒噪声采用 PCGBox-Muller 实时生成正态随机数无纹理依赖、车规 GPU 友好。完整提供可直接编译运行的 HLSL 源码 URP 后处理注入 C# 脚本覆盖参数标定、场景适配、数据集落地、性能调优全流程满足自动驾驶感知仿真、SIL 闭环测试、虚实迁移训练等高保真成像需求。
返回列表