1. 项目概述3D高斯溅射3D Gaussian Splatting简称3DGS作为当前神经渲染领域的主流技术在实时光追级渲染效果方面表现出色。然而基于MLP的衍生方法虽然提升了视觉保真度却在大规模遮挡场景中面临严重的效率瓶颈问题。传统剪枝和LOD等加速策略由于缺乏有效的遮挡感知机制仍然存在大量冗余计算特别是在消费级GPU上的硬件适配性不足。上海交通大学钟志航团队联合上海人工智能实验室、西北工业大学等机构在CVPR 2026上提出的Proxy-GS框架通过引入轻量级代理网格作为统一的遮挡先验实现了训练与推理阶段的遮挡感知优化。这一创新方法在保持渲染质量的同时将遮挡密集场景的渲染速度提升了2.5倍以上为3DGS在AR/VR等实际应用场景的落地提供了新的技术解决方案。2. 技术背景与挑战2.1 3DGS技术发展现状3DGS通过显式高斯基元的光栅化实现了比NeRF更高效的新视角合成已成为大尺度场景重建的核心技术。然而原生3DGS存在几何结构建模不足的问题。为弥补这一缺陷Scaffold-GS、Octree-GS等MLP-based方法引入了神经解码器基于锚点特征动态生成高斯属性包括均值、协方差、颜色和不透明度显著提升了视角相关细节和复杂场景的建模能力。2.2 效率与质量矛盾MLP-based 3DGS的主要性能瓶颈体现在解码开销过高在城市街道、多房间室内等大尺度遮挡场景中高斯基元和锚点数量呈指数级增长硬件适配不足现有方法未充分利用消费级GPU的专用硬件光栅化单元训练效率低下传统致密化方法仅基于RGB图像的梯度信息易在遮挡区域生成无效锚点3. Proxy-GS核心创新3.1 轻量级代理网格设计Proxy-GS的核心突破在于构建了基于轻量级代理网格的遮挡感知体系将硬件光栅化与3DGS的训练、推理流程深度融合。代理网格作为场景的粗几何表示具有以下特点高效性利用硬件光栅化在1ms内生成1000×1000分辨率的深度图通用性同一代理网格同时服务于推理阶段的遮挡剔除和训练阶段的结构引导轻量化通过拓扑保留简化技术将网格体积从108MB降至824KB3.2 技术架构优势与传统方法相比Proxy-GS具有以下差异化优势无损遮挡检测相比OccluGaussian等场景聚类方法能保留更精细的细节极致效率深度获取效率远高于基于表面元的深度引导方法良好兼容性无需对原有3DGS的高斯光栅化流程做大幅修改4. 关键技术实现4.1 代理引导滤波器4.1.1 代理网格构建策略针对不同场景的点云数据Proxy-GS采用差异化的构建策略场景类型构建方法关键技术室外密集点云表面重建QEM简化二次误差度量拓扑保留室内稀疏COLMAPMapAnything模型RGB图像辅助重建室外稀疏COLMAPCityGS-X框架多GPU并行处理4.1.2 硬件光栅化优化通过以下技术实现高速深度图生成网格聚类与AABB预计算层级Z缓冲Hi-Z优化早期Z测试Early-Z启用Vulkan-CUDA零拷贝交互4.1.3 锚点筛选算法关键步骤包括坐标转换相机空间→NDC→像素坐标深度转换归一化→线性相机空间安全边际添加γ0.3最优深度测试剔除4.2 代理引导致密化4.2.1 高误差斑块检测采用分块L1损失计算判定条件loss_patch 3 * mean_loss4.2.2 锚点重投影通过相机参数反投影公式p̂_P o Rᵀ(d_mesh(u_P,v_P) · K⁻¹[u_P,v_P,1]ᵀ)4.2.3 网格冗余约束设置网格单元最大锚点数K插入条件κ[c(a)] K5. 实验验证与性能分析5.1 主实验结果在MatrixCity数据集上的性能表现指标Octree-GSProxy-GS提升幅度PSNR21.4121.681.26%SSIM0.7310.7441.78%LPIPS0.3750.362-3.47%FPS48151214.6%5.2 消融实验5.2.1 模块贡献分析配置PSNRFPS基线(Octree-GS)21.4148仅推理阶段19.06144训练推理21.50147完整框架21.681515.2.2 参数敏感性代理网格分辨率108MB→824KBPSNR波动0.1顶点噪声5%时PSNR显著下降安全边际γ0.3为最优值5.3 推理时间分析MatrixCity场景时间占比对比组件Octree-GSProxy-GS深度获取-1ms(0.7%)锚点筛选12ms3msMLP解码68ms15ms高斯光栅化45ms12ms总时间125ms31ms6. 应用前景与工程实践6.1 实际应用场景Proxy-GS特别适合以下应用场景AR/VR应用需要实时高保真渲染数字孪生大规模城市场景重建自动驾驶仿真复杂环境模拟6.2 工程实践建议在实际部署中需要注意代理网格质量确保保留主要遮挡结构硬件适配充分利用GPU光栅化单元参数调优根据场景调整安全边际γ7. 技术局限与未来方向7.1 当前局限动态场景支持有限需要初始几何信息极端复杂遮挡处理仍需优化7.2 未来方向动态代理网格更新机制无监督几何先验学习多模态传感器融合在实际项目部署中我们发现Proxy-GS的性能优势在遮挡率超过30%的场景中最为明显。对于相对开放的场景虽然也能带来5-15%的性能提升但效果不如密集遮挡场景显著。建议开发者根据具体应用场景的遮挡特性来决定是否采用该技术方案。