1. 项目概述室内开放词汇3D占用预测新范式在机器人导航、增强现实等应用中让机器理解三维环境的几何结构与语义信息是核心挑战。传统3D语义占用预测方法存在两大局限一是依赖预定义的封闭词汇集无法识别训练集外的物体类别二是需要大量精确的体素级语义标注成本高昂。针对这些问题香港科技大学与香港中文大学团队提出的LegoOcc框架开创性地实现了仅需二值占用标注occupied/free的开放词汇3D语义理解。1.1 核心问题解析室内场景的3D理解面临三重挑战几何复杂性相比室外场景室内空间布局更密集如家具密集摆放、遮挡更严重如书架遮挡墙面语义细粒度类别间差异小如餐椅与办公椅、长尾分布显著常见家具与罕见物品共存标注成本精确的体素级语义标注需要专业工具和人工校验而二值占用标注可通过深度传感器自动生成现有解决方案如EmbodiedOcc等封闭词汇方法在Occ-ScanNet基准中虽能达到45.15 mIoU但仅支持11个预定义类别。直接迁移室外开放词汇方法如POP-3D到室内场景性能骤降至5.96 mIoU证明需要全新的方法论突破。关键创新LegoOcc通过语言嵌入高斯体(LE-Gaussians)统一表示几何与语义在仅使用二值占用监督的条件下实现开放词汇语义推理。这相当于用是否占用的简单标注自动学习丰富的语义信息。2. 技术架构与核心算法2.1 语言嵌入高斯体表示每个LE-Gaussian定义为四元组G_i (\mu_i, \Sigma_i, \alpha_i, f_i)其中$\mu_i \in \mathbb{R}^3$ 为中心位置$\Sigma_i \in \mathbb{R}^{3×3}$ 为协方差矩阵$\alpha_i \in [0,1]$ 为透明度$f_i \in \mathbb{R}^d$ 为语言对齐的语义嵌入这种表示的关键优势在于几何-语义耦合通过共享透明度$\alpha_i$确保几何占用与语义特征的空间一致性可微分渲染支持通过高斯溅射(Gaussian Splatting)将3D特征投影到2D图像平面语言对齐$f_i$通过CLIP等视觉语言模型初始化支持自然语言查询2.2 泊松过程驱动的占用预测传统Gaussian-to-Occupancy(G2O)方法存在两大缺陷忽略透明度$\alpha_i$导致几何与渲染分支解耦伯努利聚合会使$\alpha_i$趋于极小值破坏语义学习LegoOcc的创新解法是将每个高斯体视为非齐次泊松过程(NHPP)的事件源p(x) 1 - \exp\left(-\sum_{i1}^N \alpha_i p_i(x)\right)其中$p_i(x)$为高斯核函数。这种建模物理意义明确将占用概率解释为至少发生一次事件数学性质优良保持梯度流动稳定实验证明相比伯努利聚合IoU提升12.8546.65→59.502.3 渐进温度衰减策略解决多类别特征混合的渐进温度衰减流程初始阶段τ1.0平滑的透明度分布保证优化稳定性训练过程按指数曲线衰减温度参数\tau(r) \max(T_{min}, T_{max}(T_{min}/T_{max})^r)最终阶段τ0.001锐化的透明度分布增强语义判别力该策略的 ablation study 显示固定τ1.0 → mIoU18.15线性衰减 → mIoU2.30指数衰减 → mIoU21.053. 实现细节与优化技巧3.1 网络架构设计完整训练流程包含三个核心模块深度估计 backbone采用Depth-Anything V2提供几何先验高斯体生成器基于表面点扩展策略初始化LE-Gaussians双分支监督几何分支泊松G2O 体素级focal loss语义分支渲染特征与Trident分割器的余弦对齐3.2 关键训练参数超参数设置值作用说明初始学习率2×10⁻⁴采用cosine衰减线性warmup批量大小44×RTX 4090 GPU并行温度范围1.0→0.001指数衰减系数k0.1深度损失权重λ_depth0.5Huber损失增强几何一致性3.3 工程优化经验内存优化对超过50k高斯体的场景采用八叉树空间分割梯度裁剪限制L2范数≤1.0避免NaN问题多视图一致性随机采样5个邻近帧进行特征重渲染初始化技巧高斯体尺度初始化为0.1m匹配室内物体尺寸4. 性能评估与对比实验4.1 Occ-ScanNet基准结果方法监督方式IoUmIoUFPSEmbodiedOcc全标注(11类)53.5545.1511.48POP-3D二值占用35.325.9610.21LegoOcc(ours)二值占用59.5021.0522.47关键发现在同等监督条件下IoU显著超越基线24.18实时性达到22.47FPS满足实时应用需求开放词汇mIoU达到封闭词汇方法的46.6%4.2 细粒度类别分析4.3 实际部署案例在服务机器人场景测试显示对训练未见类别如空气净化器的召回率达63.2%几何误差5cm满足导航避障需求支持自然语言查询找到最近的插座5. 局限性与未来方向当前方法的不足小物体识别对10cm的物体如插座占用预测不完整反射表面镜面/玻璃的几何重建误差较高语言歧义对桌子上的杯子等复合查询支持有限改进方向融合触觉/声音等多模态信号开发增量学习机制适应新词汇探索神经符号结合的解释性推理这项工作的核心价值在于证明了通过巧妙的算法设计可以大幅降低3D理解的数据标注成本同时突破封闭词汇集的限制。这种弱监督开放词汇的技术路线为实际应用中的长尾问题提供了新的解决范式。