这项由韩国科学技术院KAIST人工智能研究生院联合浦项科技大学POSTECH人工智能研究生院、Holiday Robotics以及KRAFTON AI共同完成的研究于2026年发表在IEEE/RSJ国际智能机器人与系统会议IROS 2026上论文编号为arXiv:2606.31329。有兴趣深入了解的读者可通过该编号查询完整论文。机器人有一个很古老的难题就好比你在用电话指挥一个朋友帮你整理房间你说把那个红色杯子放到架子第二层但你朋友戴着特殊眼镜只能看到房间的一张平面地图没有任何高度信息。结果他虽然知道杯子在哪个方向却完全不知道那个架子有多高最终把杯子悬在空中、挂在墙上或者在桌面上乱蹭一通。这个荒唐的困境正是当今绝大多数机器人操作系统每天都在经历的现实。这项来自KAIST的研究就是要从根本上解决这个问题。一、机器人的左手不知道右手在做什么困境要理解这项研究为什么重要先得搞清楚现代机器人操作系统是怎么工作的。目前最先进的机器人操作系统通常分成两层上层负责想清楚要做什么下层负责真正动起来。上层叫做高级规划器通常是一个强大的视觉语言模型——你可以把它理解为一个读过无数书、见过无数图片的超级大脑它能看懂图片、理解语言能告诉机器人你应该先抓那个蓝色小车然后把它放进篮子里。下层叫做低级控制器它负责把上层的指令变成一系列具体的关节运动让机械臂真正动起来。这种分层设计有个重要的好处上层大脑可以用海量的图片、视频、语言数据来训练不需要实际的机器人操作数据泛化能力很强下层控制器则专注于精准执行可以利用深度相机获取的三维点云数据你可以把点云理解为用密密麻麻的空间坐标点描述出来的三维场景地图来精确感知空间。然而问题来了——上层大脑习惯输出的是二维平面坐标就像在照片上画标记一样它会在图片上点出先在这里抓再移动到那里放的路径点。下层控制器却生活在三维世界里它需要知道每个点的精确空间位置包括高度信息。当上层大脑给出的是一张平面地图下层控制器却需要一份立体地形图时中间就必须有人来脑补缺失的高度信息。现有系统的做法是把平面路径点投影到三维空间里方法是查看路径点正下方的场景表面然后把那个表面的深度值赋给这个路径点。这就相当于你要描述一条飞在空中的鸟的飞行路线但却只能把鸟的每个位置都对应到正下方地面的高度——于是原本在空中自由翱翔的轨迹就变成了紧贴地面的爬行路线。研究团队把这个现象叫做涂鸦效应graffiti effect——轨迹像喷漆一样贴在场景表面上无法表达真正的三维运动意图。这种扭曲的轨迹对下层控制器来说是一场噩梦。控制器根本分不清楚这是规划好的运动路径还是这只是场景里某个物体的表面最终导致任务失败。二、让规划器学会感知深度3D HAMSTER的核心思路研究团队提出的解决方案叫做3D HAMSTER三维层级动作模型用于空间轨迹引导它的核心思路简单直接与其让下层控制器去猜测上层规划的真实三维意图不如让上层规划器从一开始就直接输出三维坐标。为了让原本只擅长处理二维信息的视觉语言模型学会输出可靠的三维轨迹研究团队在原有大模型基础上做了三个关键改造就像给一个只会画平面图的建筑师额外配备了一套测距仪和立体视觉训练课程。第一个改造是加入专门的深度编码器。原有的视觉语言模型只接收普通RGB彩色图像而研究团队额外接入了深度相机提供的深度图深度图就是一张记录了每个像素点到相机距离的图像深色代表近浅色代表远或者反之。这个深度编码器会把深度图转化成一组特征向量与彩色图像的特征融合后一起输入给大语言模型主干相当于给规划器额外配备了一双能感知远近的眼睛。第二个改造是引入深度重建损失。仅仅把深度信息喂给模型还不够因为模型输出的是一段文字轨迹坐标序列训练信号过于稀疏——就像你只靠考试成绩来学几何但从来不做作图练习很难真正建立空间感。为此研究团队在训练时强制要求模型的深度特征能够重建出完整的深度图深度特征经过一个轻量级解码器还原出深度图然后与真实深度图对比误差越小越好。这个额外的约束让模型必须保持对场景几何结构的整体理解而不只是记住几个零散的坐标数字。第三个改造是精心设计的两阶段训练流程。第一阶段只训练深度相关的投影模块和解码器让深度特征先学会和原有大模型的视觉语言特征说同一种语言同时不破坏原有模型已经学到的丰富知识。第二阶段再冻住两个编码器用低秩适配技术微调大语言模型主干专门训练轨迹预测能力。这种循序渐进的方式就像先让新员工熟悉公司文化再上岗承担具体任务避免了两套知识体系的互相干扰。整个训练用到的数据分成两大类。第一类是三维能力数据包括真实机器人操作数据集DROID、仿真环境RLBench的数据、大型仿真数据集InternData-M1以及一个空间推理数据集RefSpatial——这些数据都配备了RGB图像和深度图用于训练轨迹预测。为了让模型学会从二维到三维的映射每条轨迹样本都提供了三种监督变体纯二维标注、纯三维标注以及一种先预测二维再推算三维的链式思考格式鼓励模型学会像人类一样分步推理。第二类是能力保留数据只用普通彩色图像包括点定位数据集、室内指向数据集、目标检测数据集和通用问答数据集目的是防止新训练的轨迹预测能力冲掉原有模型宝贵的视觉语言理解能力。三、下层控制器如何接住这份三维礼物上层规划器输出了可靠的三维轨迹后下层控制器如何最好地利用这份信息也是研究的重点。研究团队选择了3DFA三维流匹配动作预测器作为下层骨架。这个控制器的工作原理类似于一种从随机噪声中逐步雕刻出动作序列的过程——给定当前场景的三维点云它通过多次迭代优化最终输出一段连贯的机械臂运动指令。将规划器输出的三维轨迹融入控制器的方式颇具巧思。首先利用相机的内参和外参相当于相机的几何校准参数把轨迹从图像坐标系转换到真实世界坐标系这样轨迹点和场景点云就处于同一个空间坐标系中。然后把这些轨迹点直接追加到场景点云里——就像在三维场景地图上插了几面小旗子清楚标注出机械臂应该依次经过的位置。每个轨迹点还按照时间先后用不同颜色标注让控制器能区分运动的先后顺序。为了让控制器能区分这是轨迹引导点和这是场景物体点研究团队为两类点分别设置了可学习的身份标签。这就像给同一张地图上的路标和建筑物用不同颜色标注地图读者可以立刻区分两者的用途。此外由于控制器在处理时会对点云进行随机降采样删减一部分点来减少计算量研究团队特别设计了保护机制在降采样时轨迹点永远不会被删掉如果需要减少点的数量只删场景点。这确保了引导信号永远不会在计算过程中意外丢失。四、三项考试一一交出答卷研究团队设计了三项独立的测试来全面检验3D HAMSTER的能力每项测试都对应一个实际问题。第一项测试专门评估三维轨迹预测的精准度。研究团队从DROID数据集中挑出148个从未见过的抓取放置任务场景构建了一个叫做DroidSpatial-Bench的测试基准。给定一张RGB-D图像和语言指令模型需要预测出机械臂的抓取点和放置点的三维坐标误差在5厘米以内算通过严格标准误差在10厘米以内算通过宽松标准。测试结果颇为鲜明。Google旗下的Gemini 3.0 Pro在严格标准起点终点都在5厘米内下的通过率只有16.2%Claude的Sonnet-4.6更是只有0.7%GPT-5.2也只有2.7%说明这些顶级商业大模型虽然在语言理解上无所不能但在需要精确深度感知的三维轨迹预测上几乎完全无能为力。开源模型RoboBrain-2.5-8B表现好得多在严格标准下达到了39.2%。而3D HAMSTER在同样的严格标准下达到了41.9%在宽松标准的终点预测上更是达到了82.4%相比RoboBrain-2.5的74.3%有明显提升。终点的精度尤为重要因为把东西准确放到目标位置往往比准确抓起来更难对深度信息的要求也更高。消融实验逐步移除每个模块来测量其贡献清晰地展示了每个组件的价值基础的Qwen3-VL-8B模型在严格标准下通过率几乎为零0.7%加入三维轨迹训练数据后提升到27.7%再加入深度编码器后进一步提升到42.6%最后加入深度重建损失后终点精度在宽松标准下从75.0%提升到82.4%。三个组件各有贡献、缺一不可。第二项测试在仿真环境中进行使用Colosseum基准测试平台。这个平台在RLBench仿真环境基础上额外设计了14种扰动条件包括改变物体颜色纹理、调整光照、更换桌布背景、改变物体大小、移动相机视角等等目的是测试机器人系统在各种意外变化下还能不能正常工作。研究团队选择了11个任务每个任务的每种扰动条件下测试25次记录成功率。在没有任何扰动的标准条件下没有轨迹引导的控制器成功率是53.8%加入二维轨迹引导后反而降到了49.5%——这个结果很能说明问题二维轨迹投影产生的扭曲轨迹不仅没有帮到控制器反而干扰了它。而加入三维轨迹引导后成功率提升到62.9%说明几何准确的引导信号能帮助控制器更好地理解任务。在各类扰动条件下三维引导的优势更加突出。在光照变化条件下三维引导比二维引导高出15.6个百分点在物体颜色纹理变化条件下高出11.3个百分点在背景纹理变化条件下高出8.7个百分点。这些都是改变视觉外观但不改变几何结构的扰动——恰恰是依赖颜色纹理来推断深度的二维规划器最脆弱的地方而三维轨迹因为直接编码了空间坐标不受外观变化影响自然更加稳健。唯一一个三维和二维引导表现相同的条件是所有扰动叠加两者都只有7.2%的成功率。但这仍然远超没有引导的0.8%只是说明当视觉信息被极度破坏时规划器本身就无法正确定位目标引导维度再高也无济于事。第三项测试在真实的Franka Panda机械臂上进行测试了三类任务按按钮需要准确定位三个不同位置的按钮、倒水把杯子里的水倒入碗里需要精准的高度和倾斜控制、抓取放置从多种物体中抓取指定物体放入指定碗里。每类任务还细分了四个泛化维度语言泛化用不常见的表达方式描述任务比如帮我装满那个盛汤的器皿而不是直接说把水倒进碗里、空间泛化用相对位置描述目标或者改变物体高度、视觉泛化改变桌布纹理、添加干扰物、改变光照以及综合泛化以上条件同时叠加。为了更细致地评估研究团队没有简单地用成功或失败来衡量而是把每个任务分成四个阶段每完成一个阶段得25分满分100分。真实机器人测试结果显示3D HAMSTER在三类任务中分别达到了80%、68%和62%的平均得分全面领先二维引导方案分别为60%、45%和46%也领先于同样参与测试的π0.5一个端到端单体视觉语言动作模型分别为74%、41%和40%。π0.5在没有扰动的标准条件下表现很好按钮和抓放任务都达到100%但一旦遇到空间变化或视觉变化就会急剧下滑在空间变化条件下的倒水任务只剩35%抓放任务只剩15%。这印证了一个普遍规律端到端模型往往过度拟合训练时见过的场景外观泛化能力相对较弱。倒水任务是三维引导优势最大的任务整体提升了23个百分点。这是因为倒水需要精确控制杯子在空间中的高度和角度这种几何精度要求正是三维轨迹能直接编码的信息而二维轨迹完全无法表达。五、一张图两种命运研究团队在论文中用真实机器人的执行视频做了一个直观的对比。同样的任务——抓起葡萄放进粉色碗里——二维引导系统给出的轨迹从正面看似乎路径清晰合理但从侧面看就会发现所有轨迹点都贴在场景表面上没有一个点真正悬浮在空中描述出手臂应该走的弧线。下层控制器面对这份涂鸦式引导完全不知道手臂应该抬多高最终任务失败。换成三维引导系统轨迹点在三维空间中清晰地悬浮在场景上方描述出一条优雅的拾取弧线控制器精准跟踪顺利完成任务。这个对比揭示了问题的本质规划器的意图和控制器的行动空间必须说同一种语言。规划器想说手臂应该从这里提起来走一段弧线放到那里但二维语言只能说在图片的这个位置到图片的那个位置深度信息在翻译过程中丢失了。三维语言则能完整传达在空间的这个坐标经过这些坐标到达那个坐标信息完整执行无误。六、局限与未来研究团队对这项工作的局限性保持了清醒的认识。目前的系统需要外部RGB-D相机提供深度图如果能改用单目深度估计只用普通相机推算深度就能消除对特殊硬件的依赖。此外规划器目前只能看一个视角的图像在杂乱场景或严重遮挡的情况下会丢失信息未来整合多视角融合会让系统更稳健。最后目前所有测试都局限在桌面单臂操作任务是否能推广到移动机器人或双臂协作等更复杂场景还有待验证。说到底这项研究揭示的道理其实并不复杂当系统的两个部分说的是不同的语言再强大的个体能力也会在沟通损耗中打折扣。机器人的上层规划和下层控制本质上是两个需要精密协作的团队他们共享的工作空间是三维的那么传递给彼此的信息也应当是三维的。这听起来像是理所当然的常识但真正在工程上把它实现并验证其价值却需要精心设计的架构、数据和训练方案。对于普通人而言这项研究的影响可能在几年后才会以具体产品的形式出现——家用服务机器人能更准确地帮你倒一杯茶工业机器人能更可靠地在复杂光照下操作零件医疗辅助机器人能更精确地执行需要深度感知的动作。每一个场景背后都是规划与执行之间那个曾经缺失的三维桥梁被重新建立起来。感兴趣深入研究的读者可通过arXiv编号2606.31329查询完整论文。QAQ13D HAMSTER中的涂鸦效应是什么意思为什么会导致机器人任务失败A涂鸦效应指的是当二维规划器输出的平面轨迹被强行投影到三维空间时每个轨迹点会被分配到它正下方场景表面的深度值导致整条轨迹贴着场景表面延伸就像在场景上喷涂图案一样。这种轨迹无法表达手臂需要在空中走弧线的意图下层控制器也分不清这是引导路径还是场景几何最终执行出错。Q23D HAMSTER的深度重建损失有什么作用不加它会怎样A深度重建损失的作用是迫使模型的深度特征保持对整个场景几何结构的理解而不仅仅记住几个稀疏的轨迹坐标点。不加它时模型只靠轨迹坐标的监督信号来学习梯度信号稀疏深度特征在训练过程中容易退化。加入深度重建损失后终点预测在10厘米宽松标准下从75.0%提升到82.4%对长轨迹序列末端的深度漂移有明显的纠正作用。Q3为什么π0.5这样的端到端模型在标准条件下表现很好但遇到视觉变化就会大幅下降A端到端模型把规划和执行融合在同一个网络里整体在训练数据的场景外观上优化因此非常擅长重现训练时见过的情况。但一旦光照、纹理或物体摆放发生变化网络依赖的视觉特征发生偏移性能就会急剧下降。而分层框架把语义理解和运动执行分开规划器用大量多样化数据训练具备更好的泛化能力三维轨迹又以空间坐标编码意图、不依赖外观因此对视觉变化更加鲁棒。