26年7月来自UC Berkeley、Nvidia公司、CMU和Bosch公司的论文“GaP: A Graph-as-Policy Multi-Agent Self-Learning Harness For Variational Automation (VA) Tasks”。为了让机器人在商业和工业应用中可靠运行基于智体agentic编程系统的最新进展能否将“可解释的机器人编程”与“无模型策略model-free policies在开放世界中的适应性”结合起来关注的是“变异自动化”Variational Automation简称 VA任务这类任务涉及的物体几何形状和位姿变化远大于固定自动化任务。无模型策略往往难以满足 VA 任务对可靠性的高要求而这些任务在商业和工业应用中必须持续、可靠地执行。受以往关于任务与运动规划TAMP及机器人操作系统ROS研究的启发其提出 Graph-as-Policy (GaP)——一种多智体编程框架。该框架利用模块化开放机器人技能库MORSL生成包含感知、规划和控制节点的有向计算图。随后GaP 构建内部仿真环境并行测试不同计算图对应的任务实例并迭代优化图结构与参数从而提升任务成功率和吞吐量。针对 8 个新的开放式 VA 任务基准包括 4 个仿真任务和 4 个现实世界任务进行的评估表明GaP 能够实现显著优于基准方法的成功率。机器人学习领域的大部分研究都聚焦于通才机器人generalist robotics即要求机器人执行多种多样的任务。这些研究大多集中在无模型model-free的端到端“视觉-语言-动作”VLA模型上 [4, 5, 6, 7, 8, 9]。然而完全通用的机器人难以达到商业或工业级的可靠性 [10]因此人们越来越关注机器人学习如何应用于更专业的任务类别 [11]。在本文中定义一类“变异自动化Variational Automation简称 VA”任务它们不同于“固定自动化FA”即盲目重复相同动作的任务如点焊或喷漆。在 VA 任务中机器人需要持续执行同一任务的不同实例而这些实例在物体几何形状和位姿方面存在显著差异例如分拣包裹、在咖啡馆冲泡咖啡或在商业厨房制作三明治。目前在物流、服务、农业和制造业领域固定自动化系统的设置与调试均由人类采用严谨的经典工程方法完成 [12, 13, 14, 15]。这种方式提供了高可靠性和高吞吐量且投入的人力成本可以通过长期的重复性作业得到合理分摊。相比之下若要确保 VA 任务实现可靠运行则需要投入更多的人力来进行设置与调试。大语言模型LLM[16, 17, 18] 和视觉-语言模型VLM[19, 20, 21, 22, 23] 的最新进展正在迅速提升智体编程agentic coding[24]、语义推理 [25] 和零样本泛化 [26] 的能力。面向机器人的智体编程有望整合基于模型model-based和无模型model-free的范式从而快速生成既可解释又可靠的机器人控制系统。尽管智体编程是一个新兴且发展迅速的领域但它仍容易出现“幻觉”和违反约束的情况。因此开发有效的方法来“引导”编程智体生成预期输出便成一项主要挑战。编程智体的控制通常依赖于一种“驾驭harness”——即作为提示词prompt提供给智体的一段文本其中描述可用的软件资源、约束条件及性能指标 [27]。该驾驭还提供相应的接口支持大语言模型LLM编译、执行并管理“生成-执行-观测-评估”的循环流程。早在2022年关于“代码即策略”Code-as-Policy简称CaP的一系列论文 [28, 29] 就已探索将LLM编码智体应用于机器人领域的可行性。自那时起得益于在日益庞大的代码数据集上的训练通用编码智体的能力已大幅提升。近期的CaP-X论文 [30] 提供一套开放的CaP基准测试、智体及相关成果展示了基于截至2026年1月时最先进SOTA编码智体所取得的令人振奋的成效。上述单智体CaP方法往往缺乏结构化约束导致编码智体生成自由格式的Python代码。面对复杂任务时上下文窗口可能会变得过大使得智体难以遵循约束条件并生成可靠的代码。此外单个智体容易产生“幻觉”或出现“作弊”行为例如捏造不存在的技能或设定无关紧要的成功指标从而人为地“解决”机器人编码任务。当采用多个智体并行工作的多智体编码系统时这些挑战会进一步加剧。为解决这些问题本文提出“图即策略”Graph-as-Policy简称GaP这一框架结构。该结构将模块化的机器人功能封装为有向图中的独立“节点”并由分层多智体系统进行管理从而可以将各个节点的优化任务分配给特定的智体。这种结构有助于限制每个智体的上下文窗口大小并将图元素的生成与测试过程分离开来从而降低单个编码智体为达成目标而采取“作弊”手段的动机。GaP 的设计部​​分灵感源自机器人任务与运动规划TAMP系统 [31, 32, 33]利用图分层结构确保安全性以及基于计算图结构的机器人操作系统ROS[1]。图形模型支持非机器人及机器人应用中功能的模块化、复用与组合。在 GaP 中机器人策略表现为由原子级“技能”节点构成的计算图这些节点涵盖了获取相机帧、运行感知模型推理或规划并执行运动轨迹等操作。针对给定的 VA任务描述GaP 首先启动一个编排智体Orchestration Agent将 VA 任务划分为若干功能片段并指示相应的技能智体Skill Agents为各自负责的片段合成由原子节点构成的局部功能子图。随后编排器将这些子图聚合并连接形成一个可执行的计算图。接着GaP 启动一个多智体自学习框架协调大语言模型LLM和视觉-语言模型VLM智体针对采样的任务实例在循环中自主生成、仿真并评估机器人计算图旨在提升成功率与吞吐量的加权组合指标直至该指标达到平台期。最终生成的计算图被发送至基于边缘计算的图解释器以便在机器人上进行重复执行。为了评估 GaP提出 8 个新的开源 VA 基准测试。前 6 个任务主要参考常见的商业应用场景包括 (I-a,b) 杂货订单履行、(II-a,b) 杂货打包以及 (III-a,b) 制作爆米花其中 a 为仿真环境b 为真实环境。这 6 个任务使用了常见的厨房物品以及 LIBERO [34] 基准测试中的一款 Franka 机械臂。另外两个 VA 基准测试则参考了数据中心和工业应用场景分别 (IV) 插入 USB-C 线缆和 (V) 清洗周转箱。实验结果表明GaP 能够实现高成功率显著优于包括 π0.5 [8] 和 MolmoAct2 [7] 在内的基线方法。在固定自动化FA中机器人针对几何形状相同的物体持续执行完全相同的任务操作。以堆叠箱子为例FA 涉及将形状相同的箱子从传送带上的统一初始位姿移动到托盘上的固定排列位置在此过程中环境、物体形状及位姿的变化极小。相比之下通才机器人GR需要在不同的家庭环境中执行多种多样的任务例如将杂货放入冰箱、进行家居清洁、衣物折叠或厨房内的抓取与放置操作这些环境各不相同且涉及的物体在几何形状和初始位姿上都存在显著差异。近期的机器人学习研究主要聚焦于高度非结构化的通才机器人GR场景例如利用单一通用的无模型 VLA 策略让家用机器人在全新的环境中执行各种家务任务 [35, 36, 4, 5, 8]。早期的机器人系统利用经典的模块化组件来编写控制策略。20世纪60年代末的Shakey机器人[37]将其架构分解为感知、规划和执行这三个功能组件[38]。诸如机器人操作系统ROS[1]之类的系统架构利用显式有向图来路由数据、管理依赖关系并确保可靠执行。与此同时TAMP [31, 32] 方法联合求解离散任务规划和连续运动规划问题从而能够满足涉及高层动作序列和底层几何可行性的约束条件。“代码即策略”CaP利用智体编写机器人控制代码为基于模型的方法的手动编码以及无模型策略的纯端到端学习提供了一种替代方案[28]。CaP-X [30]、GRAPPA [39] 和 Maestro [40] 等扩展方案利用较新的大语言模型LLM来生成机器人代码。类似地TiPToP [33] 等系统将大语言模型与经典的机器人TAMP [41, 42, 43, 44] 结合起来。CaP是基于模型方法的手动编码及无模型策略纯端到端学习的一种替代方案[28]ALGARA [45] 和 CodeDiffuser [46] 则利用大语言模型进行开放词汇脚本生成以产生机器人代码。GaP 通过引入图结构来调节 CaP 方法的灵活性使其既能利用预训练大语言模型编码智体在开放世界中的适应能力又能保持结构化且可解释的图结构从而支持持久变异自动化Persistent Variational Automation。在机器人领域之外大语言模型LLM已在动态编程、复杂软件集成及 API 编排等方面展现出卓越能力 [47, 16, 48, 49, 50, 51]。通过将这些能力融入结构化的智体agentic工作流中LLM 能够针对开放式任务自主构建解决方案 [52]。一个典型的例子是 Voyager [53]它利用 LLM 迭代式地编写、优化并执行Minecraft游戏技能从而不断扩充一个包含可复用技能的精选库。在此类框架中“技能”通常被定义为具有严格语义契约的独立函数。近期研究开始探索通过基于语言的故障推理 [54] 以及多智体提示词优化框架 [55, 56] 来实现智体系统的迭代优化。为了提升代码生成的质量与性能CaP-X [30] 引入视觉-语言模型VLM在代码执行前后提供反馈即“视觉差异分析”然而VLM 存在产生“幻觉”的风险且难以处理诸如运动可行性等几何与数值信息。GaP 借鉴 Blox-Net [57] 的架构——后者利用物理实验来改进由 LLM 生成的任务规划——并采用多个 LLM 智体来构建机器人计算图进而通过仿真实验对其进行迭代优化。变异自动化Variational Automation, VA假设对于将在较长时间内重复执行的自动化任务假设工作单元环境、机器人及传感器均已知且固定。此外假设潜物体及其初始位姿的范围也是已知的。这些假设构成 VA 设定的一部分而非预先给定的“神谕”信息oracle information与通才机器人技术不同VA 任务由已知的工作单元和有限的操作范围定义这使得系统能够在可用时利用物体模型、已标定的传感器以及可复用的自动化技能。变异自动化任务类别用元组 T L, E, R, O, X, B, J 来形式化定义变异自动化VA任务• L语言空间描述期望任务行为的自然语言指令和语义描述符为将任务分解为若干片段提供高层上下文信息。• E已知静止工作空间环境例如工作单元它确立世界坐标系 W 和占用图 M_E并提供支撑表面将所有实体的可行位姿空间约束在 SE(3) 的无碰撞子集中。• R机器人与传感器配置指定机器人的 URDF 模型、关节限位、末端执行器夹爪配置、相机规格及相机安装位置。• O物体集合任务中所有可能物体的集合包含具有 3D 模型 M_i 的刚体 {o_i}以及具有预定义运动学关节限位 [theta_min, theta_max] 的关节型实体 {kappa_j}例如抽屉、旋钮。• X状态空间由机器人关节配置、所有刚体的 SE(3) 位姿以及关节型实体运动学状态构成的积空间X C_robot X SE(3)nX Rm。• B信念空间描述任务实例中物体及其位姿的分布情况。具体实例通过采样 x_i p(x | X) 获得其中引入了多种变体例如(i) 结构化先验Structured Priors位置在体积 V 内均匀采样x_i Uniform(V)及方向范围设定(ii) 经验分布Empirical Distributions基于真实世界演示或感知结果如点云配准估计出的多模态分布。• J奖励函数一种用于评估成功与效率的多目标奖励函数定义为J w_s · I(success) w_t · Φ其中 I(·) 为成功指示函数Φ 为吞吐量成功率/周期时间w_s 和 w_t 为权重因子。给定任务 T从 O 和 B 中分别抽取任务实例 τ_i ⟨o_i , x_i ⟩。通过有向执行图表示策略GaP将机器人策略 π(a | x, T ) 表示为有向计算图 G (V, E)以完成所有任务实例 ∀τ_i ⟨o_i ⊆ O, x_i ∼ B⟩ ∈ T。图 G 由称为“节点”的模块化原子功能单元构成这些节点通过边连接边规定数据流向和执行逻辑。各组件定义如下节点 (V)每个节点 n ∈ V 代表一个用于操作、感知的功能原语或一段可执行代码。每个节点封装一个定义明确的单一机器人操作并具有带类型的输入/输出签名。节点可组合成“技能”skills这是一种自然语言规范用于指导大语言模型 (LLM) 智体如何针对特定子任务在执行图上配置并组合一组原子节点。边 (E)有向边 e (n_i, n_j) ∈ E 表示数据或逻辑依赖关系。数据边将生产者节点的输出传输至消费者节点的输入例如将物体居中节点的输出输入到平面定向节点并通过依赖关系隐式确定执行顺序相互独立的分支可并行执行。控制边属于条件分支并携带针对节点输出的谓词条件。问题定义给定任务类 T ⟨L, E, R, O, X, B, J ⟩GaP 旨在合成一个稳健的执行图 G∗使其能够泛化适用于整个信念空间 B。形式化地对于任意任务实例 τ_i ∈ T在给定实时场景观测 I包含来自静态相机和腕部相机的多视图图像集的情况下图执行器通过调用技能节点并遵循数据边与控制边来解析计算图 G∗。这种执行过程产生了一种闭环机器人策略 π_G(a | I)该策略将观测信息与图状态映射为机器人动作以实现 L 所指定的目标状态。将优化后的图 G∗ 定义为在变分任务类中的所有实例上实现性能最大化的图G∗ arg maxG E_x_i∼B [J (π(a | I, G))]。随后该优化后的图被发送至基于边的解释器以便在机器人上进行重复执行。如图1 所示GaP 系统架构。针对“变异自动化VA”任务规范GaP 利用多智体框架驱动 Claude 和 Gemini 等编程工具自动生成包含“技能”节点的计算图这些技能节点源自模块化开放机器人技能库MORSL涵盖基于模型的程序如 ROS [1]和无模型策略如 GraspGen [2]。随后GaP 利用仿真环境如 NVIDIA Isaac [3]协调自学习过程对计算图进行迭代优化优化后的计算图可在边缘设备上脱离智体独立运行从而实现长期的持续执行。下方展示 8 个变异自动化基准测试任务4 个仿真任务与 4 个真实场景任务。1 模块化开放机器人技能库 (MORSL)MORSL 库采用智体工具使用规范例如 Anthropic 的 Skill.md [58]并针对图graph声明进行扩展。每项技能都声明其输入、输出、语义参数和前置条件从而使智体能够决定何时调用该技能以及如何将其集成到图结构中。MORSL 初始包含的 51 项技能涵盖以下类别感知SAM2 [59]/3 [60]、Grounding DINO [61]、OWL-ViT [62]、Molmo [63]、通用 VLM [21, 64]共 15 项技能、抓取规划Contact GraspNet [65]、GraspGen [2]、M2T2 [66]共 5 项技能、运动规划cuRobo [67] 和 cuRobov2 [68]共 8 项技能、基于 NumPy 和 OpenCV 的二维及三维视觉工具例如用于点云处理的 DBSCAN共 15 项技能以及 8 项额外的验证与控制原语包括() 基于 CuRobo 的笛卡尔空间线性运动规划() 机器人操作系统 (ROS) 转换器(*) 视觉运动交互感知策略。2 通过内部模拟演练进行自学习为了利用任务实例迭代优化图结构系统执行计算图、提供反馈、更新图结构并重复上述过程。如自学习算法 1 所述GaP 利用 Isaac 仿真器 [3] 作为内部模拟环境用于渲染感知节点的可视化效果、进行物理仿真以及计算接触情况。为了生成反馈GaP 会记录每个演练节点前后的机器人与物体状态计算其差异并推断运动结果。优化过程始于任务实例采样系统生成 N 个并行任务实例 {τ_i}这些实例通过从置信空间 B 中采样生成该空间表示工作空间 E 内潜物体位姿、初始状态及运动学配置的概率分布。GaP 通过多智体协作机制生成初始图 G_0。随后系统在 N 个场景中并行开展演练以评估图结构的性能。若演练未能达到成功标准GaP 会分析物理执行数据从而定位占用空间或关节实体中的几何层面根本原因。智体通过“图更新”操作修改图结构例如交换功能等效的节点、调整边、更新代码参数等并不断迭代直至系统性能达到瓶颈或因特定原因终止运行。1 仿真与现实环境中的变异自动化VA基准测试提出8项VA基准测试任务包括4项仿真任务和4项现实世界任务。其中6项任务的设计灵感源自LIBERO [34]——这是目前评估仿真环境下VLA视觉-语言-动作策略的事实标准。基准测试 (I-a,b)完成杂货订单仿真与现实。该任务的每个实例都要求定位指定的物品并将其放入篮子中。原始的LIBERO [34]基准测试并未改变物品的位置这可能导致模型对演示样本产生过拟合。为了解决这一问题LIBERO-Pro [69]评估套件在测试阶段交换目标物品和篮子的位置即“物品交换”。为VA基准测试引入四种扩展变体1) X-Y 20×20 cm²每个物品的位置在以原始LIBERO物品位姿为中心的20×20 cm²区域内均匀变化2) 篮子交换basket swap交换目标物品和篮子的位置3) 排列交换permutation交换目标物品和干扰物品的位置以及4混合模式mixed all涵盖上述所有三种变化类型。物理环境下的基准测试直接复刻了这一设置。为避免在生成任务实例时发生物品碰撞利用闵可夫斯基总和Minkowski sum[70]运算来确保物品彼此分离。该基准测试的现实版本使用了配备腕部摄像头的Franka机械臂以及来自杂货店的真实物品。基准测试 (II-a,b)打包杂货物品仿真与现实。在基准测试I-a,b的基础上进行修改创建多物品抓取与放置任务类似于杂货店结账场景机器人需将6件物品装入容器而无需识别或挑选特定物品。将成功率定义为在6次抓取尝试后成功放入篮子的物品数量总计6件。基准测试 (III-a,b)制作爆米花仿真与现实。利用LIBERO中的平底锅、炉灶和旋钮资产创建一项操作任务要求机器人按顺序执行以下动作打开炉灶、抓取锅柄、将锅放置在炉灶上、移走平底锅最后关闭炉灶。对于该基准测试的真实场景版本用配备腕部摄像头的 Franka 机械臂、购自亚马逊的便携式炉灶以及 Jiffy-Pop 爆米花。基准测试 (IV)插入线缆真实场景。该任务要求使用配备 ZED Mini 腕部摄像头的 UR5 机械臂在一排 6 个插口中执行一系列 USB-C 线缆的插入与拔出操作。当目标端口超出摄像头的视野范围时机器人利用内部力/力矩反馈来探测插入位置。该基准测试包含两种变化条件。首先改变线缆端口的位姿测试三种距离以 5 厘米为增量和三种角度以 15° 为增量。其次改变文本指令以指定五种不同的目标针对单个端口、按升序插入、按降序插入、针对奇数索引端口以及针对偶数索引端口。基准测试 (V)清洗周转箱仿真场景。该仿真基准测试模拟真实的工业周转箱清洗场景两台 Franka 机械臂需协作抓取周转箱侧面的狭窄缝隙将其从堆叠中提起、翻转并放置到清洗机台面上。每个测试实例都会改变周转箱的初始位姿包括最大 ±15° 的偏航角yaw旋转和最大 ±2.5 厘米的水平位移。该基准测试提供如下语言指令“用两台 Franka 机械臂协作将堆叠中最上方的周转箱提起、翻转并放置到清洗机台面上”见图 5所示。2 基线方法如表1中的每个单元格代表针对基准测试 I-a 和 II-a在仿真环境中各100个任务实例进行试验的结果总计超过5000次仿真试验。运行 CaP-X [30]该方法使用单个智体且仅接收初始任务实例的图像及自然语言指令。需指出的是这并非完全公平的比较因为 GaP 专为环境几何结构已知但物体位置未知的“变异自动化”Variational Automation场景设计因此CaP-X 的表现可视为 GaP 在仅使用单个智体且不进行自学习情况下的消融实验结果。评估VLA 模型 π0.5 [8] 和 MolmoAct2 [7]使用的是在 LIBERO 训练集上微调过的官方检查点checkpoints。此外还评估 TipTop [33]这是一个基于 TAMP 的模块化开放词汇机器人操作规划系统。根据 GitHub 上的代码对其进行配置采用 cuTAMP [71] 的默认设置128个粒子并将规划超时时间设定为60秒。在测量执行时间之前会先预热 cuTAMP 缓存。表中的第5行和第6行展示了 GaP 与 VLA 模型的组合方案其中 GaP 负责生成初始机器人动作将腕部相机对准目标物体中心从而使 VLA 的输入处于其分布范围内。对于 GaP 和 CaP-X用 Gemini-3.1-Flash-Lite 作为 LLM 智体和 VLM并将温度参数temperature设为0.1。针对基准测试 I 和 IIGaP 未进行自学习因为其生成的第一个图graph已能实现高性能表现。“制作爆米花”任务要求机器人抓取炉灶旋钮并旋转以点燃炉火随后找到并拿起 JiffyPop 爆米花锅的把手将其放置在炉灶上等待烹饪完成最后关闭炉灶。GaP 利用 GraspGen [2]、旋钮旋转技能以及来自基准测试 1 和 2 的其他物体定位与抓取技能来构建图模型。初始图模型能够操作旋钮开关但无法正确抓取和放置锅具成功率仅为 33%。自学习过程显著提高成功率。如图 2 所示自学习分为三个阶段(1) 在第 1 至 3 次迭代中大部分失败源于抓取锅具失败模拟器反馈显示 Franka 机械臂末端夹爪未接触到锅具因此 GaP 将原有的 GraspGen 抓取技能替换为一种融合 GraspGen 与“有向边框OBB抓取规划器”的混合技能。(2) 在第 4 次迭代中GaP 识别出应抓取锅具把手进而调整感知算法的提示信息以便定位锅具把手。(3) 在第 4 至 8 次迭代中由于抓取策略发生变化GaP 微调锅具放置的偏移量以确保锅具与炉灶表面对齐。注平移姿态的变化左图驱动包含 10 次迭代的序列图更新蓝色曲线对应左侧坐标轴迭代阶段根据编辑类别进行底色标注。如图 3所示七端口的插入线缆实验设置插入线缆实验中的GaP示例如图 4 所示。左图使用传统 ROS 节点和话题手动构建的 ROS 计算图。中图GaP 能够利用 ROS 中的节点并结合“对齐端口”、“接触端口”、“插入”和“拔出”等原子技能集生成兼容的计算图。右图GaP 还能在子图中组合使用这些节点以执行长程任务例如将线缆插入偶数编号的端口。