1. 项目概述为什么我们需要HATS这样的系统在机器人研究领域尤其是涉及复杂操作任务比如装配、分拣、甚至是未来的家庭服务时获取高质量、大规模的真实世界操作数据一直是个老大难问题。传统的机器人编程方式无论是示教再现还是基于规则的代码在面对“从一堆杂物中找出并拿起一个特定零件”这类看似简单的任务时往往显得笨拙且脆弱。环境稍有变化比如光照不同、物体位置偏移机器人就可能“罢工”。近年来模仿学习Imitation Learning和强化学习Reinforcement Learning为机器人带来了新的希望但它们的“食量”惊人——需要海量的、多样化的交互数据来“喂养”模型。这些数据从哪里来让机器人在真实环境中自己“瞎摸索”收集数据成本高、效率低还可能损坏设备和自身。于是遥操作Teleoperation成为了一个关键的桥梁由人类操作员远程控制机器人执行任务同时记录下所有的传感器数据图像、关节角度、力反馈等和操作指令形成一个高质量的数据集。这个数据集可以用来训练机器人“看”和“动”的模型。然而当任务升级到需要多机械臂协同时——想象一下双手配合拧开瓶盖或者一手固定工件一手进行精细操作——传统的单臂遥操作方案就捉襟见肘了。一个操作员如何同时、协调地控制两个甚至更多个机械臂直接为每个机械臂配一个操作员显然不现实。这就是“HATS: A Human-Agent Teleoperation System for Multi-Arm Data Collection”这个项目要解决的核心痛点。它不是一个简单的控制手柄映射而是一套旨在高效采集多臂协同操作数据的系统级解决方案。简单来说HATS的目标是让一个人类操作员能够相对轻松且高效地指挥多个机械臂完成复杂的双手/多手协同任务并在这个过程中自动化、结构化地记录下一切用于后续机器学习的数据。这相当于为机器人研究者提供了一个功能强大的“数据采集工作站”。2. 系统核心设计思路与架构拆解HATS系统的设计哲学可以概括为“人类高层指挥智能体底层协同”。它并没有试图让人类去微观管理每一个机械臂的每一个关节那会带来巨大的认知负荷。相反它将任务进行了分层。2.1 “主从”模式与角色分配在典型的双臂场景下HATS通常会采用一种非对称的主从控制架构。操作员直接、精细地控制其中一个机械臂我们称之为“主臂”或“领导臂”这个臂的每一个动作都通过操作设备如力反馈手柄、VR控制器实时映射。而被指定的“从臂”或“跟随臂”则并非完全由人类直接控制。这里的关键创新在于“从臂”的行为模式。它并非简单地镜像“主臂”的动作而是由一个本地的智能体Agent来控制。这个智能体接收来自人类操作员的高层指令和当前的环境状态如来自摄像头的视觉信息、主臂的末端位置等然后自主生成协调动作。注意这里的“智能体”在数据收集阶段可能并非一个训练好的复杂AI模型而更多是一套基于规则、优化算法或简单学习策略的控制器。它的首要目标是实现与主臂的“协同”而非完全自主完成任务。高层指令可以是非常直观的例如模式切换命令操作员按下一个按钮将当前任务模式从“独立探索”切换到“协同抓取”。空间关系指定通过语音或简易菜单告诉系统“从臂移动到主臂左侧10厘米处并保持末端姿态平行。”目标对象指定用激光笔或视觉框选指出“从臂去抓取那个红色的方块”。这种设计极大地降低了人类操作员的负担。操作员只需要专注于主导任务的推进用主臂进行关键操作同时以“指挥官”的身份间歇性地向从臂智能体发布宏观指令而不必分心去微操另一个机械臂的轨迹。2.2 数据流水线的精心设计HATS的另一个核心是它的数据记录系统。它要记录的远不止“主臂的关节角度”那么简单。一个高质量的多臂协同数据集必须包含多模态、同步且对齐的数据流。HATS的数据流水线通常包含以下层次原始传感器流这是数据的基石。包括视觉多个视角的RGB图像、深度图像RGB-D。摄像头通常以全局固定视角和机械臂腕部视角Eye-in-Hand相结合的方式布置。本体感知所有机械臂的关节编码器数据位置、速度、力矩。触觉/力觉如果机械臂末端配备力/力矩传感器或触觉传感器这些数据至关重要尤其对于接触丰富的操作。音频有时也会记录操作过程中的声音用于识别接触事件如放置、碰撞。操作指令流人类原始输入操作员手柄的位姿、按钮事件、油门/扳机值。高层指令标签系统记录下操作员发出的所有模式切换、目标指定等高层指令及其时间戳。智能体动作从臂智能体每一步所计算并执行的动作目标位姿、关节角速度等。状态与注释流系统状态任务阶段如“伸手”、“抓取”、“搬运”、“放置”、当前协同模式。自动标注利用已知的环境模型如果存在或实时感知自动为图像中的机械臂末端、目标物体生成边界框或关键点标注。事件标记自动检测并标记重要事件的发生时间如“抓取成功”、“物体掉落”、“双臂接触建立”。所有这些数据流都以严格同步的时间戳记录在一起。通常使用像ROS机器人操作系统这样的中间件来管理消息的同步和录制使用rosbag工具。数据存储格式也经过精心设计便于后续的索引和读取例如采用TFRecord、HDF5或自定义的二进制格式并附带清晰的元数据描述文件。3. 关键技术与实操要点解析实现HATS系统需要攻克几个技术难点每一个都直接影响到数据采集的效率和最终数据集的质量。3.1 低延迟、高保真的主臂控制映射操作员对主臂的控制体验必须“跟手”延迟要尽可能低理想情况低于50毫秒否则会导致操作困难、容易疲劳甚至引发晕动症。这涉及到硬件选型使用专为机器人遥操作设计的力反馈设备如Haption的臂式设备、Force Dimension的Delta设备或高精度、低延迟的VR控制器如Valve Index控制器。它们能提供更高的位姿精度和可能的力反馈。运动学映射将操作员手柄在三维空间中的运动映射到机械臂末端执行器End-Effector的位姿位置和姿态。这里需要处理比例缩放手柄的小范围运动对应机械臂的大范围运动、坐标系对齐等问题。常用的方法是直接位置映射或速率控制。直接位置映射手柄的位姿直接对应机械臂末端的位姿。简单直观但操作空间受限于手柄物理工作空间。速率控制手柄的偏移量或扳机深度控制机械臂末端沿某个方向运动的速度。可以控制很大的工作空间但不如直接映射直观。抖动滤波与运动平滑人手存在不可避免的微小抖动。需要在控制指令中加入适当的滤波如低通滤波器、卡尔曼滤波器使机械臂运动平滑同时又不引入过大延迟。实操心得在初期调试时务必先让机械臂在“空载”不执行任务状态下运动让操作员感受映射关系和延迟。可以设计一个“跟踪虚拟目标”的小测试来量化控制精度和延迟。安全永远是第一位的务必设置严格的位置、速度和力限制并配备急停开关。3.2 从臂智能体的协同策略设计这是HATS系统的“智能”核心。从臂智能体需要根据高层指令和环境状态生成与主臂协调的动作。以下是一些常见的策略基于相对位姿的跟踪这是最基础也最常用的策略。当进入“协同搬运”模式时智能体控制从臂末端使其与主臂末端保持一个固定的相对位姿比如相对位置[0.1, 0, 0]米姿态相同。这个相对位姿可以由操作员在任务开始时指定也可以由系统根据被抓物体尺寸预定义。基于视觉伺服Visual Servoing的辅助例如在“协同抓取不规则物体”时操作员控制主臂靠近物体的一侧。从臂智能体则通过腕部摄像头自动识别物体的另一侧或特定特征点并控制自身末端运动到合适的抓取位置与主臂形成对握姿态。基于优化算法的避碰与姿态优化在双臂同时运动时智能体需要实时计算轨迹确保双臂不自碰也不与环境碰撞。这可以通过实时运动规划RRT、MPC或基于优化如二次规划QP的控制器来实现将“与主臂保持相对关系”作为优化目标之一将“避免碰撞”作为约束条件。简单的学习策略在数据采集过程中也可以让从臂智能体尝试一些简单的探索性动作在保证安全的前提下并记录下这些动作及其结果。这些数据可以用于后续训练更高级的协同策略。参数配置示例基于相对位姿跟踪策略# 协同模式配置 coordination_modes: parallel_grasp: relative_position: [0.15, 0.0, 0.0] # 从臂末端相对于主臂末端的偏移 (x, y, z) 米 relative_orientation: [1.0, 0.0, 0.0, 0.0] # 四元数表示姿态相同 stiffness: [800, 800, 800, 50, 50, 50] # 笛卡尔空间刚度 (x,y,z, rx,ry,rz) damping: [40, 40, 40, 5, 5, 5] # 笛卡尔空间阻尼 tool_handover: relative_position: [0.0, 0.1, 0.05] # ... 其他参数这个配置定义了一个叫parallel_grasp平行抓取的协同模式。当操作员激活此模式从臂智能体会尝试控制自己的末端使其相对于主臂末端保持在[0.15, 0, 0]的位置即主臂右侧15厘米并保持相同姿态。stiffness和damping参数决定了智能体维持这个相对位姿的“刚度”和“阻尼”影响运动的柔顺性和抗干扰能力。3.3 多模态数据同步与存储实战数据同步是后期处理时的“生命线”。不同步的数据几乎无法使用。在实践中ROS1的/clock话题在仿真中或硬件时间戳是常用的同步基准。推荐的数据记录方案使用ROS Bag这是最快捷的原型方案。使用rosbag record命令录制所有相关话题。优点是简单与ROS生态无缝集成。缺点是大规模数据时bag文件可能臃肿索引和随机读取慢。自定义记录器为了追求更高的效率和更友好的数据格式可以开发一个自定义的记录节点。这个节点订阅所有需要记录的ROS话题。为每个到达的消息打上高精度的接收时间戳或使用消息自带的时间戳。将数据写入高效的结构化文件中如HDF5。HDF5支持在单个文件中组织多个数据集dataset每个数据集对应一个数据流如/camera/color/image_raw并可以存储属性如相机内参。同时生成一个索引文件如JSON或CSV记录每个数据流的起始时间、结束时间、帧率、存储路径等元数据。一个简化的HDF5数据组织示例/根组 ├── metadata (属性) │ ├── experiment_id exp_20231027_001 │ ├── operator Alice │ ├── task_description Dual-arm box palletizing │ └── ... ├── streams │ ├── camera_top 组 │ │ ├── rgb 数据集形状为 [N, H, W, 3] 的uint8数组 │ │ ├── depth 数据集形状为 [N, H, W] 的uint16数组 │ │ └── timestamps 数据集形状为 [N] 的float64数组Unix时间戳 │ ├── arm_left 组 │ │ ├── joint_states 数据集形状为 [N, 7] 的float64数组 │ │ ├── wrench 数据集形状为 [N, 6] 的float64数组力/力矩 │ │ └── timestamps │ ├── arm_right 组 │ │ └── ... 类似结构 │ ├── command 组 │ │ ├── haptic_pose 数据集操作手柄位姿 │ │ ├── mode_changes 数据集记录模式切换事件和时间 │ │ └── timestamps │ └── annotations 组 │ ├── bbox 数据集自动生成的物体边界框 │ └── phase 数据集任务阶段标签这种结构非常清晰便于后续用Pythonh5py库或其他工具进行高效的数据加载和切片操作。4. 系统搭建与集成实操指南搭建一套可用的HATS系统需要软硬件协同工作。以下是一个典型的搭建流程和关键环节。4.1 硬件平台选型与集成硬件是系统的骨架选择时需要权衡性能、成本和易用性。组件选项与考量推荐/备注机械臂协作机器人UR, Franka Emika vs 工业机器人ABB, KUKA协作机器人是首选。它们天生具备力感知、易于编程、安全性高适合与人或环境近距离交互。Franka Emika的关节扭矩控制精度高非常适合需要柔顺控制的场景。操作设备力反馈设备Haption, Force Dimension vs VR控制器Valve Index, Oculus Touch追求极致操控感选专业力反馈设备它们能提供真实的力觉。追求性价比和易用性选高端VR控制器它们精度足够用于许多抓取操作且生态丰富。视觉系统RGB-D相机Intel Realsense, Azure Kinect vs 多目RGB相机RGB-D相机是主流能直接提供3D信息。Realsense D435i尺寸小适合安装在机械臂腕部。全局视角可能需要多个相机或一个广角深度相机。计算单元工控机/高性能工作站需要强大的CPU和GPU用于可能的实时视觉处理。建议配备至少16GB内存高速SSD用于数据缓存。网络千兆以太网交换机确保所有设备机械臂控制器、相机、主控电脑在一个低延迟、高带宽的局域网内最好使用有线连接。集成步骤简述机械臂与控制柜上电并通过以太网连接到主控网络。安装官方驱动和ROS驱动如franka_ros,ur_robot_driver。安装操作设备驱动并确保其ROS驱动包可用。将设备通过USB或PCIe连接到主控机。安装并标定视觉传感器。对于Eye-in-Hand相机需要进行手眼标定精确获取相机相对于机械臂末端的变换矩阵。对于固定视角相机需要进行相机标定获取内参和手眼标定或与机器人基座的标定。网络配置为所有设备设置静态IP或通过路由器分配固定IP确保ROS多机通信顺畅设置ROS_MASTER_URI和ROS_IP。4.2 软件框架与核心节点实现软件是系统的大脑。ROS推荐ROS Noetic或ROS2 Humble是连接各组件的事实标准。核心ROS节点设计teleop_main_node(主遥操作节点)订阅操作设备的原始位姿话题 (/device/pose)。功能实现运动学映射、抖动滤波、安全限幅。计算得到主臂末端的目标位姿。发布主臂的目标位姿话题 (/arm_left/target_pose) 和 高层指令话题 (/high_level_command如“mode: parallel_grasp”)。arm_controller_node(机械臂控制器节点每个臂一个)订阅自身的目标位姿话题和可选的力控指令。功能接收目标通过逆运动学IK或笛卡尔阻抗控制器计算并发送关节位置/速度/扭矩命令给真实机械臂的底层控制器。发布机械臂的当前关节状态、末端位姿、力传感器数据。coordination_agent_node(协同智能体节点)订阅主臂的当前状态 (/arm_left/state)、高层指令 (/high_level_command)、视觉信息 (/camera/depth等)。功能根据当前模式和算法计算从臂的目标位姿或关节命令。实现第3.2节所述的协同策略。发布从臂的目标位姿话题 (/arm_right/target_pose)。data_logger_node(数据记录节点)订阅所有需要记录的话题。功能缓冲、同步如基于消息时间戳进行插值对齐、并将数据写入HDF5文件。同时记录元数据。vision_processing_node(视觉处理节点可选)功能运行物体检测、分割、位姿估计等算法为智能体提供环境感知信息并生成自动标注。这些节点通过ROS话题和服务进行通信形成一个松耦合但功能完整的系统。启动文件 (launch file) 用于一键启动所有相关节点。4.3 安全与异常处理机制安全是遥操作系统的红线必须多层级保障。硬件层机械臂本身的安全功能必须启用如关节扭矩/速度限制、碰撞检测。操作设备配备急停按钮。软件层核心运动学限位在teleop_main_node中严格限制主臂目标位姿的工作空间防止机械臂运动到奇异点或自碰撞区域。速度与加速度限制对映射后的目标位姿进行微分并限制其速度和加速度避免突发运动。监控节点运行一个独立的safety_monitor_node持续监听所有机械臂的关节状态、末端力和环境传感器数据。一旦检测到异常如关节超限、末端力突变、与预设障碍物碰撞立即向所有控制器节点发送“暂停”或“归零”指令并通知操作员。心跳机制主遥操作节点定期发送“心跳”信号。如果监控节点在规定时间内未收到心跳可能因为软件崩溃或网络中断则触发安全停止。操作流程制定标准的操作流程包括上电自检、零点校准、控制权切换、紧急情况处理预案等并对操作员进行培训。5. 数据收集流程与最佳实践有了系统如何高效地收集高质量数据又是一门学问。不能只是漫无目的地操作。5.1 任务设计与场景规划在开始采集前必须明确数据用途。是为了训练一个“开抽屉”的模型还是一个“双手组装乐高”的模型任务设计要有针对性和层次性。基础技能数据采集单臂的基础操作如指向、触碰、推动、抓取不同形状、材质、大小的物体、放置。即使目标是多臂这些单臂数据对训练基础感知和运动模型也很有价值。协同操作数据这是HATS的核心产出。设计典型的双人协作任务传递一手递一手接。协同搬运双手抬起一个较大或较重的物体。协同操作一手固定一手拧一手拉开抽屉一手取物双手配合打开一个盒子。避让与协调主臂执行主要任务时从臂如何在不干扰的情况下移动到下一个准备位置。引入扰动与多样性为了数据的鲁棒性需要在不同条件下采集物体多样性同一任务使用不同颜色、纹理、尺寸、刚度的物体。环境变化改变桌面背景、光照条件正常光、侧光、微光。初始状态随机化物体的初始位置和姿态在一定范围内随机化。引入干扰物在任务场景中放置一些无关的物体。5.2 操作员培训与效率提升操作员是数据质量的“守门员”。一个熟练的操作员可以极大地提升采集效率和数据质量。标准化培训让操作员熟悉操作设备、控制映射关系、各种协同模式的触发方式以及系统状态反馈如通过GUI界面显示当前模式、力反馈信息。任务分段与脚本化将复杂的长任务分解成多个子阶段phase。系统可以提供一个简单的脚本界面让操作员在开始一次采集运行episode前选择或定义好本次要执行的子任务序列。这有助于组织数据也便于后期按阶段进行标注或训练。提供实时反馈在操作界面上清晰地显示当前机械臂末端与目标物体的距离、抓持力、是否成功等关键信息。这能帮助操作员即时调整策略。设计快捷指令将常用操作如“重置到初始位置”、“切换协同模式”、“保存当前数据片段”绑定到操作设备上的特定按钮或脚踏开关减少操作员需要移开视线去操作鼠标键盘的次数。5.3 数据质量管理与预处理采集到的原始数据不能直接“喂”给模型必须经过清洗和预处理。在线质量检查在数据记录过程中或记录后立即进行快速检查。同步性检查播放数据通过可视化工具如RViz观察不同传感器的数据流是否在时间上对齐。检查关节运动与视频中机械臂动作是否一致。完整性检查确保所有话题的数据都没有大面积丢失。有效性检查自动检测一些明显失败的数据片段如机械臂全程未移动、物体在任务结束前掉落、双臂发生碰撞等。这些片段可以打上标签供后期筛选。离线预处理流水线建立自动化的数据处理脚本通常包括时间戳对齐与重采样将所有数据流统一到同一个时间基准上并以固定的频率如10Hz或30Hz进行重采样生成规整的时间序列数据。坐标系统一将所有数据点云、物体位姿、机械臂位姿转换到一个统一的全局坐标系通常是机器人基座坐标系或世界坐标系下。数据增强对图像进行随机的色彩抖动、高斯噪声、模糊等处理对轨迹数据进行小幅度的时域缩放或噪声添加。这能有限地增加数据多样性。格式转换将处理后的数据转换为深度学习框架如PyTorch的Dataset TensorFlow的TFRecord方便读取的格式。6. 典型问题排查与实战技巧在实际搭建和运行HATS系统时一定会遇到各种问题。以下是一些常见坑点及解决方案。6.1 控制延迟过高导致操作不稳现象操作手柄后机械臂反应“慢半拍”操作员感觉迟滞难以进行精细操作容易产生振荡。排查与解决检查网络使用ping命令测试主控机到机械臂控制器、相机的网络延迟。如果延迟超过几毫秒检查网线、交换机。务必使用有线网络禁用Wi-Fi。检查ROS通信使用rostopic hz /topic_name检查关键话题的发布频率是否达到预期。使用rostopic delay查看消息延迟。如果某个节点处理太慢可能是其计算负载过高。优化节点确保teleop_main_node和arm_controller_node运行在同一个ROS节点管理器上避免网络序列化开销。在teleop_main_node中使用高优先级的实时线程进行控制循环。简化控制算法避免在关键控制循环中进行复杂的数学运算如求解大型优化问题。硬件层面某些机械臂的底层控制器本身有几十毫秒的延迟。如果无法避免可以尝试在控制回路中加入预测滤波如卡尔曼滤波器根据当前手柄的运动趋势预测未来的目标位姿以补偿固定延迟。6.2 从臂协同行为不自然或振荡现象从臂运动僵硬与主臂的协同看起来不连贯或者在保持相对位姿时产生持续抖动。排查与解决检查控制参数回顾第3.2节中的stiffness和damping参数。刚度过高会导致从臂像一根硬杆对环境接触非常敏感容易振荡刚度过低则会导致从臂软绵绵无法准确跟踪。通常需要从较低刚度开始调试逐渐增加直到达到满意的跟踪性能。检查传感器噪声如果从臂的控制依赖于视觉反馈如视觉伺服相机图像的噪声或延迟会导致控制指令抖动。考虑对视觉输入进行滤波或降低视觉伺服的增益。检查逆运动学IK求解如果从臂控制器使用IK将末端位姿转换为关节角度IK求解器的数值稳定性很重要。确保没有接近奇异构型可以尝试不同的IK库或加入阻尼最小二乘法来求更稳定的解。引入死区Deadband在计算位置误差时可以设置一个微小的死区。当误差小于死区阈值时不输出控制指令。这可以有效消除由传感器噪声引起的微小抖动。6.3 数据不同步或丢帧现象回放数据时发现视频里的机械臂动作比记录的关节数据快或慢或者某些时间段的数据完全缺失。排查与解决严格统一时钟源在物理机器人系统中尽量使用硬件时间戳。让相机、机械臂控制器在发布数据时使用自身时钟源的时间戳并在驱动层做好与系统时钟的同步。对于ROS可以研究message_filters库中的时间同步策略。缓冲与插值在data_logger_node中不要直接记录每个到来的消息。应为每个数据流维护一个小的缓冲区。记录时以一个主时钟如系统时钟为基准对所有其他数据流在记录时刻进行线性插值获取同步的状态。这能有效处理不同话题发布频率不同的问题。监控发布频率持续监控所有数据话题的hz。如果某个话题的发布频率异常下降可能意味着对应的传感器或节点出现故障需要及时排查。数据验证脚本编写一个简单的数据验证脚本在每次采集任务结束后自动运行。脚本可以检查每个数据流的起止时间、帧数并生成一个简单的报告快速判断本次采集是否有效。6.4 操作员疲劳与效率瓶颈现象数据采集速度慢操作员容易感到手臂或精神疲劳。优化技巧优化控制映射调整手柄运动到机械臂运动的缩放比例。对于大范围移动使用较大的缩放比或切换到速率控制模式对于精细操作切换到较小的缩放比或直接位置映射。提供辅助功能重力补偿如果操作设备是臂式设备在软件中启用重力补偿减轻操作员手臂的负担。区域锁定允许操作员将机械臂末端暂时“锁定”在某个位置或轨迹上让操作员可以短暂休息。增量记录并非所有时间都需要记录。可以设置为仅当机械臂接近任务相关物体或操作员主动触发时才开始高速记录其他空闲时段低速记录或暂停记录。任务规划与批处理将需要人工干预的部分如摆放物体初始位置和可以自动执行的部分如机械臂自动复位分开。操作员专注于最难、最需要人类判断的演示部分其他重复性工作由脚本完成。搭建和运行一套HATS系统是一项复杂的系统工程涉及机器人学、控制理论、软件工程和人机交互多个领域。它没有唯一的“标准答案”需要根据具体的研究目标、硬件条件和任务类型进行大量的调整和优化。但一旦这套系统顺畅运行起来它将成为生成高质量机器人操作数据的强大引擎为后续的模仿学习、强化学习乃至大模型在机器人领域的应用打下坚实的数据基础。整个过程就像是为机器人世界建造一座“数据工厂”而操作员就是这座工厂里最核心的“老师傅”。 HATS系统：如何让单人高效采集多机械臂协同操作数据？
1. 项目概述为什么我们需要HATS这样的系统在机器人研究领域尤其是涉及复杂操作任务比如装配、分拣、甚至是未来的家庭服务时获取高质量、大规模的真实世界操作数据一直是个老大难问题。传统的机器人编程方式无论是示教再现还是基于规则的代码在面对“从一堆杂物中找出并拿起一个特定零件”这类看似简单的任务时往往显得笨拙且脆弱。环境稍有变化比如光照不同、物体位置偏移机器人就可能“罢工”。近年来模仿学习Imitation Learning和强化学习Reinforcement Learning为机器人带来了新的希望但它们的“食量”惊人——需要海量的、多样化的交互数据来“喂养”模型。这些数据从哪里来让机器人在真实环境中自己“瞎摸索”收集数据成本高、效率低还可能损坏设备和自身。于是遥操作Teleoperation成为了一个关键的桥梁由人类操作员远程控制机器人执行任务同时记录下所有的传感器数据图像、关节角度、力反馈等和操作指令形成一个高质量的数据集。这个数据集可以用来训练机器人“看”和“动”的模型。然而当任务升级到需要多机械臂协同时——想象一下双手配合拧开瓶盖或者一手固定工件一手进行精细操作——传统的单臂遥操作方案就捉襟见肘了。一个操作员如何同时、协调地控制两个甚至更多个机械臂直接为每个机械臂配一个操作员显然不现实。这就是“HATS: A Human-Agent Teleoperation System for Multi-Arm Data Collection”这个项目要解决的核心痛点。它不是一个简单的控制手柄映射而是一套旨在高效采集多臂协同操作数据的系统级解决方案。简单来说HATS的目标是让一个人类操作员能够相对轻松且高效地指挥多个机械臂完成复杂的双手/多手协同任务并在这个过程中自动化、结构化地记录下一切用于后续机器学习的数据。这相当于为机器人研究者提供了一个功能强大的“数据采集工作站”。2. 系统核心设计思路与架构拆解HATS系统的设计哲学可以概括为“人类高层指挥智能体底层协同”。它并没有试图让人类去微观管理每一个机械臂的每一个关节那会带来巨大的认知负荷。相反它将任务进行了分层。2.1 “主从”模式与角色分配在典型的双臂场景下HATS通常会采用一种非对称的主从控制架构。操作员直接、精细地控制其中一个机械臂我们称之为“主臂”或“领导臂”这个臂的每一个动作都通过操作设备如力反馈手柄、VR控制器实时映射。而被指定的“从臂”或“跟随臂”则并非完全由人类直接控制。这里的关键创新在于“从臂”的行为模式。它并非简单地镜像“主臂”的动作而是由一个本地的智能体Agent来控制。这个智能体接收来自人类操作员的高层指令和当前的环境状态如来自摄像头的视觉信息、主臂的末端位置等然后自主生成协调动作。注意这里的“智能体”在数据收集阶段可能并非一个训练好的复杂AI模型而更多是一套基于规则、优化算法或简单学习策略的控制器。它的首要目标是实现与主臂的“协同”而非完全自主完成任务。高层指令可以是非常直观的例如模式切换命令操作员按下一个按钮将当前任务模式从“独立探索”切换到“协同抓取”。空间关系指定通过语音或简易菜单告诉系统“从臂移动到主臂左侧10厘米处并保持末端姿态平行。”目标对象指定用激光笔或视觉框选指出“从臂去抓取那个红色的方块”。这种设计极大地降低了人类操作员的负担。操作员只需要专注于主导任务的推进用主臂进行关键操作同时以“指挥官”的身份间歇性地向从臂智能体发布宏观指令而不必分心去微操另一个机械臂的轨迹。2.2 数据流水线的精心设计HATS的另一个核心是它的数据记录系统。它要记录的远不止“主臂的关节角度”那么简单。一个高质量的多臂协同数据集必须包含多模态、同步且对齐的数据流。HATS的数据流水线通常包含以下层次原始传感器流这是数据的基石。包括视觉多个视角的RGB图像、深度图像RGB-D。摄像头通常以全局固定视角和机械臂腕部视角Eye-in-Hand相结合的方式布置。本体感知所有机械臂的关节编码器数据位置、速度、力矩。触觉/力觉如果机械臂末端配备力/力矩传感器或触觉传感器这些数据至关重要尤其对于接触丰富的操作。音频有时也会记录操作过程中的声音用于识别接触事件如放置、碰撞。操作指令流人类原始输入操作员手柄的位姿、按钮事件、油门/扳机值。高层指令标签系统记录下操作员发出的所有模式切换、目标指定等高层指令及其时间戳。智能体动作从臂智能体每一步所计算并执行的动作目标位姿、关节角速度等。状态与注释流系统状态任务阶段如“伸手”、“抓取”、“搬运”、“放置”、当前协同模式。自动标注利用已知的环境模型如果存在或实时感知自动为图像中的机械臂末端、目标物体生成边界框或关键点标注。事件标记自动检测并标记重要事件的发生时间如“抓取成功”、“物体掉落”、“双臂接触建立”。所有这些数据流都以严格同步的时间戳记录在一起。通常使用像ROS机器人操作系统这样的中间件来管理消息的同步和录制使用rosbag工具。数据存储格式也经过精心设计便于后续的索引和读取例如采用TFRecord、HDF5或自定义的二进制格式并附带清晰的元数据描述文件。3. 关键技术与实操要点解析实现HATS系统需要攻克几个技术难点每一个都直接影响到数据采集的效率和最终数据集的质量。3.1 低延迟、高保真的主臂控制映射操作员对主臂的控制体验必须“跟手”延迟要尽可能低理想情况低于50毫秒否则会导致操作困难、容易疲劳甚至引发晕动症。这涉及到硬件选型使用专为机器人遥操作设计的力反馈设备如Haption的臂式设备、Force Dimension的Delta设备或高精度、低延迟的VR控制器如Valve Index控制器。它们能提供更高的位姿精度和可能的力反馈。运动学映射将操作员手柄在三维空间中的运动映射到机械臂末端执行器End-Effector的位姿位置和姿态。这里需要处理比例缩放手柄的小范围运动对应机械臂的大范围运动、坐标系对齐等问题。常用的方法是直接位置映射或速率控制。直接位置映射手柄的位姿直接对应机械臂末端的位姿。简单直观但操作空间受限于手柄物理工作空间。速率控制手柄的偏移量或扳机深度控制机械臂末端沿某个方向运动的速度。可以控制很大的工作空间但不如直接映射直观。抖动滤波与运动平滑人手存在不可避免的微小抖动。需要在控制指令中加入适当的滤波如低通滤波器、卡尔曼滤波器使机械臂运动平滑同时又不引入过大延迟。实操心得在初期调试时务必先让机械臂在“空载”不执行任务状态下运动让操作员感受映射关系和延迟。可以设计一个“跟踪虚拟目标”的小测试来量化控制精度和延迟。安全永远是第一位的务必设置严格的位置、速度和力限制并配备急停开关。3.2 从臂智能体的协同策略设计这是HATS系统的“智能”核心。从臂智能体需要根据高层指令和环境状态生成与主臂协调的动作。以下是一些常见的策略基于相对位姿的跟踪这是最基础也最常用的策略。当进入“协同搬运”模式时智能体控制从臂末端使其与主臂末端保持一个固定的相对位姿比如相对位置[0.1, 0, 0]米姿态相同。这个相对位姿可以由操作员在任务开始时指定也可以由系统根据被抓物体尺寸预定义。基于视觉伺服Visual Servoing的辅助例如在“协同抓取不规则物体”时操作员控制主臂靠近物体的一侧。从臂智能体则通过腕部摄像头自动识别物体的另一侧或特定特征点并控制自身末端运动到合适的抓取位置与主臂形成对握姿态。基于优化算法的避碰与姿态优化在双臂同时运动时智能体需要实时计算轨迹确保双臂不自碰也不与环境碰撞。这可以通过实时运动规划RRT、MPC或基于优化如二次规划QP的控制器来实现将“与主臂保持相对关系”作为优化目标之一将“避免碰撞”作为约束条件。简单的学习策略在数据采集过程中也可以让从臂智能体尝试一些简单的探索性动作在保证安全的前提下并记录下这些动作及其结果。这些数据可以用于后续训练更高级的协同策略。参数配置示例基于相对位姿跟踪策略# 协同模式配置 coordination_modes: parallel_grasp: relative_position: [0.15, 0.0, 0.0] # 从臂末端相对于主臂末端的偏移 (x, y, z) 米 relative_orientation: [1.0, 0.0, 0.0, 0.0] # 四元数表示姿态相同 stiffness: [800, 800, 800, 50, 50, 50] # 笛卡尔空间刚度 (x,y,z, rx,ry,rz) damping: [40, 40, 40, 5, 5, 5] # 笛卡尔空间阻尼 tool_handover: relative_position: [0.0, 0.1, 0.05] # ... 其他参数这个配置定义了一个叫parallel_grasp平行抓取的协同模式。当操作员激活此模式从臂智能体会尝试控制自己的末端使其相对于主臂末端保持在[0.15, 0, 0]的位置即主臂右侧15厘米并保持相同姿态。stiffness和damping参数决定了智能体维持这个相对位姿的“刚度”和“阻尼”影响运动的柔顺性和抗干扰能力。3.3 多模态数据同步与存储实战数据同步是后期处理时的“生命线”。不同步的数据几乎无法使用。在实践中ROS1的/clock话题在仿真中或硬件时间戳是常用的同步基准。推荐的数据记录方案使用ROS Bag这是最快捷的原型方案。使用rosbag record命令录制所有相关话题。优点是简单与ROS生态无缝集成。缺点是大规模数据时bag文件可能臃肿索引和随机读取慢。自定义记录器为了追求更高的效率和更友好的数据格式可以开发一个自定义的记录节点。这个节点订阅所有需要记录的ROS话题。为每个到达的消息打上高精度的接收时间戳或使用消息自带的时间戳。将数据写入高效的结构化文件中如HDF5。HDF5支持在单个文件中组织多个数据集dataset每个数据集对应一个数据流如/camera/color/image_raw并可以存储属性如相机内参。同时生成一个索引文件如JSON或CSV记录每个数据流的起始时间、结束时间、帧率、存储路径等元数据。一个简化的HDF5数据组织示例/根组 ├── metadata (属性) │ ├── experiment_id exp_20231027_001 │ ├── operator Alice │ ├── task_description Dual-arm box palletizing │ └── ... ├── streams │ ├── camera_top 组 │ │ ├── rgb 数据集形状为 [N, H, W, 3] 的uint8数组 │ │ ├── depth 数据集形状为 [N, H, W] 的uint16数组 │ │ └── timestamps 数据集形状为 [N] 的float64数组Unix时间戳 │ ├── arm_left 组 │ │ ├── joint_states 数据集形状为 [N, 7] 的float64数组 │ │ ├── wrench 数据集形状为 [N, 6] 的float64数组力/力矩 │ │ └── timestamps │ ├── arm_right 组 │ │ └── ... 类似结构 │ ├── command 组 │ │ ├── haptic_pose 数据集操作手柄位姿 │ │ ├── mode_changes 数据集记录模式切换事件和时间 │ │ └── timestamps │ └── annotations 组 │ ├── bbox 数据集自动生成的物体边界框 │ └── phase 数据集任务阶段标签这种结构非常清晰便于后续用Pythonh5py库或其他工具进行高效的数据加载和切片操作。4. 系统搭建与集成实操指南搭建一套可用的HATS系统需要软硬件协同工作。以下是一个典型的搭建流程和关键环节。4.1 硬件平台选型与集成硬件是系统的骨架选择时需要权衡性能、成本和易用性。组件选项与考量推荐/备注机械臂协作机器人UR, Franka Emika vs 工业机器人ABB, KUKA协作机器人是首选。它们天生具备力感知、易于编程、安全性高适合与人或环境近距离交互。Franka Emika的关节扭矩控制精度高非常适合需要柔顺控制的场景。操作设备力反馈设备Haption, Force Dimension vs VR控制器Valve Index, Oculus Touch追求极致操控感选专业力反馈设备它们能提供真实的力觉。追求性价比和易用性选高端VR控制器它们精度足够用于许多抓取操作且生态丰富。视觉系统RGB-D相机Intel Realsense, Azure Kinect vs 多目RGB相机RGB-D相机是主流能直接提供3D信息。Realsense D435i尺寸小适合安装在机械臂腕部。全局视角可能需要多个相机或一个广角深度相机。计算单元工控机/高性能工作站需要强大的CPU和GPU用于可能的实时视觉处理。建议配备至少16GB内存高速SSD用于数据缓存。网络千兆以太网交换机确保所有设备机械臂控制器、相机、主控电脑在一个低延迟、高带宽的局域网内最好使用有线连接。集成步骤简述机械臂与控制柜上电并通过以太网连接到主控网络。安装官方驱动和ROS驱动如franka_ros,ur_robot_driver。安装操作设备驱动并确保其ROS驱动包可用。将设备通过USB或PCIe连接到主控机。安装并标定视觉传感器。对于Eye-in-Hand相机需要进行手眼标定精确获取相机相对于机械臂末端的变换矩阵。对于固定视角相机需要进行相机标定获取内参和手眼标定或与机器人基座的标定。网络配置为所有设备设置静态IP或通过路由器分配固定IP确保ROS多机通信顺畅设置ROS_MASTER_URI和ROS_IP。4.2 软件框架与核心节点实现软件是系统的大脑。ROS推荐ROS Noetic或ROS2 Humble是连接各组件的事实标准。核心ROS节点设计teleop_main_node(主遥操作节点)订阅操作设备的原始位姿话题 (/device/pose)。功能实现运动学映射、抖动滤波、安全限幅。计算得到主臂末端的目标位姿。发布主臂的目标位姿话题 (/arm_left/target_pose) 和 高层指令话题 (/high_level_command如“mode: parallel_grasp”)。arm_controller_node(机械臂控制器节点每个臂一个)订阅自身的目标位姿话题和可选的力控指令。功能接收目标通过逆运动学IK或笛卡尔阻抗控制器计算并发送关节位置/速度/扭矩命令给真实机械臂的底层控制器。发布机械臂的当前关节状态、末端位姿、力传感器数据。coordination_agent_node(协同智能体节点)订阅主臂的当前状态 (/arm_left/state)、高层指令 (/high_level_command)、视觉信息 (/camera/depth等)。功能根据当前模式和算法计算从臂的目标位姿或关节命令。实现第3.2节所述的协同策略。发布从臂的目标位姿话题 (/arm_right/target_pose)。data_logger_node(数据记录节点)订阅所有需要记录的话题。功能缓冲、同步如基于消息时间戳进行插值对齐、并将数据写入HDF5文件。同时记录元数据。vision_processing_node(视觉处理节点可选)功能运行物体检测、分割、位姿估计等算法为智能体提供环境感知信息并生成自动标注。这些节点通过ROS话题和服务进行通信形成一个松耦合但功能完整的系统。启动文件 (launch file) 用于一键启动所有相关节点。4.3 安全与异常处理机制安全是遥操作系统的红线必须多层级保障。硬件层机械臂本身的安全功能必须启用如关节扭矩/速度限制、碰撞检测。操作设备配备急停按钮。软件层核心运动学限位在teleop_main_node中严格限制主臂目标位姿的工作空间防止机械臂运动到奇异点或自碰撞区域。速度与加速度限制对映射后的目标位姿进行微分并限制其速度和加速度避免突发运动。监控节点运行一个独立的safety_monitor_node持续监听所有机械臂的关节状态、末端力和环境传感器数据。一旦检测到异常如关节超限、末端力突变、与预设障碍物碰撞立即向所有控制器节点发送“暂停”或“归零”指令并通知操作员。心跳机制主遥操作节点定期发送“心跳”信号。如果监控节点在规定时间内未收到心跳可能因为软件崩溃或网络中断则触发安全停止。操作流程制定标准的操作流程包括上电自检、零点校准、控制权切换、紧急情况处理预案等并对操作员进行培训。5. 数据收集流程与最佳实践有了系统如何高效地收集高质量数据又是一门学问。不能只是漫无目的地操作。5.1 任务设计与场景规划在开始采集前必须明确数据用途。是为了训练一个“开抽屉”的模型还是一个“双手组装乐高”的模型任务设计要有针对性和层次性。基础技能数据采集单臂的基础操作如指向、触碰、推动、抓取不同形状、材质、大小的物体、放置。即使目标是多臂这些单臂数据对训练基础感知和运动模型也很有价值。协同操作数据这是HATS的核心产出。设计典型的双人协作任务传递一手递一手接。协同搬运双手抬起一个较大或较重的物体。协同操作一手固定一手拧一手拉开抽屉一手取物双手配合打开一个盒子。避让与协调主臂执行主要任务时从臂如何在不干扰的情况下移动到下一个准备位置。引入扰动与多样性为了数据的鲁棒性需要在不同条件下采集物体多样性同一任务使用不同颜色、纹理、尺寸、刚度的物体。环境变化改变桌面背景、光照条件正常光、侧光、微光。初始状态随机化物体的初始位置和姿态在一定范围内随机化。引入干扰物在任务场景中放置一些无关的物体。5.2 操作员培训与效率提升操作员是数据质量的“守门员”。一个熟练的操作员可以极大地提升采集效率和数据质量。标准化培训让操作员熟悉操作设备、控制映射关系、各种协同模式的触发方式以及系统状态反馈如通过GUI界面显示当前模式、力反馈信息。任务分段与脚本化将复杂的长任务分解成多个子阶段phase。系统可以提供一个简单的脚本界面让操作员在开始一次采集运行episode前选择或定义好本次要执行的子任务序列。这有助于组织数据也便于后期按阶段进行标注或训练。提供实时反馈在操作界面上清晰地显示当前机械臂末端与目标物体的距离、抓持力、是否成功等关键信息。这能帮助操作员即时调整策略。设计快捷指令将常用操作如“重置到初始位置”、“切换协同模式”、“保存当前数据片段”绑定到操作设备上的特定按钮或脚踏开关减少操作员需要移开视线去操作鼠标键盘的次数。5.3 数据质量管理与预处理采集到的原始数据不能直接“喂”给模型必须经过清洗和预处理。在线质量检查在数据记录过程中或记录后立即进行快速检查。同步性检查播放数据通过可视化工具如RViz观察不同传感器的数据流是否在时间上对齐。检查关节运动与视频中机械臂动作是否一致。完整性检查确保所有话题的数据都没有大面积丢失。有效性检查自动检测一些明显失败的数据片段如机械臂全程未移动、物体在任务结束前掉落、双臂发生碰撞等。这些片段可以打上标签供后期筛选。离线预处理流水线建立自动化的数据处理脚本通常包括时间戳对齐与重采样将所有数据流统一到同一个时间基准上并以固定的频率如10Hz或30Hz进行重采样生成规整的时间序列数据。坐标系统一将所有数据点云、物体位姿、机械臂位姿转换到一个统一的全局坐标系通常是机器人基座坐标系或世界坐标系下。数据增强对图像进行随机的色彩抖动、高斯噪声、模糊等处理对轨迹数据进行小幅度的时域缩放或噪声添加。这能有限地增加数据多样性。格式转换将处理后的数据转换为深度学习框架如PyTorch的Dataset TensorFlow的TFRecord方便读取的格式。6. 典型问题排查与实战技巧在实际搭建和运行HATS系统时一定会遇到各种问题。以下是一些常见坑点及解决方案。6.1 控制延迟过高导致操作不稳现象操作手柄后机械臂反应“慢半拍”操作员感觉迟滞难以进行精细操作容易产生振荡。排查与解决检查网络使用ping命令测试主控机到机械臂控制器、相机的网络延迟。如果延迟超过几毫秒检查网线、交换机。务必使用有线网络禁用Wi-Fi。检查ROS通信使用rostopic hz /topic_name检查关键话题的发布频率是否达到预期。使用rostopic delay查看消息延迟。如果某个节点处理太慢可能是其计算负载过高。优化节点确保teleop_main_node和arm_controller_node运行在同一个ROS节点管理器上避免网络序列化开销。在teleop_main_node中使用高优先级的实时线程进行控制循环。简化控制算法避免在关键控制循环中进行复杂的数学运算如求解大型优化问题。硬件层面某些机械臂的底层控制器本身有几十毫秒的延迟。如果无法避免可以尝试在控制回路中加入预测滤波如卡尔曼滤波器根据当前手柄的运动趋势预测未来的目标位姿以补偿固定延迟。6.2 从臂协同行为不自然或振荡现象从臂运动僵硬与主臂的协同看起来不连贯或者在保持相对位姿时产生持续抖动。排查与解决检查控制参数回顾第3.2节中的stiffness和damping参数。刚度过高会导致从臂像一根硬杆对环境接触非常敏感容易振荡刚度过低则会导致从臂软绵绵无法准确跟踪。通常需要从较低刚度开始调试逐渐增加直到达到满意的跟踪性能。检查传感器噪声如果从臂的控制依赖于视觉反馈如视觉伺服相机图像的噪声或延迟会导致控制指令抖动。考虑对视觉输入进行滤波或降低视觉伺服的增益。检查逆运动学IK求解如果从臂控制器使用IK将末端位姿转换为关节角度IK求解器的数值稳定性很重要。确保没有接近奇异构型可以尝试不同的IK库或加入阻尼最小二乘法来求更稳定的解。引入死区Deadband在计算位置误差时可以设置一个微小的死区。当误差小于死区阈值时不输出控制指令。这可以有效消除由传感器噪声引起的微小抖动。6.3 数据不同步或丢帧现象回放数据时发现视频里的机械臂动作比记录的关节数据快或慢或者某些时间段的数据完全缺失。排查与解决严格统一时钟源在物理机器人系统中尽量使用硬件时间戳。让相机、机械臂控制器在发布数据时使用自身时钟源的时间戳并在驱动层做好与系统时钟的同步。对于ROS可以研究message_filters库中的时间同步策略。缓冲与插值在data_logger_node中不要直接记录每个到来的消息。应为每个数据流维护一个小的缓冲区。记录时以一个主时钟如系统时钟为基准对所有其他数据流在记录时刻进行线性插值获取同步的状态。这能有效处理不同话题发布频率不同的问题。监控发布频率持续监控所有数据话题的hz。如果某个话题的发布频率异常下降可能意味着对应的传感器或节点出现故障需要及时排查。数据验证脚本编写一个简单的数据验证脚本在每次采集任务结束后自动运行。脚本可以检查每个数据流的起止时间、帧数并生成一个简单的报告快速判断本次采集是否有效。6.4 操作员疲劳与效率瓶颈现象数据采集速度慢操作员容易感到手臂或精神疲劳。优化技巧优化控制映射调整手柄运动到机械臂运动的缩放比例。对于大范围移动使用较大的缩放比或切换到速率控制模式对于精细操作切换到较小的缩放比或直接位置映射。提供辅助功能重力补偿如果操作设备是臂式设备在软件中启用重力补偿减轻操作员手臂的负担。区域锁定允许操作员将机械臂末端暂时“锁定”在某个位置或轨迹上让操作员可以短暂休息。增量记录并非所有时间都需要记录。可以设置为仅当机械臂接近任务相关物体或操作员主动触发时才开始高速记录其他空闲时段低速记录或暂停记录。任务规划与批处理将需要人工干预的部分如摆放物体初始位置和可以自动执行的部分如机械臂自动复位分开。操作员专注于最难、最需要人类判断的演示部分其他重复性工作由脚本完成。搭建和运行一套HATS系统是一项复杂的系统工程涉及机器人学、控制理论、软件工程和人机交互多个领域。它没有唯一的“标准答案”需要根据具体的研究目标、硬件条件和任务类型进行大量的调整和优化。但一旦这套系统顺畅运行起来它将成为生成高质量机器人操作数据的强大引擎为后续的模仿学习、强化学习乃至大模型在机器人领域的应用打下坚实的数据基础。整个过程就像是为机器人世界建造一座“数据工厂”而操作员就是这座工厂里最核心的“老师傅”。