论文标题TidyBot: An Open-Source Holonomic Mobile Manipulator for Robot Learning作者Jimmy Wu¹, William Chong², Robert Holmberg³, Aaditya Prasad², Yihuai Gao², Oussama Khatib², Shuran Song², Szymon Rusinkiewicz¹, Jeannette Bohg²机构¹Princeton University, ²Stanford University, ³Dexterity发表信息CoRL 2024, arXiv:2412.10447开源Github地址https://github.com/jimmyyhwu/tidybot2一、关键科学问题与技术挑战1.1 核心问题如何为移动操作mobile manipulation的模仿学习提供低成本、高机动性、易采集数据的研究硬件平台本文从硬件设计出发解决移动操作数据采集与策略学习中的系统性瓶颈。本文实物如下1.2 技术挑战移动操作数据匮乏与自然语言处理可利用互联网数据不同机器人策略训练所需的真实世界数据极难获取。现有大规模机器人学习数据集DROID、Open X-Embodiment等主要在固定臂平台上采集缺乏移动操作数据。现有移动底盘的机动性限制大多数商用移动底盘采用差速驱动differential drive受非完整约束限制无法侧向移动。执行开门、擦拭台面等常见家庭任务时需要侧向运动差速驱动底盘必须执行类似侧方停车的复杂多步操作增加运动时间和策略学习难度。全向移动与全息移动的混淆麦克纳姆轮底盘虽可全向移动但存在接地不连续振动大、抓地力差、越障能力弱等缺陷。且无脚轮偏移caster offset的全向底盘仍是非完整的——车轮需先对准运动方向才能开始移动。遥操作设备的局限性现有遥操作方案存在各种问题Oculus控制器需保持在红外接收器视野内仅依赖IMU的手机遥操作存在漂移专用遥操作设备需额外购买操作者固定在机器人后方难以精确操控末端执行器。非完整底盘对策略学习的负面影响非完整底盘只能以速度模式控制无法直接在位置空间中精确指令差速驱动的复杂侧移策略使学习问题更难且底盘转向导致相机视野晃动降低观测质量。二、研究方法与算法原理2.1 整体技术路线硬件设计全息移动底盘 ├── 动力脚轮驱动机制Powered-caster drive ├── 模块化框架T-slot铝型材 └── 通用供电便携电站 SLA电池 ↓ 遥操作接口手机WebXR ├── 6-DoF手机位姿实时流 └── IMU 视觉里程计融合抗漂移 ↓ 数据采集 → 模仿学习Diffusion Policy ↓ 真实家庭环境部署2.2 全息移动底盘设计2.2.1 动力脚轮驱动机制Powered-Caster Drive核心设计基于 Holmberg 和 Khatib [28] 提出的动力脚轮车辆PCV运动学模型使用四个电机化脚轮模块驱动底盘。如下图脚轮原理脚轮的关键设计特征是转向轴swivel axis与车轮滚动轴roll axis之间存在偏移量caster offset。该偏移量形成杠杆臂使车轮自动尾随转向轴方向对齐运动方向——这正是办公椅可任意方向推动的原理。无脚轮偏移如普通万向轮/swerve模块全向但非完整需先对准车轮方向才能运动有脚轮偏移如脚轮/caster全息holonomic可瞬时向任意方向加速2.2.2 运动学建模每个脚轮模块建模为两个旋转关节关节功能转向关节steer jointϕ\phiϕ决定车轮转向角滚动关节roll jointρ\rhoρ测量车轮旋转运动每个模块配备电机内置增量编码器测量关节位置和速度转向轴绝对编码器消除启动归位运动需求USB-to-CAN适配器通过CAN总线通信与原始PCV公式的差异本文脚轮模块具有二维偏移量——纵向偏移bxb_xbx​和横向偏移byb_yby​而非单一偏移bbb这是为最小化定制零件数量的设计折衷。消除横向偏移需设计更多定制零件或从零设计脚轮会显著降低设计的可及性。2.2.3 从Swerve模块到Caster模块的改造底盘驱动系统基于 FIRST 机器人竞赛FRC生态中广泛使用的 SDS MK4 swerve 模块特性Swerve模块Caster模块改造后脚轮偏移无有14mm运动特性全向但非完整全息定制零件无2个3D打印轮毂座 1根定制加工轴改造仅需3个定制零件2个3D打印轮毂座PLA材料标准FDM 3D打印机即可制作1根定制加工轴可通过Xometry等在线机加工服务订购其余所有零件直接复用市售套件。2.3 硬件架构2.3.1 核心组件组件规格框架T-slot铝型材可调尺寸和形状驱动4个电机化脚轮模块供电底盘SLA电池密封铅酸电池6kg供电计算臂外设便携电站768Wh70分钟0-100%充电8.6kg计算Intel NUC迷你PC机械臂Kinova Gen3 7-DoF12kg含安装板和电源最后实物图如下双电池设计底盘电机和计算/臂使用独立电池。虽然可设计电路统一供电以节省空间但独立电池提供更大灵活性且设置更简便。SLA电池启动快可在电压低时热替换。配重设计便携电站8.6kg和SLA电池6kg同时充当配重防止底盘倾覆。2.3.2 设计原则研究灵活性T-slot铝型材框架可轻松调整尺寸和形状便携电站提供4个AC插座可适配不同机械臂和计算设备开源控制栈直至底层电机速度命令研究者不受厂商API限制可靠且易采购的零件驱动系统主要基于FRC生态零件每年超80,000名竞赛参与者使用零件标准化、可在线购买、通常一周内送达经竞赛严苛条件验证125lb机器人高速运动频繁碰撞CAN驱动、电机控制、电池监控等核心软件组件均已包含易于组装和维修1-2天完成组装T-slot框架组装约6小时每个脚轮模块30分钟组装仅需手工工具3D打印轮毂座约2天电气接线30分钟无需焊接模块化设计零件可在线购买直接替换2.4 性能规格对比关键优势TidyBot 是唯一同时具备全息、全向、可换臂特性的平台且成本最低。2.5 里程计精度使用亚毫米精度动作捕捉系统评估指标精度平移漂移1 cm / m旋转漂移1° / 360°高里程计精度使全息底盘可在位置模式下精确到达目标位姿(x,y,θ)(x, y, \theta)(x,y,θ)实现高可重复性。2.6 手机遥操作接口2.6.1 技术方案基于WebXR API实现手机遥操作实时流式传输手机6自由度位姿到计算机计算机将手机运动映射为底盘或机械臂的对应运动WebXR在大多数现代Android和iOS手机上均受支持无需购买专用遥操作设备2.6.2 与现有方案的对比方案局限性Oculus控制器需保持在IR接收器视野内出视野后可能产生意外运动RoboTurk仅IMU存在漂移问题MART/MOMART同样存在漂移未在真实机器人上验证Mobile ALOHA操作者固定在机器人后方远离末端执行器难以精确操控Dobb·E手持设备无法反馈动作是否运动学可行WebXR优势结合IMU数据与基于手机摄像头的视觉里程计有效消除漂移。操作者可自由围绕场景走动需要精度时可近距离操作。2.7 模仿学习实验2.7.1 策略学习算法Diffusion Policy扩散策略训练轮次500 epochs评估每个任务10次策略推演2.7.2 任务与结果任务演示数量成功率打开冰箱10010/10擦拭台面509/10装载洗碗机507/10取出垃圾5010/10装载洗衣机507/10浇花506/10关键发现虽然扩散策略通常需要200-300个演示但50个演示已足以使机器人成功完成任务。2.8 全息 vs 差速驱动对比实验2.8.1 实验设计在擦拭台面任务上进行头对头比较全息模式正常使用全息底盘差速模式对期望底盘位姿施加非完整约束然后计算速度命令发送给底盘两种模式各采集50个演示相同训练条件500 epochs2.8.2 遥操作效率对比指标差速驱动全息驱动平均行驶距离4.03m2.03m平均回合时长65.2s27.4s全息底盘的行驶距离和时长均约为差速驱动的一半。2.8.3 策略学习效果对比底盘模式成功率全息驱动9/10差速驱动4/10差速驱动策略的主要失败模式频繁跳过台面部分区域而非完整擦拭。原因分析学习问题本质上更难——策略不仅要学习擦拭动作还必须学习类似侧方停车的复杂侧移策略差速驱动的转向操作导致相机视野左右晃动降低观测质量全息底盘可保持稳定的前向相机视角三、主要创新点与学术贡献3.1 开源全息移动操作平台创新点提出首个低成本$5-6k、全息、可换臂的开源移动操作平台设计。学术贡献填补了移动操作研究硬件的空白——现有商用底盘要么昂贵Fetch $100k, Tiago $100k要么非完整Stretch, Mobile ALOHA要么不可换臂通过动力脚轮机制实现真正的全息运动而非麦克纳姆轮的伪全息振动大、抓地力差、越障弱全开源硬件设计、遥操作接口、策略学习框架、底层控制器配合BOM、组装视频、3D CAD文件3.2 动力脚轮运动学设计与最小化改造创新点在市售FRC swerve模块基础上仅通过3个定制零件2个3D打印件 1根加工轴引入脚轮偏移将非完整的swerve模块改造为全息的caster模块。学术贡献极大降低了全息底盘的构建门槛——无需从零设计脚轮利用FRC生态的成熟零件供应链确保零件可靠、易购、价廉二维偏移量bx,byb_x, b_ybx​,by​的运动学建模处理了设计简化带来的偏移量非对称问题3.3 全息驱动对模仿学习的系统性优势验证创新点首次通过严格的对比实验定量验证全息驱动相对于差速驱动在遥操作效率和策略学习效果上的优势。学术贡献遥操作效率全息底盘行驶距离和时长约为差速驱动的一半策略学习相同数据量下全息策略成功率9/10远超差速策略4/10位置模式控制全息底盘可直接在位置空间指令支持位置表示比速度表示更稳定、噪声更低而非完整底盘只能以速度模式控制观测质量全息底盘可保持稳定相机视角差速驱动的转向操作导致相机晃动3.4 基于WebXR的手机遥操作接口创新点基于WebXR API开发手机遥操作接口结合IMU与视觉里程计消除漂移跨平台兼容Android和iOS。学术贡献无需购买专用遥操作设备操作者可自由走动、近距离精确操控对比Mobile ALOHA操作者固定在机器人后方WebXR利用iPhone上的ARKit同时支持Android比仅限iOS的ARKit方案更通用3.5 真实家庭环境验证创新点在真实公寓中完成6种家庭移动操作任务的自主策略执行。学术贡献证明50个演示即可训练出有效的扩散策略远少于通常所需的200-300个任务覆盖开冰箱、擦台面、装洗碗机、取垃圾、装洗衣机、浇花等多种典型家庭场景遥操作可完成更丰富的任务卸烤箱、摆餐桌、整理厨房/门厅/卧室/台面、装水壶、刷浴缸等四、技术路线总结设计目标低成本、高机动性、易数据采集的移动操作研究平台 │ ┌────┴────┐ │ │ 硬件设计 遥操作接口 │ │ ├─ 动力脚轮驱动 ├─ WebXR API │ (4×电机化脚轮) │ (IMU 视觉里程计) ├─ T-slot框架 ├─ 6-DoF位姿流 ├─ 双电池供电 └─ 手机→底盘/臂映射 ├─ FRC生态零件 └─ 3个定制零件 │ │ └──────┬───────┘ │ 数据采集遥操作演示 │ 模仿学习Diffusion Policy │ 真实家庭环境部署 ├─ 6种自主任务成功率6/10~10/10 └─ 12种遥操作任务五、局限性与未来方向回驱性不足由于高转向齿轮比12.8和较小的脚轮偏移14mm底盘回驱backdrive阻力较大。已确认移除转向齿轮后可平滑回驱但需定制零件会降低开源设计的可及性。脚轮偏移量受限14mm的偏移量是设计简化的折衷更大的偏移量可改善回驱性和运动性能但需更多定制零件。户外适用性有限底盘设计面向室内使用虽然实测可应对部分室外障碍人行道、钢板、坡道、减速带但非主要设计目标。未来方向进一步优化机械设计以改善回驱性扩展到更多家庭任务和更复杂的环境结合大语言模型实现更高级的任务规划如前作TidyBot推动社区基于该平台采集大规模移动操作数据集