在机器人具身智能与机械臂操控技术的发展进程中高质量、大规模的数据集是算法迭代与模型泛化的核心基础。从早期的平面抓取检测到如今的 6 自由度抓取、跨类别部件操作、双手灵巧操控每一步技术突破都离不开对应基准数据集的支撑。本文系统梳理了当前领域内主流的目标抓取数据集与物体操作数据集涵盖其核心特点、数据规模、适用场景与访问方式同时补充了若干被广泛使用的经典基准方便研究者快速选型与调研。一、目标抓取Grasping数据集这一类数据集主要聚焦「如何在物体上生成稳定、可执行的抓取位姿」是机械臂操作的底层基础任务覆盖 2D 平面抓取到 6D 空间抓取等不同技术维度。1. 矩形表示抓取检测奠基工作对应论文Efficient grasping from RGBD images: Learning a new rectangle representation链接状态提供的 CiteSeerX 链接解析失败无法获取原文内容核心背景该工作是深度学习时代抓取检测的奠基性研究之一提出了用「五参数矩形」表示平面抓取的经典范式。其配套的Cornell Grasp Dataset是领域最早的标准抓取基准包含数百张日常物体的 RGB-D 图像与人工标注的抓取矩形至今仍是平面抓取算法的标配测试集。2. 多目标多抓取检测Real-World Multiobject, Multigrasp Detection项目地址https://github.com/ivalab/grasp_multiObject_multiGrasp发表信息IEEE RA-L 2018IROS 2018 展示核心特点基于 Faster R-CNN 框架改造支持 RGB-D 图像输入单次前向传播即可同时检测多个物体与多个抓取候选支持单物体多抓取点、多物体杂乱场景的抓取预测更贴近真实工业与家庭场景提供完整的训练、推理代码与预训练 ResNet50 模型同步配套 ROS 版本实现数据适配原生支持 Cornell 数据集训练可按 VOC 格式扩展自定义数据集引用信息Chu F, Xu R, Vela P A. Real-world multiobject, multigrasp detection[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 3355-3362.3. 大规模仿真抓取基准Jacquard Dataset官方地址https://jacquard.liris.cnrs.fr/发布团队法国里昂中央理工 LIRIS 实验室IROS 2018核心特点面向机器人抓取检测的大规模仿真数据集基于 ShapeNet 物体模型生成覆盖丰富的物体类别与观测视角提出模拟抓取测试Simulated Grasp Trial, SGT评估标准在仿真环境中复现抓取动作以实际物理抓取成败作为评价依据比传统的 IOU 几何匹配更贴近真实效果注册用户可提交预测结果通过官方仿真器在线评估算法性能访问方式需签署 EULA 协议并通过机构邮箱申请免费公共邮箱Gmail、Hotmail 等不予通过4. 6 自由度几何抓取Learning 6-DOF Grasping Interaction项目地址https://research.google/pubs/learning-6-dof-grasping-interaction-via-deep-3d-geometry-aware-representations/链接状态页面解析失败无法获取完整内容核心背景Google Research 推出的 6D 抓取代表性工作核心是通过深度几何感知的 3D 表示学习实现空间中 6 自由度抓取位姿的预测与交互是早期基于 3D 几何的 6D 抓取方向的奠基性研究之一。5. 仿真生成大规模抓取集ACRONYM官方地址https://sites.google.com/nvidia.com/graspdataset链接状态境外站点当前无法正常访问核心背景NVIDIA 发布的大规模仿真抓取数据集全称为「A Large-Scale Grasp Dataset Based on Simulation」。基于 ShapeNet 海量物体模型通过物理仿真生成百万级 6 自由度对跖antipodal抓取标注支持深度抓取检测网络的大规模预训练是 6D 抓取领域的经典基准之一。6. 几何多样化抓取分析集EGAD!官方地址https://dougsm.github.io/egad/发表信息IEEE RA-L 2020核心特点通过进化算法生成物体网格均匀覆盖「简单 - 复杂」「易抓取 - 难抓取」两个维度解决了传统数据集物体几何多样性不足的问题训练集包含2282 个可 3D 打印的物体模型评估集包含 49 个梯度化难度的评测物体可直接用于 Sim2Real 迁移验证提供 Dex-Net 兼容的 HDF5 格式数据库包含预计算的 Ferrari Canny 抓取质量指标与对跖抓取标注下载方式官网直接提供训练集、评估集模型与完整数据库下载7. 亿级通用抓取基准GraspNet-1Billion参考链接https://github.com/RayYoh/OCRM_survey/blob/main/www.graspnet.net核心背景由香港大学等团队推出的大规模通用物体抓取基准是当前全球规模最大的真实场景抓取数据集之一。包含海量真实场景 RGB-D 图像与高精度 6D 抓取标注覆盖数百种日常物体与杂乱堆叠场景配套标准评测协议与 GraspNet API是泛化抓取检测算法的核心评测基准。8. 大模型生成抓取数据集Grasp-Anything官方地址https://airvlab.github.io/grasp-anything/核心特点基于 AIGC 基础模型生成的大规模抓取数据集包含100 万张带抓取标注的图像样本规模远超传统人工 / 仿真标注数据集支持语言引导抓取可根据自然语言指令指定抓取物体的具体部位如 “抓取计算器的键盘区域”同步推出 Grasp-Anything-6D 子集支持三维空间 6 自由度抓取任务核心价值突破了真实数据标注成本高、规模小的瓶颈为大模型时代的抓取检测提供了大规模预训练数据补充其他经典抓取数据集除上述数据集外领域内还有多个被广泛使用的基准Cornell Grasp Dataset平面抓取领域的标杆数据集280 个物体、885 张 RGB-D 图像是算法入门与基线对比的首选Dex-Net 系列伯克利 AUTOLAB 推出的仿真抓取数据集系列2.0/3.0/4.0包含千万级抓取标注与鲁棒性评分是工业级抓取网络的主流预训练数据OCID Grasp面向杂乱堆叠场景的抓取数据集包含大量遮挡、堆叠的桌面物体场景贴近仓储分拣真实场景VMRD真实机械臂采集的视觉抓取数据集包含多视角 RGB-D 数据与抓取成功 / 失败标注二、物体操作Object Manipulation数据集这类数据集不再局限于单点抓取而是覆盖抓取后的物体操作、铰接部件交互、灵巧手操控、语言引导任务等更复杂的场景是通用机器人操作能力的核心评测基准。1. 通用操作物体基准YCB Object and Model Set官方地址http://ycb-benchmarks.s3-website-us-east-1.amazonaws.com/发布团队耶鲁大学、CMU、伯克利联合推出2015 年核心特点领域内最通用的日常物体集包含 77 种常见家庭 / 工业物品食品包装、工具、餐具、玩具等提供高精度 3D 网格模型泊松重建、体素积分两种方式、多分辨率激光扫描模型16k/64k/512k 面片、带纹理的模型文件每个物体配套 600 张高分辨率 RGB 图像与 600 张 RGBD 图像支持多视角视觉算法训练提供 OpenRAVE 的 Kinbody 文件、Python 下载工具与 ROS 节点适配主流机器人仿真与真实系统协议数据采用 CC BY 4.0 协议代码采用 MIT 协议2. 铰接物体知识库AKB-48官方地址https://liuliu66.github.io/AKB-48/核心定位真实世界铰接物体知识库Articulated Object Knowledge Base专注于带活动部件物体的建模与部件级分析核心价值为铰接物体的部件分割、运动学估计、交互操作等任务提供真实物体数据与标注覆盖抽屉、柜门、按钮等常见铰接结构是 GAPartNet、PartManip 等部件级操作基准的核心数据源之一。3. 部件级交互仿真引擎SAPIEN官方地址https://sapien.ucsd.edu/发布团队UCSD Su Hao 团队核心定位全称为 SimulAted Part-based Interactive ENvironment是面向部件级物体交互的物理仿真环境核心特点原生支持铰接物体的物理仿真内置丰富的日常家具、工具类铰接物体模型提供高真实度的传感器仿真RGB、深度、点云Sim2Real 域差距小是 ManiSkill、PartManip 等多个主流操作基准的底层仿真引擎被广泛应用于强化学习、模仿学习的操作任务训练4. 跨类别部件感知与操作GAPartNet官方地址https://pku-epic.github.io/GAPartNet/发表信息CVPR 2023 Highlight核心定位首个面向跨类别泛化的部件级感知与操作数据集核心思想是通过「通用可操作部件Generalizable and Actionable Parts, GAPart」实现跨物体类别的能力迁移核心数据定义了 9 种 GAPart 类别圆形固定把手、条形固定把手、铰接把手、铰接柜门、铰接盖子、滑动盖子、滑动抽屉、滑动按钮、铰接旋钮覆盖 27 个物体类别1166 个物体实例共 8489 个部件实例每个部件包含语义标注与 6 自由度位姿标注支持任务部件语义分割、部件位姿估计、部件级物体操作核心贡献提出面向部件的域对抗训练方法显著提升了跨物体类别的泛化性能验证了部件级方案在 Sim2Real 场景的有效性5. 通用操作技能统一基准ManiSkill2官方地址https://maniskill2.github.io/发表信息ICLR 2023核心定位面向通用操作技能的统一评测基准基于 SAPIEN 仿真引擎构建核心特点覆盖 20 种操作技能包含刚体操作、铰接物体操作、软体操作三大类支持单臂 / 双臂、固定基座 / 移动基座多种配置内置 2000 物体开箱即用无需自行收集资产提供400 万帧以上的专家演示数据支持模仿学习算法研究原生支持 3D 点云观测提供物理真实的深度传感器仿真SimSense便于 Sim2Real 迁移支持 pip 一键安装配套 Google Colab 教程与 PPO、BC、DAPG 等基线算法性能表现异步渲染架构实现高速视觉强化学习普通工作站 10 分钟可采集百万帧视觉观测6. 语言引导连续状态操作ARNOLD官方地址https://arnold-benchmark.github.io/发表信息ICCV 2023核心定位面向语言引导的连续状态任务学习基准基于 NVIDIA Isaac Sim 构建核心特点聚焦「连续物体状态」操作区别于传统的二元开闭任务支持抽屉开 50%、倒水 75% 等连续目标状态更贴近真实人类指令场景包含 8 类语言条件任务拾取物体、物体重定向、开关抽屉、开关柜门、倒水、转移水等覆盖 40 个差异化物体、20 个真实感场景提供 1 万条带语言描述的专家演示设置 7 种数据划分同分布测试、新物体泛化、新场景泛化、新目标状态泛化等系统评测算法的泛化能力支持流体物理仿真搭载 PhysX 5.0 物理引擎与光追渲染7. 双手灵巧操作基准Bi-DexHands项目地址https://github.com/PKU-MARL/DexterousHands发表信息NeurIPS 2022 Datasets and Benchmarks Track核心定位面向双手灵巧操作的强化学习基准基于 NVIDIA Isaac Gym 构建核心特点包含 16 双手灵巧操作任务物体传递、接物、开门、拧瓶盖、推方块、剪东西、倒水、按按钮等覆盖多种日常双手交互模式支持 YCB 与 SAPIEN 数据集的 2000 物体可用于多任务、元强化学习的泛化性测试极致性能单张 RTX 3090 可并行运行 2048 个环境平均帧率超 40000 FPS提供全套算法基线覆盖单智能体 RL、多智能体 RL、多任务 RL、元 RL、离线 RL 全方向支持点云视觉观测提供 Gym 风格的 Python API易于二次开发8. 铰接物体灵巧操作DexArt官方地址https://www.chenbao.tech/dexart/发表信息CVPR 2023核心定位面向铰接物体的多指灵巧手操作基准聚焦跨物体泛化能力核心特点4 类典型铰接操作任务开关水龙头、开合笔记本盖、提桶、开合马桶盖每类包含多个不同外观的物体实例采用稀疏点云作为视觉输入无先验分割标注更贴近真实场景系统评测了不同预训练策略、不同视觉骨干对强化学习效果的影响验证了 PointNet 几何表示在视角鲁棒性上的优势核心结论部件级推理、更多样的训练物体、合适的几何表征是提升灵巧操作泛化性的关键9. 跨类别部件操作策略PartManip官方地址https://pku-epic.github.io/PartManip/发表信息CVPR 2023核心定位首个大规模跨类别部件操作策略评测基准基于 GAPart 定义构建核心数据6 类操作任务开门、关门、开抽屉、关抽屉、按按钮、抓把手覆盖 11 个物体类别494 个物体实例共 1432 个操作任务采用稀疏视角点云作为输入不提供部件分割等先验信息更具现实挑战性核心方案提出「状态专家蒸馏 视觉学生学习」的两阶段框架结合域对抗学习提升跨类别泛化能力在未见过的物体类别上性能显著优于传统 RL 方法Sim2Real 验证在真实 Franka 机械臂上完成了未见过物体的部件操作验证证明了方案的现实迁移能力10. 日常活动具身基准BEHAVIOR-1K官方地址https://behavior.stanford.edu/behavior-1k链接状态页面解析失败无法获取完整内容核心背景斯坦福大学推出的以人为中心的具身 AI 基准包含 1000 种日常家庭活动任务基于真实物理仿真环境构建覆盖长周期、多步骤的复杂操作任务是评估通用具身智能体操作能力的高端基准。补充其他经典操作基准RLBench基于 CoppeliaSim 的机器人操作学习基准包含上百种操作任务配套演示数据与强化学习接口是小样本操作学习的常用基准RoboSuite基于 MuJoCo 的机器人操作基准包含堆叠、插入、开门等经典任务支持 Franka、Sawyer 等多种机械臂MetaWorld元强化学习操作基准包含 50 操作任务用于评测算法的快速适配与泛化能力PartNet-Mobility大规模铰接物体 3D 数据集包含数千个带运动学标注的家具、工具模型是铰接操作研究的核心资产