先说一个很多开发者都留意到的现象每隔几年人形机器人就会在资本和媒体里火一轮但真正能走到量产边缘的团队并不多。最近孙正义押注 1X 的消息又一次把“人形机器人”推到技术圈的热点位置。抛开资本层面的解读从工程角度看这件事真正值得关注的是为什么人形机器人直到今天才具备“可商业化”的技术基础作为开发者我们能从这套技术栈里学到什么这篇文章不聊股价也不做商业评论。我会把人形机器人拆成感知、决策、控制、算力、数据这几条技术线结合 1X 这类产品的研发思路讲清楚里面的核心概念、开发环境、代码示例和常见坑。无论你是做后端、嵌入式、AI 算法还是对机器人操作系统 ROS 2 感兴趣的初学者都能从中找到可以上手的切入点。1. 人形机器人的技术热度为什么持续上升1.1 从“机械展示”到“数据驱动”的转变早期人形机器人更多是“预编程表演”工程师把每一步动作写死机器人在特定场景下完成行走、挥手、抓取等演示换个环境就失效。这种模式研发周期长、泛化能力差很难进入真实工作场景。近年来行业逐步转向数据驱动 模型学习的路线。以 1X 为代表的公司提出一个关键思路与其让工程师手写所有运动逻辑不如通过遥操作采集真实动作数据再用这些数据训练模型让机器人学会“像人一样干活”。这种思路在学术上叫行为克隆Behavior Cloning或模仿学习Imitation Learning。这背后的逻辑和 ChatGPT 训练过程有相似之处先用大量高质量数据做预训练再通过人类反馈或环境反馈做微调。只不过机器人学习的不只是“下一个 Token”而是“下一个动作”。1.2 资本关注背后是技术拐点的出现孙正义和软银过去在机器人领域有过多次布局这次再次入场本质上反映了资本对“具身智能”赛道的判断大语言模型解决了机器人的“理解与规划”问题剩下的关键是把理解转化为物理世界的动作。从开发者视角看这意味着三类能力变得尤为重要机器人操作系统ROS / ROS 2的工程化能力多传感器融合视觉、激光雷达、IMU、编码器的落地能力边缘算力与嵌入式 AI 芯片的选型能力。1.3 相关产业链的带动效应人形机器人热度的上升还带动了上游芯片、传感器、电机、减速器等产业链。以“人形机器人芯片”为例这类设备通常不需要服务器级别的超大算力而是强调单位功耗下的 AI 推理性能、实时控制能力和接口丰富度。全志科技等国内芯片厂商在该方向也有布局说明行业正在形成一个完整的国产化供应链。2. 人形机器人核心技术栈拆解从软件工程的角度我习惯把人形机器人系统分为四层。层级职责主要技术感知层获取环境与自身状态信息视觉、激光雷达、IMU、编码器决策层理解任务、规划动作大模型、强化学习、状态机控制层输出关节力矩、保持平衡PID、MPC、全身动力学控制算力层支撑上面三层的实时运行CPU、GPU、NPU、MCU2.1 感知层多传感器融合人形机器人需要同时处理多路数据RGB 相机识别物体、检测目标位姿深度相机获取场景三维结构用于避障和抓取激光雷达提供高精度距离信息常用于建图与定位IMU惯性测量单元测量角速度和加速度是平衡控制的基础关节编码器反馈每个电机的角度和角速度。多传感器融合的核心问题不是“数据多”而是时间同步和空间对齐。如果视觉数据和 IMU 数据的时间戳不一致算法做出来的位姿估计就会漂移。2.2 决策层从“规则”走向“模型”传统机器人决策依赖状态机和规则引擎如果检测到障碍物就执行避障动作如果任务完成就切换到下一个状态。现在的趋势是让大模型参与决策。例如用户用自然语言下发任务“把桌子上的水杯拿给我”大模型把任务拆解为子任务定位水杯 → 规划路径 → 接近水杯 → 抓取 → 回到用户附近 → 递出水杯每个子任务再映射到具体的运动原语。这种架构中大模型扮演的是“指挥官”底层的运动控制仍然需要传统控制算法保证稳定性。2.3 控制层保证稳定与安全人形机器人最大的技术难点是双足平衡。与四足机器人或轮式机器人相比双足机器人的支撑面很小质心位置不断变化稍有扰动就可能摔倒。常用的控制方法包括PID 控制简单直接适合单关节角度控制ZMP零力矩点控制通过调整步态保证质心落在支撑多边形内模型预测控制MPC根据动力学模型预测未来状态求解最优控制量全身动力学控制WBC同时考虑所有关节优化出满足多个任务优先级的最优力矩。对入门开发者来说不必一开始就研究复杂的动力学公式可以先从单个关节的 PID 控制开始逐步理解“状态反馈”和“力矩输出”之间的关系。2.4 算力层边缘 AI 芯片的设计约束人形机器人的计算负载分布在多个芯片上高性能 SoC如 Jetson、RK3588 类型运行视觉模型、SLAM、导航算法MCU如 STM32、ESP32执行实时运动控制、读取编码器、发送 PWMNPU/加速器加速神经网络推理让人脸识别、目标检测等任务达到实时帧率。设计上需要重点关注功耗、散热和实时性。机器人本体电池容量有限如果整机算力功耗过高续航会急剧缩短。这也是为什么“能效比”成为人形机器人芯片选型的重要指标。3. ROS 2 环境准备与版本说明如果要用工程化方式开发人形机器人ROS 2 是目前绕不开的框架。它提供了话题通信、服务调用、参数服务、TF 坐标变换、可视化等一整套工具让开发者可以模块化地组织机器人软件。3.1 操作系统与 ROS 2 版本我在本文中使用 Ubuntu 22.04 和 ROS 2 Humble 作为示例环境。版本对应关系如下操作系统ROS 2 版本支持状态Ubuntu 22.04Humble长期支持Ubuntu 24.04Jazzy较新版本Ubuntu 20.04Foxy已进入维护末期如果你的环境不是上述组合建议先确认官方文档中 ROS 2 与操作系统的兼容关系避免编译时出现底层依赖错误。本文所有示例以 Ubuntu 22.04 ROS 2 Humble 为准。3.2 安装 ROS 2 Humble在开始之前先更新系统软件包列表sudo apt update sudo apt upgrade -y然后设置软件源并安装 ROS 2 Humblesudo apt install software-properties-common sudo add-apt-repository universe sudo apt update sudo apt install ros-humble-desktop如果只需要命令行工具和核心库可以安装精简版sudo apt install ros-humble-ros-base安装完成后将 ROS 2 环境变量写入~/.bashrcecho source /opt/ros/humble/setup.bash ~/.bashrc source ~/.bashrc运行以下命令验证安装是否成功ros2 run demo_nodes_cpp talker如果终端持续输出类似[INFO] [minimal_publisher]: Publishing: Hello World的信息说明 ROS 2 核心功能正常。3.3 安装开发辅助工具开发过程中我推荐安装colcon作为构建工具它的用法类似 CMake但专门针对 ROS 2 包做了优化。sudo apt install python3-colcon-common-extensions再安装turtlesim方便后期做简单的运动控制演示sudo apt install ros-humble-turtlesim3.4 工作空间结构ROS 2 开发通常使用src目录管理代码包。一个典型的项目结构如下rbt_ws/ ├── src/ │ ├── robot_perception/ │ │ ├── robot_perception/ │ │ ├── package.xml │ │ ├── setup.py │ │ └── resource/ │ └── robot_control/ └── install/每次修改代码后需要在工作空间根目录执行构建colcon build然后加载新的环境变量source install/setup.bash4. 人形机器人开发实战入门下面我们用一个简化的人形机器人开发示例演示摄像头感知 话题通信 基础控制的组合。这个示例不会涉及复杂的双足平衡而是帮助你理解 ROS 2 中各个模块如何协作。4.1 需求拆解假设机器人需要完成以下任务通过摄像头识别前方的红色方块计算方块在画面中的横向偏移发布一个控制指令让机器人身体“原地转向”以对准方块。我们把这个需求拆成两个 ROS 2 功能包robot_perception负责订阅摄像头图像做颜色检测输出偏移量robot_control接收偏移量映射为转向速度指令。4.2 创建功能包进入工作空间源码目录mkdir -p ~/rbt_ws/src cd ~/rbt_ws/src使用ros2 pkg create创建感知功能包ros2 pkg create robot_perception \ --build-type ament_python \ --dependencies rclpy sensor_msgs cv_bridge geometry_msgs再创建控制功能包ros2 pkg create robot_control \ --build-type ament_python \ --dependencies rclpy geometry_msgs这里--build-type ament_python表示用 Python 编写节点--dependencies后面的内容会写入package.xml中作为依赖声明。4.3 编写感知节点在robot_perception包中找到robot_perception目录新建一个perception_node.py文件。这个节点的主要逻辑是订阅/camera/image_raw话题接收sensor_msgs/Image消息使用cv_bridge将 ROS 图像消息转换为 OpenCV 的numpy数组将图像从 BGR 转为 HSV通过颜色阈值提取红色区域计算红色区域中心的横向偏移量发布到/target_offset话题。代码如下# 文件路径~/rbt_ws/src/robot_perception/robot_perception/perception_node.py import rclpy from rclpy.node import Node from sensor_msgs.msg import Image from geometry_msgs.msg import Vector3 from cv_bridge import CvBridge import cv2 import numpy as np class PerceptionNode(Node): def __init__(self): super().__init__(perception_node) # 订阅原始图像队列长度设为 1降低延迟 self.subscription self.create_subscription( Image, /camera/image_raw, self.image_callback, 1 ) # 发布目标偏移量 self.publisher self.create_publisher( Vector3, /target_offset, 10 ) self.bridge CvBridge() self.get_logger().info(Perception node started.) def image_callback(self, msg): # 将 ROS 图像消息转为 OpenCV 图像 frame self.bridge.imgmsg_to_cv2(msg, bgr8) height, width frame.shape[:2] # 转为 HSV 色彩空间 hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) # 红色在 HSV 中有两个区间分别处理 lower_red_1 np.array([0, 100, 100]) upper_red_1 np.array([10, 255, 255]) lower_red_2 np.array([160, 100, 100]) upper_red_2 np.array([179, 255, 255]) mask1 cv2.inRange(hsv, lower_red_1, upper_red_1) mask2 cv2.inRange(hsv, lower_red_2, upper_red_2) mask cv2.bitwise_or(mask1, mask2) # 寻找红色区域的轮廓 contours, _ cv2.findContours( mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) if len(contours) 0: # 最大轮廓作为目标 largest max(contours, keycv2.contourArea) M cv2.moments(largest) if M[m00] 0: cx int(M[m10] / M[m00]) # 偏移量范围归一化到 [-1, 1] offset_x (cx - width / 2) / (width / 2) offset_msg Vector3() offset_msg.x float(offset_x) offset_msg.y 0.0 offset_msg.z 0.0 self.publisher.publish(offset_msg) self.get_logger().info(fDetected target, offset_x: {offset_x:.3f}) else: # 未检测到目标时发布一个空偏移 offset_msg Vector3() offset_msg.x 0.0 offset_msg.y 0.0 offset_msg.z 0.0 self.publisher.publish(offset_msg) def main(argsNone): rclpy.init(argsargs) node PerceptionNode() try: rclpy.spin(node) except KeyboardInterrupt: pass finally: node.destroy_node() rclpy.shutdown() if __name__ __main__: main()注意上面代码中Vector3只是用来表示偏移量的一种简化方案。实际工程中更合理的做法是自定义消息格式例如定义TargetOffset.msg这样可以更清晰地表达语义。4.4 编写控制节点接下来实现robot_control节点。它的逻辑是订阅/target_offset根据偏移量乘以比例系数得到机器人转向速度发布到/cmd_vel模拟机器人底盘的线速度和角速度指令。代码如下# 文件路径~/rbt_ws/src/robot_control/robot_control/control_node.py import rclpy from rclpy.node import Node from geometry_msgs.msg import Vector3, Twist class ControlNode(Node): def __init__(self): super().__init__(control_node) # 订阅感知节点发布的偏移量 self.subscription self.create_subscription( Vector3, /target_offset, self.offset_callback, 10 ) # 发布速度控制指令 self.publisher self.create_publisher( Twist, /cmd_vel, 10 ) # 比例系数 self.angular_gain 1.5 self.get_logger().info(Control node started.) def offset_callback(self, msg): twist Twist() # 根据横向偏移量计算角速度 # 偏移为正表示目标在右侧需要向右旋转 twist.linear.x 0.0 twist.angular.z -self.angular_gain * msg.x self.publisher.publish(twist) self.get_logger().info(fPublishing cmd_vel: {twist.angular.z:.3f}) def main(argsNone): rclpy.init(argsargs) node ControlNode() try: rclpy.spin(node) except KeyboardInterrupt: pass finally: node.destroy_node() rclpy.shutdown() if __name__ __main__: main()这个节点做了很关键的一件事把感知结果转化为可执行的运动指令。在人形机器人中cmd_vel可能不会直接控制关节而会被上层控制算法进一步分解为腿部动作但概念是一样的。4.5 配置入口函数接下来需要把节点入口注册到setup.py中。打开~/rbt_ws/src/robot_perception/setup.py在entry_points中添加entry_points{ console_scripts: [ perception_node robot_perception.perception_node:main, ], },同样打开~/rbt_ws/src/robot_control/setup.py添加entry_points{ console_scripts: [ control_node robot_control.control_node:main, ], },4.6 构建与运行回到工作空间根目录完成构建cd ~/rbt_ws colcon build构建成功后加载环境变量source install/setup.bash启动感知节点ros2 run robot_perception perception_node再打开一个终端启动控制节点source /opt/ros/humble/setup.bash source ~/rbt_ws/install/setup.bash ros2 run robot_control control_node为了验证整个链路可以通过命令行发布一张模拟的彩色图像话题这里需要使用实际的相机驱动或仿真工具。如果没有真实相机可以用ros2 topic pub手动发布偏移量数据来测试控制节点ros2 topic pub /target_offset geometry_msgs/msg/Vector3 \ {x: 0.3, y: 0.0, z: 0.0} --rate 10如果一切正常控制节点会持续打印[INFO] [control_node]: Publishing cmd_vel: -0.450表示机器人正以0.45 rad/s的角速度向右转向。4.7 结果说明通过这个示例你可以直观感受到 ROS 2 的模块化开发模式感知节点只关心“看到什么”控制节点只关心“怎么做”两者通过话题解耦可以独立替换和调试。在人形机器人项目中这种解耦设计非常重要。不同团队可以并行开发感知、规划、控制模块最后通过标准消息接口对接。5. 从示例到人形机器人需要补充的关键模块上面的示例只是一个基础链路。要把它扩展到真正的双足人形机器人还需要补充以下模块。5.1 状态估计与坐标变换机器人要控制身体姿态首先要知道自己当前在哪、朝向哪里、关节角度是多少。这需要维护一个TF 树坐标变换树。ROS 2 中每个传感器、关节、身体部位都可以看作一个坐标系。例如base_link机器人基座坐标系camera_link相机坐标系left_leg左腿坐标系。tf2库可以帮我们实时计算任意两个坐标系之间的变换关系让视觉检测到的目标位姿统一到机器人基座坐标系下。# 示例在 ROS 2 中监听坐标变换 from tf2_ros import TransformListener, Buffer self.tf_buffer Buffer() self.tf_listener TransformListener(self.tf_buffer, self) # 等待 base_link 到 camera_link 的变换 try: transform self.tf_buffer.lookup_transform( base_link, camera_link, rclpy.time.Time(), timeoutrclpy.duration.Duration(seconds1.0) ) except Exception as e: self.get_logger().warn(fFailed to get transform: {e})5.2 仿真环境在真机上做强化学习和运动控制训练成本和风险都很高。一种常用做法是先在仿真的刚体物理环境中训练再迁移到真实机器人。常用的仿真工具有Gazebo经典机器人仿真器与 ROS 2 集成较好Isaac Sim / Isaac LabNVIDIA 推出的机器人仿真平台对 GPU 加速支持好MuJoCo轻量级物理引擎适合运动控制算法研究。仿真到现实的迁移也就是常说的Sim-to-Real Transfer是当前机器人领域的研究热点。由于仿真中的摩擦、质量、延迟和真实环境存在差异直接在仿真中训练好的策略往往无法直接部署到真机需要通过域随机化Domain Randomization等手段让策略更加鲁棒。5.3 遥操作与数据采集1X 这类公司非常重视遥操作。简单说就是让人穿戴动作捕捉或使用操控手柄远程操纵机器人完成某个任务同时记录所有传感器数据和关节指令。这些数据经过筛选和标注后就构成了模型训练的数据集。遥操作系统的技术难点在于低延迟通信操作者发出的指令必须被机器人快速执行力反馈操作者需要感知机器人与环境的接触力数据同步视觉、触觉、关节角数据必须严格同步。如果你对这个方向感兴趣可以关注动作捕捉设备如 OptiTrack、Vicon、遥控手柄如 SpaceMouse以及触觉反馈设备的发展。5.4 大模型与机器人规划现在很多项目开始把大模型接入机器人决策链路。例如使用 GPT-4V 或开源 VLM视觉语言模型识别场景输出任务描述然后由MoveIt或自定义规划器完成路径规划。这种架构中语言模型负责“高层理解”底层控制仍然依赖确定性算法。为了保证安全通常会在模型和控制器之间加入一层安全校验模块检查规划出的动作是否会碰撞、是否超过关节限位。6. 人形机器人芯片与边缘算力选型6.1 机器人芯片需要满足什么条件人形机器人通常不会把所有计算都放在远端服务器因为网络延迟和断连都会带来严重的安全隐患。因此板载算力非常重要。一颗合格的机器人主控芯片通常需要满足以下条件支持多路摄像头输入具备 NPU能加速 YOLO 等目标检测模型提供丰富的接口CAN、UART、I2C、SPI、USB功耗控制在可接受范围满足实时控制和 Linux 生态的通用计算需求。6.2 入门级选型参考对于学习和小型验证项目可以考虑芯片平台特点适用场景NVIDIA Jetson Orin 系列GPU 算力强生态完善视觉识别、导航、强化学习RK3588CPUNPU 组合性价比高边缘 AI 推理、多路视频全志科技机器人相关芯片低功耗、接口丰富、适合国产化教育机器人、轻量型机器人需要注意的是芯片选型不能只看算力还要看开发工具链是否成熟、社区资料是否丰富、是否有现成的 BSP板级支持包。这些问题往往决定项目能否按时落地。6.3 实时控制与 NPU 的分工在人形机器人中建议把实时运动控制和AI 感知推理分离到不同处理器上MCU 负责读取关节编码器、执行 PID 控制、处理急停信号SoC/NPU 负责视觉感知、路径规划和语音交互。这样设计的好处是即使 AI 任务发生卡顿底层的运动控制仍然可以独立运行不会因为视觉模型推理超时而导致机器人失控。7. 常见问题与排查思路人形机器人开发中很多问题不是单一原因造成的而是多个模块叠加出现的。下面列出几个高频问题。问题现象常见原因解决思路ROS 2 节点启动后立刻退出未 source 环境变量或依赖缺失检查source install/setup.bash确认依赖包rosdep已安装cv_bridge与 OpenCV 版本冲突ROS 2 自带的 OpenCV 与系统 OpenCV 版本不一致在虚拟环境中重新安装匹配的cv_bridge或使用系统 Python相机图像延迟高带宽不足或话题队列过长降低图像分辨率、增大压缩比、调整队列深度为 1机器人行走时抖动关节控制频率不够或 PID 参数超调提高控制频率重新整定 PID 参数仿真中能走真机上摔倒Sim-to-Real Gap使用域随机化增加模型对不确定性的鲁棒性模型推理占用过高 CPU未使用 NPU 加速优化模型结构转换为 NPU 支持的格式并加载推理电机响应慢通信带宽受限或总线冲突合理划分 CAN/UART 通信周期减少无效数据包排查问题时我给的建议是先隔离模块再联调。不要一上来就怀疑动力学算法而是先把感知、通信、执行器逐一验证定位出问题在哪一层。比如机器人不动先检查cmd_vel话题是否有数据输出ros2 topic echo /cmd_vel如果话题没有数据问题在感知或决策层如果有数据但电机不动问题在执行器或驱动层。8. 最佳实践与工程建议结合多个机器人项目的落地经验这里整理一些通用的工程建议。8.1 设计清晰的消息接口ROS 2 中消息接口是模块之间的“协议”。建议在项目初期定义好消息格式而不是直接使用通用类型。例如偏移量检测结果可以定义TargetOffset.msg# TargetOffset.msg float32 x float32 y float32 confidence这样做的好处是语义清晰团队协作不易误解后续扩展字段时兼容性更好便于日志分析和离线回放。8.2 使用参数中心管理配置将 PID 参数、相机内参、模型路径等放到 ROS 2 参数中心或配置文件中而不是硬编码在源码里。这样可以在不重新编译的情况下调整参数方便调试。用 YAML 文件管理参数# config/control_params.yaml control_node: ros__parameters: angular_gain: 1.5 max_angular_speed: 1.0启动时加载参数ros2 run robot_control control_node \ --ros-args --params-file config/control_params.yaml8.3 日志规范与数据回放机器人开发中bug 很难通过打断点的方式复现因此日志和录包非常重要。使用ros2 bag record录制传感器数据使用 RViz2 回放和分析关键控制信号加上周期性日志便于判断程序执行到哪一步。ros2 bag record /camera/image_raw /target_offset /cmd_vel录制后的数据可以在仿真中反复回放帮助复现问题。8.4 安全设计急停与看门狗真机调试时必须设计急停机制独立于主控制器的硬件急停按钮主控与底层 MCU 之间的心跳协议当检测到关节超限或电流异常时自动进入安全状态。控制节点可以在主循环中加一个超时判断如果长时间没收到感知数据就主动停机。# 示例感知数据超时保护 from rclpy.duration import Duration last_receive_time self.get_clock().now() def offset_callback(self, msg): self.last_receive_time self.get_clock().now() # 处理消息 def check_timeout(self): now self.get_clock().now() interval now - self.last_receive_time if interval.nanoseconds Duration(seconds1).nanoseconds: self.get_logger().warn(No perception data received, stop robot!) self.publish_stop_cmd()8.5 版本管理与团队协作机器人项目往往是多团队协作建议从第一天就使用 Git 管理代码使用 Docker 统一开发环境并在 CI 中自动构建和运行单元测试。ROS 2 包的依赖建议通过rosdep管理避免环境不一致带来的“在我电脑上是好的”问题。9. 总结与下一步学习建议这篇文章从孙正义押注 1X 的热点出发梳理了人形机器人开发的完整技术链路。你至少应该收获四点认知人形机器人是“感知-决策-控制-算力-数据”的综合系统工程不是单一算法问题ROS 2 是当前机器人开发的核心框架话题通信、参数管理、坐标变换等基础必须掌握数据驱动和模型学习正在改变机器人开发范式遥操作数据采集会越来越重要算力与芯片选型需要考虑能效比、实时性和工具链成熟度不能只看峰值算力。下一步我建议你按顺序做三件事在本地装好 ROS 2完成本文的感知与控制节点联调学习在 Gazebo 中搭建一个简单的差分驱动机器人熟悉 TF、建图与导航如果你对 AI 感兴趣可以尝试训练一个目标检测模型然后部署到边缘芯片上替代示例中的颜色识别逻辑。人形机器人的门槛确实存在但并没有想象中那么高。真正重要的是把每一层基础打牢会写 ROS 2 节点会调 PID会部署模型会设计数据闭环。等你把这些串起来再回来看 1X、Figure AI 这些公司的技术报告会发现它们解决的都是同一串工程问题的延伸。如果你正在学习和调试相关项目欢迎在评论区留言讨论。本文提到的代码和配置都可以直接复制使用遇到问题也可以按第 7 节的排查思路逐层定位。动手跑通一个示例比看十篇新闻都有价值。