目录简要介绍为什么机器人公司需要数据平台整体架构各组件角色Kafka数据高速传送带Flink实时数据处理引擎MinIO对象存储仓库Airflow工作流调度中心MLflow模型生命周期管理Superset数据可视化中心KubernetesK8s平台操作系统各组件关系总结简要介绍为什么机器人公司需要数据平台传统企业数据平台主要处理ERPCRM日志BI 数据但机器人数据平台不同它的数据特点包括多模态RGB、深度、状态、动作、文本强时序关系视频占数据量绝大多数数据集需要版本管理AI 训练与推理需要高吞吐核心目标采集 → 处理 → 存储 → 数据集 → 训练 → 部署 → 监控整体架构机器人设备层 │ ├─ Jetson ├─ ROS2 ├─ Camera ├─ RealSense │ ↓ 数据采集层 │ ├─ LeRobot Recorder ├─ Kafka │ ↓ 数据存储层 │ ├─ MinIO ├─ PostgreSQL │ ↓ 数据处理层 │ ├─ Flink ├─ Airflow │ ↓ 训练层 │ ├─ GPU集群 ├─ LeRobot Training ├─ MLflow │ ↓ 服务层 │ ├─ API ├─ Dashboard ├─ Superset │ ↓ 部署层 │ └─ Kubernetes各组件角色Kafka数据高速传送带Kafka 本质上是消息流平台。作用实时数据入口解耦系统数据缓冲消息重放实时事件通知机器人场景Jetson ↓ Kafka ├─ LeRobot ├─ Dashboard ├─ 实时监控 └─ 数据清洗注意不要把视频直接放进 Kafka。推荐视频文件 ↓ MinIO Kafka ↓ 保存路径和元数据Flink实时数据处理引擎如果 Kafka 是传送带Flink 就是站在传送带旁边工作的工人。主要职责时间同步去重数据清洗异常检测实时统计多流 Join机器人例子Camera Topic Joint Topic Lidar Topic ↓ Flink ↓ 统一时间对齐 ↓ LeRobot DatasetMinIO对象存储仓库存储视频图片ROS BagParquet数据集模型文件建议目录raw/ processed/ dataset/ model/ metadata/Airflow工作流调度中心Airflow 不负责数据计算。负责谁先执行谁后执行定时任务自动重试机器人流程上传数据 ↓ 数据校验 ↓ 清洗 ↓ LeRobot转换 ↓ 注册数据集 ↓ 训练 ↓ 评估MLflow模型生命周期管理解决问题“哪个模型效果最好”记录参数指标数据集版本模型文件示例dataset:robot_pick_v3policy:ACTlearning_rate:0.0005success_rate:94%支持Experiment TrackingModel RegistryArtifact管理部署Superset数据可视化中心作用Dashboard数据分析实时监控机器人常见大盘在线机器人数量 采集成功率 设备温度 FPS 训练成功率KubernetesK8s平台操作系统K8s 管理CPUGPU内存网络容器机器人平台中的作用Airflow ↓ K8s Job ↓ GPU节点 ↓ LeRobot训练能力自动调度自动恢复自动扩缩容各组件关系Jetson ROS2 ↓ Kafka ↓ Flink ↓ MinIO / PostgreSQL ↓ Airflow ↓ LeRobot Training ↓ MLflow ↓ K8s部署 ↓ Superset展示总结一句话概括Kafka数据怎么流Flink数据怎么处理MinIO数据放哪里Airflow任务什么时候执行MLflow模型怎么管理K8s资源怎么分配Superset数据怎么展示对于约 200 人规模机器人团队第一阶段Docker MinIO Airflow 单机GPU第二阶段Kafka Flink MLflow第三阶段Kubernetes GPU集群不要一开始就建设超大平台而是随着数据规模和团队规模逐步演进。