智慧-机器人视角驾驶视频人工智能ai模型训练数据集31一套室内多功能设施机器人AI自动驾驶算法的基础数据集。可用于构建基于LiDAR和RGB-D技术的室内物体识别模型及室内多功能设施的SLAM模型以此实现社交导航机器人的自主行驶。该数据集包含 2,528 个剪辑片段RGB-D 图像数据 (JPG)150,229 例RGB-D 数据 (MP4)150,229 例RGB-D深度数据 (PNG)150,229 例激光雷达数据 (PCD)2,528 例6D IMU 传感器数据 (CSV)。以及150,229 例JSON格式的标签数据。《机器人视角驾驶视频AI模型训练数据集ID:85号》完整说明一、数据集基础信息表项目详情数据集名称机器人视角驾驶视频AI模型训练数据集数据ID85号应用领域室内多用途设施自动驾驶机器人、AI自动驾驶算法开发、SLAM导航、物体识别模型训练数据建设年份2023年数据类型3D点云、图像、文本、传感器多模态数据数据格式mp4、jpg、png、pcd、csv、json、dwg/step、pdf数据源机器人直接采集LiDARRGB-DIMU多传感器标签类型2D边界框、3D长方体、动作标记标签格式JSON二、数据构成详情表数据分类数据类型格式数量/规模源数据RGB-D图像剪辑JPG2,528个剪辑RGB-D视频数据MP4150,229份RGB-D深度数据PNG150,229例激光雷达点云数据PCD150,229例6D IMU传感器数据CSV2,528例标记数据标注标签数据JSON150,229例其他辅助数据机器人绘图文件dwg/step14例采集地点地图PDF12例三、数据集核心特点与用途说明多模态数据采集同时包含RGB图像、深度图像、激光雷达点云、IMU惯性数据覆盖机器人导航所需的视觉深度姿态全维度信息。完整标注体系JSON格式标签支持2D目标边界框、3D长方体框、动作标记可同时用于2D目标检测、3D物体识别、轨迹预测、动作分析等任务。场景适配性强面向室内多用途设施环境可直接用于构建社交导航机器人的自主行驶、避障、路径规划模型适配商场、医院、仓库等室内场景。数据规模充足15万帧多模态数据为SLAM建图、目标检测、路径规划等模型训练提供充足样本支撑。四、适用模型与开发方向模型/技术方向适用场景基于LiDAR的SLAM模型室内地图构建、机器人定位导航RGB-D物体识别模型室内物体检测、障碍物识别自动驾驶路径规划算法机器人避障、自主行驶、社交导航多模态融合感知模型视觉点云IMU数据融合的环境感知下面给你适配这套室内机器人多模态数据集的两套核心训练代码一套是LiDAR点云3D目标检测一套是RGB-D图像目标检测你可以直接复制使用。一、数据集目录结构先按这个整理robot_autonomous_dataset/ ├── rgb_images/ # JPG 图像剪辑 ├── rgb_videos/ # MP4 视频数据 ├── depth_images/ # PNG 深度图 ├── lidar_pcd/ # PCD 点云数据 ├── imu_data/ # CSV IMU 数据 ├── labels/ # JSON 标签数据 └── maps/ # PDF 地图 dwg 绘图文件二、RGB-D 目标检测训练代码YOLOv8 适配这套代码用于训练基于RGB图像的室内目标检测模型适配你的数据集格式。1. 数据集配置文件robot_detection.yaml# 室内机器人目标检测数据集配置path:./robot_autonomous_dataset/rgb_imagestrain:trainval:valtest:test# 类别数根据你的JSON标签类别填写示例为3类nc:3names:0:person1:obstacle2:furniture2. 训练启动脚本终端直接运行# 安装依赖pipinstallultralytics opencv-python numpy# 启动训练YOLOv8yolo detect train\modelyolov8s.pt\datarobot_detection.yaml\epochs100\batch16\imgsz640\device03. 单图/视频推理代码fromultralyticsimportYOLOimportcv2# 加载训练好的模型modelYOLO(runs/detect/train/weights/best.pt)# 图像检测defdetect_image(img_path):resultsmodel(img_path,conf0.25)imgresults[0].plot()cv2.imshow(Robot Detection,img)cv2.waitKey(0)cv2.destroyAllWindows()# 视频检测支持MP4/摄像头defdetect_video(video_path):capcv2.VideoCapture(video_path)whilecap.isOpened():ret,framecap.read()ifnotret:breakresultsmodel(frame,conf0.25)frameresults[0].plot()cv2.imshow(Real-time Detection,frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()# 调用示例detect_image(test.jpg)# detect_video(robot_video.mp4)三、LiDAR 点云3D目标检测训练代码基于OpenPCDet这套代码用于训练基于PCD点云的3D目标检测模型适配你的激光雷达数据。1. 安装依赖# 安装OpenPCDet环境gitclone https://github.com/open-mmlab/OpenPCDet.gitcdOpenPCDet pipinstall-rrequirements.txt python setup.py develop2. 数据集配置文件robot_lidar.yaml# 基于PointPillars的室内机器人3D目标检测配置DATA_CONFIG:DATASET:CustomDatasetDATA_PATH:./robot_autonomous_dataset/lidar_pcdPOINT_CLOUD_RANGE:[0,-30,-3,60,30,3]DATA_PROCESSOR:-NAME:mask_points_and_boxes_outside_rangeREMOVE_OUTSIDE_BOXES:True-NAME:shuffle_pointsSHUFFLE_PROB:0.5-NAME:transform_points_to_voxelsVOXEL_SIZE:[0.32,0.32,6]MAX_POINTS_PER_VOXEL:32MAX_NUMBER_OF_VOXELS:16000TARGET_CONFIG:BOX_CODER:BaseBoxCoderANCHOR_GENERATOR_CONFIG:[]CLASS_NAMES:[person,obstacle,furniture]MODEL:NAME:PointPillarsVFE:NAME:PillarVFEWITH_DISTANCE:FalseUSE_ABSLOTE_XYZ:TrueUSE_NORMALIZATION:TrueNUM_FILTERS:[64]BACKBONE_3D:NAME:PointPillarsScatterBACKBONE_2D:NAME:BaseBEVBackboneLAYER_NUMS:[3,5,5]LAYER_STRIDES:[2,2,2]NUM_FILTERS:[64,128,256]UPSAMPLE_STRIDES:[1,2,4]NUM_UPSAMPLE_FILTERS:[128,128,128]DENSE_HEAD:NAME:AnchorHeadSingleCLASS_AGNOSTIC:FalseUSE_DIRECTION_CLASSIFIER:TrueDIR_OFFSET:0.7854DIR_LIMIT_OFFSET:0.0NUM_DIR_BINS:2ANCHOR_GENERATOR_CONFIG:[]TARGET_ASSIGNER_CONFIG:NAME:AxisAlignedTargetAssignerPOS_FRACTION:-1.0SAMPLE_SIZE:512NORM_BY_NUM_EXAMPLES:FalseMATCH_HEIGHT:FalseBOX_CODER_CONFIG:NAME:ResidualCoderWEIGHTS:[1.0,1.0,1.0,1.0,1.0,1.0,1.0]LOSS_CONFIG:LOSS_WEIGHTS:{cls_weight:1.0,loc_weight:2.0,dir_weight:0.2,code_weights:[1.0,1.0,1.0,1.0,1.0,1.0,1.0]}TRAIN_CONFIG:OPTIMIZER:TYPE:adam_onecycleLR:0.003WEIGHT_DECAY:0.01MOMENTUMS:[0.8,0.93]DIV_FACTOR:10PCT_START:0.4DIM_REDUCTION_FACTOR:10NUM_EPOCHS:80BATCH_SIZE:43. 训练启动命令python tools/train.py--cfg_filerobot_lidar.yaml4. 点云3D检测推理代码importtorchimportopen3daso3dfrompcdet.configimportcfg,cfg_from_yaml_filefrompcdet.modelsimportbuild_networkfrompcdet.utilsimportcommon_utils# 加载配置与模型cfg_from_yaml_file(robot_lidar.yaml,cfg)loggercommon_utils.create_logger()modelbuild_network(model_cfgcfg.MODEL,num_classlen(cfg.CLASS_NAMES),datasetNone)model.load_params_from_file(filenameoutput/.../ckpt/checkpoint_epoch_80.pth,loggerlogger,to_cpuFalse)model.cuda()model.eval()# 读取PCD点云并推理defdetect_lidar(pcd_path):pcdo3d.io.read_point_cloud(pcd_path)pointsnp.asarray(pcd.points)# 模型前处理根据配置转换格式# 模型推理withtorch.no_grad():pred_dicts,_model.forward({points:torch.from_numpy(points).cuda().float().unsqueeze(0)})# 解析3D检测框并可视化returnpred_dicts四、补充说明JSON标签转换如果你的JSON标签不是标准格式需要先转换为YOLO或OpenPCDet支持的格式才能训练。多模态融合你可以把RGB-D、LiDAR和IMU数据结合起来做多模态融合感知模型这也是这套数据集的核心优势。SLAM扩展可以基于这套数据结合LOAM、Cartographer等算法做室内建图与定位。