使用 nuScenes 数据集3D检测、轨迹预测与环境上下文建模 自动驾驶数据集-nuScenes数据集 的应用 基于 LSTM 的轨迹预测模型文章目录使用 nuScenes 数据集3D检测、轨迹预测与环境上下文建模 自动驾驶数据集-nuScenes数据集 的应用 基于 LSTM 的轨迹预测模型 一、nuScenes 数据集概述 二、环境配置1. 安装依赖2. 下载数据集 三、加载数据集并可视化1. 初始化 nuScenes 对象2. 查看场景信息3. 查看一个样本关键帧4. 获取激光雷达数据并可视化5. 获取图像并叠加3D边界框 四、使用 nuScenes 进行 3D 目标检测1. 获取标注框2. 可视化 3D 框在激光雷达点云上 五、轨迹预测Motion Prediction示例1. 准备训练数据模拟2. 构建 LSTM 模型3. 训练模型4. 预测未来轨迹 六、Transformer 轨迹预测进阶 七、结合环境上下文信息进阶示例地图语义特征融合以下文字及代码仅供参考学习使用。数据集描述自动驾驶-nuScenes数据集适合自动驾驶研究。由Motional发布包含波士顿和新加坡场景总计547.98GB。配备多种传感器如6个高清摄像头、1个激光雷达、5个毫米波雷达支持纯视觉3D目标检测。每个场景约20秒涵盖多种驾驶环境增强适用性。数据丰富有关键帧、中间帧和地图信息支持地理环境分析。 一、nuScenes 数据集概述项目内容总大小约 547.98 GBv1.0 full场景数量140 个场景每个约 20 秒地理位置波士顿、新加坡传感器配置6 个摄像头、1 个激光雷达、5 个毫米波雷达帧率2 Hz关键帧标注内容3D边界框、物体类别、属性、速度、姿态、地图信息等支持任务3D目标检测、多目标跟踪、行为预测、SLAM、语义地图等— 二、环境配置1. 安装依赖# 安装 nuScenes SDKpipinstallnuscenes-devkit# 安装其他依赖pipinstallnumpy pandas matplotlib opencv-python torch2. 下载数据集前往 nuScenes官网 下载以下文件v1.0-trainval_meta.tgzv1.0-trainval01_boston.tar.gz到v1.0-trainval14_boston.tar.gzv1.0-trainval15_singapore.tar.gz到v1.0-trainval28_singapore.tar.gz所有摄像头图像、点云、标注文件等解压后目录结构如下nuscenes/ ├── v1.0-trainval/ ├── samples/ ├── sweeps/ └── maps/ 三、加载数据集并可视化1. 初始化 nuScenes 对象fromnuscenes.nuscenesimportNuScenes# 加载 nuScenes 数据集nuscNuScenes(versionv1.0-trainval,dataroot/path/to/nuscenes,verboseTrue)2. 查看场景信息nusc.list_scenes()my_scenenusc.scene[0]print(my_scene)3. 查看一个样本关键帧first_sample_tokenmy_scene[first_sample_token]samplenusc.get(sample,first_sample_token)print(sample)4. 获取激光雷达数据并可视化lidar_tokensample[data][LIDAR_TOP]nusc.render_sample_data(lidar_token)5. 获取图像并叠加3D边界框camera_tokensample[data][CAM_FRONT]nusc.render_sample_data(camera_token,with_annsTrue) 四、使用 nuScenes 进行 3D 目标检测1. 获取标注框ann_tokenssample[anns]forann_tokeninann_tokens:annnusc.get(sample_annotation,ann_token)print(ann[category_name],ann[translation],ann[size])2. 可视化 3D 框在激光雷达点云上fromnuscenes.utils.data_classesimportBoxfrompyquaternionimportQuaternion# 获取激光雷达数据lidar_datanusc.get(sample_data,lidar_token)lidar_filepathnusc.get_sample_data_path(lidar_token)pointsnp.fromfile(lidar_filepath,dtypenp.float32).reshape(-1,5)# 获取标注框boxesnusc.get_boxes(lidar_token)# 可视化点云和框frommatplotlibimportpyplotaspltfrommpl_toolkits.mplot3dimportAxes3D figplt.figure(figsize(10,10))axfig.add_subplot(111,projection3d)ax.scatter(points[:,0],points[:,1],points[:,2],s0.1)forboxinboxes:cornersbox.corners()foriinrange(4):ax.plot([corners[0,i],corners[0,(i1)%4]],[corners[1,i],corners[1,(i1)%4]],[corners[2,i],corners[2,(i1)%4]],cr)plt.show() 五、轨迹预测Motion Prediction示例基于历史轨迹使用LSTM 或 Transformer来预测未来轨迹。以下是一个基于LSTM 的轨迹预测模型示例。1. 准备训练数据模拟importnumpyasnpdefget_trajectory_data(nusc,scene_token,steps10):scenenusc.get(scene,scene_token)sample_tokenscene[first_sample_token]trajectories[]whilesample_token:samplenusc.get(sample,sample_token)ann_tokenssample[anns]forann_tokeninann_tokens:annnusc.get(sample_annotation,ann_token)ifvehicleinann[category_name]:trajectories.append(ann[translation][:2])# x, ysample_tokensample[next]# 转换为时间序列X,y[],[]foriinrange(len(trajectories)-steps-1):X.append(trajectories[i:isteps])y.append(trajectories[isteps])returnnp.array(X),np.array(y)X,yget_trajectory_data(nusc,scene[token],steps10)2. 构建 LSTM 模型fromtensorflow.keras.modelsimportSequentialfromtensorflow.keras.layersimportLSTM,Dense modelSequential()model.add(LSTM(64,input_shape(X.shape[1],X.shape[2])))model.add(Dense(2))model.compile(optimizeradam,lossmse)model.summary()3. 训练模型model.fit(X,y,epochs20,batch_size32,validation_split0.1)4. 预测未来轨迹predmodel.predict(X[:1])print(预测未来位置,pred) 六、Transformer 轨迹预测进阶fromtensorflow.keras.layersimportInput,Dense,LayerNormalization,Dropoutfromtensorflow.keras.modelsimportModelfromtensorflow.keras.layersimportMultiHeadAttention,GlobalAveragePooling1Ddefbuild_transformer_model(input_shape):inputsInput(shapeinput_shape)xDense(64)(inputs)attention_outputMultiHeadAttention(num_heads4,key_dim64)(x,x)xLayerNormalization(epsilon1e-6)(xattention_output)xDense(64,activationrelu)(x)xDropout(0.1)(x)xLayerNormalization(epsilon1e-6)(xx)xGlobalAveragePooling1D()(x)outputsDense(2)(x)returnModel(inputsinputs,outputsoutputs)transformer_modelbuild_transformer_model((X.shape[1],X.shape[2]))transformer_model.compile(optimizeradam,lossmse)transformer_model.fit(X,y,epochs20,batch_size32) 七、结合环境上下文信息进阶nuScenes 提供了丰富的上下文信息包括道路图map车道线lane,lane_connector交通灯状态traffic_light地图语义semantic_map这些信息作为辅助输入结合轨迹预测模型提升预测精度。示例地图语义特征融合fromnuscenes.map_expansion.map_apiimportNuScenesMap# 加载地图nusc_mapNuScenesMap(dataroot/path/to/nuscenes,map_nameboston-seaport)# 获取当前位置的地图信息x,y,zann[translation]map_patchnusc_map.get_map_mask([x,y],patch_radius50,layer_names[drivable_area,ped_crossing],canvas_size(200,200))地图语义作为额外特征拼接到轨迹输入中或使用 CNN 提取地图特征后与轨迹特征融合。