视频数据获取功能【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs视频获取功能需要ISP、MIPI Rx、VI等多个功能模块配合才能实现本节介绍视频数据获取功能的总体接口调用流程、各功能模块的接口调用流程及注意事项。当前需通过以下功能模块的配合实现视频数据获取功能ISP系统控制系统控制部分用于注册3A算法、注册Sensor驱动、初始化ISP firmware、运行ISP firmware、退出ISP firmware、配置ISP属性等功能。MIPI Rx ioctl命令字MIPI Rx是一个支持多种差分视频输入接口的采集单元通过combo-PHY接收MIPI/LVDS/sub-LVDS/HiSPi接口的数据通过不同的功能模式配置MIPI Rx可以支持多种速度和分辨率的数据传输需求支持多种外部输入设备。VIVideo InputVI模块捕获视频图像可对其做裁剪、颜色优化、亮度优化、噪声去除等处理并输出YUV或RAW格式的图像数据。总体接口调用流程接口调用流程说明如下调用hi_mpi_sys_init接口初始化媒体数据处理系统。使用MIPI Rx ioctl命令字初始化MIPI/Sensor硬件对接信息接口调用流程请参见初始化MIPI/Sensor硬件对接信息。使用VIVideo Input功能接口初始化VI模块接口调用流程请参见初始化VI视频输入模块。使用ISPImage Signal Processing系统控制接口初始化并运行ISP模块接口调用流程请参见初始化并运行ISP图像信号处理模块。使用VI功能接口获取已处理的图像数据接口调用流程请参见获取已处理的图像数据。使用ISP功能接口释放ISP模块资源接口调用流程请参见释放ISP图像信号处理模块资源。使用VI功能接口释放VI模块资源接口调用流程请参见释放VI视频输入模块资源。使用MIPI Rx ioctl命令字退出MIPI/Sensor硬件接口调用流程请参见退出MIPI/Sensor硬件。调用hi_mpi_sys_exit接口释放媒体数据处理系统资源。初始化MIPI/Sensor硬件对接信息使用HI_MIPI_SET_HS_MODE命令字设置模式。使用HI_MIPI_ENABLE_MIPI_CLOCK命令字打开MIPI时钟。使用HI_MIPI_RESET_MIPI命令字复位Sensor所对接的MIPI。可选使用HI_MIPI_CONFIG_SENSOR_CLOCK命令字配置Sensor时钟。可选使用HI_MIPI_ENABLE_SENSOR_CLOCK命令字打开Sensor时钟。使用HI_MIPI_RESET_SENSOR命令字复位Sensor。使用HI_MIPI_SET_DEV_ATTR命令字配置MIPI Rx/设备属性。使用HI_MIPI_UNRESET_MIPI命令字撤销复位MIPI。使用HI_MIPI_UNRESET_SENSOR命令字撤销复位Sensor。初始化VI视频输入模块不同数据来源、不同数据格式、不同模式初始化VI视频输入模块的流程不同。从Sensor传入数据若要获取YUV格式的数据则通过VI通道处理线性模式。流程说明如下依次调用hi_mpi_vi_set_dev_attr、hi_mpi_vi_enable_dev接口配置VI设备的属性并启用VI设备。调用hi_mpi_vi_set_dev_bind_pipe接口完成设备和PIPE的绑定关系设置。依次调用hi_mpi_vi_create_pipe、hi_mpi_vi_start_pipe接口创建并启动VI PIPE。需要合理设置hi_vi_pipe_attr.depth队列深度队列深度越大抗抖动性越好建议设置为3或以上值。依次调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口配置VI通道的属性并启用VI通道。需要合理设置hi_vi_chn_attr.depth队列深度该队列深度除了要考虑VI内部处理预留内存外还需结合用户自己的图像业务处理时长从用户调用hi_mpi_vi_get_chn_frame接口取走图像资源到用户调用hi_mpi_vi_release_chn_frame接口归还图像资源的时间间隔合理设置队列深度大小。从Sensor传入数据若要获取YUV格式的数据则通过VI通道处理WDR模式。流程说明如下相对于普通线性模式WDR模式下Sensor模组会通过长短曝光方式同时产生两帧图像数据VI需要创建两个PIPE资源并将两个PIPE绑定到同一个VI设备上分别接收和处理对应的长短曝光帧图像然后在主PIPE对应的通道中输出长短曝光融合后的图像数据。所以接口调用流程存在如下差异需要调用hi_mpi_vi_set_dev_bind_pipe将同一个Sensor设备的图像数据绑定到两个PIPE上去按示例图将DEV0设备绑定到PIPE0和PIPE1上。需要通过接口hi_mpi_vi_create_pipe、hi_mpi_vi_start_pipe创建并启动两个PIPE按示例图创建了PIPE0和PIPE1其中PIPE0作为主PIPE接收并处理短曝光帧PIPE1作为从PIPE接收并处理长曝光帧。WDR模式下PIPE0和PIPE1为一组PIPE0为主PIPEPIPE1和PIPE2为一组PIPE1为主PIPE。只需启动主PIPE上的通道从PIPE上的通道可不启动节省资源。若要获取RAW格式的数据则通过VI PIPE处理。流程说明如下调用hi_mpi_vi_set_dev_attr、hi_mpi_vi_enable_dev接口配置VI设备的属性并启用VI设备。调用hi_mpi_vi_set_dev_bind_pipe接口完成设备和PIPE的绑定关系设置。调用接口hi_mpi_vi_create_pipe创建PIPE。如果用户只需要获取RAW图不需要图像经过VI处理和转换则在hi_mpi_vi_create_pipe创建pipe时可执行以下操作将pipe_bypass_mode设置为HI_VI_PIPE_BYPASS_BE不经过ISP BE处理。设置hi_vi_pipe_attr.depth大小为hi_vi_dump_attr.depth除了dump所需图像队列外不额外申请多余的图像资源。需要调用hi_mpi_vi_set_chn_attr不需要调用hi_mpi_vi_enable_chn接口启用VI通道。如果用户除了获取RAW图还需要继续将图像送给VI处理和转换则在hi_mpi_vi_create_pipe创建PIPE时需要合理设置hi_vi_pipe_attr.depth的值该值需要考虑在hi_vi_dump_attr.depth大小的基础上额外预留部分VI PIPE内部处理所需队列深度一般为hi_vi_dump_attr.depth 3。需要继续调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口启用VI通道并调用接口hi_mpi_vi_get_chn_frame获取VI处理后的图像结果数据并处理处理完成后调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。要调用接口hi_mpi_vi_set_pipe_frame_dump_attr设置采图所需预留的图像队列深度。调用hi_mpi_vi_start_pipe接口启动PIPE。由用户指定RAW图数据VI PIPE灌入并处理获取YUV图。流程说明如下用户回灌图片场景图片的数据来源不再是外部的摄像头设备但因为当前版本还不支持虚拟PIPE只能通过物理PIPE进行灌图所以即使数据不从Sensor输入仍旧需要设置对应dev并调用hi_mpi_vi_set_dev_bind_pipe接口做dev和pipe的绑定。调用hi_mpi_vi_create_pipe接口创建PIPE。调用hi_mpi_vi_set_pipe_frame_source接口将PIPE的图像数据来源设置为VI_PIPE_FRAME_SOURCE_USER。调用hi_mpi_vi_start_pipe接口启动PIPE。调用hi_mpi_vi_set_chn_attr、hi_mpi_vi_enable_chn接口配置VI通道的属性并启用VI通道。开始循环发送用户指定的图片数据。调用hi_mpi_vi_pipe_get_buffer获取空闲的图像数据所能获取的最大可用内存数量由hi_mpi_vi_create_pipe接口下发的hi_vi_pipe_attr.depth属性决定。成功获取到可用的内存资源后将需要灌入的图像数据写入返回的内存地址中内存地址为hi_mpi_vi_pipe_get_buffer接口返回的frame_info.v_frame.virt_addr[0]然后调用接口hi_mpi_vi_send_pipe_raw发送RAW图数据。hi_mpi_vi_send_pipe_raw发送数据成功后需要及时调用hi_mpi_vi_pipe_release_buffer接口释放内存资源。图示为用户发送bayer格式图像的流程如果用户需要发送YUV格式数据则需要在调用hi_mpi_vi_create_pipe接口创建PIPE时指定像素格式pixel_format为YUV并将isp_bypass设置为true并将接口hi_mpi_vi_send_pipe_raw修改为hi_mpi_vi_send_pipe_yuv。当前版本支持发送的YUV图像格式为HI_PIXEL_FORMAT_YVU_SEMIPLANAR_422、HI_PIXEL_FORMAT_YVU_SEMIPLANAR_420、HI_PIXEL_FORMAT_YUV_400。初始化并运行ISP图像信号处理模块调用hi_mpi_isp_sensor_reg_callback接口注册Sensor驱动通用算法。可选调用hi_mpi_ae_sensor_reg_callback接口、hi_mpi_awb_sensor_reg_callback接口注册系统内置的Sensor驱动AE、AWB算法。此处用户可以根据需求注册自定义的算法。可选调用hi_mpi_ae_register接口、hi_mpi_awb_register接口初始化系统内置的2A算法。此处用户可以根据需求注册自定义的算法。调用hi_mpi_isp_mem_init接口初始化ISP内部资源。调用hi_mpi_isp_set_pub_attr接口初始化算法模块。调用hi_mpi_isp_init接口初始化ISP firmware。启用单独线程调用hi_mpi_isp_run接口运行ISP算法的调度业务主流程。获取已处理的图像数据获取YUV数据VI图像处理完成后可在对应的VI通道上获取已完成图像并进行相关处理典型接口调用流程如下可选通过系统文件句柄select/epoll等待机制等待图像处理完成事件可通过hi_mpi_vi_get_chn_fd接口获取指定通道的系统文件句柄然后获取并处理完一帧图像数据后会唤醒系统的select/epoll读等待请求。调用hi_mpi_vi_get_chn_frame接口获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用用户必须在处理完图像数据后调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。如果用户通过hi_mpi_vi_get_chn_frame接口获取到图像数据后要再发布给其他进程使用则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄再结合共享Buffer管理接口如acltdtCopyBufRef以及共享队列管理接口如acltdtEnqueue将对象发布给其他进程使用。获取RAW数据VI图像处理完成后可在对应的VI PIPE上获取已完成图像并进行相关处理典型接口调用流程如下可选通过系统文件句柄select/epoll等待机制等待图像处理完成事件可通过hi_mpi_vi_get_pipe_fd接口获取指定通道的系统文件句柄当后台获取并处理完一帧图像数据后会唤醒系统的select/epoll读等待请求。调用hi_mpi_vi_get_pipe_frame接口获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用用户必须在处理完图像数据后调用hi_mpi_vi_release_pipe_frame接口释放对应图像的内存资源。如果用户通过hi_mpi_vi_get_pipe_frame接口获取到图像数据后要再发布给其他进程使用则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄再结合共享Buffer管理接口如acltdtCopyBufRef以及共享队列管理接口如acltdtEnqueue将对象发布给其他进程使用。释放ISP图像信号处理模块资源调用hi_mpi_isp_exit接口去初始化ISP firmware。调用hi_mpi_ae_unregister接口、hi_mpi_awb_unregister接口去初始化2A算法。调用hi_mpi_ae_sensor_unreg_callback接口、hi_mpi_awb_sensor_unreg_callback接口取消注册Sensor驱动AE、AWB算法。调用hi_mpi_isp_sensor_unreg_callback接口取消注册Sensor驱动通用算法。释放VI视频输入模块资源调用hi_mpi_vi_disable_chn接口关闭VI通道。依次调用hi_mpi_vi_stop_pipe、hi_mpi_vi_destroy_pipe接口停止并销毁VI PIPE。调用hi_mpi_vi_disable_dev接口关闭VI设备。退出MIPI/Sensor硬件使用HI_MIPI_RESET_SENSOR命令字复位Sensor。使用HI_MIPI_DISABLE_SENSOR_CLOCK命令字关闭Sensor所连接的时钟。使用HI_MIPI_RESET_MIPI命令字复位Sensor所对接的MIPI。使用HI_MIPI_DISABLE_MIPI_CLOCK关闭MIPI。【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考