尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

054、安霸CVflow架构下4K/8K ISP与AI加速器协同:多路视频流的流水线划分与DDR带宽优化策略

054、安霸CVflow架构下4K/8K ISP与AI加速器协同:多路视频流的流水线划分与DDR带宽优化策略 054、安霸CVflow架构下4K/8K ISP与AI加速器协同:多路视频流的流水线划分与DDR带宽优化策略去年秋天,我们在一款8路4K的NVR主控项目上栽了个跟头。用的是安霸CV25,规格书上写得明明白白,8路4K@30fps,ISP和CVflow AI加速器都能跑。结果样机一上,4路4K加一路AI人形检测,DDR带宽直接爆了,系统卡成幻灯片,ISP的统计信息出来全是乱的,AI检测框在画面上跳来跳去,跟喝醉了酒似的。查了三天,最后发现根本不是算力不够,是流水线划分和DDR访问策略出了大问题。今天就把这个坑连根刨出来,顺便把安霸这套架构的脾气摸清楚。先得明白安霸CVflow和手机SoC那套ISP完全是两个物种。手机上的高通Spectra或者联发科Imagiq,ISP和CPU/GPU是紧耦合的,内存访问走的是统一一致的互联总线,带宽不够了可以靠cache和QoS去抢。安霸不一样,它的ISP前端(Sensor In、Bayer处理、RGB处理)是硬流水线,输出YUV直接进DDR,然后CVflow核心再从DDR把YUV拉回来做AI推理。这里没有片上SRAM做中间缓冲,至少CV25这个级别没有。所以每一帧数据,从Sensor到DDR是一趟,从DDR到CVflow又是一趟,如果还要做视频编码,那编码器再从DDR拉一趟。三趟下来,4K@30fps一帧YUV420大概12MB,三趟就是36MB,8路就是288MB/s,这还没算AI中间层的特征图回写。DDR带宽就这么被白白烧掉了。我们当时第一个错误就是让ISP和CVflow各自为政,完全没做流水线对齐。ISP输出一帧,中断通知CPU,CPU再调度CVflow去读。这中间有延迟,导致CVflow读的时候,
返回列表