RK3588 推理并发调优先验证带宽和张量搬运边缘推理出现“设备利用率不高、请求却在排队”时不能直接断言 NPU 算力不足。先在目标板卡固定模型、输入集合和并发方式再同步采集端到端延迟、CPU 事件、NPU 负载与内存带宽。下面保留工具和实现方法不给出来源不明的跑分。抓 perf 看真相内存带宽饱和比 NPU 瓶颈更早到来在性能调试初期很多人习惯直接看 NPU 的利用率。但使用系统级性能分析工具perf对推理进程进行采样后底层的真实瓶颈才暴露出来。通过以下命令对运行中的推理服务进行硬件事件统计perf stat -e task-clock,cycles,instructions,cache-references,cache-misses,bus-cycles -p $(pgrep rknn_server) -- sleep 10不要在文章里预填一组perf输出。应保存目标板卡的原始计数并把 Cache miss 与 CPU 利用、请求延迟、内存控制器事件放在同一时间窗口分析。单独一个 miss 比例不能证明 NPU 正在等待内存。读取/sys/kernel/debug/rknpu/load可补充查看各核心负载但节点是否存在该接口、字段如何解释要以当前驱动文档为准cat /sys/kernel/debug/rknpu/load若总线事件、任务延迟和核心负载共同指向数据搬运再检查张量复制、缓存维护和 DMA 映射否则继续排除排队、锁与驱动调度。NPU 动态批处理与内存池架构设计如果剖析确认开销来自频繁分配或小请求提交可以评估动态批处理与内存预分配它们不是所有负载的默认答案。批处理窗口与最大批量从配置读取并由延迟预算和输入形状决定。初始化阶段可预分配输入输出 Tensor是否做到零复制还要核对 RKNN 内存绑定和前后处理路径。零拷贝张量池与 Core 亲和力绑定的 C 实现下面的代码实现了基于 C17 的预分配内存池与 NPU 核心绑定逻辑直接调用底层 RKNN C API 避开高层封装的额外消耗#include iostream #include vector #include mutex #include memory #include rknn_api.h class ZeroCopyTensorPool { public: ZeroCopyTensorPool(rknn_context ctx, size_t tensor_size, size_t pool_capacity) : ctx_(ctx), tensor_size_(tensor_size) { for (size_t i 0; i pool_capacity; i) { rknn_tensor_mem* mem rknn_create_mem(ctx_, tensor_size_); if (!mem) { std::cerr Failed to allocate RKNN tensor memory at index i std::endl; continue; } free_pool_.push_back(mem); } } ~ZeroCopyTensorPool() { for (auto mem : free_pool_) { rknn_destroy_mem(ctx_, mem); } } rknn_tensor_mem* Acquire() { std::lock_guardstd::mutex lock(mutex_); if (free_pool_.empty()) return nullptr; rknn_tensor_mem* mem free_pool_.back(); free_pool_.pop_back(); return mem; } void Release(rknn_tensor_mem* mem) { std::lock_guardstd::mutex lock(mutex_); free_pool_.push_back(mem); } private: rknn_context ctx_; size_t tensor_size_; std::vectorrknn_tensor_mem* free_pool_; std::mutex mutex_; }; int BindInferenceToCore(rknn_context ctx, rknn_core_mask core_mask) { int ret rknn_set_core_mask(ctx, core_mask); if (ret 0) { std::cerr rknn_set_core_mask failed: ret std::endl; return ret; } return 0; }rknn_create_mem创建的是 RKNN 管理的张量内存。只有完成正确绑定且前后处理没有再次复制时才可能减少中间搬运应通过调用链和带宽事件验证而不是从 API 名称推断。延迟与成本怎么比较把批处理窗口记为 $T_{batch}$最大批量记为 $B_{max}$分别测试单请求和并发请求。每组记录 P50/P99、有效吞吐、失败类型、内存峰值与总线事件模型、量化格式、板卡频率和预热方式必须一致。动态批处理通常用等待时间换吞吐DMABUF 能否减少复制则取决于 RKNN 的绑定方式和输入输出路径。先验证调用链中实际发生的复制次数再决定是否保留。硬件成本也应按当前采购价、功耗和目标负载计算不能从一组未公开环境的数字外推。告别盲目参数推演调优边缘推理性能时不要凭空猜测瓶颈是在 CPU 还是 NPU。先用perf或ftrace抓取总线与 Cache 命中率看清数据搬运的物理开销。一旦确定是带宽不足优先使用 DMA 连续内存池与核心绑定策略收紧并发队列的攒批窗口。只有数据流动变得顺畅芯片算力才可能真正释放出来。 RK3588 推理并发调优：先验证带宽和张量搬运
RK3588 推理并发调优先验证带宽和张量搬运边缘推理出现“设备利用率不高、请求却在排队”时不能直接断言 NPU 算力不足。先在目标板卡固定模型、输入集合和并发方式再同步采集端到端延迟、CPU 事件、NPU 负载与内存带宽。下面保留工具和实现方法不给出来源不明的跑分。抓 perf 看真相内存带宽饱和比 NPU 瓶颈更早到来在性能调试初期很多人习惯直接看 NPU 的利用率。但使用系统级性能分析工具perf对推理进程进行采样后底层的真实瓶颈才暴露出来。通过以下命令对运行中的推理服务进行硬件事件统计perf stat -e task-clock,cycles,instructions,cache-references,cache-misses,bus-cycles -p $(pgrep rknn_server) -- sleep 10不要在文章里预填一组perf输出。应保存目标板卡的原始计数并把 Cache miss 与 CPU 利用、请求延迟、内存控制器事件放在同一时间窗口分析。单独一个 miss 比例不能证明 NPU 正在等待内存。读取/sys/kernel/debug/rknpu/load可补充查看各核心负载但节点是否存在该接口、字段如何解释要以当前驱动文档为准cat /sys/kernel/debug/rknpu/load若总线事件、任务延迟和核心负载共同指向数据搬运再检查张量复制、缓存维护和 DMA 映射否则继续排除排队、锁与驱动调度。NPU 动态批处理与内存池架构设计如果剖析确认开销来自频繁分配或小请求提交可以评估动态批处理与内存预分配它们不是所有负载的默认答案。批处理窗口与最大批量从配置读取并由延迟预算和输入形状决定。初始化阶段可预分配输入输出 Tensor是否做到零复制还要核对 RKNN 内存绑定和前后处理路径。零拷贝张量池与 Core 亲和力绑定的 C 实现下面的代码实现了基于 C17 的预分配内存池与 NPU 核心绑定逻辑直接调用底层 RKNN C API 避开高层封装的额外消耗#include iostream #include vector #include mutex #include memory #include rknn_api.h class ZeroCopyTensorPool { public: ZeroCopyTensorPool(rknn_context ctx, size_t tensor_size, size_t pool_capacity) : ctx_(ctx), tensor_size_(tensor_size) { for (size_t i 0; i pool_capacity; i) { rknn_tensor_mem* mem rknn_create_mem(ctx_, tensor_size_); if (!mem) { std::cerr Failed to allocate RKNN tensor memory at index i std::endl; continue; } free_pool_.push_back(mem); } } ~ZeroCopyTensorPool() { for (auto mem : free_pool_) { rknn_destroy_mem(ctx_, mem); } } rknn_tensor_mem* Acquire() { std::lock_guardstd::mutex lock(mutex_); if (free_pool_.empty()) return nullptr; rknn_tensor_mem* mem free_pool_.back(); free_pool_.pop_back(); return mem; } void Release(rknn_tensor_mem* mem) { std::lock_guardstd::mutex lock(mutex_); free_pool_.push_back(mem); } private: rknn_context ctx_; size_t tensor_size_; std::vectorrknn_tensor_mem* free_pool_; std::mutex mutex_; }; int BindInferenceToCore(rknn_context ctx, rknn_core_mask core_mask) { int ret rknn_set_core_mask(ctx, core_mask); if (ret 0) { std::cerr rknn_set_core_mask failed: ret std::endl; return ret; } return 0; }rknn_create_mem创建的是 RKNN 管理的张量内存。只有完成正确绑定且前后处理没有再次复制时才可能减少中间搬运应通过调用链和带宽事件验证而不是从 API 名称推断。延迟与成本怎么比较把批处理窗口记为 $T_{batch}$最大批量记为 $B_{max}$分别测试单请求和并发请求。每组记录 P50/P99、有效吞吐、失败类型、内存峰值与总线事件模型、量化格式、板卡频率和预热方式必须一致。动态批处理通常用等待时间换吞吐DMABUF 能否减少复制则取决于 RKNN 的绑定方式和输入输出路径。先验证调用链中实际发生的复制次数再决定是否保留。硬件成本也应按当前采购价、功耗和目标负载计算不能从一组未公开环境的数字外推。告别盲目参数推演调优边缘推理性能时不要凭空猜测瓶颈是在 CPU 还是 NPU。先用perf或ftrace抓取总线与 Cache 命中率看清数据搬运的物理开销。一旦确定是带宽不足优先使用 DMA 连续内存池与核心绑定策略收紧并发队列的攒批窗口。只有数据流动变得顺畅芯片算力才可能真正释放出来。