CANN/PyPTO泳道图问题
泳道图问题【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto问题现象描述泳道图数据采集或展示异常包括未生成文件、文件为空、首任务启动过长、ACL Graph模式下无数据、msprof数据偏差大。可能原因未生成泳道图文件未启用性能数据采集runtime_debug_mode未设为1。泳道图文件为空Profiling功能使能失败。首任务启动过长AICPU启动较慢AICore接收任务被整体延后。ACL Graph模式下无数据当前不支持ACL Graph Capture阶段的profilingTask在Capture阶段下发但profiling仅在Replay阶段开启后续版本支持。msprof与泳道图数据偏差大msprof的AICore耗时额外包含了AICPU下发devTask等待时间和退出时间。处理步骤未生成文件确认代码中已设置runtime_debug_mode: 1。文件为空开启DEBUG日志搜索aicore profiling is opened/aicore profiling is closed确认使能状态。首任务启动过长确认AICPU资源分配和调度配置是否正常。ACL Graph无数据暂时规避该场景后续版本支持。msprof偏差大设置export DUMP_DEVICE_PERFtrue获取更准确的AICore端到端耗时。output目录产物说明output/output_时间戳目录下泳道图相关文件文件用途machine_trace_perf_data*.jsonMachine组件原始Profiling数据tilefwk_L1_prof_data_*.jsonMachine组件原始Profiling数据merged_swimlane.jsonIDE可视化综合泳道图machine_runtime_operator_trace*.jsonAI CPU / AI Core泳道图联合时序machine_trace_perf_data*.json与tilefwk_L1_prof_data_*.json可判断底层采集是否成功merged_swimlane.json与machine_runtime_operator_trace*.json用于IDE展示优先联系IDE负责人。IDE参数含义CTRL AICPU阶段含义打点位置DEV_TASK_BUILD构建devTask耗时stitch耗时stitch之后Post-process构建完所有DevTask到退出AICPU退出时Total run time从拉起到退出的总时间启动到退出SCHED AICPU阶段含义打点位置ALLOC_THREAD_ID线程分配、绑核耗时AllocThreadIdx之后INITSched初始化耗时Sched init()之后CORE_HAND_SHAKESched与AICore握手耗时握手之后DEV_TASK_RCV接收Ctrl构建的devTasktaskQue读取DevTask之后Post-process执行完所有DevTask到退出ExecuteTask之后Total run time从拉起到退出的总时间启动到退出AICORE阶段含义打点位置End-to-End timeAICore端到端实际执行最早到最晚执行ExecCoreFunctionKernel的AICoreTotal run time从拉起到退出的总时间启动到退出【免费下载链接】pyptoPyPTO发音: pai p-t-oParallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考