使用AOE工具调优模型【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs本节介绍推理场景下使用aoe命令进行子图调优、算子调优的基本方法。在调优前您需要先参见《AOE调优工具》准备好环境、了解使用约束以及基本的参数使用方法。使用aoe命令调优时会生成适配AI处理器的om模型文件、基于AI处理器的调优知识库、调优效果文件通过效果文件可查阅模型中各算子的性能提升率。由于生成om模型文件所以aoe命令是包含模型转换的功能因此aoe命令的参数一般来说是在atc命令参数的基础上增加了**--job_type参数增加子图调优**、算子调优的功能。一般建议先进行子图调优再进行算子调优原因是先进行子图调优会生成图的切分方式子图调优后算子已经被切分成最终的shape了再进行算子调优会基于这个最终shape去做算子调优。如果优先算子调优这时调优的算子shape不是最终切分后的算子shape可能会影响最终的调优效果。操作步骤使用aoe命令依次执行子图调优、算子调优。子图调优命令示例如下所示aoe --model${HOME}/module/resnet50_pytorch_1.4.onnx --framework5 --job_type1算子调优命令示例如下所示aoe --model${HOME}/module/resnet50_pytorch_1.4.onnx --framework5 --job_type2查看调优结果。执行调优结果如下所示代表调优完成并且性能有提升。调优后同时生成自定义知识库、om模型文件以及调优效果文件。xxxx process finished. Performance improved by xx% //xxxx调优任务名称,xx%性能提升的比例。调优结果文件如下基于AI处理器的调优知识库针对子图调优默认存储到${HOME}/Ascend/latest/data/aoe/custom/graph/${soc_version}目录下。针对算子调优默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。适配AI处理器的om模型文件调优后的om模型默认存放在执行aoe命令的当前目录下具体路径如下${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om或者${model_name}_${timestamp}_tune___${os}_${arch}.om。调优效果文件执行aoe命令的当前目录下生成命名为“aoe_result_opat_{timestamp}_{pid_xxx_}.json”的文件记录调优过程中被调优的算子信息。json文件中的内容片段示例如下{ op_name: Conv_125, op_type: Conv2D, tune_performance: { Schedule: { performance_after_tune(us): 72.046, performance_before_tune(us): 72.055, performance_improvement: 0.01%, update_mode: add } } }指定调优知识库再执行模型推理。设置TUNE_BANK_PATH环境变量指定为AOE调优后的自定义知识库存放路径该路径下的graph目录下为子图调优知识库、op目录下为算子调优知识库。示例如下export TUNE_BANK_PATH/home/HwHiAiUser/custom模型推理。使用1中执行算子调优命令生成的om模型文件执行模型推理。说明支持“一次AOE调优多次ATC模型转换”的场景使用AOE工具调优模型后若由于其它业务需求需要重新转换模型可通过环境变量指定AOE调优知识库的路径再使用ATC工具重新转换模型这样就可以基于知识库中的调优策略编译模型、转换出调优后的模型。【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考