PTO初体验一图读懂昇腾CANN虚拟ISA与90条Tile指令的完整版图【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaPTOParallel Tile Operation是昇腾 CANN 定义的一套面向 tile 编程的虚拟 ISA它在 A2/A3/A5 多代昇腾芯片与 CPU 之间用 90 条标准 Tile 指令统一了算子开发接口并额外提供 NPU 间通信扩展指令集。本文将带你一图读懂这套虚拟指令集的完整版图并在 3 步之内完成你的第一次 PTO 运行体验。为什么需要一套虚拟 Tile ISA如果你写过昇腾算子一定遇到过这样的痛点同一算子每代芯片要重写A2910B、A3910C、A5950的指令细节、片上存储布局、调度行为各不相同底层能力藏在实现细节里想保留 tile size、指令顺序等调优空间就必须贴近硬件编程验证成本高没有硬件时连功能正确性都难以快速验证。PTO 的思路不是隐藏底层而是在tile 粒度上做一层跨代稳定的抽象Tile 既是片上存储的单位也是计算操作的基本单位。一套 PTO 指令多代平台共用同时保留显式控制 tile、buffer 与 pipeline 的空间。它定义了两个互补的编程风格风格优先级谁负责布局与同步PTO-Auto生产效率、可移植性编译器/运行时自动选择布局、插入同步PTO-Manual控制力、峰值性能程序员显式控制绑定与事件同步实践中的典型路径是先用 Auto 模式快速验证逻辑再对关键 kernel 手动调优。机器模型的详细说明见 docs/machine/abstract-machine_zh.md。一图看懂90 条 Tile 指令如何协作先看一张真实 GEMM 的数据流动图——它浓缩了 PTO 指令集最核心的协作方式图中三层对应三类硬件流水线MTE2 / MTE1内存搬移引擎执行TLOAD、TPREFETCH等内存指令把全局张量GM数据分块搬入片上 Tilemmad矩阵流水线执行TMATMUL等矩阵乘指令消费搬入的 tile事件箭头MTE1→MTE2 反向同步、MTE1→mmad 同步等正是 PTO 的事件与同步机制——用轻量事件表达流水线间的顺序而不必整核屏障。这正是 PTO 指令设计的精髓计算、搬运、同步都是标准 tile 指令组合它们就得到一个完整的算子流水线。指令分类总览90 条指令的完整版图PTO ISA 的全部标准指令可按职责分为 10 大类权威清单见 docs/isa/README_zh.md每条指令都有一页独立文档分类代表指令解决什么问题逐元素Tile-TileTADD、TMUL、TMADD、TRELU、TCVT、TSEL向量流水线的逐元素算术、激活、类型转换Tile-标量TADDS、TMULS、TMAXS、TLRELU与标量的融合运算覆盖大量算子尾部操作轴归约/扩展TROWSUM、TROWARGMAX、TROWEXPAND系列行/列方向 reduce 与广播Attention 的核心内存GM↔TileTLOAD、TSTORE、TPREFETCH_ASYNC、MGATHER全局内存与片上 Tile 之间的数据搬运矩阵乘TMATMUL、TMATMUL_BIAS、TMATMUL_MX、TGEMVCube 流水线的 GEMM/GEMV含量化混合精度变体数据搬运/布局TMOV、TRESHAPE、TTRANS、TINTERLEAVE布局变换与 tile 重组复杂指令TQUANT、TDEQUANT、TSORT32、THISTOGRAM量化/反量化、排序、直方图等专用能力核间通信TALLOC、TPUSH、TPOP、TFREECube-Vector 间经 TPipe FIFO 通信同步 / 资源绑定SYNCALL、TASSIGN、SET_QUANT_VECTOR跨核屏障、手动放置与寄存器配置卷积/量化扩展TIMG2COL、SET_IMG2COL_RPT等卷积 im2col 与量化元数据设置除计算指令外PTO 还提供 12 条NPU 间通信扩展指令覆盖点对点TPUT/TGET及其异步 DMA 变体、信号同步TNOTIFY/TWAIT/TTEST与集合通信TGATHER/TSCATTER/TREDUCE/TBROADCAST三类能力让计算与通信能在同一个 kernel 内深度融合入口见 docs/isa/comm/README_zh.md。上图是一个多 NPU MoE FFN 场景本地按专家 scatter 排序后经 AllToAllv 通信、GMM1/SwiGLU/GMM2 计算再按 NPU 排序归位还原。这类计算通信交错正是通信 ISA 存在的意义。3 步完成 PTO 初体验CPU 仿真零硬件PTO 的CPU Simulator支持 macOS / Linux / Windows不需要昇腾硬件就能跑通完整指令语义是新手的第一站。Step 1 · 准备环境Python ≥ 3.11、CMake ≥ 3.16、支持 C20 的编译器详见 docs/getting-started_zh.md。Step 2 · 跑一个 demopython3 tests/run_cpu.py --demo gemm --verboseStep 3 · 阅读示例源码从 demos/auto_mode/baseline/add/README_zh.md 的 Add 示例入手理解 tile 级计算与数据搬运如何组织再进阶到 kernels/manual/a2a3/gemm_performance/README_zh.md 看真实 GEMM 的调参过程。 推荐的上手路径简单示例 → CPU 仿真验证 → 移植到昇腾硬件采集性能数据 → 定位瓶颈CUBE / MTE / Vector Bound开始优化。性能实证虚拟 ISA 也能跑出真性能抽象不等于慢。在 Ascend 910B2 上PTO 实现的 Flash Attention 对比torch_npu基线序列长度 1024 时最高加速2.79x全程领先序列 32768 时达到168.50 TFLOPS比基线高出约 12%。在 MoE 场景下PTO 对 GMM1 平均单 tile 计算时间也有可观提升单个 128×256×7168 tile 上PTO 相比基线降低 30.3%约 1.44x——这说明跨代抽象层并未牺牲性能调优空间。去哪里深入PTO 文档速查清单想做什么推荐文档建立 ISA 整体认识docs/PTOISA_zh.md查某条指令的语义与约束docs/isa/README_zh.md理解 tile shape / mask 编程模型docs/coding/Tile_zh.md理解事件与流水线同步docs/coding/Event_zh.md通信指令点对点/集合docs/isa/comm/README_zh.md性能分析与调优建议docs/coding/opt_zh.mdC 内建接口权威来源include/pto/common/pto_instr.hppCostModel 性能仿真docs/costmodel-backends_zh.md小结PTO 用 90 条跨代稳定的 Tile 指令 12 条通信扩展指令把每代重写算子变成一次编写、多代迁移、持续调优。如果你的目标是昇腾上的高性能算子开发建议从 CPU 仿真起步沿着 Auto → Manual 的路径把这张指令版图真正用起来。✨【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PTO初体验：一图读懂昇腾CANN虚拟ISA与90+条Tile指令的完整版图
PTO初体验一图读懂昇腾CANN虚拟ISA与90条Tile指令的完整版图【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaPTOParallel Tile Operation是昇腾 CANN 定义的一套面向 tile 编程的虚拟 ISA它在 A2/A3/A5 多代昇腾芯片与 CPU 之间用 90 条标准 Tile 指令统一了算子开发接口并额外提供 NPU 间通信扩展指令集。本文将带你一图读懂这套虚拟指令集的完整版图并在 3 步之内完成你的第一次 PTO 运行体验。为什么需要一套虚拟 Tile ISA如果你写过昇腾算子一定遇到过这样的痛点同一算子每代芯片要重写A2910B、A3910C、A5950的指令细节、片上存储布局、调度行为各不相同底层能力藏在实现细节里想保留 tile size、指令顺序等调优空间就必须贴近硬件编程验证成本高没有硬件时连功能正确性都难以快速验证。PTO 的思路不是隐藏底层而是在tile 粒度上做一层跨代稳定的抽象Tile 既是片上存储的单位也是计算操作的基本单位。一套 PTO 指令多代平台共用同时保留显式控制 tile、buffer 与 pipeline 的空间。它定义了两个互补的编程风格风格优先级谁负责布局与同步PTO-Auto生产效率、可移植性编译器/运行时自动选择布局、插入同步PTO-Manual控制力、峰值性能程序员显式控制绑定与事件同步实践中的典型路径是先用 Auto 模式快速验证逻辑再对关键 kernel 手动调优。机器模型的详细说明见 docs/machine/abstract-machine_zh.md。一图看懂90 条 Tile 指令如何协作先看一张真实 GEMM 的数据流动图——它浓缩了 PTO 指令集最核心的协作方式图中三层对应三类硬件流水线MTE2 / MTE1内存搬移引擎执行TLOAD、TPREFETCH等内存指令把全局张量GM数据分块搬入片上 Tilemmad矩阵流水线执行TMATMUL等矩阵乘指令消费搬入的 tile事件箭头MTE1→MTE2 反向同步、MTE1→mmad 同步等正是 PTO 的事件与同步机制——用轻量事件表达流水线间的顺序而不必整核屏障。这正是 PTO 指令设计的精髓计算、搬运、同步都是标准 tile 指令组合它们就得到一个完整的算子流水线。指令分类总览90 条指令的完整版图PTO ISA 的全部标准指令可按职责分为 10 大类权威清单见 docs/isa/README_zh.md每条指令都有一页独立文档分类代表指令解决什么问题逐元素Tile-TileTADD、TMUL、TMADD、TRELU、TCVT、TSEL向量流水线的逐元素算术、激活、类型转换Tile-标量TADDS、TMULS、TMAXS、TLRELU与标量的融合运算覆盖大量算子尾部操作轴归约/扩展TROWSUM、TROWARGMAX、TROWEXPAND系列行/列方向 reduce 与广播Attention 的核心内存GM↔TileTLOAD、TSTORE、TPREFETCH_ASYNC、MGATHER全局内存与片上 Tile 之间的数据搬运矩阵乘TMATMUL、TMATMUL_BIAS、TMATMUL_MX、TGEMVCube 流水线的 GEMM/GEMV含量化混合精度变体数据搬运/布局TMOV、TRESHAPE、TTRANS、TINTERLEAVE布局变换与 tile 重组复杂指令TQUANT、TDEQUANT、TSORT32、THISTOGRAM量化/反量化、排序、直方图等专用能力核间通信TALLOC、TPUSH、TPOP、TFREECube-Vector 间经 TPipe FIFO 通信同步 / 资源绑定SYNCALL、TASSIGN、SET_QUANT_VECTOR跨核屏障、手动放置与寄存器配置卷积/量化扩展TIMG2COL、SET_IMG2COL_RPT等卷积 im2col 与量化元数据设置除计算指令外PTO 还提供 12 条NPU 间通信扩展指令覆盖点对点TPUT/TGET及其异步 DMA 变体、信号同步TNOTIFY/TWAIT/TTEST与集合通信TGATHER/TSCATTER/TREDUCE/TBROADCAST三类能力让计算与通信能在同一个 kernel 内深度融合入口见 docs/isa/comm/README_zh.md。上图是一个多 NPU MoE FFN 场景本地按专家 scatter 排序后经 AllToAllv 通信、GMM1/SwiGLU/GMM2 计算再按 NPU 排序归位还原。这类计算通信交错正是通信 ISA 存在的意义。3 步完成 PTO 初体验CPU 仿真零硬件PTO 的CPU Simulator支持 macOS / Linux / Windows不需要昇腾硬件就能跑通完整指令语义是新手的第一站。Step 1 · 准备环境Python ≥ 3.11、CMake ≥ 3.16、支持 C20 的编译器详见 docs/getting-started_zh.md。Step 2 · 跑一个 demopython3 tests/run_cpu.py --demo gemm --verboseStep 3 · 阅读示例源码从 demos/auto_mode/baseline/add/README_zh.md 的 Add 示例入手理解 tile 级计算与数据搬运如何组织再进阶到 kernels/manual/a2a3/gemm_performance/README_zh.md 看真实 GEMM 的调参过程。 推荐的上手路径简单示例 → CPU 仿真验证 → 移植到昇腾硬件采集性能数据 → 定位瓶颈CUBE / MTE / Vector Bound开始优化。性能实证虚拟 ISA 也能跑出真性能抽象不等于慢。在 Ascend 910B2 上PTO 实现的 Flash Attention 对比torch_npu基线序列长度 1024 时最高加速2.79x全程领先序列 32768 时达到168.50 TFLOPS比基线高出约 12%。在 MoE 场景下PTO 对 GMM1 平均单 tile 计算时间也有可观提升单个 128×256×7168 tile 上PTO 相比基线降低 30.3%约 1.44x——这说明跨代抽象层并未牺牲性能调优空间。去哪里深入PTO 文档速查清单想做什么推荐文档建立 ISA 整体认识docs/PTOISA_zh.md查某条指令的语义与约束docs/isa/README_zh.md理解 tile shape / mask 编程模型docs/coding/Tile_zh.md理解事件与流水线同步docs/coding/Event_zh.md通信指令点对点/集合docs/isa/comm/README_zh.md性能分析与调优建议docs/coding/opt_zh.mdC 内建接口权威来源include/pto/common/pto_instr.hppCostModel 性能仿真docs/costmodel-backends_zh.md小结PTO 用 90 条跨代稳定的 Tile 指令 12 条通信扩展指令把每代重写算子变成一次编写、多代迁移、持续调优。如果你的目标是昇腾上的高性能算子开发建议从 CPU 仿真起步沿着 Auto → Manual 的路径把这张指令版图真正用起来。✨【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考