CANN ops-nn算子库终极指南一文看懂1000神经网络算子与NPU加速架构【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nnCANN ops-nn 是昇腾 CANN 软件栈中的神经网络类计算算子库收录了 1000 个神经网络算子含多 V 版本变体覆盖激活、矩阵乘法、卷积、归一化、池化、损失函数、优化器、量化等 14 大类是实现网络在 NPU 上加速计算的核心能力库。无论你是想调用现成算子加速推理/训练还是想开发自己的自定义算子这份指南都能帮你快速上手。ops-nn 与 ops-cv、ops-transformer、ops-math 等算子库并列共同构成 CANN 的算子能力底座底层依赖 opbase 提供的基础设施。一、CANN ops-nn 是什么新手30秒建立认知概念说明算子Operator神经网络中的一个基本计算单元如 GELU 激活、MatMul 矩阵乘、LayerNorm 归一化NPU 加速算子通过 Ascend C 编程运行在昇腾芯片的 AI Core/AI CPU 硬件单元上获得远超 CPU 的并行算力ops-nn 的定位提供神经网络高阶算子的开源自实现库可按需编译、可二次开发、支持贡献自定义算子一个典型场景你的 PyTorch 模型中某个融合激活算子如 SwiGLU在 NPU 上无原生支持ops-nn 已提供swiglu_group、clipped_swiglu等现成算子直接调用即可加速无需自己写 kernel。二、14 大类算子全景你的模型需要哪些神经网络算子按源码目录统计ops-nn 内置算子分布如下不含 experimental 目录下的社区贡献算子算子分类数量典型代表算子activation 激活函数85gelu、swish、silu_grad、relu_v2、swiglu_groupindex 索引与稀疏97gather_v2、scatter_elements_v2、embedding、top_knorm 归一化88layer_norm_v4、rms_norm、batch_norm_v3、group_norm_siluoptim 优化器61apply_adam_w_v2、fused_sgd、inplace_apply_momentumforeach 批量张量操作68foreach_add_scalar、foreach_mul_list、foreach_normquant 量化49dynamic_quant、ascend_quant_v2、dynamic_mx_quantloss 损失函数43cross_entropy_loss、smooth_l1_loss_v2、focal_losspooling 池化36avg_pool、max_pool_v3、adaptive_avg_pool3dmatmul 矩阵运算33mat_mul_v3、quant_batch_matmul_v4、fused_mat_mulconv 卷积15conv2d_v2、conv3d_v2、deformable_conv2drnn 循环网络9dynamic_rnnv2、gru、bidirection_lstmv2vfusion 视觉融合7scaled_masked_softmax_v2、modulatehash 哈希5embedding_hash_table_lookup_or_insertcontrol 控制流4sleep、npu_alloc_float_status 完整清单含每个算子的硬件执行单元、aclnn 支持情况、版本说明可查看仓库内文档docs/zh/op_list.md接口索引见docs/zh/op_api_list.md。几个值得新手关注的亮点量化算子全面matmul/quant_batch_matmul_v4支持 fp8/mxfp8/hifp8/mxfp4 等低比特数据类型覆盖 pertensor/perchannel/pertoken/pergroup/perblock 多种量化粒度大模型推理加速刚需。融合算子降低访存如activation/ge_glu_v2、norm/add_layer_norm把多个基础算子融合为一次 kernel 执行减少数据搬运开销。新一代芯片适配开源算子已支持 Ascend 950PR / Ascend 950DT / KirinX90Atlas A2/A3 系列同样可用。三、NPU 加速原理算子为什么快算子性能来自昇腾芯片的并行硬件架构。每个 AI Core 内含Cube矩阵乘法单元、Vector向量运算单元、Scalar标量控制单元等计算单元配合 L1/L2/Global Memory 多级存储与 MTE 搬运单元协同工作。以矩阵乘算子为例matmul 类算子的主体计算由Cube 单元以 3D 张量方式完成而激活、归一化等逐元素计算则走Vector 单元Scalar 单元负责循环与分支控制。算子库中大量融合算子如 fused_mat_mul正是为了最大化 Cube 利用率、减少 Buffer 之间的数据搬运。Ascend 950 架构在 AIV 部分新增了SIMD/SIMT 同构编程能力Warp Scheduler、SIMT Register File 等ops-nn 已支持 MapIndex、ScatterSub 等基于新编程模型的算子实现。 简单记忆Cube 管矩阵乘、Vector 管逐元素、Scalar 管控制流写算子 kernel 的核心就是把数据高效地搬进 Cube/Vector 并流水执行。四、三种算子调用方式按场景选对姿势ops-nn 算子支持三种主流调用路径新手可按场景选择调用方式适用场景特点PyTorch API模型训练/推理直接集成算子注册进 PyTorch像原生算子一样torch.ops调用仓库提供 torch_extension 扩展库JIT 编译桥接 aclnn构建 wheel 后可在 NPU 上直接 importaclnn APIeager 模式C/C 业务、单算子高频调用提供aclnnXXX前缀 C 接口无需 IR 定义适合低延迟场景GE 图模式graph编译器图优化、算子融合通过 op_graph 目录中的算子原型参与图融合由编译器自动调度每个算子目录如activation/gelu/都会标注其支持的调用方式有op_api/目录即支持 aclnn 调用有op_graph/目录即支持图模式调用。五、从零到跑通5步编译运行你的第一个算子以官方教学算子 AddExample源码位于examples/add_example为例完整流程约 10 分钟第 1 步准备环境安装 NPU 驱动与 CANN 包推荐 CANNLab 或 Docker开箱即用并下载与 CANN 版本配套的源码分支# 以 9.0.0 标签为例请替换为你安装的 CANN 对应版本 git clone -b 9.0.0 https://gitcode.com/cann/ops-nn.git第 2 步编译算子# --soc 按芯片型号传参ascend910b / ascend910_93 / ascend950 bash build.sh --pkg --soc${soc_version} --opsadd_example -j16第 3 步安装算子包执行./build_out/cann-ops-nn-*linux*.run算子包将安装至${ASCEND_HOME_PATH}/opp/vendors路径。第 4 步配置环境变量将自定义算子库路径加入LD_LIBRARY_PATH。第 5 步运行样例验证bash build.sh --run_example add_example eager cust --vendor_namecustom看到打印的加法计算结果即代表算子已成功在 NPU 上执行 。该流程同样适用于仓库内任意内置算子的快速验证。六、项目目录结构看懂就能自己加算子ops-nn/ ├── activation/ conv/ index/ loss/ matmul/ norm/ # 14 个算子分类目录 ├── ${op_name}/ # 单个算子工程 │ ├── op_host/ # Host 侧算子信息库、Tiling、InferShape │ ├── op_kernel/ # Device 侧AI Core Kernel 实现Ascend C │ ├── op_api/ # aclnn C 接口可选 │ ├── op_graph/ # 图融合规则可选 │ ├── examples/ # 调用示例 │ └── tests/ # 单元测试用例 ├── examples/ # 端到端开发教学样例add_example、fast_kernel_launch_example ├── experimental/ # 社区自定义算子贡献目录1291 文件规模可观 ├── docs/ # 中文文档中心安装/调用/开发/调试 └── torch_extension/ # PyTorch 算子扩展 wheel 构建每个算子是一个完整工程代码、示例、测试、文档全部内聚在一个目录里改一个算子不会牵动全库。自定义算子建议放入experimental/目录方便调试后贡献回社区流程见CONTRIBUTING.md。想快速体验开发全流程直接阅读docs/QUICKSTART.md快速入门教程从编译、开发、调试到验证一次讲清。七、新手学习路线图与进阶资源阶段目标对应资料入门环境部署 编译运行内置算子docs/QUICKSTART.md快速入门进阶调用算子PyTorch/aclnn/图模式docs/zh/invocation/quick_op_invocation.md开发用 Ascend C 写自己的 Kernel 与 Tilingdocs/zh/develop/aicore_develop_guide.md标准算子开发指南调试打印、性能采集、仿真流水分析docs/zh/debug/op_debug_prof.mdAscend 950 系列可用 NPU Simulator 仿真调试贡献提交自定义算子CONTRIBUTING.md贡献指南两个容易踩的坑提前提醒版本配套源码分支必须与 CANN 软件版本配套master 分支可能存在不匹配风险请按 release 版本选择 Git tag。V 版本选择部分算子存在多个 V 版本如 gelu_v2、layer_norm_v4直接使用最高 V 版本即可高版本已兼容低版本全部能力。八、常见问题 FAQQ1ops-nn 和 CANN 内置算子有什么区别CANN 出厂已内置大量算子ops-nn 是其神经网络算子部分的开源自实现仓库可查看源码、二次定制、单算子编译替换也支持把社区贡献的自定义算子融合进同一套编译体系。Q2没有 NPU 硬件能开发算子吗可以。Ascend 950PR 产品支持 NPU Simulator 仿真工具开发调试见docs/zh/debug/npu_sim.md无需实卡即可验证精度与性能数据。Q3怎么给 PyTorch 模型用上这些算子用torch_extension/目录构建cann_ops_nnwheel 包并安装即可通过 JIT 编译方式在 PyTorch 中以类似原生 API 的形式调用 aclnn 算子支持整包或按算子名定制构建。Q4想学算子开发从哪个算子入手最好从examples/add_exampleAI Core或examples/add_example_aicpuAI CPU入手结构最小、路径完整追求高性能场景可研究examples/fast_kernel_launch_example轻量级高性能工程模板。写在最后CANN ops-nn 算子库用 1000 个神经网络算子覆盖了从激活、矩阵乘到优化器的完整训练/推理链路并给出了清晰的分层目录与调用方式。建议的新手路径先跑通 AddExample → 再看 op_list 找到业务所需算子 → 最后进入 Ascend C 开发指南动手写 kernel。项目持续更新中欢迎阅读 CHANGELOG 了解每个版本的算子新增与性能优化动态。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN ops-nn算子库终极指南：一文看懂1000+神经网络算子与NPU加速架构
CANN ops-nn算子库终极指南一文看懂1000神经网络算子与NPU加速架构【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nnCANN ops-nn 是昇腾 CANN 软件栈中的神经网络类计算算子库收录了 1000 个神经网络算子含多 V 版本变体覆盖激活、矩阵乘法、卷积、归一化、池化、损失函数、优化器、量化等 14 大类是实现网络在 NPU 上加速计算的核心能力库。无论你是想调用现成算子加速推理/训练还是想开发自己的自定义算子这份指南都能帮你快速上手。ops-nn 与 ops-cv、ops-transformer、ops-math 等算子库并列共同构成 CANN 的算子能力底座底层依赖 opbase 提供的基础设施。一、CANN ops-nn 是什么新手30秒建立认知概念说明算子Operator神经网络中的一个基本计算单元如 GELU 激活、MatMul 矩阵乘、LayerNorm 归一化NPU 加速算子通过 Ascend C 编程运行在昇腾芯片的 AI Core/AI CPU 硬件单元上获得远超 CPU 的并行算力ops-nn 的定位提供神经网络高阶算子的开源自实现库可按需编译、可二次开发、支持贡献自定义算子一个典型场景你的 PyTorch 模型中某个融合激活算子如 SwiGLU在 NPU 上无原生支持ops-nn 已提供swiglu_group、clipped_swiglu等现成算子直接调用即可加速无需自己写 kernel。二、14 大类算子全景你的模型需要哪些神经网络算子按源码目录统计ops-nn 内置算子分布如下不含 experimental 目录下的社区贡献算子算子分类数量典型代表算子activation 激活函数85gelu、swish、silu_grad、relu_v2、swiglu_groupindex 索引与稀疏97gather_v2、scatter_elements_v2、embedding、top_knorm 归一化88layer_norm_v4、rms_norm、batch_norm_v3、group_norm_siluoptim 优化器61apply_adam_w_v2、fused_sgd、inplace_apply_momentumforeach 批量张量操作68foreach_add_scalar、foreach_mul_list、foreach_normquant 量化49dynamic_quant、ascend_quant_v2、dynamic_mx_quantloss 损失函数43cross_entropy_loss、smooth_l1_loss_v2、focal_losspooling 池化36avg_pool、max_pool_v3、adaptive_avg_pool3dmatmul 矩阵运算33mat_mul_v3、quant_batch_matmul_v4、fused_mat_mulconv 卷积15conv2d_v2、conv3d_v2、deformable_conv2drnn 循环网络9dynamic_rnnv2、gru、bidirection_lstmv2vfusion 视觉融合7scaled_masked_softmax_v2、modulatehash 哈希5embedding_hash_table_lookup_or_insertcontrol 控制流4sleep、npu_alloc_float_status 完整清单含每个算子的硬件执行单元、aclnn 支持情况、版本说明可查看仓库内文档docs/zh/op_list.md接口索引见docs/zh/op_api_list.md。几个值得新手关注的亮点量化算子全面matmul/quant_batch_matmul_v4支持 fp8/mxfp8/hifp8/mxfp4 等低比特数据类型覆盖 pertensor/perchannel/pertoken/pergroup/perblock 多种量化粒度大模型推理加速刚需。融合算子降低访存如activation/ge_glu_v2、norm/add_layer_norm把多个基础算子融合为一次 kernel 执行减少数据搬运开销。新一代芯片适配开源算子已支持 Ascend 950PR / Ascend 950DT / KirinX90Atlas A2/A3 系列同样可用。三、NPU 加速原理算子为什么快算子性能来自昇腾芯片的并行硬件架构。每个 AI Core 内含Cube矩阵乘法单元、Vector向量运算单元、Scalar标量控制单元等计算单元配合 L1/L2/Global Memory 多级存储与 MTE 搬运单元协同工作。以矩阵乘算子为例matmul 类算子的主体计算由Cube 单元以 3D 张量方式完成而激活、归一化等逐元素计算则走Vector 单元Scalar 单元负责循环与分支控制。算子库中大量融合算子如 fused_mat_mul正是为了最大化 Cube 利用率、减少 Buffer 之间的数据搬运。Ascend 950 架构在 AIV 部分新增了SIMD/SIMT 同构编程能力Warp Scheduler、SIMT Register File 等ops-nn 已支持 MapIndex、ScatterSub 等基于新编程模型的算子实现。 简单记忆Cube 管矩阵乘、Vector 管逐元素、Scalar 管控制流写算子 kernel 的核心就是把数据高效地搬进 Cube/Vector 并流水执行。四、三种算子调用方式按场景选对姿势ops-nn 算子支持三种主流调用路径新手可按场景选择调用方式适用场景特点PyTorch API模型训练/推理直接集成算子注册进 PyTorch像原生算子一样torch.ops调用仓库提供 torch_extension 扩展库JIT 编译桥接 aclnn构建 wheel 后可在 NPU 上直接 importaclnn APIeager 模式C/C 业务、单算子高频调用提供aclnnXXX前缀 C 接口无需 IR 定义适合低延迟场景GE 图模式graph编译器图优化、算子融合通过 op_graph 目录中的算子原型参与图融合由编译器自动调度每个算子目录如activation/gelu/都会标注其支持的调用方式有op_api/目录即支持 aclnn 调用有op_graph/目录即支持图模式调用。五、从零到跑通5步编译运行你的第一个算子以官方教学算子 AddExample源码位于examples/add_example为例完整流程约 10 分钟第 1 步准备环境安装 NPU 驱动与 CANN 包推荐 CANNLab 或 Docker开箱即用并下载与 CANN 版本配套的源码分支# 以 9.0.0 标签为例请替换为你安装的 CANN 对应版本 git clone -b 9.0.0 https://gitcode.com/cann/ops-nn.git第 2 步编译算子# --soc 按芯片型号传参ascend910b / ascend910_93 / ascend950 bash build.sh --pkg --soc${soc_version} --opsadd_example -j16第 3 步安装算子包执行./build_out/cann-ops-nn-*linux*.run算子包将安装至${ASCEND_HOME_PATH}/opp/vendors路径。第 4 步配置环境变量将自定义算子库路径加入LD_LIBRARY_PATH。第 5 步运行样例验证bash build.sh --run_example add_example eager cust --vendor_namecustom看到打印的加法计算结果即代表算子已成功在 NPU 上执行 。该流程同样适用于仓库内任意内置算子的快速验证。六、项目目录结构看懂就能自己加算子ops-nn/ ├── activation/ conv/ index/ loss/ matmul/ norm/ # 14 个算子分类目录 ├── ${op_name}/ # 单个算子工程 │ ├── op_host/ # Host 侧算子信息库、Tiling、InferShape │ ├── op_kernel/ # Device 侧AI Core Kernel 实现Ascend C │ ├── op_api/ # aclnn C 接口可选 │ ├── op_graph/ # 图融合规则可选 │ ├── examples/ # 调用示例 │ └── tests/ # 单元测试用例 ├── examples/ # 端到端开发教学样例add_example、fast_kernel_launch_example ├── experimental/ # 社区自定义算子贡献目录1291 文件规模可观 ├── docs/ # 中文文档中心安装/调用/开发/调试 └── torch_extension/ # PyTorch 算子扩展 wheel 构建每个算子是一个完整工程代码、示例、测试、文档全部内聚在一个目录里改一个算子不会牵动全库。自定义算子建议放入experimental/目录方便调试后贡献回社区流程见CONTRIBUTING.md。想快速体验开发全流程直接阅读docs/QUICKSTART.md快速入门教程从编译、开发、调试到验证一次讲清。七、新手学习路线图与进阶资源阶段目标对应资料入门环境部署 编译运行内置算子docs/QUICKSTART.md快速入门进阶调用算子PyTorch/aclnn/图模式docs/zh/invocation/quick_op_invocation.md开发用 Ascend C 写自己的 Kernel 与 Tilingdocs/zh/develop/aicore_develop_guide.md标准算子开发指南调试打印、性能采集、仿真流水分析docs/zh/debug/op_debug_prof.mdAscend 950 系列可用 NPU Simulator 仿真调试贡献提交自定义算子CONTRIBUTING.md贡献指南两个容易踩的坑提前提醒版本配套源码分支必须与 CANN 软件版本配套master 分支可能存在不匹配风险请按 release 版本选择 Git tag。V 版本选择部分算子存在多个 V 版本如 gelu_v2、layer_norm_v4直接使用最高 V 版本即可高版本已兼容低版本全部能力。八、常见问题 FAQQ1ops-nn 和 CANN 内置算子有什么区别CANN 出厂已内置大量算子ops-nn 是其神经网络算子部分的开源自实现仓库可查看源码、二次定制、单算子编译替换也支持把社区贡献的自定义算子融合进同一套编译体系。Q2没有 NPU 硬件能开发算子吗可以。Ascend 950PR 产品支持 NPU Simulator 仿真工具开发调试见docs/zh/debug/npu_sim.md无需实卡即可验证精度与性能数据。Q3怎么给 PyTorch 模型用上这些算子用torch_extension/目录构建cann_ops_nnwheel 包并安装即可通过 JIT 编译方式在 PyTorch 中以类似原生 API 的形式调用 aclnn 算子支持整包或按算子名定制构建。Q4想学算子开发从哪个算子入手最好从examples/add_exampleAI Core或examples/add_example_aicpuAI CPU入手结构最小、路径完整追求高性能场景可研究examples/fast_kernel_launch_example轻量级高性能工程模板。写在最后CANN ops-nn 算子库用 1000 个神经网络算子覆盖了从激活、矩阵乘到优化器的完整训练/推理链路并给出了清晰的分层目录与调用方式。建议的新手路径先跑通 AddExample → 再看 op_list 找到业务所需算子 → 最后进入 Ascend C 开发指南动手写 kernel。项目持续更新中欢迎阅读 CHANGELOG 了解每个版本的算子新增与性能优化动态。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考