L0C到L1数据搬运DataCopy【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。矩阵计算的结果存放在L0C BufferDataCopy接口用于将结果搬运至L1 Buffer中并且在搬运过程中支持随路格式转换等操作。下图展示了随路量化、随路ReLU、随路通道合并的有效组合、中间数据类型和数据路径。下图中的F32-F16与F32-BF16为非量化模式仅为Cast其余为随路scalar/tensor量化模式。图1L0C2L1流程图NPU架构版本2201图2L0C2L1流程图NPU架构版本3510函数原型DataCopy矩阵搬出接口支持多种随路能力的组合需要设置不同的寄存器配合数据搬运指令开启不同的数据搬运能力对应的接口如下数据搬运接口通路L0C Buffer(CO1)-L1 Buffer(C1)配合设置寄存器实现量化和ReLU激活。template typename T, typename U __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorU src, const DataCopyCO12DstParams intriParams)SetFixPipeConfig寄存器设置接口通过调用该接口设置随路量化其中tensor的每个元素都代表一个量化参数使用tensor量化时需要设置。SetFixpipePreQuantFlag寄存器设置接口通过调用该接口设置随路量化参数此元素代表整个输出矩阵使用的量化参数使用Scalar量化时需要设置。SetFixpipeNz2ndFlag寄存器设置接口通过调用该接口设置随路NZ2ND格式转换配置使用随路NZ2ND需要设置。针对Atlas 200I/500 A2 推理产品还支持如下两个接口SetFixPipeClipRelu寄存器设置接口通过调用该接口设置ClipReLU操作的最大值。SetFixPipeAddr寄存器设置接口通过调用该接口设置Elementwise操作时LocalTensor的地址。参数说明表1数据搬运DataCopy模板参数说明参数名描述T目的操作数的数据类型。支持的数据类型请参考数据类型。U源操作数的数据类型。支持的数据类型请参考数据类型。表2数据搬运DataCopy接口参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor数据格式为NZ格式地址需要满足32字节对齐。src输入源操作数类型为LocalTensor支持的物理地址为L0C BufferTPosition为CO1为Mmad接口计算的结果。数据格式为NZ格式地址需要满足64字节对齐。intriParams输入搬运参数类型为DataCopyCO12DstParams。具体定义请参考${INSTALL_DIR}/asc/include/basic_api/interface/kernel_struct_data_copy.h${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。表3DataCopyCO12DstParams结构体参数定义参数名称含义sid此参数用户无需关注设置为0即可。nSize源NZ矩阵在N方向上的大小。取值范围nSize∈[0, 4095]nSize必须为16的倍数。注nSize0表示不执行搬运该接口将被视为NOP空操作。mSize源NZ矩阵在M方向上的大小。取值范围为mSize∈[0, 65535]。注mSize0表示不执行搬运该接口将被视为NOP空操作。dstStride目的NZ矩阵中相邻Z排布的起始地址偏移取值不为0单位为datablock32字节。srcStride源NZ矩阵中相邻Z排布的起始地址偏移取值范围为srcStride∈[0, 65535]单位为C0_Size16*sizeof(T)T为src的数据类型其值应填成mSize对16向上取整。unitFlagunitFlag是一种Mmad指令和Fixpipe指令细粒度的并行开启该功能后硬件每计算完一个分形计算结果就会被搬出。取值说明如下• 02b00不开启unitFlag。• 22b10开启unitFlag硬件执行完指令之后不复位单元标记位。• 32b11开启unitFlag硬件执行完指令之后复位单元标记位。开启该功能时须将Mmad指令和Fixpipe指令的unitFlag值设置为2或3。参数设置方案和特性细节可参考Mmad计算中关键特性说明的UnitFlag章节。clipReluPre该参数仅在Atlas 200I/500 A2 推理产品支持。用于配置是否开启ClipReLU操作参数类型为uint8_t取值如下0不开启ClipReLU1开启ClipReLU此时需要调用SetFixPipeClipRelu来设置ClipReLU的最大值。•该操作在随路量化后进行quantPre配置后才能使用当前支持的量化模式有F322F16/DEQF16/VDEQF16/QF322B8_PRE/VQF322B8_PRE/REQ8/VREQ8。eltWiseOp该参数仅在Atlas 200I/500 A2 推理产品支持。用于配置是否开启Elementwise操作及操作模式。Elementwise操作是指进行随路量化后可以逐个元素加/减一个LocalTensor大小为mSize * nSize具体LocalTensor地址相关参数需要调用SetFixPipeAddr来设置。eltWiseOp参数类型为uint8_t取值如下• 0不开启Elementwise• 1Elementwise Addition• 2Elementwise Subtraction。quantPre用于控制量化模式QuantMode_t类型具体定义如下• half/bfloat16_t输出此参数需配置为QuantMode_t::F322F16/QuantMode_t::F322BF16。•配置为scalar量化时需要调用SetFixpipePreQuantFlag接口来设置scalar量化参数。•配置为tensor量化时需要调用SetFixPipeConfig来设置tensor量化参数其中tensor量化参数需要通过DataCopy从L1 Buffer搬运至Fixpipe Buffer。注此参数需要用户手动配置不会自动推导配置对应量化模式。此通路不支持NoQuant模式。enum QuantMode_t{NoQuant, // 不开启量化功能此通路不支持F322F16, // Float32_2_Float16float cast成halfcast mode为CAST_RINT模式F322BF16, // Float32_2_BFloat16float cast成bfloat16_tcast mode为CAST_RINT模式DEQF16, // DeQuant_Float16int32_t量化成halfscalar量化VDEQF16, // Vector_DeQuant_Float16int32_t量化成halftensor量化QF322B8_PRE, // Quant_Float32_2_B8float量化成int8_t/uint8_tscalar量化VQF322B8_PRE, // Vector_Quant_Float32_2_B8float量化成int8_t/uint8_ttensor量化REQ8, // ReQuant_int8int32_t量化成int8_t/uint8_tscalar量化VREQ8, // Vector_ReQuant_int8int32_t量化成int8_t/uint8_ttensor量化};reluPre用于配置ReLU操作的模式类型为uint8_t取值如下• 0不开启ReLU• 1Normal ReLUchannelSplit仅在L0C BufferCO1-GM通路时生效此通路设置为false即可。nz2ndEn仅在L0C BufferCO1-GM通路时生效此通路设置为false即可。数据类型源矩阵与目的矩阵支持的数据类型组合针对Ascend 950PR/Ascend 950DTDataCopy接口支持的数据类型组合如下源矩阵L0C Buffer目的矩阵L1 Bufferfloatint8_t、uint8_t、half、bfloat16_t、float。int32_tint8_t、uint8_t、half、int32_t。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品DataCopy接口支持的数据类型组合如下源矩阵L0C Buffer目的矩阵L1 Bufferfloatint8_t、uint8_t、half、bfloat16_t。int32_tint8_t、uint8_t、half。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品DataCopy接口支持的数据类型组合如下源矩阵L0C Buffer目的矩阵L1 Bufferfloatint8_t、uint8_t、half、bfloat16_t。int32_tint8_t、uint8_t、half。针对Atlas 200I/500 A2 推理产品DataCopy接口支持的数据类型组合如下源矩阵L0C Buffer目的矩阵L1 Bufferfloatint8_t、uint8_t、half、bfloat16_t。int32_tint8_t、uint8_t、half。返回值说明无约束说明对于量化输入为float32数据类型的说明如下标准的IEEE 754 float32格式为1bit符号位8bits指数位23bits尾数位当前AI处理器支持的float32格式为1bit符号位8bits指数位10bits尾数位。如果用户提供的是标准的IEEE 754 float32输入API内部会处理成处理器支持的float32格式进行计算此时如果golden数据生成过程中使用的是标准的IEEE 754 float32数据则可能引入精度不匹配问题需要修正golden数据的生成将量化参数的23bits尾数位的低13bits数据位清零再参与量化计算。源矩阵NZ格式地址要求64字节对齐目的矩阵NZ格式地址需要满足32字节对齐。当搬出的mSize或nSize中的任意一个值为0时该指令不会被执行。量化和ReLU参数不能为inf/nan和非规格化数。目标数据不能有重叠。如果对目的地址有重叠写入硬件不会报告任何警告和错误也不保证重叠数据的写入顺序。unitFlag特性开启需要配合Mmad同时开启。针对如下产品型号特殊值/边界值约束说明如下Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品对于浮点类型inf/nan输入输出可以通过CTRL寄存器控制寄存器的CTRL[48]比特位进行设置控制浮点数量化搬出时的饱和模式非饱和模式CTRL[48]设置成1b1inf/nan保持原输出。饱和模式CTRL[48]设置成1b0inf输出会被饱和为±MAXnan输出会被饱和为0。// 设置CTRL[48]为0开启浮点数饱和模式 AscendC::AscendCUtils::SetOverflow(0);对于整数类型只有饱和模式。Ascend 950PR/Ascend 950DT特殊值/边界值约束说明对于浮点类型inf/nan输入输出可以通过CTRL寄存器控制寄存器的CTRL[48]比特位进行设置控制浮点数量化搬出时的饱和模式对于fp8_e4m3fn_t类型可以通过CTRL寄存器控制寄存器的CTRL[48]比特位进行更精细的设置非饱和模式CTRL[48]设置成1b1inf/nan保持原输出。对于fp8_e4m3fn_t类型若结果的绝对值为inf或大于fp8_e4m3fn_t的最大规格化值则输出结果为nan。饱和模式CTRL[48]设置成1b0Inf输出会被饱和为±MAX NaN输出会被饱和为0。对于fp8_e4m3fn_t类型当CTRL[50]设置成1b0时NaN被转换为零当CTRL[50]设置成1b1时NaN保持不变若结果的绝对值为Inf或大于fp8_e4m3fn_t的最大规格化值则结果为最大规格化值。// 设置CTRL[48]为0开启浮点数饱和模式 AscendC::AscendCUtils::SetOverflow(0);对于整数类型只有饱和模式。调用示例无【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考