SetTensorScaleB【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90不支持Kirin 9030不支持功能说明MxMatmul场景设置矩阵乘中右矩阵的量化系数矩阵scaleB。函数原型__aicore__ inline void SetTensorScaleB(const GlobalTensorScaleT gm, bool isTransposeScaleB true);__aicore__ inline void SetTensorScaleB(const LocalTensorScaleT rightMatrix, bool isTransposeScaleB true);参数说明表1参数说明参数名输入/输出描述gm输入量化系数scaleB矩阵。类型为GlobalTensor。支持的数据类型为fp8_e8m0_t。rightMatrix输入量化系数scaleB矩阵。类型为LocalTensor支持的TPosition为TSCM/VECOUT。支持的数据类型为fp8_e8m0_t。isTransposeScaleB输入scaleB矩阵是否需要转置。参数支持的取值如下falsescaleB矩阵不转置。true默认值scaleB矩阵转置。注意scaleB矩阵为NZ格式时该参数只支持取值为true。若scaleB矩阵的MatmulTypeWithScale参数中的SCALE_ISTRANS设置为true除scaleB为NZ格式场景该参数支持取值为true、false即运行时scaleB矩阵可以转置和非转置交替使用。若scaleB矩阵的MatmulTypeWithScale参数中的SCALE_ISTRANS设置为false该参数只支持取值为false若强行设置为true精度会有异常对于有Bias输入的场景为了确保Tiling侧与Kernel侧L1 Buffer空间计算大小保持一致及结果精度正确该参数取值必须与Kernel侧定义B矩阵MatmulTypeWithScale的SCALE_ISTRANS参数以及Tiling侧SetScaleBType()接口的isScaleTrans参数保持一致即有Bias输入的场景上述三个参数必须同时设置为true或同时设置为false。返回值说明无约束说明传入的scaleB地址空间大小必须不小于singleCoreK*singleCoreN/32。当开启MixDualMaster双主模式场景时即模板参数enableMixDualMaster设置为true不支持使用该接口。调用示例REGIST_MATMUL_OBJ(pipe, GetSysWorkSpacePtr(), mm, tiling); mm.SetTensorA(gm_a); mm.SetTensorB(gm_b); mm.SetTensorScaleA(gm_scaleA); mm.SetTensorScaleB(gm_scaleB); // 设置右矩阵的量化系数矩阵scaleB if (tiling.isBias) { mm.SetBias(gmBias); } mm.IterateAll(gm_c); mm.End();【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考