MatMulCompress【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品×Atlas A2 训练系列产品/Atlas A2 推理系列产品×Atlas 200I/500 A2 推理产品×Atlas 推理系列产品√Atlas 训练系列产品×功能说明算子功能进行矩阵乘计算时可先通过msModelSlim工具对右矩阵进行无损压缩减少内存占用然后通过本接口完成无损解压缩、矩阵乘计算。计算公式x2_unzip unzip(x2, compressIndex) result x1 x2_unzip bias其中x2表示右矩阵经过msModelSlim工具压缩后的一维数据compressIndex表示压缩算法相关的信息x2_unzip是接口内部进行无损解压缩后的数据与原始右矩阵数据一致。参数说明参数名输入/输出/属性描述数据类型数据格式x1输入张量矩阵乘的左输入2维张量。FLOAT16NDx2输入张量压缩后的矩阵乘右输入1维张量。FLOAT16NDcompressIndex输入张量矩阵乘右输入的压缩索引表1维张量。INT8NDbias输入张量偏置项支持空指针传入。FLOATNDout输出张量计算结果输出。FLOAT16ND约束说明x1和x2_unzip的Reduce维度大小必须相等。所有输入张量不支持非连续的Tensor。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考