cann/asc-devkit MakeTensor张量创建
MakeTensor【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持功能说明需要包含的头文件为#include tensor_api/tensor.h。MakeTensor负责将内存指针由MakeMemPtr生成与布局对象由MakeFrameLayout/MakeLayout生成绑定生成带有完整类型信息的Tensor对象。MakeTensor会根据内存指针的物理位置标记自动推导返回GlobalTensor或LocalTensor当指针物理位置位于Global Memory外部存储时返回GlobalTensor当指针位置位于AI Core上的Local Memory内部存储时返回LocalTensor。生成的Tensor对象可直接传入Copy数据搬运和Mmad矩阵计算等接口编译器会根据其Engine中的物理位置标记和Layout中的布局模式自动选择底层硬件指令。函数原型template typename Iterator, typename... Args __aicore__ inline constexpr auto MakeTensor(const Iterator iter, const Args... args)参数说明参数名输入/输出描述iter输入迭代器要求传入ViewEngine对象用于创建Tensor。返回类型由该迭代器绑定的内存位置决定。args输入可变参数当前支持传入一个或两个参数。•当传入一个入参时根据传入的Layout对象创建Tensor。•当传入两个入参时根据传入的参数构建Layout对象并基于该Layout创建Tensor。返回值说明返回GlobalTensorTensorAttributeEngine, Layout或LocalTensorTensorAttributeEngine, Layout类型的张量对象具体由Engine绑定的内存位置决定。调用示例// 示例1使用GM指针和Layout创建GlobalTensor auto gmPtr MakeMemPtrLocation::GM, half(gmAddr); auto gmLayout MakeLayout(MakeShape(32, 32), MakeStride(32, 1)); auto gmTensor MakeTensor(gmPtr, gmLayout); // 示例2使用Local Memory指针和Layout创建LocalTensor constexpr int tileNum 4; __cbuf__ half dataPtr[tileNum]; // 初始化 auto ptr MakeMemPtr(dataPtr); auto layout MakeFrameLayoutNZLayoutPtn, half(32, 32); auto tensor MakeTensor(ptr, layout); // 示例3使用指针和布局形状创建张量 auto tensor2 MakeTensor(ptr, MakeShape(32, 32), MakeStride(32, 32));【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考