LayerNormalizationGrad【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品×Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×功能说明算子功能完成 LayerNormalization 梯度计算。计算公式$$ x_hat[i] (x[i] - mean[i]) * rstd[i] $$$$ dxhat[i] dy[i] * gamma $$$$ ds[i] sum(dxhat[i] * x_hat[i]) $$$$ db[i] sum(dxhat[i]) $$$$ dx[i] rstd[i] * (dxhat[i] - (db[i] ds[i] * x_hat[i]) / D) $$$$ dgamma sum(dy * x_hat, axis0) $$$$ dbeta sum(dy, axis0) $$参数说明参数名输入/输出/属性描述数据类型数据格式dy输入上游梯度形状为 [N, D]。FLOAT、FLOAT16、BFLOAT16NDx输入前向输入形状为 [N, D]。FLOAT、FLOAT16、BFLOAT16NDgamma输入缩放参数形状为 [D]。FLOAT、FLOAT16、BFLOAT16NDmean输入前向保存的均值形状为 [N]。FLOAT、FLOAT16、BFLOAT16NDrstd输入前向保存的 1/sqrt(vareps)形状为 [N]。FLOAT、FLOAT16、BFLOAT16NDdx输出对输入的梯度形状为 [N, D]。FLOAT、FLOAT16、BFLOAT16NDdgamma输出对 gamma 的梯度形状为 [D]。FLOAT、FLOAT16、BFLOAT16NDdbeta输出对 beta 的梯度形状为 [D]。FLOAT、FLOAT16、BFLOAT16ND约束说明无调用说明调用方式调用样例说明aclnn调用test_aclnn_layer_normalization_grad参见算子调用完成算子编译和验证。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考