NVIDIA GPU(cuDNN / cuBLAS / Transformer 视角)NVIDIA GPU 典型算子一览表编号类型领域算子类别典型算子名称数学方程式 / 计算描述应用场景时间 / 空间 / 其他复杂度优势劣势1计算密集型深度学习Dot-ProductGEMM(矩阵乘)CM×N​=AM×K​BK×N​,FLOPs = 2MNK全连接层、Attention 的 QKV 投影、MLP时间 O(MNK);算术强度 ≈O(min(M,N,K)),大矩阵为compute-bound​Tensor Core 可 4–16× 加速