【AI企业】【信息科学与工程学】计算机科学与自动化 第八十篇 人工智能数学方程式/算法表03 推理引擎01
编号领域算法/函数名称定理/规律/特征算法伪代码算法的逐步思考推理过程的数学方程式关键参数/变量及数值设计及边界条件及参数数值范围工程/流程方法和所有步骤硬件依赖优点与局限关联知识连接点相关投入/资源1注意力机制Scaled Dot-Product Attention通过查询Q与键K的点积计算注意力权重,并用softmax归一化后加权值V;引入缩放因子√d_k防止梯度消失。集合(Q,K,V矩阵)、概率与统计(softmax分布)、连续性(可微)、优化(反向传播)、计算复杂度O(n²d)python def attention(Q, K, V): d_k = Q.shape[-1] scores = matmul(Q, K.T) / sqrt(d_k) weights