30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度如果你在2017年之前问一个做机器翻译或文本生成的研究者模型的核心是什么答案多半是LSTM、GRU这些循环神经网络。它们像一条单向流动的河信息按顺序流过每个词的处理都依赖于前一个词的状态。这种设计在直觉上很合理毕竟语言是线性的。但问题也恰恰出在这里顺序处理意味着无法并行训练慢长距离的依赖关系在信息传递中极易衰减或丢失模型难以理解“虽然……但是……”这类跨越多个句子的逻辑。2017年一篇名为《Attention Is All You Need》的论文彻底改变了游戏规则。它提出了一种名为Transformer的架构其核心思想大胆而反直觉抛弃循环完全依赖一种名为“自注意力”的机制让序列中的每个词都能直接“看到”并权衡序列中所有其他词的重要性。这个设计在当时看来像是一次豪赌但结果证明它不仅解决了RNN的并行化难题更因其强大的全局建模能力成为了此后几乎所有大语言模型如GPT、BERT、T5乃至视觉、语音等多模态模型的基石骨架。今天当我们谈论Transformer时早已超越了那篇论文本身。它从一个具体的模型演变为一类架构范式催生了整个AI新时代。但万变不离其宗理解其最原始、最核心的原理是理解当今所有AI进展的钥匙。这篇文章我们不堆砌公式而是试图回答几个更根本的问题自注意力机制到底在“注意”什么Transformer是如何摒弃顺序、实现全局关联的编码器和解码器的分工有何深意以及为什么这个看似简单的架构能爆发出如此惊人的能量1. 从“顺序依赖”到“全局关联”注意力机制的革命在Transformer出现之前处理序列数据的主流是循环神经网络及其变体LSTM。它们的工作方式像是一个有短期记忆的人读一句话时只能一个字一个字地看并且试图记住前面看过的内容。这种机制存在两个根本性瓶颈并行化困难必须等上一个词处理完才能处理下一个词。这在GPU这类擅长并行计算的硬件上效率低下。长程依赖衰减信息在一步步传递中会逐渐稀释或变形模型很难捕捉到句子开头与结尾之间的关联。注意力机制的引入最初是为了解决第二个问题。在早期的“编码器-解码器”架构中解码器在生成目标语言的每一个词时可以“回头看”编码器输出的所有源语言词向量并给它们分配不同的权重即注意力分数。这就像翻译时每写一个目标词都可以快速浏览一遍原文找到当前最相关的部分。Transformer的革命性在于它将这种“回头看”的注意力升级为了“自己看自己”的“自注意力”。这不仅仅是技术上的改进更是一种范式的转换。1.1 自注意力序列内部的“社交网络”想象一个句子里的每个词都是一个参会者。在RNN的会议上大家必须轮流发言且只能听到前一个人的话。而在Transformer的会议上所有参会者同时发言并且每个人都有一份特殊的“社交能力”每个人都能生成三张名片查询、键和值。查询代表“我想了解什么”。键代表“我有什么信息”。值代表“我的核心内容是什么”。会议的规则是对于参会者A查询他会拿自己的“查询”名片去和会场里所有人包括他自己的“键”名片一一比对亲和度计算点积。亲和度越高说明那个人当前掌握的信息对A越重要。然后A会按照这个亲和度权重对所有人的“价值”名片内容进行加权求和最终形成自己更新后的观点。这个过程就是自注意力。它的精妙之处在于全局性每个词都能直接与序列中任意位置的词交互无论距离多远。这完美解决了长程依赖问题。动态性注意力权重不是固定的而是根据具体的查询和键动态计算得出的。同一个词在不同语境下面对不同的查询其重要性也不同。可并行所有词的“查询-键-值”变换以及注意力计算都可以同时进行极大提升了计算效率。用数学公式简洁表示对于输入序列矩阵X其自注意力输出为Attention(Q, K, V) softmax(QK^T / sqrt(d_k)) V其中Q XW_Q, K XW_K, V XW_V是可学习的参数矩阵。1.2 缩放点积注意力稳定训练的“技巧”公式中除以sqrt(d_k)键向量的维度平方根是一个关键细节。当d_k较大时点积QK^T的结果可能具有很大的方差导致softmax函数的梯度非常小进入饱和区从而使得训练不稳定。缩放操作起到了“平滑”作用确保了梯度处于一个更合理的范围。1.3 多头注意力多视角的“专家会诊”如果只有一个自注意力头模型可能只学会一种类型的词语关系。为了让模型具备更强大的表征能力Transformer采用了多头注意力。它将查询、键、值通过不同的线性投影映射到多个例如8个子空间。在每个子空间里独立进行自注意力计算。最后将所有子空间的输出拼接起来再经过一次线性投影得到最终输出。这相当于组建了多个“专家委员会”每个委员会专注于捕捉不同层面的依赖关系有的委员会专门看语法结构如主谓一致有的委员会专门看指代关系如“它”指代什么有的委员会专门看语义关联如“苹果”和“吃”。多头机制让模型能够并行地从多个角度理解上下文其表征能力远强于单头。2. 架构全景编码器与解码器的精密协作理解了自注意力这个核心发动机后我们来看Transformer整台机器的构造。原始论文采用的是编码器-解码器架构这也是机器翻译等序列到序列任务的经典范式。2.1 编码器构建上下文理解的“全景地图”编码器的任务是将输入序列如源语言句子转换为一组富含上下文信息的向量表示。一个编码器由N个原论文中N6完全相同的层堆叠而成。每一层都包含两个核心子层多头自注意力子层如前所述让输入序列中的每个词充分交互融合全局信息。前馈神经网络子层这是一个简单的两层全连接网络例如中间层维度是嵌入维度的4倍对每个位置的向量进行独立、非线性的变换。它的作用是提供模型的“记忆”和“理解”能力。每个子层周围都包裹着两个至关重要的“辅助部件”残差连接将子层的输入直接加到其输出上即输出 LayerNorm(子层(输入) 输入)。这就像在深度学习的高速公路上设置了“应急车道”让梯度能够直接回流有效缓解了深层网络中的梯度消失问题使得训练非常深的网络成为可能。层归一化对每个样本的所有特征进行归一化稳定每一层的输入分布加速模型收敛。原始Transformer使用“后归一化”在残差相加之后进行但后来的实践如BERT、GPT普遍发现“前归一化”在子层计算之前进行训练更稳定已成为主流。编码器经过层层处理最终输出一个序列其中每个位置的向量都包含了整个输入序列的上下文信息。这就像为输入句子绘制了一张精细的“全景语义地图”。2.2 解码器基于地图的“渐进式创作”解码器的任务是根据编码器输出的“地图”自回归地生成目标序列如翻译后的句子。它同样由N个相同的层堆叠而成但结构更复杂包含三个核心子层掩码多头自注意力子层这是解码器的“自我审查”机制。在训练时为了模拟自回归生成即只能根据已生成的部分预测下一个词它需要防止当前位置“看到”未来的信息。这是通过注意力掩码实现的——在计算注意力权重时将未来位置的权重设置为负无穷大使其在softmax后变为0。编码器-解码器注意力子层交叉注意力这是连接“地图”和“创作”的桥梁。在这个子层中查询来自解码器上一层的输出即已生成的部分。键和值来自编码器的最终输出即“全景地图”。解码器通过这个机制在生成每一个新词时都能有选择地聚焦于编码器输出中最相关的部分。例如在翻译时生成英文动词时可能会更关注中文句子中的对应动词。前馈神经网络子层与编码器中的功能相同。解码器同样使用了残差连接和层归一化。最终解码器最后一个层的输出会通过一个线性层和一个softmax层映射到目标词汇表上得到下一个词的概率分布。2.3 位置编码为无序注入“顺序感”自注意力机制本身是排列等变的即打乱输入序列的顺序输出序列只是相应地被同样打乱但词与词之间的关联强度不变。这显然不符合语言或任何序列的特性因为“狗咬人”和“人咬狗”的意思天差地别。因此Transformer必须显式地注入位置信息。它采用了正弦和余弦函数来生成位置编码PE(pos, 2i) sin(pos / 10000^(2i/d_model))PE(pos, 2i1) cos(pos / 10000^(2i/d_model))其中pos是位置i是维度索引d_model是模型维度。这种设计有两大优点唯一性每个位置都有独一无二的编码。相对位置可学习对于固定的偏移量kPE(posk)可以表示为PE(pos)的线性函数这使得模型能够轻松地学习到相对位置关系。位置编码会与词嵌入向量相加作为编码器和解码器的输入。这样模型在计算注意力时就能同时感知到词的语义和它的绝对/相对位置。3. 训练与推理从预训练到生成的完整链条理解了架构我们再看Transformer是如何被训练和使用的。现代Transformer模型通常遵循“预训练-微调”范式。3.1 预训练任务让模型“博览群书”在预训练阶段模型在海量无标注文本上进行自监督学习目标是学会语言的通用表示。主要有三种预训练任务范式任务类型典型模型核心思想示意图掩码语言建模BERT随机遮盖输入句子中的部分词让模型根据上下文预测被遮盖的词。[CLS] 今天 天气 很 [MASK] 。-好自回归语言建模GPT系列给定前文预测下一个词。这是最自然的语言生成任务。今天 天气 很-好前缀语言建模T5将输入分为前缀和待预测部分。模型能看到完整的前缀然后自回归地预测剩余部分。翻译成英文今天 天气 很好。-The weather is nice today.原始Transformer论文主要针对有监督的机器翻译任务进行训练使用标准的交叉熵损失通过反向传播和优化器如Adam来更新参数。3.2 推理与生成自回归的“猜词游戏”在推理阶段如文本生成解码器以自回归方式工作给定一个起始符如s输入解码器。解码器结合编码器的输出计算下一个词的概率分布。通常采用采样如核采样、温度采样或贪婪搜索/束搜索从分布中选取一个词。将生成的词追加到输入序列末尾作为新的输入重复步骤2-3。直到生成结束符如/s或达到最大长度。这个过程就像一场猜词游戏模型根据已有的所有线索一步步地续写下去。4. 超越原始设计Transformer的演进与变体原始的Transformer只是一个起点。为了提升效率、扩展能力或适应新模态研究者们提出了大量改进和变体。4.1 效率优化让巨兽跑得更快Transformer的核心计算瓶颈是自注意力的复杂度O(n²)其中n是序列长度。这对于长文本或高分辨率图像是难以承受的。主要优化方向包括稀疏注意力不让每个词都关注所有词而是只关注一个局部窗口或随机选择的少量词如Longformer、BigBird。线性注意力通过核函数等技巧将softmax注意力近似为线性计算如Linformer、Performer。FlashAttention一种IO感知的精确注意力算法通过巧妙的分块计算在GPU上极大减少了内存访问开销显著提升了训练和推理速度。KV缓存在自回归生成时已计算过的键和值向量可以被缓存避免为每个新词重复计算整个序列的注意力大幅加速推理。4.2 架构变体因任务而异的“裁剪”仅编码器如BERT。舍弃解码器专注于获取强大的上下文编码能力适用于文本分类、命名实体识别等理解任务。仅解码器如GPT系列。舍弃编码器和交叉注意力只保留掩码自注意力专注于自回归生成任务。这是当前大语言模型的主流架构。编码器-解码器如T5、BART。保留完整架构适用于需要同时理解和生成的任务如翻译、摘要、问答。4.3 位置编码的进化原始的正弦编码虽然有效但无法处理训练时未见过的更长序列。后续出现了更灵活的方案可学习的位置嵌入将位置索引作为可学习的参数。简单有效但无法外推。旋转位置编码将绝对位置信息以旋转矩阵的形式融入词向量的计算中能更好地建模相对位置并具有一定的长度外推性。ALiBi不在输入层加位置编码而是在注意力分数上直接加一个与相对距离成负比的偏置。这种方法被证明在长度外推上表现非常出色。4.4 走向多模态从文本到万物Transformer的“序列到序列”或“序列到表示”的范式极具通用性。只要能将数据转化为序列就能用Transformer处理视觉Transformer将图像分割成固定大小的图块每个图块线性投影为向量作为序列输入。完全抛弃了卷积在图像分类等任务上取得了超越CNN的效果。音频Transformer将音频频谱图视为二维图像类似ViT进行处理或使用卷积进行下采样后再输入Transformer。多模态Transformer如CLIP、DALL-E将图像和文本的表示映射到同一空间或使用交叉注意力让两种模态的信息交互。5. 总结与启示为什么是Transformer回顾Transformer的成功我们可以总结出几个关键点并行化的彻底胜利完全摒弃循环使得模型训练能够充分利用现代硬件GPU/TPU的并行计算能力这是其能够迅速扩展到千亿参数规模的前提。全局关联的建模能力自注意力机制让模型能够直接建立任意两个词之间的关联无论距离多远这使其对长文档、复杂逻辑的理解能力远超RNN。可扩展的模块化设计编码器、解码器、注意力头、前馈网络都是高度模块化的组件。这种设计使得模型深度、宽度、头数等可以轻松缩放催生了“规模定律”的发现模型越大数据越多性能往往越好。通用计算引擎的潜力Transformer本质上是一个强大的序列信息处理器。其注意力机制可以看作一种灵活的、数据驱动的内存访问模式。这使得它不仅能处理文本还能通过适当的“分词”方式处理图像、语音、视频、代码、生物序列等各种结构化数据。最终Transformer的原理告诉我们有时候打破最符合直觉的约束如序列的顺序处理拥抱更全局、更并行的计算范式反而能打开一扇通往更强大能力的大门。它不仅仅是一个模型架构更是一种关于如何让机器理解复杂关联的哲学。理解它是理解当今人工智能浪潮核心动力的起点。从GPT的对话到Stable Diffusion的绘图再到AlphaFold的蛋白质预测其底层都流淌着Transformer的血液。掌握其原理就如同握住了开启这个新时代的一把钥匙。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度