很多人把大模型当作黑箱或接近魔法的存在输入一段文字它就能写邮件、答题、推理。底层到底发生了什么其实答案极简——一台计算机只做算术一切都归结为“把事物变成向量然后不断微调数字直到不再出错”。这不是比喻而是字面意义。本文基于 Raghav Dixit 在 X 上的技术系列首篇重构将这一核心事实拆解成可落地理解的模块保留全部关键公式与直觉同时补充实际工程场景中的应用价值。一切皆向量意义如何变成空间几何在机器能处理“cat”这个词之前必须先把它变成数字。这就是全部游戏。现代做法是使用向量embedding一个固定长度的数字列表可以看作空间中的一个箭头从原点指向该点。“cat”可能是768个数“dog”也是“helicopter”也是。关键在于这些数字不是人工指定的而是从数据中学习而来。训练压力很简单出现在相似语境中的词会被推向空间中相近的方向。“cat”和“dog”因为经常一起出现追东西、打翻东西它们的箭头会自然靠拢“helicopter”则指向完全不同的区域。这带来了一个惊人现象——意义变成了几何。最经典的演示来自2013年的 word2vecking − man woman ≈ queen把“king”的向量减去“man”的向量再加上“woman”的向量最近的词就是“queen”。“man → woman”这个方向在向量空间中是稳定的你可以把它应用到任何词上king → queenfather → mother 等。没有人硬编码这个规则它是从海量文本中自然涌现的。这个思想不只适用于文字。我曾构建过跨摄像头追踪同一人的系统不同角度、光照下的同一个人会被映射成几乎指向同一方向的向量。系统从来不“认识”人脸它只比较箭头是否对齐。这也是为什么图像、音频、视频最终都通过同一扇门进入模型——它们最终都被表示成向量。点积AI里最被低估的单一操作如果意义是方向我们需要一种方式衡量两个箭头有多“对齐”。这个操作就是点积dot product它是现代AI中使用频率最高的运算GPU 每天要执行数万亿次。对于两个向量(a) (\mathbf{a})(a)和(b)(\mathbf{b})(b)a⋅b∑iaibi∥a∥∥b∥cos⁡θ \mathbf{a} \cdot \mathbf{b} \sum_i a_i b_i \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta \a⋅bi∑​ai​bi​∥a∥∥b∥cosθ左边是逐元素相乘再求和multiply-accumulate。右边揭示了物理意义结果等于两个向量长度乘以它们夹角的余弦。箭头几乎同向 → 点积很大正数意义相似几乎垂直 → 接近 0无关相反方向 → 负数对立因此点积本质上是一个相似度分数。“cat · dog”很大“cat · helicopter”接近 0。在 Part BTransformer中“注意力attention”机制——大家常说的“魔法”——本质上就是大规模并行地问“这个词和句子中其他每个词有多相关”而问这个问题的操作正是点积。神经网络如何重塑空间现在我们有了向量需要机器对它们做事情。这个机器叫神经网络最基础的单元是多层感知机MLP。单个神经元就是一个简单公式hf(w⋅xb) h f(\mathbf{w} \cdot \mathbf{x} b)hf(w⋅xb)(x) (\mathbf{x})(x)输入向量比如一个词的嵌入(w) (\mathbf{w})(w)权重向量这个神经元对输入每个维度的“关心程度”(b) (b)(b)偏置决定激活阈值(f) (f)(f)激活函数后面重点讲(w⋅x)(\mathbf{w} \cdot \mathbf{x})(w⋅x)又是点积把很多神经元并排组成一层再把多层串起来就得到了 MLP[hf(Wxb)] [ \mathbf{h} f(W\mathbf{x} \mathbf{b}) ][hf(Wxb)]其中 (W) 是权重矩阵。每一层都在对输入空间进行拉伸、旋转、折叠。原本在原始空间里纠缠在一起的东西比如讽刺评论和真诚评论经过足够多次折叠后就可能变得线性可分。深度不是魔法深度就是反复折叠空间。网络的全部知识只存在于 (W) 和 (b) 这两个普通数字矩阵里没有其他地方可以藏信息。为什么一个函数差点冻结整个深度学习领域没有激活函数 (f)再深的网络也等价于单层线性变换。所有折叠都会坍缩成一次拉伸旋转。早期大家用Sigmoid[sigma(x)11e−x] [ sigma(x) \frac{1}{1 e^{-x}} ][sigma(x)1e−x1​]它把任意实数压到 (0,1) 的 S 形曲线看起来很像神经元“开关”。但它有一个致命问题当输入很大或很小时曲线变得非常平坦导数接近 0。反向传播时梯度要一层层传回去乘上这些接近 0 的导数后前面的层几乎收不到学习信号——这就是梯度消失vanishing gradient。深度网络因此在 90-00 年代被判“死刑”。2010 年前后一个近乎侮辱性的简单函数救了大家ReLURectified Linear Unit[ReLU(x)max⁡(0,x)] [ \text{ReLU}(x) \max(0, x) ][ReLU(x)max(0,x)]负数输出 0正数原样通过。正区间导数恒为 1梯度可以顺畅地传回上百层。而且计算几乎免费。现代模型在此基础上做了微调GPT 类用 GELU带软弯曲的 ReLULlama 类用 SwiGLU带可学习门控。但核心洞见没变我们要关心的是梯度在反向传播时的流动情况。损失函数定义“错”是什么模型一开始是随机的输出全是噪声。学习需要一个标尺告诉它“哪里错了”。语言模型的标准选择是交叉熵损失cross-entropy[L−log⁡P(正确下一个词)] [ L -\log P(\text{正确下一个词}) ][L−logP(正确下一个词)]模型会为所有可能的下一个词输出概率分布。真实下一个词的概率越高损失越低。概率 1.0 → 损失 0概率 0.01 → 损失约 4.6概率趋近 0 → 损失趋近无穷。这其实是统计学里**最大似然估计maximum likelihood**的另一种说法选择让观测数据出现概率最大的参数。GPT 训练时就是在拟合“互联网这个数据集最可能来自的概率分布”。学习即下山梯度下降现在我们有了衡量错误的标尺 (L)。学习就是让这个标尺变小。把所有权重 (\theta) 想象成一个高维山谷中的位置高度就是损失值。训练就是在浓雾中找到最低点。唯一可行的办法是感觉哪个方向下坡就往那个方向迈一小步。重复 trillions 次。“下坡方向”就是梯度(\nabla L(\theta))通过反向传播链式法则的精细 bookkeeping计算得到。完整更新规则现代 AI 世界运行的核心一行代码[θ←θ−η∇L(θ)] [ \theta \leftarrow \theta - \eta \nabla L(\theta) ][θ←θ−η∇L(θ)](θ) (\theta)(θ)当前位置所有权重(−) (-)(−)往上坡走会让损失变大所以取反(η) (\eta)(η)学习率步长。太大容易冲过山谷太小则训练极慢梯度大小会随坡度自动衰减接近谷底时自然刹车运行这个规则足够多次随机初始权重就会变成 GPT。实用价值 地基里的裂缝掌握以上内容后你立刻能用起来AI 回答听起来自信时记住它只是概率分布的采样。正确和错误答案穿同样的流利外衣。重要事情一定要验证。语义搜索 点积比较。RAG 失败时往往是因为查询和文档的向量箭头没对齐。改写查询说清楚真正意思通常比加关键词更有效。嵌入向量今天就能用。主流 API 几毛钱就能调用海量向量。想在笔记、工单、产品中找“类似的东西”一个点积就够。但地基里有一道裂缝目前所有内容都把一个词视为固定箭头。“我坐在河岸bank上”和“我从银行bank取钱”——同一个词同一个向量却完全不同的意思。MLP 也把输入当作固定整体处理没有机制让词“环顾四周”并根据上下文调整自己。语言真正需要的是让“bank”的箭头在不同句子中被上下文拉向不同方向。让每个词都能问其他词“你现在对我有多相关”而用来打分的操作你已经知道了——正是点积。2017 年 Google 的团队围绕这个想法构建了整个架构命名为attention。这就是 Part B 要讲的 Transformer以及 GPT 是如何从原始 next-token predictor 变成有用助手的。在你下次使用 RAG 或语义搜索前建议做这个小实验用公开的 embedding API 取两个歧义句子的向量计算它们与不同上下文的相似度。你会亲眼看到固定嵌入的局限以及为什么 attention 如此关键。掌握这些基础后你不仅能更好地使用 AI还能理解为什么某些架构有效、如何调试幻觉、以及未来新架构可能的演进方向。我是紫微AI在做一个「人格操作系统ZPF」。后面会持续分享AI Agent和系统实验。感兴趣可以关注我们下期见。