大家好我是浩哥这是我输出AI agent面试专题第七章后面还有三期。建议加入粉丝后面粉丝可见。导语本题型考察对 Transformer/注意力机制/位置编码的理解深度以及 LLM 与传统 NLP 模型的根本差异——是区分调包侠与真懂模型的分水岭。面试官的核心诉求不是背定义而是能讲清痛点→结构→实现→取舍这条因果链RNN 卡在哪两点、Attention 怎么破、三种架构变体为什么 Decoder-only 赢、长上下文下 MHA 为什么爆显存、MQA/GQA/FlashAttention 各自动哪层刀、位置编码为什么从 sin/cos 演进到 RoPE、LLM 凭什么一个模型干所有事。2026年最新AI agent面试01_Agent基础与推理范式2026年最新AI agent面试02_MultiAgent与记忆2026年最新AI agent面试03_工具协议MCP_A2A_FC2026年最新AI agent面试04__工具工程网关外部2026年最新AI agent面试05_RAG基础应用2026年最新AI agent面试06_RAG文档与检索2026年最新AI agent面试07_大模型架构基础2026年最新AI agent面试08_大模型训练评测2026年最新AI agent面试09_AI编程ClaudeCode2026年最新AI agent面试10_通信与行业动态总目录可见 2026年最新AI agent面试0概述篇Q1. 多头注意力MHA有哪些核心局限MQA / GQA / FlashAttention 分别怎么解决它们之间是替代还是叠加关系 来源小红书大模型一面核心答案MHA 的瓶颈要分训练和推理两个阶段看二者痛点不同。训练阶段的主要代价是每层要存一个 N×N 的注意力分数矩阵给反向传播用且注意力计算本身是 O(N²) 复杂度序列翻倍计算量翻 4 倍推理阶段才是真正的显存杀手——自回归生成需要 KV Cache 把历史所有 token 的 K、V 缓存下来其显存随头数 H、序列长 N、层数 L 线性膨胀约 2·B·N·L·H·d_k·2 字节一个 7B 模型跑 32K 上下文仅 KV Cache 就约 17GB同时 Attention 里的 softmax 要反复在 HBM 与计算单元间搬运 N×N 大矩阵瓶颈在内存带宽而非算力memory-bound。核心答案续工业界对应三类优化但动刀的层次完全不同。MQA让所有 head 共享一份 K/VKV Cache 直接压到 1/H但多视角能力被压成单视角表达力损失 2-5%推理类任务掉点明显GQA是 MHA 与 MQA 的连续折中——把 H 个 head 分成 G 组每组内共享一份 K/VGH 退化为 MHAG1 退化为 MQAG8 时 KV Cache 压到 1/4 而效果几乎与 MHA 持平0.5%是显存与效果的甜蜜点FlashAttention则完全不改 Attention 的数学公式从底层实现优化——把 Q/K/V 切块放进 SRAM带宽约 HBM 的 13 倍做分块 在线 softmaxonline softmax不把 N×N 中间矩阵写回 HBM显存从 O(N²) 降到 O(N)速度提升 2-4 倍且数学上等价于标准 Attention非稀疏/低秩近似。核心答案续最关键的一条认知MQA/GQA 是结构层优化改 Attention 公式里有几套 K/VFlashAttention 是实现层优化改计算执行方式二者是叠加关系而非替代关系。真实工程里一定是组合用——主流大模型Llama 3、Qwen 2、DeepSeek V3标配就是 “GQA 结构 FlashAttention 实现”叠加后一个 7B 模型能在 409024GB上跑 32K 长上下文这是五年前不敢想的。关键点 / 展开MHA 三大痛点连成一条线N² 复杂度让长序列计算量平方级膨胀KV Cache 让长上下文显存爆掉访存带宽HBM↔SRAM 层级差让 GPU 算力发挥不出来。三者互相加剧长上下文场景最突出。KV Cache 的构成与量级 2(K/V) × B × N × L × H × d_k × 2字节(FP16)7B 模型L32,H32,d_k128在 batch1、N32K 时约 17GB加权重 14GB 共 31GB单张 4090 放不下——这就是面试常追问KV Cache 怎么省的根源。MQA 的代价32 个 head 原本有 32 套不同视角K标签、V内容强制共享一套 K/V 后多视角退化为单视角大模型上效果下降 2-5%数学/代码类推理任务损失明显故工业界不如其折中版 GQA 受欢迎。GQA 的连续光谱与取舍H 套(MHA) → G 套(GQA) → 1 套(MQA)H32、G8 时显存占 G/H1/4组间独立保留多视角组数越多视角越丰富G8 通常已足够保持效果。Llama 2 70B、Llama 3、Qwen 2/3 均默认用 GQA。FlashAttention 原理SRAM 带宽 19 TB/s 远快于 HBM 1.5 TB/s分块计算配合在线 softmax维护当前最大值累积和增量更新避免写回 N×N 中间矩阵结果数值等价、仅浮点精度尾差现已迭代到 v3针对 H100 优化是 vLLM/SGLang/TGI 等推理框架的默认实现。进阶方向加分项MLADeepSeek V2/V3把 K/V 压缩到低秩 latent 空间KV Cache 比 GQA 更小且效果更好机制不同于 GQA 不能简单说成GQA 升级版Sliding WindowMistral局部注意力需与全局混合Linear AttentionPerformer/LinformerO(N) 但效果差一截未成主流Mamba/SSM弃用 Attention研究热点非工程主流。常见追问MQA/GQA 是只在推理时共享 K/V还是训练时也共享共享后效果为什么下降、为什么 Llama 2 不用 MQA 而用 GQA——答训练推理都共享表达力损失来自多视角压缩GQA 以可忽略的效果代价换来接近 MQA 的省显存故成主流。如果只能三选一用哪个——答这是伪命题工程中必然叠加它们攻击的是不同维度瓶颈结构 vs 实现能指出这一点说明理解了优化体系的层次结构。2026 延伸DeepSeek 的MLAMulti-head Latent Attention是当前 KV Cache 压缩的最前沿工程实践来源DeepSeek V2/V3 技术报告通过低秩潜在表示存储 K/V显存收益优于 GQA可关注其与 GQA 的对照。Q2. 讲讲 Transformer 架构的基本原理Self-Attention 怎么运作Encoder 与 Decoder 是什么、为什么现代大模型几乎都选 Decoder-only 来源抖音大模型二面核心答案Transformer 的核心创新是 Self-Attention让每个 token 直接与序列中任意位置建立加权联系一次性并行计算彻底解决了前代 RNN 的两个致命缺陷——顺序计算无法并行第 N 步必须等 N-1 步浪费 GPU 并行能力、长距离梯度消失序列长时第 1 个词的信息传到第 800 个词已基本衰减LSTM 门控只能缓解不能根治。其基础计算单元是 Scaled Dot-Product AttentionAttention(Q,K,V)softmax(QK^T/√d_k)·VQ/K/V 由输入 X 经三个独立可学习的线性投影 W_Q/W_K/W_V 得到自注意力的自即 Q/K/V 同源除以 √d_k 是为把点积方差压回 1避免数值过大使 softmax 变 one-hot 导致梯度消失。核心答案续Encoder 与 Decoder 是 Transformer 的两种堆叠范式区别在于信息可见范围与任务适配。Encoder-onlyBERT 代表双向可见、无掩码擅长理解类任务分类、NER、语义相似度预训练目标是 MLMDecoder-onlyGPT/Claude/Qwen 代表用因果掩码Causal Mask只能看前面 token天然适配生成预训练目标是预测下一个 tokenCLMEncoder-DecoderT5/BART 代表Encoder 双向理解输入、Decoder 单向生成输出通过 Cross-Attention 连接适合输入输出是不同文本的任务翻译、摘要、问答。现代通用生成式大模型几乎全部选择 Decoder-only根本原因是预测下一个 token这一训练目标极其统一——所有 NLP 任务都能表达为续写且能直接在海量无标注文本上自监督训练规模越大涌现能力越强。关键点 / 展开RNN 两大死穴①顺序计算无法并行→训练极慢②长程梯度消失→学不到远距离依赖。这是 Transformer 出现的动机讲架构前必须先讲清。Q/K/V 的来历均由同一输入 X 经三个独立投影矩阵变换得到W_Q/W_K/W_V 独立学习给模型 3 倍自由度去学从什么角度提问/用什么标签匹配/返回什么内容d_k 通常取 d_model/H使多头总参数与单头基本一致。除以 √d_k 的动机d_k 大时点积方差≈d_k、数值散布到 ±30softmax 退化为 one-hot 使梯度 p(1-p)→0 消失√d_k 把方差压回 18 年实践验证为最简洁合理之选可学习 scaling 或 LayerNorm 替代效果相当但更繁。Multi-Head 的意义把 Q/K/V 投影到多个子空间每组独立算注意力再拼接不同 head 捕捉不同类型关联主谓、宾动、指代等整体表达力更强。FFN 的角色每个 Transformer 块内两层全连接激活对每个位置独立做非线性变换补充注意力的线性加权可解释性研究表明 FFN 存储大量事实知识是模型的记忆仓库。为什么 Decoder-only 赢面试高光目标统一续写表达一切任务 可直接海量无标注自监督CLM 比 MLM 更适合 scale up 规模越大涌现越强。Encoder-only/Encoder-Decoder 并未消失检索、分类、翻译、摘要仍用只是通用对话生成场景 Decoder-only 更易 scale up、接口最统一。常见追问除以 √d_k有哪些替代方案可以不用吗——答可用 LayerNorm 前置归一化、可学习 scaling 标量、或限制 d_k 极小但均不如固定 √d_k 简洁且所有主流实现GPT/LLaMA/Qwen都用它。BERT 也算预训练大模型为什么不算 LLM/为什么没赢——答BERT 输出是表示非文本需为每个任务接不同任务头单独微调标注且 MLM 是填空不擅长连续生成只解决特征通用未解决任务统一。2026 延伸可补充FFN 即记忆仓库的可解释性视角来源Transformer 可解释性研究以及 MoE混合专家对 FFN 的扩展——当前 Llama 4、DeepSeek V3、Qwen 均引入 MoE 在固定激活参数下放大总参数量。Q3. 大模型为什么需要位置编码sin/cos、RoPE、ALiBi 这几种各有什么区别为什么主流都选 RoPE 来源滴滴大模型二面核心答案位置编码要解决的问题是 Self-Attention 的位置盲缺陷——注意力计算softmax(QK^T/√d)·V对位置不对称、只关心谁和谁相关不关心谁在前谁在后。“我打你与你打我的 embedding 集合相同、算出的注意力几乎一致但语义相反模型若分不清主宾语就无法理解语言。位置编码必须满足三点数值范围合理不覆盖 token embedding、能区分不同位置独特指纹”、能泛化到训练时未见过的长度外推。直接喂 1,2,3,4 这种离散序号不行——会拉爆 embedding 数值且无法泛化到更长序列。核心答案续三种主流方案的设计哲学与优劣势如下。sin/cosSinusoidal原始 Transformer是绝对位置编码用不同频率 sin/cos 给每位置生成固定指纹并直接加到 token embedding 上零参数但绝对位置太死板、长上下文外推差训练见过 2K推理上 4K 会断崖下跌。RoPE旋转位置编码苏剑林 2021是相对位置编码不加到 embedding 而是旋转Q/K 向量位置 m 对应旋转角 mθ其关键数学性质是两个旋转后向量点积只依赖角度差 (m-n)天然把相对距离编进注意力、零参数、保留向量模长、且与 KV Cache/FlashAttention/MQA-GQA 无缝叠加长上下文外推最强配合 NTK/YaRN 等可推到 32K-100K但需校准或继续训练非无损银弹。ALiBiAttention with Linear Biases是另一种相对位置编码不动 Q/K/V 而直接在注意力分数加距离惩罚-m·|i-j|m 为每 head 不同斜率零参数极简、线性外推天然好但表达力弱、过强局部偏置不利长程依赖仅 MPT、BLOOM 等用过未成主流。RoPE 赢在相对位置编码 长上下文外推 工程兼容性三维度的最均衡故 Llama/Qwen/DeepSeek/Mistral/GLM 全系采用已成事实标准。关键点 / 展开为什么不能直接用序号离散整数会破坏连续 embedding 的数值范围embedding 多为 -1~1 小数且训练见过的序号推理时遇更长序列从未见过效果必崩。sin/cos 的构造直觉把 d 维拆 d/2 对高频对区分近距离、低频对区分远距离每个位置在 d 维空间有独特身份证用加法而非拼接注入不增维度网络可自动解耦。致命伤是绝对位置需模型自己从位置 3 与 5 的身份证反推相对距离 2无显式归纳偏置外推到训练截止长度外迅速恶化。绝对 vs 相对的本质模型真正需要的是相对位置主谓隔 2 词稳定而主语在第 3 位随修饰语漂移。RoPE/ALiBi 都让编码只依赖位置差 m-n把相对距离显式编进计算。RoPE 的数学内核旋转后点积仅由角度差决定→相对位置进点积、模型无需学旋转不改模长只改方向→不破坏 embedding 数值范围、训练更稳连续角度变化无训练截止概念→外推衰减比 sin/cos 平缓。ALiBi 的取舍距离惩罚线性、无训练截止、理论可无限外推但所有位置信息仅靠单一惩罚传递对主谓宾语序等精细关系建模不如 RoPE且线性惩罚过度偏向近邻不利长程任务。三种方案对比一句话sin/cos绝对/加 embedding/外推差ALiBi相对(距离惩罚)/加分数/外推好但表达弱RoPE相对(旋转)/旋 QK/外推强且表达强且工程兼容——故 RoPE 胜出。常见追问RoPE 和 sin/cos 都是加位置信息为什么说 RoPE 不是加到 embedding 上——答sin/cos 是位置向量与 token embedding 逐位相加加法注入RoPE 是在投影出 Q/K 后对其做旋转变换旋转注入相对位置天然进入点积机制完全不同。RoPE 外推真能无成本无限拉长吗——答不能。直接喂远超训练长度的角度仍会衰减需 PI/NTK/YaRN 调整频率参数且要做到稳定 100K 常配合长上下文继续训练/校准数据/专项评测长文检索、多跳推理、位置敏感任务。2026 延伸长上下文外推技巧已形成PIPosition Interpolation→ NTK-aware Scaling → YaRN的演进链来源RoPE 外推系列工作YaRN 为大厂当前最常用核心是在高频维度(精细位置)几乎不动、低频维度(粗略位置)按比例缩放可关注LLM 长上下文继续训练Long-Context Continued Training与 RoPE 频率重标定相结合的实践。Q4. 什么是大语言模型LLM它和我们以前用的传统 NLP 模型有什么区别 来源阿里云 Agent 面试官核心答案大语言模型的本质是用海量语料预训练、参数达百亿/千亿规模、自回归生成文本的统一模型。它和传统 NLP 模型的根本区别在三个层面工程层面——传统 NLP 是一任务一模型的流水线分词→词性标注→NER→意图分类各自训模型错误累积传导、换领域全重训LLM 是一个模型干所有事靠 Prompt 统一接口表达任务范式层面——传统模型是判别式输入文本输出标签/概率理解与生成分离LLM 是生成式输入文本输出更多文本理解与生成同模型内完成能力层面——传统模型靠显式监督喂什么学什么LLM 靠大规模预训练涌现能做出训练目标里未显式教过的能力多步推理、上下文学习、跨语言迁移。核心答案续LLM 把所有 NLP 任务统一成预测下一个 tokenCLMCausal Language Modeling自回归因果掩码这是它颠覆性的根源。该目标无需任何人工标注——互联网文本天然是可训练样本GPT-3 用 3000 亿 token、Llama 3 用 15 万亿 token规模是 BERT 时代的上千倍模型为准确预测下一个词被迫学到语法、事实与推理模式北京是中国的____需知首都x2 则 x²____需会算数。其副产物In-Context Learning上下文学习让模型从 Prompt 中几个例子学会新任务而无需更新参数是 Prompt Engineering 学科诞生的基础。更关键的是涌现能力Emergent Abilities某些能力在小模型几乎不可见、规模过临界点突然表现多步算术在 540B PaLM 从 5% 跳到 60%ICL 临界点约 100BGPT-3 仅 8% 中文数据却能跨语言迁移。这一切由Scaling Law驱动——模型规模、数据量、算力同比例放大时损失沿幂律下降Chinchilla 给出参数:数据≈1:20如 70B 配 1.4T token但涌现是否纯属评测指标离散性如 exact match 非黑即白学术上仍有争议面试应客观表述。关键点 / 展开传统 NLP 流水线之痛任务越细分模型越多→标注成本越高→迁移越难陷入死循环中文分词歧义“南京市长江大桥”、OOV 未登录词等新词即懵每步独立模型独立标注错误累积传导前面错后面全错。BERT 是过渡而非终点证明预训练微调可行MLMNSP 纯无标注解决特征通用一个 BERT 服务多任务但没解决任务统一——输出是表示非文本每任务需单独任务头标注微调且 MLM 是填空不擅生成。CLM 统一接口示例翻译Prompt…翻译成英文我喜欢你 →续写I like you分类Prompt评论正面/负面这家店太黑了’→答“续写负面”总结/写代码同理全收编为Prompt续写。三个本质区别一张表①任务方式一任务一模型 pipeline ↔ 一个模型 Prompt 统一②输出范式判别式(标签/概率) ↔ 生成式(文本)③能力来源显式监督 ↔ 大规模预训练涌现。涌现的 caveat 与趋势部分突变可能来自评测指标离散性超某规模后单纯堆参数边际收益递减趋势是参数不一定要最大、但数据要够多算力要够花Llama 3 8B 用 15T token 训好过早期 GPT-3 175B。对工程团队的含义工作方式从先拆任务选 BERT 变体再微调重写为先想 Prompt、再想 RAG、最后才考虑 LoRANLP 工程师核心技能转向 Prompt Engineering、RAG、Agent 编排、对齐微调。常见追问BERT 也有几亿参数算不算大语言模型——答不算。LLM 的大不仅在参数更在自回归生成CLM 统一目标涌现BERT 是判别式 Encoder-only、输出表示非文本、无生成与涌现属预训练语言模型而非 LLM。Siri 也能聊天它是大语言模型吗——答不是。Siri 类属规则/检索式对话系统无大规模自回归生成能力不理解预测下一个 token的统一范式不具备涌现与上下文学习。2026 延伸可关注Scaling Law 的精细化来源Chinchilla / DeepMind参数:数据 1:20 配比与数据规模超过参数规模带来回报的工程事实以及In-Context Learning 的机制研究来源GPT-3 之后学界这是 Prompt Engineering 与 Agent 能力的底层支点。 本题型速记 ChecklistRNN 两大死穴顺序计算无法并行 长程梯度消失 → 这是 Transformer 出现的根本动机开口必讲。Attention 公式softmax(QK^T/√d_k)·VQ/K/V 由同一输入 X 经三个独立投影矩阵得到自即同源√d_k防 one-hot 梯度消失。三种架构变体Encoder-onlyBERT双向理解、Decoder-onlyGPT 系因果生成、Encoder-DecoderT5/BARTCross-Attention现代通用大模型赢家是 Decoder-only。Decoder-only 胜因三连目标统一续写表达一切 海量无标注自监督CLM 比 MLM 易 scale up 规模越大涌现越强。MHA 三大痛点N² 复杂度 KV Cache 显存爆炸 访存带宽受限memory-bound瓶颈在 HBM↔SRAM 而非算力。三类优化分层MQA/GQA 是结构层改几套 K/V省显存FlashAttention 是实现层分块在线 softmax省显存又加速二者叠加非替代主流标配GQAFlashAttention。KV Cache 量级≈2·B·N·L·H·d_k·2字节7B32K 约 17GB是长上下文头号问题也是 MQA/GQA/MLA 的优化靶点。位置编码必要性Attention “位置盲”“我打你≠你打我”序号不可用破坏数值范围无法泛化。三种位置编码sin/cos绝对/加 embedding/外推差、ALiBi相对距离惩罚/加分数/外推好但表达弱、RoPE相对旋转 QK/外推强且表达强且工程兼容→ RoPE 成事实标准Llama/Qwen/DeepSeek/Mistral 全系。RoPE 外推真相配合 PI/NTK/YaRN 可调频扩展但稳定 100K 常需继续训练/校准专项评测非无成本无限外推。LLM vs 传统 NLP 三维度工程一任务一模型 pipeline ↔ 一个模型 Prompt 统一、范式判别式 ↔ 生成式、能力显式监督 ↔ 预训练涌现。涌现与 Scaling Law涌现是工程可观察的能力跃迁学术上对是否测量假象有争议Chinchilla 配比参数:数据≈1:20趋势是数据参数——Llama 3 8B 用 15T token 反超早期 GPT-3 175B。