大家好我是浩哥这是我输出AI agent面试专题第八章后面还有二期。建议加入粉丝后面粉丝可见。大模型训练 / 评测 / 推理参数 · 面试题型整理与标准答案导语本题型考察训练范式预训练 / SFT / DPO / PPO、高效微调LoRA / QLoRA、推理优化KV Cache / Prompt Caching / MoE / 解码策略、能力评测与部署——决定候选人能否把模型用得好、用得省。底层主线只有一条训练决定能力上限微调/对齐决定可用性与风格推理与部署决定成本与延迟评测决定能不能放心上线。2026年最新AI agent面试01_Agent基础与推理范式2026年最新AI agent面试02_MultiAgent与记忆2026年最新AI agent面试03_工具协议MCP_A2A_FC2026年最新AI agent面试04__工具工程网关外部2026年最新AI agent面试05_RAG基础应用2026年最新AI agent面试06_RAG文档与检索2026年最新AI agent面试07_大模型架构基础2026年最新AI agent面试08_大模型训练评测2026年最新AI agent面试09_AI编程ClaudeCode2026年最新AI agent面试10_通信与行业动态总目录可见 2026年最新AI agent面试0概述篇Q1. 大模型到底是怎么训练出来的预训练、SFT、对齐三阶段分别解决什么问题来源面试官核心答案工业界主流大模型的训练是一条三段式流水线顺序不可颠倒、缺一不可预训练Pre-training——让模型读万卷书。在数万亿 token 的网页、代码、书籍、论文等公开语料上以**因果语言建模CLM预测下一个 token**为目标训练逼出语言能力与世界知识是能力的天花板。监督微调SFT——让模型从续写机器变成对话机器。用(指令, 期望回答)配对数据训练使其学会指令遵循与问答格式而非无脑续写。对齐AlignmentRLHF / DPO——让模型好好说话。用人类偏好数据调整回答方式使其更安全、更合人意、更符合价值观。预训练给能力SFT 给格式对齐给价值观。没有预训练 SFT 无从谈起没有 SFT 模型只会续写不会回答没有对齐模型可能输出有毒、啰嗦或不合用户偏好的内容。关键点 / 展开预训练数据规模从 GPT-3 的 3000 亿 token 到 Llama 3 的 15 万亿 token来源含 Common Crawl、GitHub、维基、书籍、论文数据清洗去重、过滤低质、去害成本常高于训练本身是厂商核心壁垒之一。预训练目标极简却极有效仅预测下一个 token但想在不同上下文准确预测模型被迫学会语法、事实、算术与推理——简单目标 海量数据 涌现能力。算力代价惊人GPT-3 约 3.14×10²³ FLOPs单张 A100 需约 36 万年实际靠数百至数千卡数月并行完成千万美元级投入。SFT 数据重在质与多样性Llama 2 仅约 100 万条精心标注数据研究显示几千条高质量数据优于几十万条低质数据且需覆盖问答、写作、代码、推理、翻译等多场景。对齐补的是哪种回答更好而非怎么写SFT 是模仿对齐才引入偏好排序RLHF 需先训奖励模型再 PPO 优化DPO 则把该过程等价成监督学习见 Q4。常见追问① 三个阶段的损失函数分别是什么CLM 交叉熵 / SFT 交叉熵 / 偏好损失② 如果只做预训练不做 SFT模型为什么不会回答问题而是续写2026 延伸当前对齐阶段已从 RLHF/DPO 演进到GRPOGroup Relative Policy Optimization等无需独立价值模型的在线 RL 方法DeepSeek 系列采用预训练 → SFT → 对齐仍是所有主流闭源/开源模型GPT、Claude、Llama、Qwen、DeepSeek的共同骨架。Q2. 大模型微调方案有哪些为什么不能把它们当成同一类方法来背来源面试官核心答案微调名词全量微调、LoRA、QLoRA、SFT、DPO容易让人误以为是并列的不同方法其实分两个正交维度①改哪些参数参数更新策略——全量微调 / LoRA / QLoRA②学什么目标训练信号来源——SFT学指令格式/ DPO学偏好对齐。两维可任意组合如用 LoRA 做 SFT“用 QLoRA 做 DPO”理解这层正交关系才是选型钥匙。更前置的判断是微调是最后手段而非第一选择——能用 Prompt Few-shot、RAG 解决的绝不先上微调。关键点 / 展开改哪些参数维度全量微调更新全部参数效果上限高但显存爆炸7B 模型 FP16 权重 14GB 梯度 14GB Adam 两矩约 56GB ≈ 80GB且易灾难性遗忘仅少数团队用得起。LoRA冻结原权重仅训旁路低秩矩阵7B 可训练参数降至约 2000 万0.3%见 Q3。QLoRA在 4-bit NF4 量化后的底座上套 LoRA7B 微调显存压到 10GB 内单张 24GB 4090 即可微调 7B/13B精度损失极小是微调民主化的关键。学什么目标维度SFT用(指令, 回答)监督数据把续写切到对话/指令模式。DPO用(chosen, rejected)偏好对做偏好对齐见 Q4。何时该微调关键判断点模型需持续以特定风格/格式稳定输出、需掌握内部术语或任务模式、或想用 7B 微调模型替代 70B 通用模型大幅降本时微调才值。何时不该微调补充经常变化的事实知识价格、政策、库存、合同应放 RAG/数据库而非塞进参数先试 Prompt Few-shot、System Prompt 定风格、RAG 接外部知识多数问题可解。微调的隐性成本极高数据标注、GPU、防过拟合、底座升级需重训。常见追问① 用 LoRA 做 DPO 是否合法、有何取舍② 为什么会频繁更新的知识不适合微调而适合 RAG2026 延伸QLoRA 催生了 Alpaca / Vicuna 等早期开源指令模型当前社区默认微调栈是LoRA/QLoRA (SFT → DPO)配合peft、trl库已成事实标准。Q3. LoRA 的原理是什么除了省参数它还有哪些被低估的优势来源面试官核心答案LoRALow-Rank Adaptation的核心是冻结原始权重 W在旁叠加两个低秩小矩阵 A(d×r)、B(r×d)前向为output x (W α·B·A)训练只更新 A、B。其理论依据是权重更新量 ΔW 具有内在低秩性——微调引发的有效变化只发生在很低维子空间秩 r 通常 8~16无需更新整个 d×d 大矩阵。以此为基础LoRA 不只是省显存更带来五个 Adapter 类方案做不到的工程优势推理零开销、模块化插拔、抗灾难性遗忘、训练稳定、权重可组合。关键点 / 展开低秩分解直觉4096×4096 更新矩阵约 1677 万参数LoRA r16 仅 4096×1616×4096≈13.1 万参数减少约 128 倍秩 r 越小越省但表达越弱r8~16 多数任务够用。优势一·推理零开销训练后可把α·B·A一次性合并回 W 得W_merged推理计算图与原始模型完全一致无额外延迟而 Adapter 在每层插网络推理每层都有延迟叠加。优势二·模块化插拔一个 14GB 底座 多套数十 MB 的 LoRA客服/代码/翻译常驻显存、按请求热切换无需为每个场景各跑一个完整模型。优势三·抗灾难性遗忘原权重全程冻结仅旁路学习相当于在原文旁贴便利贴通用能力更易保住。优势四·训练稳定可训练参数量小、梯度空间小对学习率等超参不敏感调参成本低。优势五·权重可组合多个 LoRA 可按权重加权融合如指令遵循 LoRA 代码 LoRA 合并无需重训即融合多能力。常见追问① LoRA 合并回原权重后能否再拆出独立 LoRA 做 A/B② 秩 r 设太大如 256会退化成什么2026 延伸QLoRA 在 LoRA 基础上引入 4-bit NF4 量化底座DeepSeek、Qwen 等开源生态广泛采用 LoRA/QLoRA 做领域适配配合peft库已成微调事实标准。Q4. DPO 和 PPO 有什么区别大模型对齐阶段到底在做什么来源面试官核心答案PPO 与 DPO 都是 SFT 之后做偏好对齐的方法目标一致让输出更符合人类期望但路径本质不同PPO 是在线强化学习需先训奖励模型再用 RL 优化DPO 是从带 KL 约束的 RLHF 目标数学等价推导出的闭式监督学习目标直接拿偏好对数据训练、无需显式奖励模型。工程上 PPO 需同时维护4 个模型policy reference reward valueDPO 只需2 个policy reference因此 DPO 更稳定、更易实现是当前开源社区主流。关键点 / 展开为什么 SFT 之后还要对齐SFT 是模仿只教会格式未告诉模型哪个回答更好对齐解决有毒内容、一本正经胡说、不合用户偏好的问题。PPO 流程① 人类标注同问题的多回答排序 → 训奖励模型裁判② 主模型生成 → 奖励模型打分 → PPO 调参追求高分③ 用冻结的参考模型 KL 散度约束主模型不要偏离太远防 reward hacking。PPO 的四模型架构policy被优化、referenceSFT 副本、KL 约束、reward model打分、value model估算未来奖励期望显存与 RL 不稳定性使其工程难度极高。DPO 的等价转化奖励模型功能被主模型相对参考模型的概率比值替代损失函数让 chosen 相对 ref 的概率比 rejected 的相对概率比即相对于参考模型主模型在好回答上概率提升更多。对比维度是否需奖励模型PPO 需 / DPO 不需、维护模型数4 / 2、稳定性差 / 好、实现难度高 / 低、表达能力强、可探索数据外空间 / 稍弱、受偏好数据分布限制。代表模型PPO→InstructGPT、早期 ChatGPT、Llama 2-ChatDPO→Zephyr、部分 Mistral/Qwen 派生 Instruct 模型。常见追问① DPO 是否真的不需要奖励模型还是隐含了奖励② KL 约束在 DPO 里以什么形式存在2026 延伸在线 RL 路线已由 PPO 演进到GRPOGroup Relative Policy OptimizationDeepSeek 采用——去掉独立 value model用同一 prompt 的多个采样做组内相对基线进一步降低对齐的工程复杂度DPO 家族也派生出 IPO、KTO 等变体。Q5. 大模型生成时的解码策略有哪些贪心、Beam Search、采样分别什么时候用来源字节核心答案解码策略回答的是模型每步输出 vocab 大小的概率分布如何选下一个 token。分确定性与随机性两大类确定性含贪心每步取最高概率与Beam Search保留 Top-B 条候选路径、取整条序列概率最高随机性含Temperature 采样、Top-K、Top-PNucleus。本质是两类任务假设的差别——确定性假设存在唯一最优答案随机性假设答案有多种合理可能。LLM 时代 Beam Search 基本被弃用因开放式生成无单一最优解Beam 给的最高概率序列往往最 boring 且易复读工程上精确任务用 Temperature0/低温保可复现对话/创意任务用较高 Temperature Top-P 平衡多样性与质量。关键点 / 展开贪心解码O(V) 极简、完全确定、利于调试与单元测试但有复读机问题Repetition Loop——一旦进入自我加强循环出不来且输出乏味保守。最佳战场是代码/SQL/JSON 抽取等标准答案任务。Beam SearchB4/8 保留多条路径全局视野优于贪心、能避死胡同在机器翻译时代2014–2018是绝对主流Google NMT、fairseq、OpenNMT因翻译任务有单一最优译文。LLM 时代失宠的深层原因是目标找整体概率最高序列与开放式生成无最优答案不匹配且多样性差、易复读。Temperature 采样缩放概率分布锐度越低越确定、越高越发散Temperature0的采样在数值上趋近于贪心但工程上以采样实现更稳。Top-K / Top-PTop-K 每步只从最高 K 个 token 采样截断长尾Top-PNucleus累加概率到 P 为止、自适应截断比固定 K 更灵活。选型结论精确/可复现任务用贪心或低温开放/创意任务用 Temperature Top-PBeam Search 基本不用于 LLM 生成仅少数结构化场景。常见追问① Temperature0 的采样和贪心是同一回事吗② 为什么多数推理 API 默认用 Temperature 采样而非贪心2026 延伸主流推理框架vLLM / SGLang / TGI均把 Temperature、Top-P、Top-K、repetition penalty 作为标准采样参数repetition penalty是缓解复读机的工程标配。Q6. 什么是 KV CachePrompt Caching 又是什么两者什么关系来源面试官核心答案KV Cache 与 Prompt Caching 是同一套缓存机制在两个时间尺度上的延伸——前者是单次推理内的优化后者是跨请求的优化。自回归生成每步都要对所有历史 token 算 attention若每次从零重算N 个 token 总复杂度约 O(N³) 不可接受KV Cache 把前面所有 token 的 K、V 矩阵缓存在显存每步新 token 只算自己的 Q/K/V 再与缓存拼接做 attention总复杂度降到 O(N²)是 Transformer 推理的基本盘。Prompt Caching 把该思路从单次生成内扩展到不同请求间相同前缀如 System Prompt的首请求 KV 在 API 服务端保留后续请求遇相同前缀直接复用、只算新增部分从而降低 API 成本与首 token 延迟。关键点 / 展开为什么必须 KV Cacheattention 中softmax(Q·Kᵀ/√d)·V新 token 只是 Q被点乘的 Kᵀ 与加权的 V 都来自历史 token而历史的 K、V 固定不变故可缓存、每步只算 1 个 token 的 K/VO(1)。复杂度对比朴素无缓存每步 O(i²)、总 O(N³)带缓存每步 O(i)、总 O(N²)典型 1000 token 回答开销数量级下降。Prompt Caching 价值KV Cache 解决让自回归生成可行Prompt Caching 解决降本与降延迟Claude 缓存读取价可低至普通输入 token 的 10%OpenAI 等也有缓存折扣具体比例随前缀长度/命中率/负载变化。使用要点固定内容在前、动态内容在后前缀差一个字符即缓存 miss——这是工程 ROI 的关键。常见追问① KV Cache 占用的显存如何估算与层数、隐藏维、序列长相关② 多轮对话里旧轮 KV 如何管理2026 延伸Prompt Caching 已成 OpenAI / Anthropic / Gemini 等厂商标配推理框架层 SGLang 的RadixAttention与 vLLM 的PagedAttention都是 KV Cache 管理在工程上的深化见 Q8。Q7. 什么是 MoE 混合专家模型为什么 2024 年后主流大模型都在用来源面试官核心答案MoEMixture of Experts把 Transformer 每层的 FFN 替换为 N 个并行专家网络再加一个Router决定每个 token 进哪几个专家。其核心设计哲学是**“总参数大、激活参数小”**——以 DeepSeek V3 为例总参 671B、每 token 仅激活 37B约 1/18做到用 671B 的知识量 37B 的推理成本。它打破了 Dense 模型知识量与推理成本的硬绑定用稀疏激活换便宜推理是 2024–2026 最重要的架构方向之一。关键点 / 展开三个核心组件①专家——每层 FFN 复制 N 份N8 Mixtral / 64 GShard / 256 DeepSeek V3训练中自然涌现各自擅长方向数学/代码/语言并非预先指定②Router——线性层算专家偏好分数Top-K 路由K1 Switch / K2 Mixtral / K8 1 共享专家 DeepSeek V3③负载均衡损失——防专家不平衡。为什么比 Dense 好同样算力训出的 MoE 效果接近大 Dense但参总量是 Dense 的 5–20 倍每 token 只激活一小部分推理速度与小 Dense 相当扩容量加专家比加层数容易。训练之坑·专家不平衡Expert Imbalance朴素 Router 会偏爱少数专家→被选中→被多训→更被选中恶性循环致其余专家躺平未被训练需加负载均衡损失专家平均使用率的方差约束加到主损失total_loss main_loss α·balance_loss。部署挑战显存占用高虽激活 37B但 671B 全量需加载显存分布式部署时 token 路由有跨卡通信开销Router 训练不稳、并行化复杂。非唯一答案中小规模、部署稳定性优先场景仍以 Dense 为主。常见追问① 共享专家shared expert的作用是什么② MoE 的负载均衡损失会不会损害模型质量2026 延伸DeepSeek V3 / R1、Mixtral、Grok、部分 Qwen MoE 均走此路线DeepSeek V3 的 256 细粒度专家 1 共享专家 Top-8 路由是当前前沿配置。Q8. 大模型部署有哪些主流方案vLLM、SGLang、TGI、llama.cpp、TensorRT-LLM 怎么选来源面试官核心答案部署框架要解决的核心问题是在固定硬件上跑得更快、更省显存、支持更多并发。朴素用transformers直接model.generate()有三大痛点KV Cache 显存碎片预分配最大长度致 60–70% 浪费、static batching 调度低效、重复计算相同 System Prompt 每次重算。主流框架针对内存高效 批量调度 缓存复用三大方向各有创新应按场景选型。关键点 / 展开vLLMUC Berkeley核心PagedAttention——把 KV Cache 像操作系统虚拟内存一样分页固定 Block典型 16 token/Block用 Block Table 映射消除预分配浪费显存利用率从 30–40% 拉到 90%并发提升 2–4 倍配Continuous Batching请求异步进出、每 token 步动态组 batch吞吐再高 3–5 倍是生产 LLM API 事实标准。SGLangLMSYS核心RadixAttention——把多请求的共享前缀组织成 Radix Tree共享前缀树相同前缀只存一份 KV在 System Prompt 共享、Few-shot、多轮对话、Agent 等前缀重复率高场景比 vLLM 更省显存、首 token 延迟更低。它不是替代 vLLM而是补其未解决好的共享前缀场景。TGIHuggingFace与 HF 生态深度集成开箱即用、企业级 API鉴权/metrics/健康检查但极致性能增长不如 vLLM/SGLang选它多因既有系统集成。llama.cppC 重写推理栈 GGUF 量化CPU/边缘设备MacBook、树莓派、手机部署事实标准个人与边缘首选。TensorRT-LLMNVIDIA极致性能、需自家定制面向有工程实力的团队。选型口诀生产高吞吐 API → vLLMAgent/多轮/Few-shot → SGLang拥抱 HF 生态/企业级 → TGI本地/Mac/边缘/无 GPU → llama.cpp极致性能定制 → TensorRT-LLM。常见追问① PagedAttention 与 RadixAttention 是同一层优化吗前者管单请求内显存碎片后者管跨请求前缀复用② 量化GPTQ/AWQ/GGUF在部署链路中处于哪一层2026 延伸vLLM 与 SGLang 是当前开源推理双雄RadixAttention 的跨请求前缀复用正是 Prompt Caching 思想在框架层的落地推理侧量化AWQ/GPTQ/FP8与 MoE 调度是 2026 部署优化重点。Q9. 大模型能力评测指标有哪些为什么不能只信排行榜来源面试官核心答案可靠的模型评测是**“学术 Benchmark 业务测试集 线上指标的闭环**而非只背 MMLU/HumanEval 等名字。学术 Benchmark 用于横向对比能力区间但因数据污染训练数据已含测试题致成绩虚高不能完全等价于业务效果工程上必须从真实用户请求采样、人工标注期望输出建 50–200 条黄金测试集”每次改 Prompt/换模型都跑一遍再结合线上满意度/任务完成率/会话放弃率形成闭环。关键点 / 展开主流 Benchmark 各自测什么MMLU / MMLU-Pro——综合知识广度与推理57 学科四选一Pro 更难更重推理。HumanEval / MBPP / SWE-bench Verified——代码能力HumanEval 164 道函数实现 隐藏测试SWE-bench 修真实 GitHub issue指标 Passk。GSM8K / MATH / GPQA——数学与科学推理小学应用题 / 竞赛数学 / 研究生级科学。MT-Bench / Arena / τ-bench——对话、用户偏好、工具调用与 Agent 多轮状态管理。HELM / LiveBench / Humanity’s Last Exam——更综合或更新型LiveBench 持续更新题库降污染HLE 主打更难更广。数据污染模型预训练覆盖互联网公开内容Benchmark 题目也在其中致背过题式虚高解释了为何榜高而实际不好用。业务测试集构建真实请求采样 人工标注期望答案客观任务抽取/分类/代码程序自动验证主观任务摘要/问答用LLM-as-Judge强模型按标准打分 人工抽查 10–20% 校准。离线 线上闭环离线评估快速迭代找问题线上指标点赞/踩、任务完成率、会话放弃率验证是否真改善用户体验。常见追问① LLM-as-Judge 本身有偏怎么办位置偏置/长度偏置② 如何设计防数据污染的评测2026 延伸LiveBench、Humanity’s Last Exam、GPQA等持续更新/更难评测是缓解数据污染的方向SWE-bench Verified 已成为代码 Agent 能力的关键基准。Q10. 什么是 CoT思维链为什么有效、有什么局限来源鹅厂核心答案CoTChain-of-Thought让模型在给最终答案前先生成中间推理步骤本质是把直接猜答案变成推出来。其有效性根植于自回归生成机制——模型逐 token 生成先写推理步骤等于给后续答案提供草稿纸/工作记忆降低跳跃性错误、暴露并便于纠正每一步错、并激活预训练学到的推理模式。但 CoT 非万能token 消耗大成本与延迟上升、简单问题适得其反、推理链本身可能出错且错误沿链路累积、对纯记忆类任务无帮助。适用判据是是否需要多步推理。关键点 / 展开两种形式①Few-shot CoT——Prompt 给若干完整问题推理答案示例效果最稳、Prompt 较长②Zero-shot CoT——仅加请一步步思考类指令即激活推理简洁但效果略逊。为何有效三因逐步推理暴露错误便于纠错中间步骤充当草稿纸减轻隐状态负担激活预训练推理型文本模式。局限面试官最爱追问token 消耗大多几百~上千 token成本延迟双升对简单问题“11 等于几”浪费且无效推理链可能出错且错误累积传导对纯记忆任务“2020 奥运在哪”无帮助。Self-Consistency升级版同问题高温生成多条推理路径、对最终答案多数投票数学推理再提 5–15%代价是调用 5–10 次、成本延迟更高。工程建议产品里未必展示完整 CoT常展示简要依据或最终答案既保留推理收益又避免冗长不稳定输出。常见追问① Zero-shot CoT 为什么加一句指令就有效② CoT 与模型参数量是否有关小模型 CoT 收益有限2026 延伸CoT 是推理类任务的基础范式已衍生出ToTTree-of-Thought、GoT、ReAct推理行动等大模型原生推理如 o 系列、DeepSeek-R1 的隐式长链思考把 CoT 内化进训练对简单问答仍应避免无谓展开以控成本。 本题型速记 Checklist训练三段式预训练CLM/下一个 token决定能力天花板→ SFT指令格式→ 对齐RLHF/DPO决定价值观顺序不可颠倒、缺一不可。微调两正交维度改哪些参数全量 / LoRA / QLoRA× 学什么目标SFT / DPO可任意组合微调是最后手段而非首选先试 Prompt/RAG。LoRA 本质冻结 W 旁路低秩 A·Br8~16ΔW 内在低秩五优势推理零开销/模块化插拔/抗遗忘/训练稳/权重可组合。QLoRA4-bit NF4 量化底座 LoRA单张 4090 可微调 7B/13B精度损失极小。DPO vs PPOPPO在线 RL、需 4 模型policyrefrewardvalue、KL 约束防 hackingDPO等价监督学习、仅 2 模型、更稳更易实现前沿演进 GRPO。解码策略选型精确任务用贪心/低温Temperature0开放任务用 TemperatureTop-PBeam Search 在 LLM 时代基本弃用无单一最优解、易复读。KV Cache单次推理内缓存历史 K/V复杂度 O(N³)→O(N²)是自回归生成基本盘Prompt Caching跨请求复用相同前缀降本降延迟注意固定在前、动态在后。MoE 哲学总参大、激活小如 671B/37BRouter 选 Top-K 专家核心坑专家不平衡需负载均衡损失优势训练性价比高推理便宜易扩展。部署选型生产高吞吐→vLLMPagedAttentionContinuous BatchingAgent/多轮/Few-shot→SGLangRadixAttention 跨请求前缀复用HF 生态→TGI边缘/CPU→llama.cpp极致定制→TensorRT-LLM。评测闭环学术 BenchmarkMMLU/HumanEval/GSM8K/MT-Bench…只作参考警惕数据污染必建业务黄金测试集50–200 条 LLM-as-Judge 线上指标满意度/完成率/放弃率。CoT让模型先推理再答提供草稿纸降跳跃错误局限费 token/简单问题无效/链错累积/对记忆任务无用Zero-shot vs Few-shot升级版 Self-Consistency 投票。核心取舍观训练决定上限微调/对齐决定可用性推理与部署决定成本延迟评测决定能否上线——四者共同决定用得好、用得省。