Diversity — in training data, model outputs, and optimization trajectories — is critical for preventing mode collapse and ensuring robust, general-purpose LLMs. This section covers the key diversity mechanisms applicable to all LLM training phases.在训练数据、模型输出和优化轨迹中保持多样性对于防止模式坍塌mode collapse以及确保通用型大语言模型的稳健性至关重要。本节将介绍适用于所有大语言模型训练阶段的关键多样性机制。Sampling Diversity - 采样多样性温度 τ taoTop-K仅保留概率最高的前 k 个 token其余 token 概率置 0只在候选集内采样优势直接过滤极低概率、容易产生病句乱码的 token避免崩坏输出缺陷固定候选数量模型置信度高低都选 k 个模型很确定时多余低概率 token 混入引入不必要杂音模型极度不确定时k 个候选不足以覆盖合理备选多样性不足Top-p (Nucleus 核采样)nucleusˈnjuːkliəsn. 原子核细胞核核心中心神经核彗星的核从概率从大到小排序依次累加 token 概率保留最小的一组 token满足累计概率 p仅在该集合内采样核心自适应特性候选集大小动态变化模型对下一词高度确定单 token 概率极高候选集合很小输出保守稳定模型模糊、多合理备选候选集合自动扩大提升多样性行业现状当前对话模型默认标配采样方案弥补 Top-k 固定候选的缺陷为啥 top-P 叫 Nucleus 采样名字来源统计学「核Nucleus」概念统计学里分布的核指承载绝大部分概率质量的最小子集代表分布的核心主体尾部极低概率的边缘样本直接舍弃Top-p 刚好完美匹配这个定义把概率从高到低累加取刚好覆盖总概率 p 的最小 token 集合该集合就是概率分布的「核」剩下低概率长尾 token 直接丢弃不再参与采样把所有 token 的概率想象成一块蛋糕整块蛋糕总质量 1总概率核nucleus 切出最少块蛋糕加起来重量刚好≥p比如 0.9剩下薄薄一层碎屑低概率 token直接扔掉不采样这块占绝大部分权重的蛋糕主体就叫分布的核因此该算法命名为核采样。Min-p 采样对比 Top-k 优势更有理论依据Top-k 固定数量会强行保留差距极大的低分 tokenMin-p 按相对概率阈值筛选无论模型置信度如何只保留和最优解差距不大的合理候选减少无意义 token 干扰近年开源框架vLLM、llama.cpp广泛新增支持Frequency / Presence Penalty频率 / 存在惩罚对已经在当前输出序列中出现过的 token降低其 logit 打分Presence penalty只要出现过就统一惩罚Frequency penalty出现次数越多惩罚力度线性加大抑制重复句式、循环复读提升词汇多样性lexical diversity注意惩罚过高会强行逼模型使用生僻词造成语句不通顺Training Data Diversity 训练数据多样性Prompt diversity 提示样本多样性Cover different domains, difficulty levels, and formats. The Goldilocks principle: prompts should have 20–80% success rate.多维度覆盖领域代码、数学、文案、客服、逻辑推理、多模态等难度简单问答、中等多轮推理、高难度复杂任务格式对话、指令、JSON、代码块、短文、表格问答等目的是防止模型只学会单一任务泛化能力更强Goldilocks 金发姑娘法则不太难也不太易成功率 20%题目太难模型完全学不会梯度噪音大训练不稳定成功率 80%题目过于简单模型一眼就能答对没有学习增益浪费算力20%~80% 区间模型存在一定挑战能持续从样本中学习新知识对齐效果最优Deduplication 样本去重Remove near-duplicate training examples (MinHash, n-gram overlap). Duplicates cause overfitting to specific patterns.去除训练集中近似重复样本使用 MinHash、n-gram 重叠算法重复样本会让模型对固定文本模式过拟合两种工业去重算法MinHash海量文本快速哈希聚类高效识别高度相似长文本n-gram overlap统计连续字词片段重合比例判断近似重复比如两段对话 85% 句子重合即判定为重复重复样本的危害大量高度相似文本反复出现模型会死记硬背该句式 / 答案出现过拟合线上遇到稍有变化的同义提问就回答跑偏泛化变差区分完全重复一模一样、近重复少量字词改动、语义高度重合两类都要清理Data mixing - 多任务数据混合均衡Balance across tasks/domains using temperature-weighted sampling or curriculum strategies.采用温度加权采样temperature-weighted sampling或课程学习策略平衡不同任务 / 领域的数据占比核心解析解决的数据倾斜问题原始数据集往往某类数据极多比如通用闲聊、小众任务极少如数学证明、代码调试直接混合训练会让模型偏向高频任务小众能力退化两种均衡方案温度加权采样Temperature-weighted给样本量少的领域分配更高采样权重训练迭代时更频繁抽取小众数据等价于之前学的温度缩放逻辑平滑各任务分布课程学习 Curriculum分阶段训练先简单通用任务打底再逐步加入高难度、小众专业任务循序渐进提升模型能力工程价值保证模型在通用、代码、数学、创意等所有领域能力均衡不会出现偏科课程kəˈrɪkjələmn. 课程总结口述式采样Verbalized sampling通过提示词引导模型显式用自然语言描述所有回复对应的概率分布Verbalized sampling口述概率采样常规采样 vs 口述采样常规 Top-p / 温度采样模型内部在隐层计算 logits、概率分布只是从分布里选下一个 token不会把概率说出来给人类看概率完全是模型内部不可见的数值Verbalized sampling口述式给模型加特殊 Prompt强制模型先用文字把「每个候选回复的置信概率」完整写出来再基于这套文字化的概率分布做采样生成示例输出格式候选 1答案 A概率 0.82候选 2答案 B概率 0.15候选 3答案 C概率 0.03综合判断最终回答A