生成式语言模型虽然在各类文本生成任务上表现出色但真正影响其能力上限的往往不是模型结构本身而是预训练阶段的数据质量与训练策略。很多团队在复现或微调生成式模型时会遇到一个很典型的问题数据量明明很大训练轮次也足够最终模型却出现重复生成、知识记忆混乱、领域适应性差等现象。这类问题很多时候不是模型代码写错了而是预训练数据的组织方式缺少“筛选—增强—剪枝”的闭环。本文要介绍的“IDEA Prune”流程就是从集成放大与剪枝两个方向入手对生成式语言模型预训练阶段的数据与训练策略做系统性优化。它并不是一个新的模型结构而是一套流程方法论先通过多路生成与集成打分把候选数据放大再通过剪枝策略把低质量、高冗余、有噪声的数据剔除最终得到一个更干净、更有代表性的训练集在此基础上完成继续预训练或领域适配。这套流程适合以下读者正在做生成式语言模型预训练、领域继续预训练的同学。使用中文开源模型做垂直场景适配但总感觉数据“喂不饱”或“喂偏了”的开发者。对数据增强、数据清洗、课程学习、模型剪枝有基础了解想把这些方法整合到一条流水线中的算法工程师。读完本文你能掌握一套完整的“集成放大—剪枝”数据处理与训练流程并可以直接套用到自己的训练任务中。1. 背景与核心概念1.1 为什么预训练阶段需要“集成放大-剪枝”预训练语言模型的核心目标是让模型从海量文本中学习语言规律和世界知识。但“海量文本”不等于“高质量文本”。真实业务场景下我们能拿到的语料往往包含大量重复内容、模板化广告、口语噪声、前后文不一致的片段甚至是标注错误的伪标签数据。如果这些数据直接参与预训练模型会花大量参数量去记忆噪声导致下游任务泛化能力下降。这里需要先理解两个概念集成放大指的是通过多个模型或多种策略对原始数据做扩展、改写、回译、伪标签生成从而获得更多样化的训练样本。相当于把一份原始语料“放大”成一个更大的候选池。剪枝指的是从放大后的候选池中通过质量打分、去重、难度筛选、分布对齐等方式删掉低质量样本保留高价值样本。相当于把候选池“剪”成一个更紧凑的训练集。很多人会问既然原始数据不够好为什么不直接清洗一遍就训练还要多此一举先放大再剪枝原因在于直接清洗只能去除显性噪声无法增加数据的多样性。而生成式模型对数据多样性的需求远高于判别式模型。只有先放大、再筛选才能在保留多样性的同时控制噪声这正是“集成放大-剪枝流程”的核心价值。1.2 IDEA Prune 的流程定位IDEA Prune 并不是某个开源仓库的固定命令而更像是一套流程模板。它由四个阶段组成数据采集与基座模型准备准备原始语料和一个或若干个基座生成模型。集成放大利用基座模型对原始语料进行改写、续写、摘要生成、问答对生成等操作扩充候选样本。剪枝筛选使用规则过滤、语义去重、质量打分模型、难度筛选等方式对候选样本做剪枝。重建与继续预训练把剪枝后的高质量子集与原始语料按比例混合重新构建训练集并设计分段训练策略。这个流程的核心思想是“先扩后收”。扩是为了增加数据覆盖度收是为了保证数据精度。1.3 容易混淆的概念在阅读相关文献和开源项目时有几个概念经常被混淆这里先做一个区分概念含义与 IDEA Prune 的关系数据增强通过回译、加噪、同义词替换等方式生成新样本属于“集成放大”阶段的一种手段数据清洗去除明显噪声、重复、低质量样本属于“剪枝”阶段的底线操作课程学习按难度从易到难组织训练数据可作为剪枝后的排序策略也可独立使用知识蒸馏用大模型输出指导小模型训练与集成放大有交集但目标不同模型剪枝删除模型参数或结构中的冗余部分与数据剪枝不同本文不讨论模型参数剪枝理解这些区别后再往下看具体实现就会轻松很多。2. 方法设计IDEA Prune 的整体流程2.1 流程总览在工程实现上IDEA Prune 的流程可以拆成五个模块原始语料模块负责收集与预处理原始数据得到 base_corpus。指令与模板模块准备多组指令模板用于引导基座模型对原始文本做不同角度的扩展。多路生成模块一个或多个基座模型并行处理原始文本生成多个候选样本。集成打分模块对候选样本从语义一致性、流畅度、信息量、多样性等维度打分。剪枝决策模块根据打分结果决定每个样本的保留、降权或丢弃输出 final_corpus。下面用一个简化图描述整体流程base_corpus | v [指令模板集] --- [基座模型A/B] --- [候选样本池] | | | v ----------------------- [集成打分引擎] | v [剪枝决策器] | v final_corpus | v [继续预训练]从工程视角看这五个模块可以独立开发、独立测试很适合按流水线方式落地。2.2 不同数据形态的处理思路生成式语言模型的预训练语料一般有三种来源对应的放大剪枝思路也不同原始网页文本噪声最多适合先做规则过滤再做关键句抽取与改写。结构化文档JSON、HTML、Markdown可以抽取标题、正文、列表、表格等结构化信息再生成问答对或摘要。人工标注或业务积累的高质量语料数量少但质量高适合用集成放大做风格扩展但剪枝时要尽量保守避免误删。2.3 评估指标设计没有评估就没有剪枝依据。建议在流程中定义三个层面的指标样本级指标困惑度PPL、语义相似度、文本长度、重复率、关键词覆盖率。数据集级指标去重率、难度分布、领域分布、标签一致性。模型级指标继续预训练后在验证集上的困惑度以及下游任务上的准确率或生成质量。剪枝决策不能只看单一指标。例如困惑度过低的样本可能是高频模板句信息量反而不足困惑度过高的样本可能是噪声也可能是难度很大的长尾知识。所以需要用多指标加权打分同时保留人工抽检通道。3. 环境准备与数据配置3.1 运行环境说明本文中的示例以 Python 3.8 环境为主深度学习框架以 PyTorch 2.x 为例。版本需要根据你的项目实际情况调整这里重点演示配置思路而不是绑定具体版本。建议环境如下Python 3.8 或 3.10。PyTorch 2.xCUDA 11.7 或更高版本。Transformers 4.x用于加载基座模型。Datasets 2.x用于数据集的缓存与映射。vLLM 或 FasterTransformer可选用于加速批量生成。中文分词工具例如 jieba、transformers 自带 tokenizer。如果只是跑通流程显卡显存建议不低于 24GB。如果资源有限也可以先用小模型如 1.5B 或 3B 规模代替大模型做集成生成。3.2 项目结构为了后续扩展方便建议把工程按模块拆分idea_prune/ ├── configs/ │ ├── generate_config.json │ ├── filter_config.json │ └── train_config.json ├── data/ │ ├── raw/ │ ├── candidate/ │ ├── filtered/ │ └── final/ ├── src/ │ ├── generate.py │ ├── score.py │ ├── prune.py │ ├── train.py │ └── utils.py └── scripts/ ├── run_generate.sh ├── run_filter.sh └── run_train.sh其中 configs 目录保存各阶段配置data 目录按阶段存储中间产物src 目录存放代码scripts 目录存放可直接执行的 shell 脚本。3.3 配置文件示例在 generate_config.json 中定义生成阶段参数{ base_model: your-base-model-path, input_file: data/raw/base_corpus.jsonl, output_file: data/candidate/candidate_pool.jsonl, max_source_length: 512, max_target_length: 256, batch_size: 16, num_return_sequences: 3, temperature: 0.8, top_p: 0.9, prompt_templates: [ 请续写下面这段文本, 请为下面这段文本生成一个摘要, 请将下面这段文本改写为更正式的表达, 请根据下面这段文本生成一个相关的问题和答案 ] }在 filter_config.json 中定义剪枝阶段参数{ input_file: data/candidate/candidate_pool.jsonl, output_file: data/filtered/filtered_corpus.jsonl, min_length: 30, max_length: 512, max_duplicate_ratio: 0.8, ppl_threshold_min: 20, ppl_threshold_max: 200, embedding_model: bge-small-zh-v1.5, dedup_threshold: 0.85, sample_ratio: 0.6 }这两个配置文件是整个流程的“开关面板”。实际调参时不需要修改代码只需要调整 JSON 中的数值。4. 集成放大阶段的设计与实现4.1 为什么要做“多路生成”集成放大的关键在于“集成”二字。如果只用一种提示词、一个模型去改写数据得到的候选样本风格单一多样性不足。当多个模型、多种提示词共同作用时同一个原始文本可以被改写成新闻体、对话体、摘要体、问答体等不同形态相当于从不同视角对文本做“特征放大”。这样后续训练数据的信息密度会更高。4.2 多路生成的代码实现下面给出一个基于 Transformers 的多路生成脚本核心片段。为了便于理解这里简化了模型加载逻辑实际使用时需要按显存情况分批处理。# 文件路径src/generate.py import json import torch from transformers import AutoTokenizer, AutoModelForCausalLM def load_model(model_path): tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto ) model.eval() return tokenizer, model def generate_candidates(tokenizer, model, text, templates, config): results [] for template in templates: prompt template \n text inputs tokenizer(prompt, return_tensorspt, truncationTrue, max_lengthconfig[max_source_length]) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensconfig[max_target_length], do_sampleTrue, temperatureconfig[temperature], top_pconfig[top_p], num_return_sequencesconfig[num_return_sequences] ) for i, output in enumerate(outputs): generated tokenizer.decode(output[inputs[input_ids].shape[1]:], skip_special_tokensTrue) results.append({ source_text: text, template: template, candidate_text: generated, candidate_id: len(results) }) return results def main(): with open(configs/generate_config.json, r, encodingutf-8) as f: config json.load(f) tokenizer, model load_model(config[base_model]) with open(config[input_file], r, encodingutf-8) as f: lines f.readlines() all_results [] for line in lines: line line.strip() if not line: continue data json.loads(line) text data.get(text, ) if len(text) 10: continue candidates generate_candidates(tokenizer, model, text, config[prompt_templates], config) all_results.extend(candidates) with open(config[output_file], w, encodingutf-8) as f: for item in all_results: f.write(json.dumps(item, ensure_asciiFalse) \n) if __name__ __main__: main()这段代码有几个关键点需要说明num_return_sequences 表示每一条原始文本、每一个模板生成几个候选样本。数量越多候选池越大但计算成本也越高。temperature 和 top_p 控制生成的随机性。生成式预训练数据时随机性可以适当高一些这样样本更多样但如果太高容易出现语义漂移。这里用的是自回归模型所以生成结果和原始文本之间不是简单的一一对应关系后续需要做语义相似度校验。4.3 生成结果的存储格式候选池的每一行建议保存为 JSON 格式至少包含以下字段{ source_id: 20250101_001, source_text: 原始文本内容, template: 请改写为更正式的表达, candidate_text: 生成的候选文本内容, candidate_id: cand_001 }保留 source_id 非常重要。后续剪枝时我们可能需要按原始文本维度控制保留比例比如每篇原始文本最多保留 3 条候选避免单一来源占据过多训练份额。5. 剪枝阶段的设计与实现5.1 剪枝的四个维度候选样本生成后需要进行多维度打分。常见维度包括文本质量是否包含乱码、URL、异常符号、过短或过长。语义一致性候选文本是否偏离原始文本的核心语义。信息冗余度候选文本之间是否高度重复。难度与复杂度文本是否过于简单模型能否从中获得新知识。这里有一个容易被忽略的点生成式模型的预训练数据不能只保留“高质量”的简单文本也要保留一部分有难度、信息量大的长尾文本。否则模型会变得“流畅但空洞”。5.2 剪枝代码实现下面给出一个剪枝脚本的核心片段。这里使用规则过滤 向量去重 困惑度打分三种策略组合。# 文件路径src/prune.py import json import re import math import torch from transformers import AutoTokenizer, AutoModelForCausalLM def rule_filter(text): if len(text) 30 or len(text) 512: return False if re.search(rhttps?://, text): return False if text.count(\n) 10: return False if re.search(r[\u4e00-\u9fa5], text) is None: return False return True def compute_ppl(tokenizer, model, text): inputs tokenizer(text, return_tensorspt, truncationTrue, max_length512) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss return math.exp(loss.item()) def main(): with open(configs/filter_config.json, r, encodingutf-8) as f: config json.load(f) # 加载用于计算困惑度的模型建议使用较小规模的模型即可 tokenizer AutoTokenizer.from_pretrained(config[ppl_model]) model AutoModelForCausalLM.from_pretrained(config[ppl_model], device_mapauto) model.eval() with open(config[input_file], r, encodingutf-8) as f: lines f.readlines() kept_items [] for line in lines: line line.strip() if not line: continue item json.loads(line) text item[candidate_text] # 规则过滤 if not rule_filter(text): continue # 困惑度过滤 ppl compute_ppl(tokenizer, model, text) if ppl config[ppl_threshold_min] or ppl config[ppl_threshold_max]: continue item[ppl] round(ppl, 2) kept_items.append(item) with open(config[output_file], w, encodingutf-8) as f: for item in kept_items: f.write(json.dumps(item, ensure_asciiFalse) \n) if __name__ __main__: main()需要注意上面代码中的 ppl_model 建议使用一个 1.5B 左右的生成模型即可不必使用与集成阶段相同的大模型。这样能显著降低资源消耗同时打分结果也有足够参考意义。5.3 去重策略生成式预训练数据最怕“重复”。模型如果反复看到语义完全相同的句子会加剧生成时的重复问题。常见去重策略有三种n-gram 精确去重速度快适合处理完全重复的文本。SimHash 去重对文本做指纹化处理适合大规模语料的近似去重。向量相似度去重用 embedding 模型计算文本向量再按相似度阈值过滤。精度高但成本也高。实际项目中通常先用 SimHash 做第一轮粗筛再用 embedding 模型做第二轮精筛。下面是一个基于 embedding 的相似度去重思路# 文件路径src/dedup.py思路示例 from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(config[embedding_model]) texts [item[candidate_text] for item in kept_items] embeddings model.encode(texts, normalize_embeddingsTrue) keep_index [] for i in range(len(embeddings)): duplicate False for j in keep_index: sim np.dot(embeddings[i], embeddings[j]) if sim config[dedup_threshold]: duplicate True break if not duplicate: keep_index.append(i)这里使用贪心算法保留与已保留样本相似度最低的新样本。当候选池达到百万级时需要改用 Faiss 或向量数据库进行高效检索直接两两比对会非常慢。6. 完整训练调度示例6.1 重建最终训练集剪枝完成之后不能直接只用候选样本训练而是要把原始语料和候选样本按比例混合。推荐的混合策略是原始语料占 60%70%保证基础语言能力不偏移。候选样本占 20%30%增强多样性与领域覆盖。指令类样本占 5%10%提升模型对任务格式的适应能力。混合之后还需要对训练集做一次全局的 shuffle避免同类样本集中出现导致训练震荡。6.2 分段训练策略生成式模型预训练通常不建议直接用一个固定学习率从头训到尾。实践中更推荐两阶段训练第一阶段稳定期使用较小学习率训练集采用原始语料为主让模型在基础分布上稳定收敛。第二阶段增强期增大候选样本比例适当调大学习率让模型接触更多样化的数据强化领域能力。下面是一个训练调度示例基于 Hugging Face Trainer 的简单配置# 文件路径configs/train_config.json { model_name_or_path: your-base-model-path, train_file: data/final/train.jsonl, output_dir: output/idea_prune_model, num_train_epochs: 3, per_device_train_batch_size: 4, gradient_accumulation_steps: 8, learning_rate: 2e-5, warmup_ratio: 0.03, lr_scheduler_type: cosine, logging_steps: 50, save_steps: 500, fp16: true }对应的训练启动脚本#!/bin/bash # 文件路径scripts/run_train.sh export CUDA_VISIBLE_DEVICES0,1,2,3 torchrun --nproc_per_node4 \ src/train.py \ --config configs/train_config.json如果是领域继续预训练建议在第二阶段加入领域数据增强策略把剪枝后的领域样本重复采样到 23 个 epoch并搭配更高的 dropout防止模型在领域数据上过拟合。6.3 运行与验证训练完成后除了看 loss 曲线还要做三类验证通用能力验证在通用中文生成 benchmark 上看模型是否出现能力退化。领域能力验证在领域测试集上评估生成质量。重复性验证让模型连续生成多段文本统计 n-gram 重复率。如果训练后通用能力下降明显说明混合比例偏向候选样本过多需要调低候选样本占比。如果领域能力提升不明显说明剪枝阶段筛选出的样本区分度不足需要调整打分权重。7. 常见问题与排查思路在实现 IDEA Prune 流程时有几个高频问题值得提前排查。问题现象常见原因解决思路候选样本语义偏离原文生成温度过高或模板引导不足降低 temperature增加“保持原意”类的约束指令剪枝后语料量过少规则过滤阈值过严放宽长度与困惑度范围增加人工抽检模型训练后重复生成严重候选样本重复度过高加严向量去重阈值增加多样性惩罚领域能力提升不明显候选样本与领域任务分布不一致增加领域任务的指令模板补充问答对生成生成阶段耗时过长使用大模型且 batch 太小改用 vLLM 或批量推理框架训练时 loss 震荡混合数据分布不平稳先按来源分桶再按比例平滑采样如果遇到生成阶段显存不足可以先把输入文本切分成片段逐段生成再在剪枝阶段过滤掉衔接不自然的文本。如果候选样本数量非常大建议在向量去重之前先做一次 SimHash 粗筛否则耗时成倍增加。8. 最佳实践与工程建议8.1 数据层面每条原始数据都保留来源标识便于追溯剪枝比例。候选池保存所有中间字段不要在放大阶段提前丢字段。混合训练集时建议按来源做分桶采样避免某一批数据主导训练。定期抽样人工评估剪枝结果机器打分只能作为辅助。8.2 模型层面集成放大阶段的模型可以大于剪枝打分阶段的模型不同阶段不必用同一个模型。生成式模型做数据改写时尽量使用 instruction-tuned 版本输出格式更可控。如果做中文领域预训练优先选择中文语料占比高的开源基座模型再进行领域继续预训练。8.3 工程层面将生成、打分、去重、训练拆成独立模块每一阶段产出可复验的中间文件。为每个阶段增加版本号或哈希记录方便复现与回滚。涉及大规模数据时建议使用数据并行处理框架不要把所有逻辑都写在一个 Python 脚本中。训练前对最终语料做一次 token 级别的分布统计确认没有明显的分词异常。8.4 安全与合规层面原始语料与候选样本可能包含个人信息或版权内容使用时需要确认数据来源合法。发布模型前应做内容安全评估过滤不当内容。任何数据生产流程都建议在测试环境小规模跑通后再放大到全量数据。9. 总结与学习路线从数据角度看IDEA Prune 的核心价值在于把“数据清洗”升级为“数据理解”不再简单丢掉低质量样本而是通过集成放大多角度扩展信息再通过剪枝精确筛选高价值数据。从训练角度看这套流程帮助模型在保持通用能力的基础上更高效地获取领域知识。下一步可以沿着以下方向继续深入学习课程学习与数据排序算法把剪枝后的数据按难度组织成多阶段训练集。研究长文本建模把流程从单句扩展到段落级或文档级预训练。尝试引入奖励模型或强化学习让集成生成阶段能够根据后续训练效果自动调整生成策略。如果你手头正有生成式模型预训练或领域继续预训练的需求建议先拿小规模数据跑通一版 IDEA Prune 流程记录每一阶段的样本数量和指标变化再逐步放大到全量数据。这个流程本身是通用的但每个业务场景的最佳参数组合需要靠实验确定。 IDEA Prune：生成式语言模型预训练数据的集成放大与剪枝流程
生成式语言模型虽然在各类文本生成任务上表现出色但真正影响其能力上限的往往不是模型结构本身而是预训练阶段的数据质量与训练策略。很多团队在复现或微调生成式模型时会遇到一个很典型的问题数据量明明很大训练轮次也足够最终模型却出现重复生成、知识记忆混乱、领域适应性差等现象。这类问题很多时候不是模型代码写错了而是预训练数据的组织方式缺少“筛选—增强—剪枝”的闭环。本文要介绍的“IDEA Prune”流程就是从集成放大与剪枝两个方向入手对生成式语言模型预训练阶段的数据与训练策略做系统性优化。它并不是一个新的模型结构而是一套流程方法论先通过多路生成与集成打分把候选数据放大再通过剪枝策略把低质量、高冗余、有噪声的数据剔除最终得到一个更干净、更有代表性的训练集在此基础上完成继续预训练或领域适配。这套流程适合以下读者正在做生成式语言模型预训练、领域继续预训练的同学。使用中文开源模型做垂直场景适配但总感觉数据“喂不饱”或“喂偏了”的开发者。对数据增强、数据清洗、课程学习、模型剪枝有基础了解想把这些方法整合到一条流水线中的算法工程师。读完本文你能掌握一套完整的“集成放大—剪枝”数据处理与训练流程并可以直接套用到自己的训练任务中。1. 背景与核心概念1.1 为什么预训练阶段需要“集成放大-剪枝”预训练语言模型的核心目标是让模型从海量文本中学习语言规律和世界知识。但“海量文本”不等于“高质量文本”。真实业务场景下我们能拿到的语料往往包含大量重复内容、模板化广告、口语噪声、前后文不一致的片段甚至是标注错误的伪标签数据。如果这些数据直接参与预训练模型会花大量参数量去记忆噪声导致下游任务泛化能力下降。这里需要先理解两个概念集成放大指的是通过多个模型或多种策略对原始数据做扩展、改写、回译、伪标签生成从而获得更多样化的训练样本。相当于把一份原始语料“放大”成一个更大的候选池。剪枝指的是从放大后的候选池中通过质量打分、去重、难度筛选、分布对齐等方式删掉低质量样本保留高价值样本。相当于把候选池“剪”成一个更紧凑的训练集。很多人会问既然原始数据不够好为什么不直接清洗一遍就训练还要多此一举先放大再剪枝原因在于直接清洗只能去除显性噪声无法增加数据的多样性。而生成式模型对数据多样性的需求远高于判别式模型。只有先放大、再筛选才能在保留多样性的同时控制噪声这正是“集成放大-剪枝流程”的核心价值。1.2 IDEA Prune 的流程定位IDEA Prune 并不是某个开源仓库的固定命令而更像是一套流程模板。它由四个阶段组成数据采集与基座模型准备准备原始语料和一个或若干个基座生成模型。集成放大利用基座模型对原始语料进行改写、续写、摘要生成、问答对生成等操作扩充候选样本。剪枝筛选使用规则过滤、语义去重、质量打分模型、难度筛选等方式对候选样本做剪枝。重建与继续预训练把剪枝后的高质量子集与原始语料按比例混合重新构建训练集并设计分段训练策略。这个流程的核心思想是“先扩后收”。扩是为了增加数据覆盖度收是为了保证数据精度。1.3 容易混淆的概念在阅读相关文献和开源项目时有几个概念经常被混淆这里先做一个区分概念含义与 IDEA Prune 的关系数据增强通过回译、加噪、同义词替换等方式生成新样本属于“集成放大”阶段的一种手段数据清洗去除明显噪声、重复、低质量样本属于“剪枝”阶段的底线操作课程学习按难度从易到难组织训练数据可作为剪枝后的排序策略也可独立使用知识蒸馏用大模型输出指导小模型训练与集成放大有交集但目标不同模型剪枝删除模型参数或结构中的冗余部分与数据剪枝不同本文不讨论模型参数剪枝理解这些区别后再往下看具体实现就会轻松很多。2. 方法设计IDEA Prune 的整体流程2.1 流程总览在工程实现上IDEA Prune 的流程可以拆成五个模块原始语料模块负责收集与预处理原始数据得到 base_corpus。指令与模板模块准备多组指令模板用于引导基座模型对原始文本做不同角度的扩展。多路生成模块一个或多个基座模型并行处理原始文本生成多个候选样本。集成打分模块对候选样本从语义一致性、流畅度、信息量、多样性等维度打分。剪枝决策模块根据打分结果决定每个样本的保留、降权或丢弃输出 final_corpus。下面用一个简化图描述整体流程base_corpus | v [指令模板集] --- [基座模型A/B] --- [候选样本池] | | | v ----------------------- [集成打分引擎] | v [剪枝决策器] | v final_corpus | v [继续预训练]从工程视角看这五个模块可以独立开发、独立测试很适合按流水线方式落地。2.2 不同数据形态的处理思路生成式语言模型的预训练语料一般有三种来源对应的放大剪枝思路也不同原始网页文本噪声最多适合先做规则过滤再做关键句抽取与改写。结构化文档JSON、HTML、Markdown可以抽取标题、正文、列表、表格等结构化信息再生成问答对或摘要。人工标注或业务积累的高质量语料数量少但质量高适合用集成放大做风格扩展但剪枝时要尽量保守避免误删。2.3 评估指标设计没有评估就没有剪枝依据。建议在流程中定义三个层面的指标样本级指标困惑度PPL、语义相似度、文本长度、重复率、关键词覆盖率。数据集级指标去重率、难度分布、领域分布、标签一致性。模型级指标继续预训练后在验证集上的困惑度以及下游任务上的准确率或生成质量。剪枝决策不能只看单一指标。例如困惑度过低的样本可能是高频模板句信息量反而不足困惑度过高的样本可能是噪声也可能是难度很大的长尾知识。所以需要用多指标加权打分同时保留人工抽检通道。3. 环境准备与数据配置3.1 运行环境说明本文中的示例以 Python 3.8 环境为主深度学习框架以 PyTorch 2.x 为例。版本需要根据你的项目实际情况调整这里重点演示配置思路而不是绑定具体版本。建议环境如下Python 3.8 或 3.10。PyTorch 2.xCUDA 11.7 或更高版本。Transformers 4.x用于加载基座模型。Datasets 2.x用于数据集的缓存与映射。vLLM 或 FasterTransformer可选用于加速批量生成。中文分词工具例如 jieba、transformers 自带 tokenizer。如果只是跑通流程显卡显存建议不低于 24GB。如果资源有限也可以先用小模型如 1.5B 或 3B 规模代替大模型做集成生成。3.2 项目结构为了后续扩展方便建议把工程按模块拆分idea_prune/ ├── configs/ │ ├── generate_config.json │ ├── filter_config.json │ └── train_config.json ├── data/ │ ├── raw/ │ ├── candidate/ │ ├── filtered/ │ └── final/ ├── src/ │ ├── generate.py │ ├── score.py │ ├── prune.py │ ├── train.py │ └── utils.py └── scripts/ ├── run_generate.sh ├── run_filter.sh └── run_train.sh其中 configs 目录保存各阶段配置data 目录按阶段存储中间产物src 目录存放代码scripts 目录存放可直接执行的 shell 脚本。3.3 配置文件示例在 generate_config.json 中定义生成阶段参数{ base_model: your-base-model-path, input_file: data/raw/base_corpus.jsonl, output_file: data/candidate/candidate_pool.jsonl, max_source_length: 512, max_target_length: 256, batch_size: 16, num_return_sequences: 3, temperature: 0.8, top_p: 0.9, prompt_templates: [ 请续写下面这段文本, 请为下面这段文本生成一个摘要, 请将下面这段文本改写为更正式的表达, 请根据下面这段文本生成一个相关的问题和答案 ] }在 filter_config.json 中定义剪枝阶段参数{ input_file: data/candidate/candidate_pool.jsonl, output_file: data/filtered/filtered_corpus.jsonl, min_length: 30, max_length: 512, max_duplicate_ratio: 0.8, ppl_threshold_min: 20, ppl_threshold_max: 200, embedding_model: bge-small-zh-v1.5, dedup_threshold: 0.85, sample_ratio: 0.6 }这两个配置文件是整个流程的“开关面板”。实际调参时不需要修改代码只需要调整 JSON 中的数值。4. 集成放大阶段的设计与实现4.1 为什么要做“多路生成”集成放大的关键在于“集成”二字。如果只用一种提示词、一个模型去改写数据得到的候选样本风格单一多样性不足。当多个模型、多种提示词共同作用时同一个原始文本可以被改写成新闻体、对话体、摘要体、问答体等不同形态相当于从不同视角对文本做“特征放大”。这样后续训练数据的信息密度会更高。4.2 多路生成的代码实现下面给出一个基于 Transformers 的多路生成脚本核心片段。为了便于理解这里简化了模型加载逻辑实际使用时需要按显存情况分批处理。# 文件路径src/generate.py import json import torch from transformers import AutoTokenizer, AutoModelForCausalLM def load_model(model_path): tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto ) model.eval() return tokenizer, model def generate_candidates(tokenizer, model, text, templates, config): results [] for template in templates: prompt template \n text inputs tokenizer(prompt, return_tensorspt, truncationTrue, max_lengthconfig[max_source_length]) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensconfig[max_target_length], do_sampleTrue, temperatureconfig[temperature], top_pconfig[top_p], num_return_sequencesconfig[num_return_sequences] ) for i, output in enumerate(outputs): generated tokenizer.decode(output[inputs[input_ids].shape[1]:], skip_special_tokensTrue) results.append({ source_text: text, template: template, candidate_text: generated, candidate_id: len(results) }) return results def main(): with open(configs/generate_config.json, r, encodingutf-8) as f: config json.load(f) tokenizer, model load_model(config[base_model]) with open(config[input_file], r, encodingutf-8) as f: lines f.readlines() all_results [] for line in lines: line line.strip() if not line: continue data json.loads(line) text data.get(text, ) if len(text) 10: continue candidates generate_candidates(tokenizer, model, text, config[prompt_templates], config) all_results.extend(candidates) with open(config[output_file], w, encodingutf-8) as f: for item in all_results: f.write(json.dumps(item, ensure_asciiFalse) \n) if __name__ __main__: main()这段代码有几个关键点需要说明num_return_sequences 表示每一条原始文本、每一个模板生成几个候选样本。数量越多候选池越大但计算成本也越高。temperature 和 top_p 控制生成的随机性。生成式预训练数据时随机性可以适当高一些这样样本更多样但如果太高容易出现语义漂移。这里用的是自回归模型所以生成结果和原始文本之间不是简单的一一对应关系后续需要做语义相似度校验。4.3 生成结果的存储格式候选池的每一行建议保存为 JSON 格式至少包含以下字段{ source_id: 20250101_001, source_text: 原始文本内容, template: 请改写为更正式的表达, candidate_text: 生成的候选文本内容, candidate_id: cand_001 }保留 source_id 非常重要。后续剪枝时我们可能需要按原始文本维度控制保留比例比如每篇原始文本最多保留 3 条候选避免单一来源占据过多训练份额。5. 剪枝阶段的设计与实现5.1 剪枝的四个维度候选样本生成后需要进行多维度打分。常见维度包括文本质量是否包含乱码、URL、异常符号、过短或过长。语义一致性候选文本是否偏离原始文本的核心语义。信息冗余度候选文本之间是否高度重复。难度与复杂度文本是否过于简单模型能否从中获得新知识。这里有一个容易被忽略的点生成式模型的预训练数据不能只保留“高质量”的简单文本也要保留一部分有难度、信息量大的长尾文本。否则模型会变得“流畅但空洞”。5.2 剪枝代码实现下面给出一个剪枝脚本的核心片段。这里使用规则过滤 向量去重 困惑度打分三种策略组合。# 文件路径src/prune.py import json import re import math import torch from transformers import AutoTokenizer, AutoModelForCausalLM def rule_filter(text): if len(text) 30 or len(text) 512: return False if re.search(rhttps?://, text): return False if text.count(\n) 10: return False if re.search(r[\u4e00-\u9fa5], text) is None: return False return True def compute_ppl(tokenizer, model, text): inputs tokenizer(text, return_tensorspt, truncationTrue, max_length512) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss return math.exp(loss.item()) def main(): with open(configs/filter_config.json, r, encodingutf-8) as f: config json.load(f) # 加载用于计算困惑度的模型建议使用较小规模的模型即可 tokenizer AutoTokenizer.from_pretrained(config[ppl_model]) model AutoModelForCausalLM.from_pretrained(config[ppl_model], device_mapauto) model.eval() with open(config[input_file], r, encodingutf-8) as f: lines f.readlines() kept_items [] for line in lines: line line.strip() if not line: continue item json.loads(line) text item[candidate_text] # 规则过滤 if not rule_filter(text): continue # 困惑度过滤 ppl compute_ppl(tokenizer, model, text) if ppl config[ppl_threshold_min] or ppl config[ppl_threshold_max]: continue item[ppl] round(ppl, 2) kept_items.append(item) with open(config[output_file], w, encodingutf-8) as f: for item in kept_items: f.write(json.dumps(item, ensure_asciiFalse) \n) if __name__ __main__: main()需要注意上面代码中的 ppl_model 建议使用一个 1.5B 左右的生成模型即可不必使用与集成阶段相同的大模型。这样能显著降低资源消耗同时打分结果也有足够参考意义。5.3 去重策略生成式预训练数据最怕“重复”。模型如果反复看到语义完全相同的句子会加剧生成时的重复问题。常见去重策略有三种n-gram 精确去重速度快适合处理完全重复的文本。SimHash 去重对文本做指纹化处理适合大规模语料的近似去重。向量相似度去重用 embedding 模型计算文本向量再按相似度阈值过滤。精度高但成本也高。实际项目中通常先用 SimHash 做第一轮粗筛再用 embedding 模型做第二轮精筛。下面是一个基于 embedding 的相似度去重思路# 文件路径src/dedup.py思路示例 from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(config[embedding_model]) texts [item[candidate_text] for item in kept_items] embeddings model.encode(texts, normalize_embeddingsTrue) keep_index [] for i in range(len(embeddings)): duplicate False for j in keep_index: sim np.dot(embeddings[i], embeddings[j]) if sim config[dedup_threshold]: duplicate True break if not duplicate: keep_index.append(i)这里使用贪心算法保留与已保留样本相似度最低的新样本。当候选池达到百万级时需要改用 Faiss 或向量数据库进行高效检索直接两两比对会非常慢。6. 完整训练调度示例6.1 重建最终训练集剪枝完成之后不能直接只用候选样本训练而是要把原始语料和候选样本按比例混合。推荐的混合策略是原始语料占 60%70%保证基础语言能力不偏移。候选样本占 20%30%增强多样性与领域覆盖。指令类样本占 5%10%提升模型对任务格式的适应能力。混合之后还需要对训练集做一次全局的 shuffle避免同类样本集中出现导致训练震荡。6.2 分段训练策略生成式模型预训练通常不建议直接用一个固定学习率从头训到尾。实践中更推荐两阶段训练第一阶段稳定期使用较小学习率训练集采用原始语料为主让模型在基础分布上稳定收敛。第二阶段增强期增大候选样本比例适当调大学习率让模型接触更多样化的数据强化领域能力。下面是一个训练调度示例基于 Hugging Face Trainer 的简单配置# 文件路径configs/train_config.json { model_name_or_path: your-base-model-path, train_file: data/final/train.jsonl, output_dir: output/idea_prune_model, num_train_epochs: 3, per_device_train_batch_size: 4, gradient_accumulation_steps: 8, learning_rate: 2e-5, warmup_ratio: 0.03, lr_scheduler_type: cosine, logging_steps: 50, save_steps: 500, fp16: true }对应的训练启动脚本#!/bin/bash # 文件路径scripts/run_train.sh export CUDA_VISIBLE_DEVICES0,1,2,3 torchrun --nproc_per_node4 \ src/train.py \ --config configs/train_config.json如果是领域继续预训练建议在第二阶段加入领域数据增强策略把剪枝后的领域样本重复采样到 23 个 epoch并搭配更高的 dropout防止模型在领域数据上过拟合。6.3 运行与验证训练完成后除了看 loss 曲线还要做三类验证通用能力验证在通用中文生成 benchmark 上看模型是否出现能力退化。领域能力验证在领域测试集上评估生成质量。重复性验证让模型连续生成多段文本统计 n-gram 重复率。如果训练后通用能力下降明显说明混合比例偏向候选样本过多需要调低候选样本占比。如果领域能力提升不明显说明剪枝阶段筛选出的样本区分度不足需要调整打分权重。7. 常见问题与排查思路在实现 IDEA Prune 流程时有几个高频问题值得提前排查。问题现象常见原因解决思路候选样本语义偏离原文生成温度过高或模板引导不足降低 temperature增加“保持原意”类的约束指令剪枝后语料量过少规则过滤阈值过严放宽长度与困惑度范围增加人工抽检模型训练后重复生成严重候选样本重复度过高加严向量去重阈值增加多样性惩罚领域能力提升不明显候选样本与领域任务分布不一致增加领域任务的指令模板补充问答对生成生成阶段耗时过长使用大模型且 batch 太小改用 vLLM 或批量推理框架训练时 loss 震荡混合数据分布不平稳先按来源分桶再按比例平滑采样如果遇到生成阶段显存不足可以先把输入文本切分成片段逐段生成再在剪枝阶段过滤掉衔接不自然的文本。如果候选样本数量非常大建议在向量去重之前先做一次 SimHash 粗筛否则耗时成倍增加。8. 最佳实践与工程建议8.1 数据层面每条原始数据都保留来源标识便于追溯剪枝比例。候选池保存所有中间字段不要在放大阶段提前丢字段。混合训练集时建议按来源做分桶采样避免某一批数据主导训练。定期抽样人工评估剪枝结果机器打分只能作为辅助。8.2 模型层面集成放大阶段的模型可以大于剪枝打分阶段的模型不同阶段不必用同一个模型。生成式模型做数据改写时尽量使用 instruction-tuned 版本输出格式更可控。如果做中文领域预训练优先选择中文语料占比高的开源基座模型再进行领域继续预训练。8.3 工程层面将生成、打分、去重、训练拆成独立模块每一阶段产出可复验的中间文件。为每个阶段增加版本号或哈希记录方便复现与回滚。涉及大规模数据时建议使用数据并行处理框架不要把所有逻辑都写在一个 Python 脚本中。训练前对最终语料做一次 token 级别的分布统计确认没有明显的分词异常。8.4 安全与合规层面原始语料与候选样本可能包含个人信息或版权内容使用时需要确认数据来源合法。发布模型前应做内容安全评估过滤不当内容。任何数据生产流程都建议在测试环境小规模跑通后再放大到全量数据。9. 总结与学习路线从数据角度看IDEA Prune 的核心价值在于把“数据清洗”升级为“数据理解”不再简单丢掉低质量样本而是通过集成放大多角度扩展信息再通过剪枝精确筛选高价值数据。从训练角度看这套流程帮助模型在保持通用能力的基础上更高效地获取领域知识。下一步可以沿着以下方向继续深入学习课程学习与数据排序算法把剪枝后的数据按难度组织成多阶段训练集。研究长文本建模把流程从单句扩展到段落级或文档级预训练。尝试引入奖励模型或强化学习让集成生成阶段能够根据后续训练效果自动调整生成策略。如果你手头正有生成式模型预训练或领域继续预训练的需求建议先拿小规模数据跑通一版 IDEA Prune 流程记录每一阶段的样本数量和指标变化再逐步放大到全量数据。这个流程本身是通用的但每个业务场景的最佳参数组合需要靠实验确定。