第一版用了 5000 条爬来的数据微调效果还不如原模型。排查三天发现 30% 的数据 output 是空的或者格式错乱。阅读提示适合谁看已经确认需要微调看完《先别急着微调》后判断过、现在卡在数据准备阶段的工程师看完能做什么知道微调数据从哪来、标准格式长什么样、质量怎么检查、大概需要多少条不适合谁还没确认要不要微调的读者先看上一篇先给结论微调效果的天花板由数据决定不是由模型或参数决定——脏数据微调出来的模型比不微调还差数据不在多在精——几百条高质量数据往往比几万条低质量数据效果更好数据构造有三个致命坑格式不统一、正负样本失衡、训练集泄漏到评估集01 一次脏数据微调翻车先把失败经验讲清楚。某团队做内部知识问答微调从 Confluence 和内部文档里爬了 5000 条 QA 对直接拿来微调 Llama-3-8B。微调完一测效果还不如原模型——原模型至少能正常回答通用问题微调后的模型连你好都会回一段乱码。排查了三天发现问题出在数据上30% 的数据 output 是空的——爬虫抓到了问题但没抓到回答20% 的数据格式错乱——有些回答里混了 HTML 标签、有些有 Markdown 格式、有些是纯文本10% 的数据是重复的——同一个问题在不同页面出现了多次模型对这些问题严重过拟合5000 条数据里只有 2000 条是能用的。但因为没有做质量检查这 3000 条垃圾数据把模型的分布带偏了。这就是数据决定上限的含义模型只是在拟合你给的分布如果你给的分布是脏的模型拟合出来的也是脏的。02 微调数据的四条来源路径 质量检查图 1微调数据的四条来源路径 质量检查闭环路径 1人工标注微调数据有两种主流格式取决于你用的框架格式 1instruction / input / output 三段式Alpaca 格式{instruction: 将以下英文翻译成中文, input: Hello, how are you?, output: 你好你怎么样}{instruction: 提取以下文本中的关键信息, input: 张三男28岁北京, output: {\name\:\张三\,\gender\:\male\,\age\:28,\city\:\北京\}}格式 2messages 对话格式ShareGPT / OpenAI 格式{messages: [{role: system, content: 你是一个专业的翻译助手}, {role: user, content: 将以下英文翻译成中文Hello, how are you?}, {role: assistant, content: 你好你怎么样}]}选哪个如果你的任务是单轮问答用 Alpaca 格式更简单。如果是多轮对话、或者需要 System Prompt 控制行为用 messages 格式。LLaMA-Factory、Unsloth 等主流框架都支持这两种格式。关键注意点同一批数据必须格式统一。不要一半用 Alpaca 一半用 messages——框架解析时会报错或者静默丢弃格式不对的数据。格式 3DPO 偏好数据格式chosen/rejected 成对如果你要做 DPODirect Preference Optimization偏好对齐训练数据格式和 SFT 不同——需要 chosen好回答和 rejected差回答成对出现[ { instruction: 解释什么是机器学习, chosen: 机器学习是人工智能的一个分支它让计算机通过数据自动学习规律而不需要显式编程。比如通过大量邮件数据模型可以学会识别垃圾邮件。, rejected: 机器学习就是让电脑自己学习不需要人管。反正就是很厉害的技术。 }, { instruction: 写一段产品描述无线蓝牙耳机, chosen: 这款无线蓝牙耳机采用最新蓝牙5.3技术支持主动降噪续航长达30小时。IPX5防水设计适合运动和日常通勤。, rejected: 蓝牙耳机能听歌能打电话挺好的。 }]DPO 数据的关键chosen 和 rejected 的差距要足够明显——如果两个回答差不多模型学不到偏好。chosen 必须在准确性、完整性、条理性上明显优于 rejected。人工构造 DPO 数据的成本比 SFT 数据高建议先用大模型生成 rejected 版本再人工写 chosen 版本。03 数据从哪来四条路径路径 1人工标注最可靠也最贵。适合任务明确、标注规则清晰的场景。优点质量最高、分布最可控缺点慢、贵、需要领域专家适合格式对齐类任务几百条就够了、需要精确标注的任务路径 2已有日志清洗从线上日志、客服记录、历史问答里提取。比如从客服系统里捞用户问了什么 客服怎么回的清洗后作为训练数据。优点数据真实、量大、成本低缺点质量参差不齐、需要大量清洗工作适合问答类任务、有历史数据积累的场景路径 3大模型蒸馏用强模型造数据用 GPT-4 / Claude 等强模型给它任务描述和示例让它批量生成训练数据。优点快、成本可控、能快速拿到一批数据验证方向缺点生成的数据可能有模式偏差“GPT 味”、需要人工抽检适合快速验证微调方向、补充数据量路径 4开源数据集改造HuggingFace 上有大量开源微调数据集找一个和你任务接近的改造后使用。优点免费、量大、社区验证过缺点和你的业务场景可能不完全匹配适合通用任务的冷启动、作为基础数据集补充我们的经验是大多数项目会组合使用多条路径——先用大模型蒸馏快速拿到一批数据验证方向再用人工标注补充高质量数据最后用日志清洗扩充量。04 大模型蒸馏造数据的最小流程如果你选择路径 3大模型蒸馏下面是最小可行流程Step 1设计 Prompt 模板给强模型GPT-4 / Claude一个任务描述 几个示例让它批量生成。你是一个训练数据生成器。请根据以下任务描述生成 10 条训练数据。任务将用户的自然语言问题转换为 SQL 查询。输入示例查一下昨天的订单量 → 输出示例SELECT COUNT(*) FROM orders WHERE dt 2024-01-06请生成 10 条不同难度的训练数据确保1. 输入问题多样化简单查询、多表 JOIN、聚合、子查询2. 输出 SQL 语法正确3. 覆盖不同的业务表和字段Step 2人工抽检关键步骤生成的数据不要直接用。随机抽 20% 做人工检查SQL 语法对不对逻辑和问题匹配吗有没有明显错误有没有重复或过于相似的条目Step 3规则过滤用脚本做自动化过滤去重完全重复 近似重复格式校验JSON 格式是否合法、必填字段是否为空长度过滤input 或 output 过长/过短的剔除敏感信息脱敏手机号、身份证号、邮箱等05 数据质量检查清单不管数据从哪来用这份清单过一遍□ 去重完全重复 近似重复编辑距离 5都剔除□ 格式校验每条数据都能被 JSON 解析、必填字段不为空□ 长度分布input/output 长度分布是否合理有没有异常长/异常短的□ 正负样本比例如果你的任务有正负样本比如分类比例是否均衡□ 敏感信息脱敏检查 output 里有没有泄露真实手机号/身份证/邮箱□ 训练集/评估集隔离确保评估集的数据没有出现在训练集里这条最容易被忽略06 数据量怎么估不同任务类型需要的数据量差异很大任务类型最少数据量推荐数据量说明格式对齐JSON/模板100-300 条300-500 条模式简单几百条就够学到格式风格迁移写作风格500-1000 条1000-3000 条需要更多样本来捕捉风格特征知识注入领域知识1000-3000 条3000-10000 条知识量大需要更多数据覆盖能力蒸馏小模型替代大模型5000-10000 条10000 条需要大量数据来压缩大模型的能力这些数字是经验区间不是精确阈值。在格式对齐类任务上我们用 300 条精标数据的效果超过了 3000 条粗标数据评估方法在 50 条留出测试集上对比格式正确率。关键判断先用少量数据几百条跑一轮微调看看效果趋势。如果效果有明显提升但不够说明方向对了增加数据量。如果效果没变化甚至变差说明问题不在数据量——先排查数据质量。07 什么任务靠造数据也救不了需要真实分布的场景如果你的任务依赖真实用户行为数据比如推荐系统、风控模型大模型蒸馏造的数据帮不上忙——造出来的数据没有真实的分布特征。需要时效性的场景如果你的知识经常变化比如金融、法律造数据的时刻知识就是旧的。这类场景更适合 RAG实时检索而不是微调静态知识。需要极高精度的场景医疗、法律、金融合规——这些领域容错率极低大模型蒸馏的数据可能有细微错误人工逐条审核的成本又太高。08 给读者一个能用来做决策的结论决策帮助如果你任务简单格式对齐先用大模型蒸馏造 300 条 人工抽检快速验证微调方向如果你任务复杂知识注入先用日志清洗 大模型蒸馏拿到 1000 条再用人工标注补充 500 条高质量数据如果你有历史日志优先从日志里提取真实数据的价值远高于造出来的数据如果你只能先做一步跑完数据质量检查清单再开始训练——这一步比调任何超参都重要学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】