一、基础阶段预训练用海量无标注文本让模型自学语言、常识、逻辑产出基础基座模型是第一步打底训练。基座模型只完成预训练、没经过指令优化的原始大模型只会续写文字听不懂人类提问。训练广义完整打造可用大模型的全过程包含预训练、SFT、RLHF 所有阶段。微调不在空白模型从头学基于已训练好的基座小幅更新参数成本远低于预训练。二、监督微调SFTSFT监督微调拿人工标注好的「指令 - 标准答案」数据集训练教会模型听懂问题、规范回答。LORA 低秩微调主流轻量化微调方案冻结主干模型只训练少量小参数节省显卡显存。过拟合模型死记训练数据遇到新问题就答不好微调会控制轮数避免该问题。三、RLHF人类反馈强化学习RLHF人类反馈强化学习在 SFT 之后靠人类打分优化回答质量、修正价值观、减少胡说。RM 奖励模型人工给多条回答优劣排序后训练出的打分模型自动评判回答好坏。PPORLHF 里核心强化学习算法依据奖励模型RM分数 迭代优化主模型。KL 散度损失PPO 训练的约束惩罚项衡量新模型和原始基座输出差异防止模型学歪、丢失原有知识。四、训练通用概念损失模型预测和标准答案的差距差距越大损失越高训练目标就是降低损失。交叉熵损失预训练、SFT 阶段使用用来衡量文字预测准确度。Prompt 模板固定格式封装用户问题让模型分清提问和回答边界。