最近在业务场景里做 Qwen3.5-4B 的指令微调第一次尝试踩了不少坑Loss 不降、模型乱答、显存直接打满、训练到一半进程被杀。这周重新换了数据清洗策略和 LoRA 参数调整了训练流程总算把效果拉起来了。这篇文章把第二次尝试的完整流程、代码、调参记录和配套排错方案整理出来不管你是第一次接触大模型微调还是已经试过一轮但效果不理想应该都能从中找到可复用的内容。1. 背景与核心概念1.1 为什么要微调 Qwen3.5-4BQwen3.5-4B 是一个 4B 参数规模的中文开源模型相比 7B、14B 甚至更大体量的模型它在单卡训练和推理上更友好尤其是在 24G 显存的家用卡或云主机上也能跑起来。但通用模型在特定领域里的表现往往不够精准比如让它回答企业内部知识库的问题、按照固定格式输出结构化内容、或者模仿某种客服语气基座模型通常只能给出“通用但不够准确”的答案。微调的目的就是让模型适配目标领域的分布。通过一批高质量、符合业务场景的“问题-答案”数据把模型的输出习惯拉向目标任务。这里要区分两个概念预训练和微调。预训练是从头学习语言规律成本极高微调是在已学好的语言能力基础上做“定向强化”成本低很多也是大多数团队落地大模型的主要方式。1.2 全参微调与 LoRA 微调的区别微调可以分成两大类全参微调Full Parameter Fine-Tuning和参数高效微调PEFTParameter-Efficient Fine-TuningLoRA 是 PEFT 中最常用的一种。全参微调会更新模型的所有参数效果上限通常更高但对显存和计算资源的要求也高很多。以 Qwen3.5-4B 为例仅仅把模型参数以 FP16 加载到显存就至少需要 4B × 2 字节 ≈ 8GB这还只是模型权重。优化器状态、梯度、中间激活值加起来实际训练显存可能是模型权重的 3 到 6 倍也就是 30GB 到 50GB。这也是为什么全参微调 4B 模型也需要多卡或大显存的原因。LoRA 的核心思路是冻结原始模型权重在 Transformer 的线性层旁边插入低秩矩阵。训练时只更新这些低秩参数原始权重保持不变。这样可以大幅减少需要更新的参数量和优化器状态占用。以 4B 模型为例如果只训练 LoRA 参数显存占用可能从 40GB 降到 12GB 到 20GB单张 24G 显卡就能跑起来。对比维度全参微调LoRA 微调训练参数量全部参数通常 0.1% ~ 1%显存要求高4B 模型约 30GB 以上较低4B 模型约 12GB ~ 20GB训练速度慢快效果上限高接近全参微调视数据量而定部署方式替换整个模型基座模型 LoRA 权重合并或动态加载适用场景数据量充足、算力充足、追求极致效果数据量中等、单卡训练、快速迭代第二次尝试我选择的是 LoRA 微调主要原因就是显存可控、迭代快而且对于垂直场景的数据规模几千到几万条LoRA 的效果已经非常接近全参微调。1.3 LoRA 微调的常见应用场景LoRA 微调在实际项目中覆盖的场景很广常见的有指令遵循优化让模型严格按照指定格式输出比如 JSON 结构、固定字段。垂直领域问答医疗、法律、金融、教育等领域的专业问答。风格迁移把答案改写成更口语化、更正式或更简洁。代码生成增强针对特定语言或框架的代码补全。小样本适配在少量业务数据基础上快速给模型“打补丁”。这篇文章的实操部分围绕指令微调Instruction Tuning展开也就是让模型学会“看到问题就按期望格式回答”的能力。2. 环境准备与版本说明2.1 硬件环境微调 Qwen3.5-4B 的最低推荐配置是单张 24G 显存的 GPU例如 NVIDIA RTX 3090、4090、A5000 或云上的 T4/A10 实例。如果显存只有 16G也能尝试但需要开启 4bit 量化和梯度检查点gradient checkpointing。我第二次尝试使用的环境如下GPUNVIDIA 4090 24G显存24GB系统Ubuntu 22.04 LTSPython3.10CUDA12.1PyTorch2.1.2这套组合在训练 Qwen3.5-4B LoRA 时batch size 可以开到 4 到 8具体取决于序列长度和 LoRA 维度。2.2 软件依赖核心依赖库包括transformers加载模型和 TokenizerpeftLoRA 配置与训练datasets数据处理accelerate分布式训练与混合精度bitsandbytes4bit/8bit 量化加载trlSFTTrainer 指令微调工具可选但推荐安装命令如下pip install torch2.1.2 --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft datasets accelerate bitsandbytes trl这里要提醒一点版本不要盲目追求最新。transformers 版本太新可能导致某些 API 变化比如TrainingArguments的参数名调整。建议在项目目录下维护一个requirements.txt把实际验证过的版本固定下来。2.3 模型下载与目录结构Qwen3.5-4B 可以从官方仓库或镜像站点下载。建议先把模型下载到本地目录再加载训练避免每次启动都从网络拉取。示例项目目录结构qwen-finetune/ ├── data/ │ └── train.jsonl ├── scripts/ │ ├── train_lora.py │ └── inference.py ├── models/ │ └── Qwen3.5-4B/ ├── output/ │ ├── lora_weights/ │ └── merged_model/ └── requirements.txt这样做的好处是数据、代码、模型权重、输出结果分层清晰后续调试和迁移都方便。3. 核心原理拆解LoRA 与训练策略3.1 LoRA 的数学原理LoRA 的关键想法很简单在预训练模型的线性层中权重矩阵 W 是固定的LoRA 在旁边增加两个低秩矩阵 A 和 B。前向计算变成y Wx BAx其中 A 的维度是 r × dB 的维度是 d × rr 远小于 d。训练时只更新 A 和 BW 保持冻结。这样做的好处是训练参数量大幅减少。显存占用降低。推理时可以合并回原始权重不增加推理延迟。实际使用时并不是所有层都加 LoRA而是选择 Attention 层的 q、k、v、o 投影以及 MLP 层的某些线性层。通过target_modules参数控制。3.2 关键超参数LoRA 训练中最重要的几个超参数参数作用建议初始值r低秩矩阵的秩影响模型表达能力和参数量8 ~ 64alpha缩放系数相当于 LoRA 权重的学习率缩放r 的 1 ~ 2 倍dropout防止过拟合0.05 ~ 0.1learning_rate学习率LoRA 通常比全参微调大一些1e-4 ~ 5e-4batch_size批大小4 ~ 8num_epochs训练轮数2 ~ 5max_seq_len最大序列长度512 ~ 2048第一次尝试时我把r设为 32alpha设为 64学习率设为 1e-5结果模型收敛非常慢。后来把学习率调到 2e-4效果明显改善。这说明 LoRA 训练中学习率的选择和全参微调差异很大不能照搬经验。3.3 全参训练与微调对显存要求的区别很多人关心“为什么我连一个 4B 模型都训练不起来”原因在于显存中不仅放模型权重还要放优化器状态、梯度和激活值。以 Qwen3.5-4B 全参微调为例粗略估算模型权重FP16约 8GB梯度约 8GBAdam 优化器状态权重、一阶动量、二阶动量各一份约 24GB激活值与 batch size 和序列长度直接相关低则几 GB高则几十 GB加总之后全参微调 4B 模型单卡 24G 几乎不够用更不要说 7B、13B 模型。而 LoRA 微调时模型权重以 FP16 或 4bit 加载。梯度只需要在 LoRA 参数上计算原始权重不产生梯度。优化器状态只保存 LoRA 参数可能只有几十 MB 到几百 MB。激活值仍然会占用显存但可以通过 gradient checkpointing 进一步降低。这就是 LoRA 微调能在单张消费级显卡上跑 4B 模型的核心原因。3.4 量化加载让显存更宽裕如果你的显卡显存只有 16G可以考虑用 bitsandbytes 把模型以 4bit 或 8bit 方式加载再叠加 LoRA。这种方式被称为 QLoRA。4bit 量化会把模型权重压缩到原来的四分之一模型显存占用从 8GB 降到 2GB 左右。虽然量化会带来少量精度损失但 LoRA 训练本身是低精度适配实际业务场景中效果损失往往可以接受。需要注意使用 4bit 量化后训练速度会略慢因为反量化过程需要额外的计算。如果显存充足还是建议优先使用 FP16 加载。4. 完整实战Qwen3.5-4B LoRA 微调流程4.1 准备训练数据微调效果的上限由数据质量决定。第一次尝试失败很大程度就是直接拿网上爬的原始数据喂给模型很多问答对格式混乱、答案残缺。第二次我重新整理了数据统一采用 JSONL 格式每行一个样本。指令微调数据的基本结构{ instruction: 请根据以下问题给出回答。, input: 什么是学习率, output: 学习率是控制模型参数更新步长的超参数学习率过大可能导致训练震荡过小则收敛缓慢。 }训练文件data/train.jsonl示例{instruction: 请用一句话解释什么是LoRA。, input: , output: LoRA是一种参数高效微调方法通过低秩矩阵更新模型权重。} {instruction: 翻译成英文今天天气很好。, input: , output: The weather is nice today.} {instruction: 请列举三个健康的饮食习惯。, input: , output: 1. 均衡摄入蔬菜水果2. 控制油盐用量3. 定时定量进餐。}这里要注意几个细节数据量不是越多越好但至少要覆盖目标场景的典型问题。如果让模型输出 JSON每条 sample 的 output 必须是合法的 JSON 字符串且格式一致。每条样本长度不要超过 max_seq_len否则会被截断导致答案不完整。4.2 编写 LoRA 训练脚本下面是基于transformerspefttrl的完整训练脚本保存为scripts/train_lora.py。# 文件路径scripts/train_lora.py import json import torch from datasets import Dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig ) from peft import ( LoraConfig, get_peft_model, prepare_model_for_kbit_training ) from trl import SFTTrainer # 模型路径根据实际下载位置修改 model_path ./models/Qwen3.5-4B # ---------- 1. 加载 Tokenizer ---------- tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue ) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # ---------- 2. 加载数据 ---------- def load_data(path): samples [] with open(path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue data json.loads(line) instruction data[instruction] input_text data.get(input, ) output data[output] if input_text: text f问题{instruction}\n补充材料{input_text}\n回答{output} else: text f问题{instruction}\n回答{output} samples.append({text: text}) return Dataset.from_list(samples) train_dataset load_data(data/train.jsonl) # ---------- 3. 量化配置24G 以下显存建议开启 ---------- bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_use_double_quantTrue, bnb_4bit_compute_dtypetorch.float16 ) # ---------- 4. 加载模型 ---------- model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ) # 准备 kbit 训练 model prepare_model_for_kbit_training(model) # ---------- 5. LoRA 配置 ---------- lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # ---------- 6. 训练参数 ---------- training_args TrainingArguments( output_dir./output/checkpoints, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs3, learning_rate2e-4, fp16True, logging_steps10, save_steps500, eval_strategyno, save_total_limit2, report_tonone, gradient_checkpointingTrue, optimpaged_adamw_8bit, ) # ---------- 7. SFT 训练器 ---------- trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasettrain_dataset, argstraining_args, max_seq_length1024, dataset_text_fieldtext, ) trainer.train() # ---------- 8. 保存 LoRA 权重 ---------- model.save_pretrained(./output/lora_weights) tokenizer.save_pretrained(./output/lora_weights) print(训练完成LoRA 权重已保存到 ./output/lora_weights)这段代码里需要注意的参数load_in_4bitTrue开启 4bit 量化如果显存足够可以改成False并用torch_dtypetorch.float16。target_modules必须根据模型实际模块名调整。Qwen 系列通常包含q_proj、k_proj、v_proj、o_proj等但不同版本命名可能有差异建议先打印模型结构确认。max_seq_length控制训练时序列的最大长度超过部分会被截断。这个值要结合数据分布设置不能太小否则长答案会被截断。4.3 运行训练在项目根目录执行python scripts/train_lora.py如果一切正常日志中会输出可训练参数量类似trainable params: 33,554,432 || all params: 4,021,723,136 || trainable%: 0.8345这说明实际训练的参数量只占全部参数的不到 1%。4.4 合并模型并推理训练完成后LoRA 权重保存在output/lora_weights。如果你希望得到一个完整的模型供后续部署可以把 LoRA 权重合并回基座模型。# 文件路径scripts/merge_model.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel base_model_path ./models/Qwen3.5-4B lora_path ./output/lora_weights merged_path ./output/merged_model tokenizer AutoTokenizer.from_pretrained(base_model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) model PeftModel.from_pretrained(model, lora_path) model model.merge_and_unload() model.save_pretrained(merged_path) tokenizer.save_pretrained(merged_path) print(f合并后的模型已保存到 {merged_path})合并后的模型可以直接用常规方式加载推理也可以部署到 vLLM、TGI 等推理框架中。4.5 推理验证写一个简单的推理脚本验证微调效果# 文件路径scripts/inference.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./output/merged_model tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) prompt 问题什么是LoRA\n回答 inputs tokenizer(prompt, return_tensorspt).to(cuda) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleTrue, temperature0.7, top_p0.9, ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(response)运行结果会打印微调后模型对“什么是LoRA”的回答。如果数据准备得好输出通常比基座模型更符合业务语境。5. 常见问题与排查思路第二次尝试过程中我仍然遇到了几个问题这里整理成表格方便大家对照排查。问题现象常见原因解决思路训练时 CUDA Out of Memory显存不足batch size 太大序列过长调小 batch size、开启梯度检查点、使用 4bit 量化Loss 不下降学习率太小、数据格式错误、tokenizer 截断导致 label 错位调大学习率到 1e-4 ~ 5e-4检查数据格式确认 max_seq_length训练很快但效果很差数据量过少或者 LoRA r 设置太小增加数据量尝试把 r 从 8 提升到 32 或 64训练 Loss 下降但推理输出乱码特殊 token 未正确设置或者推理时 prompt 格式与训练不一致检查 pad_token 和 eos_token保持推理 prompt 格式和训练一致加载模型报错本地模型文件不完整或 transformers 版本不匹配重新下载模型固定 transformers 版本LoRA 层没有生效target_modules 设置错误模型实际模块名不同打印模型结构确认线性层名称后再设置5.1 显存不足的排查顺序如果训练启动后直接报 CUDA OOM按以下顺序排查把per_device_train_batch_size改成 1。开启gradient_checkpointingTrue并用gradient_accumulation_steps补偿 batch size。开启 4bit 量化加载。把max_seq_length减小比如从 2048 降到 1024。检查是否有其他进程占用显存用nvidia-smi查看。5.2 训练不收敛的排查方式如果你发现 Loss 在 3 到 10 个 logging step 后基本不变先不要急着调超参数按下面顺序检查确认训练数据中“问题-答案”分隔符和统一格式是否一致。确认 tokenizer 的 pad_token 是否设置否则某些 API 会警告并可能影响掩码。确认 LoRA 参数已经生效训练日志里应显示 trainable params 数量。尝试把学习率调大到 5e-4观察 Loss 是否出现明显下降。5.3 推理效果不佳的优化方向训练完成但推理效果不理想可以从数据、参数、提示词三个方向优化数据方向补充更多边界案例修正答案格式不一致的问题。参数方向提高 LoRA rank增加训练轮数调整学习率。提示词方向推理时的 prompt 格式必须和训练数据完全一致这一点最容易忽略。6. 最佳实践与工程建议微调并不是“把数据塞进去跑一轮”就结束的事情工程上需要关注的点很多。这里整理几条对实际项目有帮助的建议。6.1 数据质量优先于数据量第一次尝试我用了 5 万条数据效果反而不如第二次精挑细选后的 8000 条。关键原因是大模型微调对数据质量极其敏感错误格式、重复样本、噪声答案会被模型“学进去”。建议在训练前做一轮数据清洗去重尤其是完全相同的指令。过滤答案过短或过长的样本。统一答案格式比如都要以句号结尾或者都必须输出 JSON。剔除答案中包含大量原文复制的样本。6.2 留出验证集虽然 LoRA 训练可以在小数据集上快速完成但最好还是从训练集中切出 5% 到 10% 作为验证集。验证集不参与训练用来观察模型是否过拟合。如果训练 Loss 持续下降但验证 Loss 上升说明过拟合了。这时可以增加 dropout、减少训练轮数、增加数据量。6.3 保持训练与推理格式一致模型在微调时学会的是“问题 分隔符 回答”的文本模式。如果推理时换了 prompt 格式例如把“问题”改成“请回答”模型可能输出不稳定。建议在项目里定义一个统一的 prompt 模板训练和推理共用同一个函数生成避免手工复制导致格式漂移。6.4 训练日志与实验记录微调过程中超参数组合很多r、alpha、lr、epochs 不同组合效果差异很大。建议每次实验都记录数据版本和样本数。超参数配置。训练 Loss 曲线。验证 Loss。几个固定测试问题的输出样例。这样后续调整时可以快速对比而不是凭感觉重复实验。6.5 模型保存与版本管理LoRA 权重文件通常只有几十到几百 MB非常适合用 Git LFS 或对象存储管理。建议不要每次都保存合并后的完整模型节省空间需要部署时再执行合并脚本。同时给每个模型版本打上标签例如qwen3.5-4b-lora-v2-data8000-r16-lr2e-4方便回溯。6.6 生产环境部署的注意点如果微调后的模型要上线服务还需要关注几个问题推理框架兼容性合并后的模型是否支持 vLLM 等框架需要提前验证。显存占用4B 模型 FP16 推理约 8GB加上 KV Cache建议至少 16G 显存。稳定性上线前用一批真实请求测试观察是否出现长回答截断、重复生成等问题。回滚方案保留基座模型权重如果微调后效果不达标可以随时回滚。7. 总结与后续规划第二次尝试相比第一次核心变化有三点第一数据做了清洗和格式统一样本量从 5 万降到 8000但质量明显提升第二LoRA 参数从 r32/lr1e-5 调整为 r16/lr2e-4第三训练与推理的 prompt 格式保持完全一致解决了第一次“训练时一个格式推理时另一个格式”的问题。目前微调后的模型在垂直问答、固定格式输出两个任务上已经达到业务可用水平。下一步准备继续做三件事扩展数据覆盖范围加入更多边界 case提升模型泛化能力。对比不同 rank 值对效果和显存的影响找到当前数据量下的最优配置。把 LoRA 权重合并后的模型接入 vLLM测试生产环境下的推理性能和稳定性。如果在阅读过程中遇到和本文类似的问题建议先检查数据格式和 prompt 一致性再动超参数。这两点解决了LoRA 微调 Qwen3.5-4B 的成功率会高很多。 Qwen3.5-4B LoRA微调实战：从数据清洗到显存优化全流程指南
最近在业务场景里做 Qwen3.5-4B 的指令微调第一次尝试踩了不少坑Loss 不降、模型乱答、显存直接打满、训练到一半进程被杀。这周重新换了数据清洗策略和 LoRA 参数调整了训练流程总算把效果拉起来了。这篇文章把第二次尝试的完整流程、代码、调参记录和配套排错方案整理出来不管你是第一次接触大模型微调还是已经试过一轮但效果不理想应该都能从中找到可复用的内容。1. 背景与核心概念1.1 为什么要微调 Qwen3.5-4BQwen3.5-4B 是一个 4B 参数规模的中文开源模型相比 7B、14B 甚至更大体量的模型它在单卡训练和推理上更友好尤其是在 24G 显存的家用卡或云主机上也能跑起来。但通用模型在特定领域里的表现往往不够精准比如让它回答企业内部知识库的问题、按照固定格式输出结构化内容、或者模仿某种客服语气基座模型通常只能给出“通用但不够准确”的答案。微调的目的就是让模型适配目标领域的分布。通过一批高质量、符合业务场景的“问题-答案”数据把模型的输出习惯拉向目标任务。这里要区分两个概念预训练和微调。预训练是从头学习语言规律成本极高微调是在已学好的语言能力基础上做“定向强化”成本低很多也是大多数团队落地大模型的主要方式。1.2 全参微调与 LoRA 微调的区别微调可以分成两大类全参微调Full Parameter Fine-Tuning和参数高效微调PEFTParameter-Efficient Fine-TuningLoRA 是 PEFT 中最常用的一种。全参微调会更新模型的所有参数效果上限通常更高但对显存和计算资源的要求也高很多。以 Qwen3.5-4B 为例仅仅把模型参数以 FP16 加载到显存就至少需要 4B × 2 字节 ≈ 8GB这还只是模型权重。优化器状态、梯度、中间激活值加起来实际训练显存可能是模型权重的 3 到 6 倍也就是 30GB 到 50GB。这也是为什么全参微调 4B 模型也需要多卡或大显存的原因。LoRA 的核心思路是冻结原始模型权重在 Transformer 的线性层旁边插入低秩矩阵。训练时只更新这些低秩参数原始权重保持不变。这样可以大幅减少需要更新的参数量和优化器状态占用。以 4B 模型为例如果只训练 LoRA 参数显存占用可能从 40GB 降到 12GB 到 20GB单张 24G 显卡就能跑起来。对比维度全参微调LoRA 微调训练参数量全部参数通常 0.1% ~ 1%显存要求高4B 模型约 30GB 以上较低4B 模型约 12GB ~ 20GB训练速度慢快效果上限高接近全参微调视数据量而定部署方式替换整个模型基座模型 LoRA 权重合并或动态加载适用场景数据量充足、算力充足、追求极致效果数据量中等、单卡训练、快速迭代第二次尝试我选择的是 LoRA 微调主要原因就是显存可控、迭代快而且对于垂直场景的数据规模几千到几万条LoRA 的效果已经非常接近全参微调。1.3 LoRA 微调的常见应用场景LoRA 微调在实际项目中覆盖的场景很广常见的有指令遵循优化让模型严格按照指定格式输出比如 JSON 结构、固定字段。垂直领域问答医疗、法律、金融、教育等领域的专业问答。风格迁移把答案改写成更口语化、更正式或更简洁。代码生成增强针对特定语言或框架的代码补全。小样本适配在少量业务数据基础上快速给模型“打补丁”。这篇文章的实操部分围绕指令微调Instruction Tuning展开也就是让模型学会“看到问题就按期望格式回答”的能力。2. 环境准备与版本说明2.1 硬件环境微调 Qwen3.5-4B 的最低推荐配置是单张 24G 显存的 GPU例如 NVIDIA RTX 3090、4090、A5000 或云上的 T4/A10 实例。如果显存只有 16G也能尝试但需要开启 4bit 量化和梯度检查点gradient checkpointing。我第二次尝试使用的环境如下GPUNVIDIA 4090 24G显存24GB系统Ubuntu 22.04 LTSPython3.10CUDA12.1PyTorch2.1.2这套组合在训练 Qwen3.5-4B LoRA 时batch size 可以开到 4 到 8具体取决于序列长度和 LoRA 维度。2.2 软件依赖核心依赖库包括transformers加载模型和 TokenizerpeftLoRA 配置与训练datasets数据处理accelerate分布式训练与混合精度bitsandbytes4bit/8bit 量化加载trlSFTTrainer 指令微调工具可选但推荐安装命令如下pip install torch2.1.2 --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft datasets accelerate bitsandbytes trl这里要提醒一点版本不要盲目追求最新。transformers 版本太新可能导致某些 API 变化比如TrainingArguments的参数名调整。建议在项目目录下维护一个requirements.txt把实际验证过的版本固定下来。2.3 模型下载与目录结构Qwen3.5-4B 可以从官方仓库或镜像站点下载。建议先把模型下载到本地目录再加载训练避免每次启动都从网络拉取。示例项目目录结构qwen-finetune/ ├── data/ │ └── train.jsonl ├── scripts/ │ ├── train_lora.py │ └── inference.py ├── models/ │ └── Qwen3.5-4B/ ├── output/ │ ├── lora_weights/ │ └── merged_model/ └── requirements.txt这样做的好处是数据、代码、模型权重、输出结果分层清晰后续调试和迁移都方便。3. 核心原理拆解LoRA 与训练策略3.1 LoRA 的数学原理LoRA 的关键想法很简单在预训练模型的线性层中权重矩阵 W 是固定的LoRA 在旁边增加两个低秩矩阵 A 和 B。前向计算变成y Wx BAx其中 A 的维度是 r × dB 的维度是 d × rr 远小于 d。训练时只更新 A 和 BW 保持冻结。这样做的好处是训练参数量大幅减少。显存占用降低。推理时可以合并回原始权重不增加推理延迟。实际使用时并不是所有层都加 LoRA而是选择 Attention 层的 q、k、v、o 投影以及 MLP 层的某些线性层。通过target_modules参数控制。3.2 关键超参数LoRA 训练中最重要的几个超参数参数作用建议初始值r低秩矩阵的秩影响模型表达能力和参数量8 ~ 64alpha缩放系数相当于 LoRA 权重的学习率缩放r 的 1 ~ 2 倍dropout防止过拟合0.05 ~ 0.1learning_rate学习率LoRA 通常比全参微调大一些1e-4 ~ 5e-4batch_size批大小4 ~ 8num_epochs训练轮数2 ~ 5max_seq_len最大序列长度512 ~ 2048第一次尝试时我把r设为 32alpha设为 64学习率设为 1e-5结果模型收敛非常慢。后来把学习率调到 2e-4效果明显改善。这说明 LoRA 训练中学习率的选择和全参微调差异很大不能照搬经验。3.3 全参训练与微调对显存要求的区别很多人关心“为什么我连一个 4B 模型都训练不起来”原因在于显存中不仅放模型权重还要放优化器状态、梯度和激活值。以 Qwen3.5-4B 全参微调为例粗略估算模型权重FP16约 8GB梯度约 8GBAdam 优化器状态权重、一阶动量、二阶动量各一份约 24GB激活值与 batch size 和序列长度直接相关低则几 GB高则几十 GB加总之后全参微调 4B 模型单卡 24G 几乎不够用更不要说 7B、13B 模型。而 LoRA 微调时模型权重以 FP16 或 4bit 加载。梯度只需要在 LoRA 参数上计算原始权重不产生梯度。优化器状态只保存 LoRA 参数可能只有几十 MB 到几百 MB。激活值仍然会占用显存但可以通过 gradient checkpointing 进一步降低。这就是 LoRA 微调能在单张消费级显卡上跑 4B 模型的核心原因。3.4 量化加载让显存更宽裕如果你的显卡显存只有 16G可以考虑用 bitsandbytes 把模型以 4bit 或 8bit 方式加载再叠加 LoRA。这种方式被称为 QLoRA。4bit 量化会把模型权重压缩到原来的四分之一模型显存占用从 8GB 降到 2GB 左右。虽然量化会带来少量精度损失但 LoRA 训练本身是低精度适配实际业务场景中效果损失往往可以接受。需要注意使用 4bit 量化后训练速度会略慢因为反量化过程需要额外的计算。如果显存充足还是建议优先使用 FP16 加载。4. 完整实战Qwen3.5-4B LoRA 微调流程4.1 准备训练数据微调效果的上限由数据质量决定。第一次尝试失败很大程度就是直接拿网上爬的原始数据喂给模型很多问答对格式混乱、答案残缺。第二次我重新整理了数据统一采用 JSONL 格式每行一个样本。指令微调数据的基本结构{ instruction: 请根据以下问题给出回答。, input: 什么是学习率, output: 学习率是控制模型参数更新步长的超参数学习率过大可能导致训练震荡过小则收敛缓慢。 }训练文件data/train.jsonl示例{instruction: 请用一句话解释什么是LoRA。, input: , output: LoRA是一种参数高效微调方法通过低秩矩阵更新模型权重。} {instruction: 翻译成英文今天天气很好。, input: , output: The weather is nice today.} {instruction: 请列举三个健康的饮食习惯。, input: , output: 1. 均衡摄入蔬菜水果2. 控制油盐用量3. 定时定量进餐。}这里要注意几个细节数据量不是越多越好但至少要覆盖目标场景的典型问题。如果让模型输出 JSON每条 sample 的 output 必须是合法的 JSON 字符串且格式一致。每条样本长度不要超过 max_seq_len否则会被截断导致答案不完整。4.2 编写 LoRA 训练脚本下面是基于transformerspefttrl的完整训练脚本保存为scripts/train_lora.py。# 文件路径scripts/train_lora.py import json import torch from datasets import Dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig ) from peft import ( LoraConfig, get_peft_model, prepare_model_for_kbit_training ) from trl import SFTTrainer # 模型路径根据实际下载位置修改 model_path ./models/Qwen3.5-4B # ---------- 1. 加载 Tokenizer ---------- tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue ) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # ---------- 2. 加载数据 ---------- def load_data(path): samples [] with open(path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue data json.loads(line) instruction data[instruction] input_text data.get(input, ) output data[output] if input_text: text f问题{instruction}\n补充材料{input_text}\n回答{output} else: text f问题{instruction}\n回答{output} samples.append({text: text}) return Dataset.from_list(samples) train_dataset load_data(data/train.jsonl) # ---------- 3. 量化配置24G 以下显存建议开启 ---------- bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_use_double_quantTrue, bnb_4bit_compute_dtypetorch.float16 ) # ---------- 4. 加载模型 ---------- model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue, torch_dtypetorch.float16 ) # 准备 kbit 训练 model prepare_model_for_kbit_training(model) # ---------- 5. LoRA 配置 ---------- lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # ---------- 6. 训练参数 ---------- training_args TrainingArguments( output_dir./output/checkpoints, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs3, learning_rate2e-4, fp16True, logging_steps10, save_steps500, eval_strategyno, save_total_limit2, report_tonone, gradient_checkpointingTrue, optimpaged_adamw_8bit, ) # ---------- 7. SFT 训练器 ---------- trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasettrain_dataset, argstraining_args, max_seq_length1024, dataset_text_fieldtext, ) trainer.train() # ---------- 8. 保存 LoRA 权重 ---------- model.save_pretrained(./output/lora_weights) tokenizer.save_pretrained(./output/lora_weights) print(训练完成LoRA 权重已保存到 ./output/lora_weights)这段代码里需要注意的参数load_in_4bitTrue开启 4bit 量化如果显存足够可以改成False并用torch_dtypetorch.float16。target_modules必须根据模型实际模块名调整。Qwen 系列通常包含q_proj、k_proj、v_proj、o_proj等但不同版本命名可能有差异建议先打印模型结构确认。max_seq_length控制训练时序列的最大长度超过部分会被截断。这个值要结合数据分布设置不能太小否则长答案会被截断。4.3 运行训练在项目根目录执行python scripts/train_lora.py如果一切正常日志中会输出可训练参数量类似trainable params: 33,554,432 || all params: 4,021,723,136 || trainable%: 0.8345这说明实际训练的参数量只占全部参数的不到 1%。4.4 合并模型并推理训练完成后LoRA 权重保存在output/lora_weights。如果你希望得到一个完整的模型供后续部署可以把 LoRA 权重合并回基座模型。# 文件路径scripts/merge_model.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel base_model_path ./models/Qwen3.5-4B lora_path ./output/lora_weights merged_path ./output/merged_model tokenizer AutoTokenizer.from_pretrained(base_model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) model PeftModel.from_pretrained(model, lora_path) model model.merge_and_unload() model.save_pretrained(merged_path) tokenizer.save_pretrained(merged_path) print(f合并后的模型已保存到 {merged_path})合并后的模型可以直接用常规方式加载推理也可以部署到 vLLM、TGI 等推理框架中。4.5 推理验证写一个简单的推理脚本验证微调效果# 文件路径scripts/inference.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./output/merged_model tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) prompt 问题什么是LoRA\n回答 inputs tokenizer(prompt, return_tensorspt).to(cuda) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleTrue, temperature0.7, top_p0.9, ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(response)运行结果会打印微调后模型对“什么是LoRA”的回答。如果数据准备得好输出通常比基座模型更符合业务语境。5. 常见问题与排查思路第二次尝试过程中我仍然遇到了几个问题这里整理成表格方便大家对照排查。问题现象常见原因解决思路训练时 CUDA Out of Memory显存不足batch size 太大序列过长调小 batch size、开启梯度检查点、使用 4bit 量化Loss 不下降学习率太小、数据格式错误、tokenizer 截断导致 label 错位调大学习率到 1e-4 ~ 5e-4检查数据格式确认 max_seq_length训练很快但效果很差数据量过少或者 LoRA r 设置太小增加数据量尝试把 r 从 8 提升到 32 或 64训练 Loss 下降但推理输出乱码特殊 token 未正确设置或者推理时 prompt 格式与训练不一致检查 pad_token 和 eos_token保持推理 prompt 格式和训练一致加载模型报错本地模型文件不完整或 transformers 版本不匹配重新下载模型固定 transformers 版本LoRA 层没有生效target_modules 设置错误模型实际模块名不同打印模型结构确认线性层名称后再设置5.1 显存不足的排查顺序如果训练启动后直接报 CUDA OOM按以下顺序排查把per_device_train_batch_size改成 1。开启gradient_checkpointingTrue并用gradient_accumulation_steps补偿 batch size。开启 4bit 量化加载。把max_seq_length减小比如从 2048 降到 1024。检查是否有其他进程占用显存用nvidia-smi查看。5.2 训练不收敛的排查方式如果你发现 Loss 在 3 到 10 个 logging step 后基本不变先不要急着调超参数按下面顺序检查确认训练数据中“问题-答案”分隔符和统一格式是否一致。确认 tokenizer 的 pad_token 是否设置否则某些 API 会警告并可能影响掩码。确认 LoRA 参数已经生效训练日志里应显示 trainable params 数量。尝试把学习率调大到 5e-4观察 Loss 是否出现明显下降。5.3 推理效果不佳的优化方向训练完成但推理效果不理想可以从数据、参数、提示词三个方向优化数据方向补充更多边界案例修正答案格式不一致的问题。参数方向提高 LoRA rank增加训练轮数调整学习率。提示词方向推理时的 prompt 格式必须和训练数据完全一致这一点最容易忽略。6. 最佳实践与工程建议微调并不是“把数据塞进去跑一轮”就结束的事情工程上需要关注的点很多。这里整理几条对实际项目有帮助的建议。6.1 数据质量优先于数据量第一次尝试我用了 5 万条数据效果反而不如第二次精挑细选后的 8000 条。关键原因是大模型微调对数据质量极其敏感错误格式、重复样本、噪声答案会被模型“学进去”。建议在训练前做一轮数据清洗去重尤其是完全相同的指令。过滤答案过短或过长的样本。统一答案格式比如都要以句号结尾或者都必须输出 JSON。剔除答案中包含大量原文复制的样本。6.2 留出验证集虽然 LoRA 训练可以在小数据集上快速完成但最好还是从训练集中切出 5% 到 10% 作为验证集。验证集不参与训练用来观察模型是否过拟合。如果训练 Loss 持续下降但验证 Loss 上升说明过拟合了。这时可以增加 dropout、减少训练轮数、增加数据量。6.3 保持训练与推理格式一致模型在微调时学会的是“问题 分隔符 回答”的文本模式。如果推理时换了 prompt 格式例如把“问题”改成“请回答”模型可能输出不稳定。建议在项目里定义一个统一的 prompt 模板训练和推理共用同一个函数生成避免手工复制导致格式漂移。6.4 训练日志与实验记录微调过程中超参数组合很多r、alpha、lr、epochs 不同组合效果差异很大。建议每次实验都记录数据版本和样本数。超参数配置。训练 Loss 曲线。验证 Loss。几个固定测试问题的输出样例。这样后续调整时可以快速对比而不是凭感觉重复实验。6.5 模型保存与版本管理LoRA 权重文件通常只有几十到几百 MB非常适合用 Git LFS 或对象存储管理。建议不要每次都保存合并后的完整模型节省空间需要部署时再执行合并脚本。同时给每个模型版本打上标签例如qwen3.5-4b-lora-v2-data8000-r16-lr2e-4方便回溯。6.6 生产环境部署的注意点如果微调后的模型要上线服务还需要关注几个问题推理框架兼容性合并后的模型是否支持 vLLM 等框架需要提前验证。显存占用4B 模型 FP16 推理约 8GB加上 KV Cache建议至少 16G 显存。稳定性上线前用一批真实请求测试观察是否出现长回答截断、重复生成等问题。回滚方案保留基座模型权重如果微调后效果不达标可以随时回滚。7. 总结与后续规划第二次尝试相比第一次核心变化有三点第一数据做了清洗和格式统一样本量从 5 万降到 8000但质量明显提升第二LoRA 参数从 r32/lr1e-5 调整为 r16/lr2e-4第三训练与推理的 prompt 格式保持完全一致解决了第一次“训练时一个格式推理时另一个格式”的问题。目前微调后的模型在垂直问答、固定格式输出两个任务上已经达到业务可用水平。下一步准备继续做三件事扩展数据覆盖范围加入更多边界 case提升模型泛化能力。对比不同 rank 值对效果和显存的影响找到当前数据量下的最优配置。把 LoRA 权重合并后的模型接入 vLLM测试生产环境下的推理性能和稳定性。如果在阅读过程中遇到和本文类似的问题建议先检查数据格式和 prompt 一致性再动超参数。这两点解决了LoRA 微调 Qwen3.5-4B 的成功率会高很多。