2024 年 3 月一篇名为《LlamaFactory: Unified Efficient Fine-Tuning of 100 Language Models》的论文登上 ACL同年 8 月另一篇《SWIFT: A Scalable lightWeight Infrastructure for Fine-Tuning》被 AAAI 2025 收录。两个来自中国团队的开源微调框架先后拿下顶会席位。到 2026 年年中LLaMA-Factory 的 GitHub 星标已越过 6 万、被 Amazon、NVIDIA、阿里云先后集成进产品线而 ms-swift 支持的模型数量突破 600 纯文本 400 多模态成为全世界模型覆盖最广的训练框架之一。微调fine-tuning这件事正从一小撮算法工程师的手工活变成选个框架、填几行配置、点个按钮的标准化流水线。但当可选项从一两个变成六七个新的问题出现了它们到底有什么不同我的场景该用哪个这篇文章把当下最主流的六个开源微调框架——LLaMA-Factory、ms-swift、Unsloth、Axolotl、TRL、TorchTune——放到一起讲清各自的定位、强项、短板最后给出一张对比表和按场景的选型建议。为什么选框架突然变成了一件要紧事先说清楚一个前提这六个框架绝大多数底层都站在同一批轮子上——Hugging Face 的 Transformers、PEFT参数高效微调、TRL强化学习对齐、bitsandbytes量化、DeepSpeed / FSDD分布式。也就是说它们做的事情本质相同把预训练好的大模型用你的数据再训练一遍让它更懂你的任务。既然底座相似差异就落在了三个维度上易用性是要写 Python 代码还是填 YAML还是点网页按钮新手 10 分钟能不能跑通第一个任务性能与资源同样一张显卡谁能塞下更大的模型、跑得更快、更省显存覆盖广度支持多少模型多模态、强化学习对齐RLHF / DPO / GRPO、超大规模分布式训练撑不撑得住2026 年的微调环境和两年前已经不同基座模型更强往往用更少的样本就能微调出好效果量化感知训练成熟到 4-bit 微调的模型几乎能和全精度掰手腕。这意味着能不能在一张消费级显卡上跑起来不再是奢望框架之间的体验差距反而被放大了。选对框架省下的是显卡钱和调试时间。下面逐个来看。LLaMA-Factory零代码 WebUI新手友好度天花板LLaMA-Factory全称 Large Language Model Factory由郑耀威GitHub IDhiyouga团队主导是目前零代码微调体验做得最完整的框架。它的招牌是内置的LLaMA Board——一个基于 Gradio 的网页界面选模型、传数据、调超参、点开始、看训练曲线全程不用写一行代码。对于不想碰命令行的用户这几乎是唯一选择。而对愿意用 CLI 的人它也把流程压缩到了三条命令# 训练、对话测试、导出合并llamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlllamafactory-cli chat examples/inference/qwen3_lora_sft.yamlllamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml能力盘点数据来自官方 README模型广度LLaMA、Qwen3 / Qwen3-VL、DeepSeek含 R1 / V3、GLM-4.5、Gemma 3、Mistral / Mixtral、Phi-4、GPT-OSS、InternVL 等 100 模型对前沿模型常做到Day-0 / Day-1跟进如 Qwen3、Gemma 3、Llama 4 首发日即可微调。训练方法增量预训练、多模态SFT、奖励建模、PPO、DPO、KTO、ORPO、SimPO 全流程覆盖。资源可伸缩16-bit 全参 / 冻结 / LoRA以及 2/3/4/5/6/8-bit QLoRA走 AQLM / AWQ / GPTQ / HQQ / EETQ。按官方给的显存估算2-bit QLoRA 下微调一个 7B 模型只要约 4-6GB 显存。先进算法与加速GaLore、BAdam、APOLLO、Muon、DoRA、LongLoRA、PiSSA、LoftQ加速侧集成了 FlashAttention-2、Unsloth、Liger Kernel、KTransformers官方博客演示用 2 张 4090 CPU 微调千亿级模型。部署与生态vLLM / SGLang 推理后端 OpenAI 风格 API监控支持 TensorBoard / Wandb / MLflow / SwanLab国内可从 ModelScope、Modelers Hub 下载Docker、昇腾 NPU、AMD ROCm 多后端齐全。2025 年 10 月还接入了 Megatron-core 训练后端。官方给出的一个基准相比 ChatGLM 的 P-TuningLLaMA-Factory 的 LoRA 训练速度快达 3.7 倍且在广告文案生成任务上 Rouge 分更高。短板超大规模多机多卡的成熟度不如 Axolotl单卡极致性能略逊 Unsloth官方文档仍标注 WIP持续完善中。但作为什么都能干、上手最快的通用型选手它是大多数团队起步的安全牌。ms-swift模型最多、多模态最全的国产对手如果说 LLaMA-Factory 是社区中立的通用工具那么 ms-swiftModelScope SWIFT就是阿里 ModelScope 社区的官方军火库也是 LLaMA-Factory 最直接的对标者。它的论文中稿 AAAI 2025定位是可扩展的轻量级微调基础设施。ms-swift 最硬的一张牌是覆盖广度支持训练 / 推理 / 评估 / 量化 / 部署一体化覆盖600 纯文本大模型 400 多模态大模型是目前模型数量最多的框架尤其在多模态MLLM上覆盖最全——它自称是第一个系统性支持多模态大模型训练的框架。关键能力全流程训练预训练、SFT、人类对齐DPO / GRPO / KTO / RM 等PEFT 与全参数训练都支持含 LoRA、LoRA、QLoRA、LLaMA-Pro、LongLoRA、NEFTune。Megatron-SWIFT引入 Megatron 并行技术加速超大模型与多模态训练Dense / MoE / 多模态都支持配套的 Mcore-Bridge 让训练完的模型能直接用 transformers / vLLM / SGLang 部署。这是它在大规模训练上比 LLaMA-Factory 更有底气的地方。推理与部署集成 vLLM、LMDeploy 加速量化支持 GPTQ / AWQ / BNB。生态绑定和通义千问深度绑定Qwen 官方训练文档直接把 ms-swift 列为推荐路径。短板零代码体验不如 LLaMA-Factory 的 LLaMA Board 傻瓜化更偏命令行 / 脚本生态相对绑定 ModelScope 与通义体系。但如果你要做多模态、要上 Megatron 大规模并行、或本来就在阿里云 / 通义体系里ms-swift 往往是更顺手的那一个。Unsloth单卡上的极致省显存与提速Unsloth 的哲学和前两者完全不同——它不追求什么都能干而是把一件事做到极致让 LoRA / QLoRA 微调尽可能快、尽可能省显存。它的做法很硬核手动推导反向传播步骤把 PyTorch 模块用 Triton 内核重写并优化 CUDA kernel。效果是官方与第三方测评反复提到的那组数字——相比标准 Hugging Face TRL 流程训练快 2-5 倍、显存降 60-80%让原本需要多卡的 70B 微调在单张 24GB 的 RTX 4090 上也成为可能。强项单卡场景性价比之王个人开发者、学生、显卡预算有限的团队首选对 Llama、Mistral、Gemma、Qwen 等主流模型优化到位还配套了对新手友好的 notebook 和干净的导出GGUF、Ollama、vLLM。短板主打单卡多卡 / 大规模分布式不是它的战场支持的模型家族比 LLaMA-Factory / ms-swift 窄深度依赖它自己优化过的模型实现冷门模型可能没覆盖。一句话显卡不够、想在一张卡上榨出最大产出先看 Unsloth。Axolotl多卡集群与完整 RLHF 的重装选手Axolotl 在英文社区里是团队 / 企业级多卡训练的常客。它用 YAML 配置驱动官方推荐配合 Docker主打的是多 GPU 集群 FSDP / DeepSpeed 完整 RLHF 流水线。强项多机多卡分布式训练成熟能干大规模全参微调和端到端的 RLHF多模态也已从实验走向主流原生支持 LLaMA-Vision、Qwen2-VL、Pixtral 等配置即代码适合可复现的生产流水线。短板上手门槛比 LLaMA-Factory 高官方文档里30 分钟跑通第一个任务是常态没有零代码 WebUI对纯新手不算友好。如果你的团队跑的是多卡集群、需要严肃的分布式训练和对齐流水线Axolotl 是英文生态里的默认答案之一。TRLHugging Face 官方底座很多框架站在它肩上TRLTransformer Reinforcement Learning是 Hugging Face 官方维护的强化学习 / 对齐训练库提供 SFT、DPO、PPO、GRPO 等训练器。严格说它更像是库而不是开箱即用的平台——上面提到的好几个框架底层的对齐训练能力都直接或间接依赖它。强项官方出品、与 Transformers / PEFT 生态无缝衔接更新最快、最贴合 Hugging Face 的最新特性想要最大灵活性、自己写训练脚本的研究者会喜欢它。短板抽象层级低要写代码、要懂细节不提供 WebUI也不像 LLaMA-Factory 那样把最佳实践配方打包好。它更适合知道自己在做什么的人。TorchTunePyTorch 血统的原生方案TorchTune 是 PyTorch 官方推出的原生后训练库主打用纯 PyTorch、少抽象的方式做微调。它的论文里明确把 Axolotl、Unsloth 作为对比对象强调自己在多种设置下兼顾性能与显存效率同时保持足够灵活以支持快速研究迭代。强项血统正、依赖干净、和 PyTorch 生态一致性最好代码可读性高适合想深入定制训练逻辑的研究团队。短板生态和模型覆盖不如 LLaMA-Factory / ms-swift 那么全家桶社区规模相对小零代码程度低。横向对比一览下面这张表把六个框架的关键差异拉平了看易用性指对新手的友好程度非贬义框架定位易用性模型覆盖多卡/大规模单卡省显存中文/国产生态LLaMA-Factory零代码通用平台★★★★★WebUI100前沿跟进快中已接 Megatron-core强含 Unsloth 加速强ms-swift全能力国产军火库★★★偏 CLI600 文本/400 多模态最全强Megatron-SWIFT中强绑通义/ModelScopeUnsloth单卡极致提速省显存★★★★notebook 友好主流家族为主较窄弱★★★★★中Axolotl多卡集群/RLHF 流水线★★YAMLDocker广★★★★★中中TRLHF 官方对齐库/底座★★写代码跟随 HF 生态中中中TorchTunePyTorch 原生后训练★★写代码中中高中高弱说明星级为相对定位的经验判断会随各框架版本迭代变化具体到你的模型和硬件请以官方最新文档与实测为准。按场景怎么选一张决策图与其记参数不如对号入座我是新手 / 想最快跑通第一个微调LLaMA-Factory打开 LLaMA Board 点点点即可。显卡就一张、预算有限、想在 4090 上微调大模型Unsloth省显存提速是它的看家本领。要做多模态图文/视频/音频或超大模型、上 Megatron 并行ms-swift 首选Axolotl 次之。团队有多卡集群、要严肃的分布式 完整 RLHF 流水线Axolotl。我是研究者、要最大灵活性、愿意自己写训练脚本TRL 或 TorchTune。本来就在阿里云 / 通义 / ModelScope 体系里ms-swift 最顺手要中立、要大厂集成背书AWS SageMaker、NVIDIA RTX AI Toolkit、阿里云 PAI 都支持LLaMA-Factory。一个务实的组合拳用 LLaMA-Factory 或 ms-swift 做主力平台覆盖全、上手快在单卡吃紧时切到 Unsloth 加速LLaMA-Factory 本身就集成了 Unsloth大规模训练再上 Axolotl / Megatron-SWIFT。它们不是互斥的敌人而是工具箱里的不同扳手。国产双雄的正面对比LLaMA-Factory vs ms-swift因为这两个是问得最多的组合单独拎出来对比模型数量与多模态ms-swift 明显更多600/400多模态与 Megatron 大规模并行是它的强项LLaMA-Factory 100 但前沿模型跟进极快。易用性LLaMA-Factory 的 LLaMA Board 零代码 WebUI 更傻瓜新手上手更快ms-swift 更偏脚本 / 命令行。生态绑定ms-swift 绑 ModelScope 通义和 Qwen 系深度协同LLaMA-Factory 更中立大厂集成面更广。大规模训练ms-swift 的 Megatron-SWIFT 更成熟LLaMA-Factory 2025 年 10 月才接入 Megatron-core还在追赶。结论不是谁碾压谁而是看你更看重什么要极致易用和广泛背书选 LLaMA-Factory要模型最全和多模态 / 大规模并行选 ms-swift。多数团队两个都装按项目切换。几个容易踩的坑模板template要对齐训练和推理必须用同一个 chat template否则效果会莫名其妙地崩。base 模型和 instruct 模型的模板也不一样。显存估算别只看模型参数优化器状态往往比权重本身还吃显存——一个 7B 模型 FP32 全参训练要约 84GB14GB 权重 14GB 梯度 56GB 优化器状态这也是 LoRA / QLoRA 存在的意义。量化不是免费午餐2-bit / 3-bit 能省显存但精度损失要实测不是位数越低越好。框架不解决数据问题微调效果的上限是数据质量。框架再好脏数据也救不回来。多领域一起微调还要小心跷跷板效应学了新领域、旧能力退化这是另一个专门的话题。小结微调框架的战国时代本质是把一件曾经很难的事拆成了不同的最优解要易用LLaMA-Factory 的零代码 WebUI 是天花板要全ms-swift 的 600 模型和多模态覆盖无出其右要省Unsloth 在单卡上把速度和显存榨到极致要大Axolotl 和 Megatron-SWIFT 扛得住多卡集群要灵活TRL 和 TorchTune 把方向盘交回你手里。没有最好的框架只有最适合你当前场景的框架。看清自己的三个坐标——易用性、资源、覆盖广度——答案自然浮现。而对国内团队来说一个值得高兴的事实是这场竞争里跑在最前面的两个LLaMA-Factory 与 ms-swift都来自中国团队。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】