2024 年 3 月一篇名为《LlamaFactory: Unified Efficient Fine-Tuning of 100 Language Models》的论文登上 ACL同年 8 月另一篇《SWIFT: A Scalable lightWeight Infrastructure for Fine-Tuning》被 AAAI 2025 收录。两个来自中国团队的开源微调框架先后拿下顶会席位。到 2026 年年中LLaMA-Factory 的 GitHub 星标已越过 6 万、被 Amazon、NVIDIA、阿里云先后集成进产品线而 ms-swift 支持的模型数量突破 600 纯文本 400 多模态成为全世界模型覆盖最广的训练框架之一。微调fine-tuning这件事正从一小撮算法工程师的手工活变成选个框架、填几行配置、点个按钮的标准化流水线。但当可选项从一两个变成六七个新的问题出现了它们到底有什么不同我的场景该用哪个这篇文章把当下最主流的六个开源微调框架——LLaMA-Factory、ms-swift、Unsloth、Axolotl、TRL、TorchTune——放到一起讲清各自的定位、强项、短板最后给出一张对比表和按场景的选型建议。为什么选框架突然变成了一件要紧事先说清楚一个前提这六个框架绝大多数底层都站在同一批轮子上——Hugging Face 的 Transformers、PEFT参数高效微调、TRL强化学习对齐、bitsandbytes量化、DeepSpeed / FSDD分布式。也就是说它们做的事情本质相同把预训练好的大模型用你的数据再训练一遍让它更懂你的任务。既然底座相似差异就落在了三个维度上易用性是要写 Python 代码还是填 YAML还是点网页按钮新手 10 分钟能不能跑通第一个任务性能与资源同样一张显卡谁能塞下更大的模型、跑得更快、更省显存覆盖广度支持多少模型多模态、强化学习对齐RLHF / DPO / GRPO、超大规模分布式训练撑不撑得住2026 年的微调环境和两年前已经不同基座模型更强往往用更少的样本就能微调出好效果量化感知训练成熟到 4-bit 微调的模型几乎能和全精度掰手腕。这意味着能不能在一张消费级显卡上跑起来不再是奢望框架之间的体验差距反而被放大了。选对框架省下的是显卡钱和调试时间。下面逐个来看。LLaMA-Factory零代码 WebUI新手友好度天花板LLaMA-Factory全称 Large Language Model Factory由郑耀威GitHub IDhiyouga团队主导是目前零代码微调体验做得最完整的框架。它的招牌是内置的LLaMA Board——一个基于 Gradio 的网页界面选模型、传数据、调超参、点开始、看训练曲线全程不用写一行代码。对于不想碰命令行的用户这几乎是唯一选择。而对愿意用 CLI 的人它也把流程压缩到了三条命令# 训练、对话测试、导出合并llamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlllamafactory-cli chat examples/inference/qwen3_lora_sft.yamlllamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml能力盘点数据来自官方 README模型广度LLaMA、Qwen3 / Qwen3-VL、DeepSeek含 R1 / V3、GLM-4.5、Gemma 3、Mistral / Mixtral、Phi-4、GPT-OSS、InternVL 等 100 模型对前沿模型常做到Day-0 / Day-1跟进如 Qwen3、Gemma 3、Llama 4 首发日即可微调。训练方法增量预训练、多模态SFT、奖励建模、PPO、DPO、KTO、ORPO、SimPO 全流程覆盖。资源可伸缩16-bit 全参 / 冻结 / LoRA以及 2/3/4/5/6/8-bit QLoRA走 AQLM / AWQ / GPTQ / HQQ / EETQ。按官方给的显存估算2-bit QLoRA 下微调一个 7B 模型只要约 4-6GB 显存。先进算法与加速GaLore、BAdam、APOLLO、Muon、DoRA、LongLoRA、PiSSA、LoftQ加速侧集成了 FlashAttention-2、Unsloth、Liger Kernel、KTransformers官方博客演示用 2 张 4090 CPU 微调千亿级模型。部署与生态vLLM / SGLang 推理后端 OpenAI 风格 API监控支持 TensorBoard / Wandb / MLflow / SwanLab国内可从 ModelScope、Modelers Hub 下载Docker、昇腾 NPU、AMD ROCm 多后端齐全。2025 年 10 月还接入了 Megatron-core 训练后端。官方给出的一个基准相比 ChatGLM 的 P-TuningLLaMA-Factory 的 LoRA 训练速度快达 3.7 倍且在广告文案生成任务上 Rouge 分更高。短板超大规模多机多卡的成熟度不如 Axolotl单卡极致性能略逊 Unsloth官方文档仍标注 WIP持续完善中。但作为什么都能干、上手最快的通用型选手它是大多数团队起步的安全牌。ms-swift模型最多、多模态最全的国产对手如果说 LLaMA-Factory 是社区中立的通用工具那么 ms-swiftModelScope SWIFT就是阿里 ModelScope 社区的官方军火库也是 LLaMA-Factory 最直接的对标者。它的论文中稿 AAAI 2025定位是可扩展的轻量级微调基础设施。ms-swift 最硬的一张牌是覆盖广度支持训练 / 推理 / 评估 / 量化 / 部署一体化覆盖600 纯文本大模型 400 多模态大模型是目前模型数量最多的框架尤其在多模态MLLM上覆盖最全——它自称是第一个系统性支持多模态大模型训练的框架。关键能力全流程训练预训练、SFT、人类对齐DPO / GRPO / KTO / RM 等PEFT 与全参数训练都支持含 LoRA、LoRA、QLoRA、LLaMA-Pro、LongLoRA、NEFTune。Megatron-SWIFT引入 Megatron 并行技术加速超大模型与多模态训练Dense / MoE / 多模态都支持配套的 Mcore-Bridge 让训练完的模型能直接用 transformers / vLLM / SGLang 部署。这是它在大规模训练上比 LLaMA-Factory 更有底气的地方。推理与部署集成 vLLM、LMDeploy 加速量化支持 GPTQ / AWQ / BNB。生态绑定和通义千问深度绑定Qwen 官方训练文档直接把 ms-swift 列为推荐路径。短板零代码体验不如 LLaMA-Factory 的 LLaMA Board 傻瓜化更偏命令行 / 脚本生态相对绑定 ModelScope 与通义体系。但如果你要做多模态、要上 Megatron 大规模并行、或本来就在阿里云 / 通义体系里ms-swift 往往是更顺手的那一个。Unsloth单卡上的极致省显存与提速Unsloth 的哲学和前两者完全不同——它不追求什么都能干而是把一件事做到极致让 LoRA / QLoRA 微调尽可能快、尽可能省显存。它的做法很硬核手动推导反向传播步骤把 PyTorch 模块用 Triton 内核重写并优化 CUDA kernel。效果是官方与第三方测评反复提到的那组数字——相比标准 Hugging Face TRL 流程训练快 2-5 倍、显存降 60-80%让原本需要多卡的 70B 微调在单张 24GB 的 RTX 4090 上也成为可能。强项单卡场景性价比之王个人开发者、学生、显卡预算有限的团队首选对 Llama、Mistral、Gemma、Qwen 等主流模型优化到位还配套了对新手友好的 notebook 和干净的导出GGUF、Ollama、vLLM。短板主打单卡多卡 / 大规模分布式不是它的战场支持的模型家族比 LLaMA-Factory / ms-swift 窄深度依赖它自己优化过的模型实现冷门模型可能没覆盖。一句话显卡不够、想在一张卡上榨出最大产出先看 Unsloth。Axolotl多卡集群与完整 RLHF 的重装选手Axolotl 在英文社区里是团队 / 企业级多卡训练的常客。它用 YAML 配置驱动官方推荐配合 Docker主打的是多 GPU 集群 FSDP / DeepSpeed 完整 RLHF 流水线。强项多机多卡分布式训练成熟能干大规模全参微调和端到端的 RLHF多模态也已从实验走向主流原生支持 LLaMA-Vision、Qwen2-VL、Pixtral 等配置即代码适合可复现的生产流水线。短板上手门槛比 LLaMA-Factory 高官方文档里30 分钟跑通第一个任务是常态没有零代码 WebUI对纯新手不算友好。如果你的团队跑的是多卡集群、需要严肃的分布式训练和对齐流水线Axolotl 是英文生态里的默认答案之一。TRLHugging Face 官方底座很多框架站在它肩上TRLTransformer Reinforcement Learning是 Hugging Face 官方维护的强化学习 / 对齐训练库提供 SFT、DPO、PPO、GRPO 等训练器。严格说它更像是库而不是开箱即用的平台——上面提到的好几个框架底层的对齐训练能力都直接或间接依赖它。强项官方出品、与 Transformers / PEFT 生态无缝衔接更新最快、最贴合 Hugging Face 的最新特性想要最大灵活性、自己写训练脚本的研究者会喜欢它。短板抽象层级低要写代码、要懂细节不提供 WebUI也不像 LLaMA-Factory 那样把最佳实践配方打包好。它更适合知道自己在做什么的人。TorchTunePyTorch 血统的原生方案TorchTune 是 PyTorch 官方推出的原生后训练库主打用纯 PyTorch、少抽象的方式做微调。它的论文里明确把 Axolotl、Unsloth 作为对比对象强调自己在多种设置下兼顾性能与显存效率同时保持足够灵活以支持快速研究迭代。强项血统正、依赖干净、和 PyTorch 生态一致性最好代码可读性高适合想深入定制训练逻辑的研究团队。短板生态和模型覆盖不如 LLaMA-Factory / ms-swift 那么全家桶社区规模相对小零代码程度低。横向对比一览下面这张表把六个框架的关键差异拉平了看易用性指对新手的友好程度非贬义框架定位易用性模型覆盖多卡/大规模单卡省显存中文/国产生态LLaMA-Factory零代码通用平台★★★★★WebUI100前沿跟进快中已接 Megatron-core强含 Unsloth 加速强ms-swift全能力国产军火库★★★偏 CLI600 文本/400 多模态最全强Megatron-SWIFT中强绑通义/ModelScopeUnsloth单卡极致提速省显存★★★★notebook 友好主流家族为主较窄弱★★★★★中Axolotl多卡集群/RLHF 流水线★★YAMLDocker广★★★★★中中TRLHF 官方对齐库/底座★★写代码跟随 HF 生态中中中TorchTunePyTorch 原生后训练★★写代码中中高中高弱说明星级为相对定位的经验判断会随各框架版本迭代变化具体到你的模型和硬件请以官方最新文档与实测为准。按场景怎么选一张决策图与其记参数不如对号入座我是新手 / 想最快跑通第一个微调LLaMA-Factory打开 LLaMA Board 点点点即可。显卡就一张、预算有限、想在 4090 上微调大模型Unsloth省显存提速是它的看家本领。要做多模态图文/视频/音频或超大模型、上 Megatron 并行ms-swift 首选Axolotl 次之。团队有多卡集群、要严肃的分布式 完整 RLHF 流水线Axolotl。我是研究者、要最大灵活性、愿意自己写训练脚本TRL 或 TorchTune。本来就在阿里云 / 通义 / ModelScope 体系里ms-swift 最顺手要中立、要大厂集成背书AWS SageMaker、NVIDIA RTX AI Toolkit、阿里云 PAI 都支持LLaMA-Factory。一个务实的组合拳用 LLaMA-Factory 或 ms-swift 做主力平台覆盖全、上手快在单卡吃紧时切到 Unsloth 加速LLaMA-Factory 本身就集成了 Unsloth大规模训练再上 Axolotl / Megatron-SWIFT。它们不是互斥的敌人而是工具箱里的不同扳手。国产双雄的正面对比LLaMA-Factory vs ms-swift因为这两个是问得最多的组合单独拎出来对比模型数量与多模态ms-swift 明显更多600/400多模态与 Megatron 大规模并行是它的强项LLaMA-Factory 100 但前沿模型跟进极快。易用性LLaMA-Factory 的 LLaMA Board 零代码 WebUI 更傻瓜新手上手更快ms-swift 更偏脚本 / 命令行。生态绑定ms-swift 绑 ModelScope 通义和 Qwen 系深度协同LLaMA-Factory 更中立大厂集成面更广。大规模训练ms-swift 的 Megatron-SWIFT 更成熟LLaMA-Factory 2025 年 10 月才接入 Megatron-core还在追赶。结论不是谁碾压谁而是看你更看重什么要极致易用和广泛背书选 LLaMA-Factory要模型最全和多模态 / 大规模并行选 ms-swift。多数团队两个都装按项目切换。几个容易踩的坑模板template要对齐训练和推理必须用同一个 chat template否则效果会莫名其妙地崩。base 模型和 instruct 模型的模板也不一样。显存估算别只看模型参数优化器状态往往比权重本身还吃显存——一个 7B 模型 FP32 全参训练要约 84GB14GB 权重 14GB 梯度 56GB 优化器状态这也是 LoRA / QLoRA 存在的意义。量化不是免费午餐2-bit / 3-bit 能省显存但精度损失要实测不是位数越低越好。框架不解决数据问题微调效果的上限是数据质量。框架再好脏数据也救不回来。多领域一起微调还要小心跷跷板效应学了新领域、旧能力退化这是另一个专门的话题。有技术底子的人正站在AI大模型开发的黄金入口先问自己一个问题你写了这么多年代码薪资是不是已经很久没动了面试的时候“会Spring Boot”“会Vue”会MySQL已经变成了基本操作没有人在乎了。大家都会的东西就不值钱了。但另一边有人在疯狂涨薪拉勾、BOSS直聘上“AI应用开发”“大模型开发”Agent开发的岗位数量在过去一年翻了3倍薪资中位数比同级别后端开发高出 40%-60%。不是因为他们比你聪明而是因为他们踩对了赛道。你可能觉得我又不是搞算法的大模型跟我有什么关系这就是最大的误区。AI大模型应用开发 ≠ 训练大模型说清楚一点训练大模型的是那几家大厂但用大模型做应用的是千千万万的普通企业和团队。而这些团队需要的不是PhD而是——能用大模型API搭出可用产品的应用开发者能设计Agent工作流、调用工具链的Agent工程师能把RAG、Function Calling、多轮对话落地到真实业务的AI全栈这些活儿有编程基础的你完全能干。你需要补的不是算法基础而是AI开发的技术栈和工程思维。Agent开发为什么是程序员最好的切入点因为Agent开发本质上就是用自然语言编程——而这恰恰需要你已有的工程能力你有代码功底 → 理解Function Calling、工具调用、API集成比零基础快10倍你有系统设计经验 → 设计多Agent协作架构、状态管理、错误处理逻辑一脉相承你懂工程化 → 部署、监控、性能优化这些AI项目同样需要你理解数据 → RAG系统的数据清洗、向量检索、效果调优你的DB经验直接复用说白了你已有的能力是资产不是沉没成本。差的只是AI这一层的认知和工具链。学完之后你值多少钱转型 从传统后端/前端转AI应用开发打开薪资天花板跳槽议价权拉满升职 在现有团队主导AI项目落地从写代码的变成定方向的独立 用Agent开发能力做SaaS产品、接AI外包项目技术变现多一条腿不可替代 当AI能写CRUD了你是那个用AI写代码的人而不是被AI替代的人这不是危言耸听。GitHub Copilot已经能写出70%的CRUD代码了纯执行层面的程序员价值在快速缩水。但能用AI构建AI应用的人目前严重不够用。这门课会教你什么面向有编程基础的开发者从AI大模型应用开发的工程实践出发✅ 大模型API调用与Prompt工程实战✅ RAG系统搭建从数据处理到向量检索全流程✅ Agent开发Function Calling、工具链、多步推理✅ 多Agent协作与工作流编排✅ 真实项目落地从需求到部署的完整工程链路不讲虚的全是能直接用在项目里的东西。 AI大模型应用开发课程有编程基础这就是你的下一个赛道“程序员最大的风险不是技术过时而是用旧技术赚新钱的心态。”你可能还在想再等等看——但AI这个赛道窗口期就这么长。等大模型开发变成标配技能的时候你就不是先行者了而是追赶者。你有技术底子这是你最大的优势。别浪费它。