v0.24.0 版本深度解析新引擎、新架构与大规模服务全家桶升级本次 v0.24.0 版本于 6 月 28 日发布距 v0.23.0 仅隔 16 天。作为史上最大规模的单版本更新之一包含 571 个提交、256 位贡献者本次更新集齐了新模型、新引擎、新架构与新硬件全面优化了跨硬件推理性能与大规模部署能力。一、核心新特性首发支持 MiniMax-M3本次更新补齐了上版本的缺口为MiniMax-M3模型提供了大量底层专项优化。企业用户可在可控成本下直接部署无需等待繁杂的官方适配方案。1.1 关键优化项一览BF16/FP8 indexer via MSA多模态检索加速大幅提升检索效率。MXFP4 支持引入新型低精度量化进一步压缩显存占用。FP8 sparse GQA支持稀疏化推理计算吞吐显著提升。AMD/ROCm 专项调优针对gfx950、MI300X等 AMD 显卡进行了深度优化。1.2 模型量化与加速对比针对不同精度和加速方案MiniMax-M3 带来的收益如下优化技术适用范围核心收益MXFP4极低显存场景显存占用大幅降低吞吐基本持平FP8 sparse GQA高并发推理场景降低推理延迟提升并发上限MSA Indexer多模态检索场景BF16/FP8 检索加速二、DeepSeek-V4 跨硬件精细化性能优化DeepSeek-V4架构已实现在 NVIDIA、AMD、Intel 三大 GPU 生态上的稳定运行。本次更新启用了 SM120 支持并全面补齐了 XPU 和 ROCm 路径。2.1 性能提升数据通过引入底层内核重构与显存分配优化端到端性能显著提升FlashInfer sparse index cache首字延迟TTFT降低2-4%。Prefill chunk-planning 优化端到端吞吐量提升4%。底层 Kernel 与显存优化Cluster-cooperative topK kernel低延迟优化。Contiguous per-block KV allocations减少显存碎片化。TEP16 for block-FP8全面提升 FP8 计算效率。Native DSA indexer decodeSM100 专属加速。三、新架构与执行引擎MRv2 与 Streaming Parser3.1 Model Runner V2 (MRv2) 全面铺开下一代模型执行引擎MRv2正式从“实验性”走向“默认引擎”。其覆盖了以下四大核心场景量化模型默认支持开箱即用。MoE 模型GraniteMoE默认启用Qwen与DeepSeek-V2完成无缝迁移。密集模型全面接管传统 LLM 执行逻辑。推测解码首次集成DFlash大幅加速生成。3.2 Streaming Parser Engine流式解析新架构统一了跨模型的 tool-call工具调用和 reasoning逻辑推理解析逻辑。支持模型Qwen3、MiniMax-M2、GLM-4.7/5.1/5.2、Nemotron V3。优势通过流式处理减少延迟解析更准确同时支持高级用户实现自定义可插拔解析逻辑。四、新范式落地Diffusion LLM 与底层算力提升4.1 全新模型范式Diffusion LLM首发支持DiffusionGemma打破了传统自回归AR模型的生成方式。核心机制通过并行去噪生成文本理论上可大幅加速推理。可控性强开发者现在可以在同一引擎内对比 AR 与 Diffusion 两种截然不同的生成范式。硬件兼容当前 CPU 路径已完全可用。4.2 内核与底层性能飞跃NVIDIA 内核针对 H100/B200 的 SM90 CUTLASS FP8 mm odd-M 加速达到180-290%Qwen3-Next-80B在 H100 上推理提升 25%。Stable ABI 迁移底层不再依赖特定 PyTorch 版本内部 API兼容性与独立性大幅增强。CPU 路径多线程 ASR语音识别预处理速度提升2.5 倍。五、量化与大规模分布式服务5.1 在线动态量化与低精度矩阵为了降低量化门槛本次更新引入了在线动态量化机制Online FP8 PTPC 量化支持推理时动态量化无需进行耗时的离线转换步骤精度损失极小。老架构普惠modelopt_mixed扩展至 SM89 (Ada)、SM80-86 (Ampere)、SM75 (Turing)。更低精度支持MiniMax-M3支持 MXFP4FlashInfer 新增 NVFP4 后端MXFP8 内核已就绪。5.2 分布式专家并行与 Rust 前端针对多节点集群部署进行了彻底的生产化改造DeepEP v2 集成专为DeepSeek架构设计大幅降低节点间通信开销支持灵活的专家分配。NIXL Expert Parallel全新跨节点方案支持动态批卸载有效降低多节点显存瓶颈。Rust 前端生产就绪原生支持 API-key 认证、CORS提供/pause、/abort_requests运行时控制及分词器端点无需再依赖 Nginx 等反向代理层。启动 Rust 前端服务示例# 启动带有 API-Key 认证和跨域支持的 Rust 前端./server--port8080\--enable-auth\--api-keyyour_secret_key\--enable-cors六、Breaking Changes升级注意事项本次大版本更新包含部分不兼容变更升级时请务必关注以下适配工作GPU 指派方式变更不再内部设置CUDA_VISIBLE_DEVICESROCm 同步弃用统一改用--device-ids。权重布局标准化FP8 weight layout 统一标准化为(K, N)如果有自行保存/加载权重的逻辑需调整代码。组件分离GGUF 量化相关功能已迁移至独立插件需额外通过pip install安装。编译环境要求CUDA Dockerfiles 升级至GCC 12且代码要求兼容C20标准。版本依赖更新代码示例注意 Transformers 必须升级至 v5# 安装最新版核心库与独立 GGUF 插件# Transformers v4 已被彻底弃用必须升级至 v5!pip install transformers5.0.0!pip install inference-engine-gguf-plugin注意本次更新正式弃用了 Transformers v4 支持并移除了ERNIE、Xverse、Dots1等 6 个老旧模型。如果在生产环境中使用了这些模型请勿直接升级。总结v0.24.0 是一次极具里程碑意义的「全家桶级」更新。从首发支持MiniMax-M3到底层 MRv2 引擎的默认化再到 Rust 前端的生产就绪这套引擎已经完全具备了企业级高并发、多硬件生态的调度能力。下一步建议单卡/单机开发者重点关注Online FP8 PTPC动态量化与老架构Ampere/Turing的加速支持。集群/企业级部署尽快测试 Rust 前端替代原有的 Nginx 代理层并评估 NIXL Expert Parallel 在多节点部署中的收益。升级前务必查阅 Breaking Changes修改环境变量与 Dockerfile尤其是 GCC 12 与 C20 的依赖。