导语Thinking Machines LabTML第二款模型 Inkling-Small 面世立刻引发行业讨论。核心看点极具冲击力总参 276B推理激活仅 12B激活算力大约只有旗舰 Inkling975B/41B 激活的 1/3。在代码调试、工具调用等智能体任务中小版本跑分实现反超。不少观点将其解读为稀疏 MoE 里程碑但跑分背后存在大量信息差。本文基于官方文档、第三实测数据厘清能力边界、技术取舍以及落地需要警惕的现实问题。一、项目背景明星团队光环之下人才流失风险持续存在TML 由前 OpenAI CTO Mira Murati 于 2025 年在旧金山创立初创团队聚集大批 OpenAI 资深研究员融资一度创下 AI 行业种子轮纪录20 亿美元融资、120 亿美元估值后续与英伟达达成算力战略合作锁定吉瓦级算力资源。但从 2026 年初开始团队持续动荡。联合创始人兼首任 CTO Barret Zoph 卸任Luke Metz、翁荔等多名核心成员先后回流 OpenAI。截至 Inkling-Small 发布六位联合创始人仅剩两人留守。短期模型交付能力尚可但核心研发骨干流失是市场对 TML 长期迭代能力最大的疑虑。二、架构与关键设计取舍Inkling-Small 为原生多模态 MoE 架构支持文本、图像、音频统一输入核心参数维度 数值总参数 276B推理激活参数 12B层数 42 层路由专家数 每层 256 个路由专家 2 个共享专家单 Token 激活专家数 6 个路由专家 2 个共享专家官方标称上下文长度 100 万 Token几项值得关注的工程选择无辅助损失 MoE 路由采用 sigmoid 路由器放弃主流 MoE 依赖的负载均衡辅助损失。优势是简化训练流程、降低算力开销代价是对初始化、数据分布更敏感需要精细调参规避路由倾斜。混合注意力与位置编码方案滑动窗口注意力与全局注意力按照 5:1 交错排布依靠窗口 KV 缓存降低长上下文显存开销同时没有选用当前普及的 RoPE改用相对位置嵌入目标提升超长序列外推稳定性。残差支路引入短卷积在 KV 投影之后增加短卷积层强化局部时序特征捕捉对代码、结构化文本理解形成增益。原生一体化多模态图像、音频不依赖外部预训练编码器。图像切分为固定尺寸 Patch音频转为 dMel 频谱图所有模态 embedding 并入同一 Transformer 主干联合训练。effort 参数可控推理强度开发者可在 0.2~0.99 区间调节思考深度简单任务降低算力消耗复杂数学、Agent 任务拉高参数延长思维链动态平衡成本与效果。三、性能辨析仅限局部场景的反超不存在全面碾压很多传播文案简化结论直接宣称小模型超越大模型实际评测分化非常明显。官方自测核心结果场景 Inkling-Small vs Inkling✅ 领先 SWE-bench 代码、GPQA 推理、Terminal-Bench 终端工具调用、带工具长文本推理、ARC 抽象推理❌ 落后 AIME 数学竞赛、音频多模态、FORTRESS 安全对抗测试第三方机构 Artificial Analysis 综合评测指标同样印证差距Inkling-Small 40 分Inkling 41 分。两套评测结论不冲突根源在于评测侧重不同官方基准偏向代码与纯逻辑推理第三方综合评测更加看重长文档检索、抗幻觉、安全边界。推理成本与部署门槛变化第三方 SGLang 实测 NVFP4 量化版本输出速度、首包延迟均优于大号 Inkling商用 API 单价约为 Inkling 的 1/3。有一点容易被忽略模型原生倾向生成更长思维链文本同等业务需求下 token 消耗量提升约 30%会抵消一部分单价优势。部署层面最大利好硬件门槛显著下降。Inkling 原版量化最低需要 600GB 显存而 Inkling-Small 依托 8 卡 B200 集群即可开展本地推理。⚠️ 重要限制市面上第三方托管 API 可用上下文仅 524k token远低于官方宣称 100 万 token。四、训练范式蒸馏 定向 RL搭建可复用模型流水线Inkling-Small 采用两段式训练路线第一步以旗舰 Inkling 作为教师模型执行 on-policy 在线蒸馏得到基础检查点第二步持续两周智能体编码强化学习定向优化代码调试、多步骤工具调用能力。同时团队重新优化多模态数据配比迭代整套预训练、对齐配方。从行业视角看单一模型亮眼具备偶然性能够稳定输出大小两套同源模型代表 TML 跑通一套标准化稀疏 MoE 研发流程。“大模型蒸馏小规模 MoE 智能体定向强化学习”也成为海外实验室重点跟进的技术路线。LMSYS 社区提出一个关键判断276B 总参搭配 12B 激活属于 MoE 强化学习甜点位。容量上拥有足够专家池承载多元知识激活参数量控制在较低水平不管 LoRA 微调还是全参数微调算力门槛处于中小企业可触达范围同时能够支撑复杂智能体强化学习不容易出现小规模稠密模型常见的对齐崩塌。五、产业链视角模型底座与聚合平台的合作可能性类似 OpenStarry 这类模型聚合 API 平台和 Inkling-Small 天然存在合作空间。两者分属产业链不同层级TML 提供底层模型能力聚合平台负责面向开发者分发一套密钥接入多款模型。目前 Together AI、OpenRouter 已上线该模型接口商业模式得到验证。以 OpenStarry 为例其作为国内聚合 API 平台已接入 40 种主流大模型涵盖 DeepSeek、智谱 GLM、月之暗面 Kimi、通义千问等系列兼容 OpenAI API 格式开发者修改 base_url 和 api_key 即可迁移现有代码。CSDN 上的《Codex CLI 接入 OpenStarry 指南》展示了开发者如何通过该平台调用国产模型替代 OpenAI 服务证明其生态正在形成。一旦后续完成接入开发者能够同时调用海外 MoE 底座与多款国产模型降低多模型对比、混合智能体开发成本。现阶段暂无官方合作公告属于高可行性潜在方向。六、选型必须正视的局限场景边界清晰优势集中在代码、通用推理、工具智能体纯数学、安全风控、音频多模态场景大号 Inkling 依旧更强不能盲目替换。上下文窗口宣传与商用版本割裂百万上下文仅完整本地权重可实现线上托管服务普遍减半超长文档业务务必提前实测。量化带来性能衰减无法忽视官方基准基于 BF16/NVFP4 高精度权重商用 API 大量使用 FP8 量化长上下文、复杂 Agent 任务性能衰减缺少充分横评业务上线前必须完成 A/B 验证。团队长期不确定性核心研究员持续流失后续架构迭代、安全对齐更新节奏存在变数。七、落地选型建议本地部署中小算力团队优先采用 NVFP4 量化 SGLang8 卡 B200 可作为基础硬件参考开启 DSpark 提升吞吐微调策略优先使用 LoRA 快速验证垂类效果验证通过后再评估全参数微调快速 POC 方案前期无需自建集群直接调用成熟服务商 API如 Together AI、OpenRouter完成场景验证性价比评估标准跳出单一基准分数重点观测单任务完成成本。在同类终端智能体任务达到同等效果时Inkling-Small 综合成本大约仅为 Inkling 的 1/5。结语Inkling-Small 最大价值不在于一份亮眼跑分而是验证一条可行路径依靠 MoE 架构优化、在线蒸馏、定向强化学习可以打破推理算力越高、能力必然越强的惯性思维。但稀疏模型效率红利有明确适用场景。对于开发者而言不必追逐热点跟风上线优先结合自身业务场景做实测远比单纯关注榜单更有实际意义。参考资料TML 官方博客《Introducing Inkling-Small》OrcaRouter 模型对比报告Together AI 模型卡片、Artificial Analysis 第三方评测CSDN《Codex CLI 接入 OpenStarry 指南》GitCodeOpenStarry 项目介绍 Inkling-Small 技术解读：276B 总参、仅 12B 激活，MoE 如何实现局部“四分之一反超“
导语Thinking Machines LabTML第二款模型 Inkling-Small 面世立刻引发行业讨论。核心看点极具冲击力总参 276B推理激活仅 12B激活算力大约只有旗舰 Inkling975B/41B 激活的 1/3。在代码调试、工具调用等智能体任务中小版本跑分实现反超。不少观点将其解读为稀疏 MoE 里程碑但跑分背后存在大量信息差。本文基于官方文档、第三实测数据厘清能力边界、技术取舍以及落地需要警惕的现实问题。一、项目背景明星团队光环之下人才流失风险持续存在TML 由前 OpenAI CTO Mira Murati 于 2025 年在旧金山创立初创团队聚集大批 OpenAI 资深研究员融资一度创下 AI 行业种子轮纪录20 亿美元融资、120 亿美元估值后续与英伟达达成算力战略合作锁定吉瓦级算力资源。但从 2026 年初开始团队持续动荡。联合创始人兼首任 CTO Barret Zoph 卸任Luke Metz、翁荔等多名核心成员先后回流 OpenAI。截至 Inkling-Small 发布六位联合创始人仅剩两人留守。短期模型交付能力尚可但核心研发骨干流失是市场对 TML 长期迭代能力最大的疑虑。二、架构与关键设计取舍Inkling-Small 为原生多模态 MoE 架构支持文本、图像、音频统一输入核心参数维度 数值总参数 276B推理激活参数 12B层数 42 层路由专家数 每层 256 个路由专家 2 个共享专家单 Token 激活专家数 6 个路由专家 2 个共享专家官方标称上下文长度 100 万 Token几项值得关注的工程选择无辅助损失 MoE 路由采用 sigmoid 路由器放弃主流 MoE 依赖的负载均衡辅助损失。优势是简化训练流程、降低算力开销代价是对初始化、数据分布更敏感需要精细调参规避路由倾斜。混合注意力与位置编码方案滑动窗口注意力与全局注意力按照 5:1 交错排布依靠窗口 KV 缓存降低长上下文显存开销同时没有选用当前普及的 RoPE改用相对位置嵌入目标提升超长序列外推稳定性。残差支路引入短卷积在 KV 投影之后增加短卷积层强化局部时序特征捕捉对代码、结构化文本理解形成增益。原生一体化多模态图像、音频不依赖外部预训练编码器。图像切分为固定尺寸 Patch音频转为 dMel 频谱图所有模态 embedding 并入同一 Transformer 主干联合训练。effort 参数可控推理强度开发者可在 0.2~0.99 区间调节思考深度简单任务降低算力消耗复杂数学、Agent 任务拉高参数延长思维链动态平衡成本与效果。三、性能辨析仅限局部场景的反超不存在全面碾压很多传播文案简化结论直接宣称小模型超越大模型实际评测分化非常明显。官方自测核心结果场景 Inkling-Small vs Inkling✅ 领先 SWE-bench 代码、GPQA 推理、Terminal-Bench 终端工具调用、带工具长文本推理、ARC 抽象推理❌ 落后 AIME 数学竞赛、音频多模态、FORTRESS 安全对抗测试第三方机构 Artificial Analysis 综合评测指标同样印证差距Inkling-Small 40 分Inkling 41 分。两套评测结论不冲突根源在于评测侧重不同官方基准偏向代码与纯逻辑推理第三方综合评测更加看重长文档检索、抗幻觉、安全边界。推理成本与部署门槛变化第三方 SGLang 实测 NVFP4 量化版本输出速度、首包延迟均优于大号 Inkling商用 API 单价约为 Inkling 的 1/3。有一点容易被忽略模型原生倾向生成更长思维链文本同等业务需求下 token 消耗量提升约 30%会抵消一部分单价优势。部署层面最大利好硬件门槛显著下降。Inkling 原版量化最低需要 600GB 显存而 Inkling-Small 依托 8 卡 B200 集群即可开展本地推理。⚠️ 重要限制市面上第三方托管 API 可用上下文仅 524k token远低于官方宣称 100 万 token。四、训练范式蒸馏 定向 RL搭建可复用模型流水线Inkling-Small 采用两段式训练路线第一步以旗舰 Inkling 作为教师模型执行 on-policy 在线蒸馏得到基础检查点第二步持续两周智能体编码强化学习定向优化代码调试、多步骤工具调用能力。同时团队重新优化多模态数据配比迭代整套预训练、对齐配方。从行业视角看单一模型亮眼具备偶然性能够稳定输出大小两套同源模型代表 TML 跑通一套标准化稀疏 MoE 研发流程。“大模型蒸馏小规模 MoE 智能体定向强化学习”也成为海外实验室重点跟进的技术路线。LMSYS 社区提出一个关键判断276B 总参搭配 12B 激活属于 MoE 强化学习甜点位。容量上拥有足够专家池承载多元知识激活参数量控制在较低水平不管 LoRA 微调还是全参数微调算力门槛处于中小企业可触达范围同时能够支撑复杂智能体强化学习不容易出现小规模稠密模型常见的对齐崩塌。五、产业链视角模型底座与聚合平台的合作可能性类似 OpenStarry 这类模型聚合 API 平台和 Inkling-Small 天然存在合作空间。两者分属产业链不同层级TML 提供底层模型能力聚合平台负责面向开发者分发一套密钥接入多款模型。目前 Together AI、OpenRouter 已上线该模型接口商业模式得到验证。以 OpenStarry 为例其作为国内聚合 API 平台已接入 40 种主流大模型涵盖 DeepSeek、智谱 GLM、月之暗面 Kimi、通义千问等系列兼容 OpenAI API 格式开发者修改 base_url 和 api_key 即可迁移现有代码。CSDN 上的《Codex CLI 接入 OpenStarry 指南》展示了开发者如何通过该平台调用国产模型替代 OpenAI 服务证明其生态正在形成。一旦后续完成接入开发者能够同时调用海外 MoE 底座与多款国产模型降低多模型对比、混合智能体开发成本。现阶段暂无官方合作公告属于高可行性潜在方向。六、选型必须正视的局限场景边界清晰优势集中在代码、通用推理、工具智能体纯数学、安全风控、音频多模态场景大号 Inkling 依旧更强不能盲目替换。上下文窗口宣传与商用版本割裂百万上下文仅完整本地权重可实现线上托管服务普遍减半超长文档业务务必提前实测。量化带来性能衰减无法忽视官方基准基于 BF16/NVFP4 高精度权重商用 API 大量使用 FP8 量化长上下文、复杂 Agent 任务性能衰减缺少充分横评业务上线前必须完成 A/B 验证。团队长期不确定性核心研究员持续流失后续架构迭代、安全对齐更新节奏存在变数。七、落地选型建议本地部署中小算力团队优先采用 NVFP4 量化 SGLang8 卡 B200 可作为基础硬件参考开启 DSpark 提升吞吐微调策略优先使用 LoRA 快速验证垂类效果验证通过后再评估全参数微调快速 POC 方案前期无需自建集群直接调用成熟服务商 API如 Together AI、OpenRouter完成场景验证性价比评估标准跳出单一基准分数重点观测单任务完成成本。在同类终端智能体任务达到同等效果时Inkling-Small 综合成本大约仅为 Inkling 的 1/5。结语Inkling-Small 最大价值不在于一份亮眼跑分而是验证一条可行路径依靠 MoE 架构优化、在线蒸馏、定向强化学习可以打破推理算力越高、能力必然越强的惯性思维。但稀疏模型效率红利有明确适用场景。对于开发者而言不必追逐热点跟风上线优先结合自身业务场景做实测远比单纯关注榜单更有实际意义。参考资料TML 官方博客《Introducing Inkling-Small》OrcaRouter 模型对比报告Together AI 模型卡片、Artificial Analysis 第三方评测CSDN《Codex CLI 接入 OpenStarry 指南》GitCodeOpenStarry 项目介绍