【Bug已解决】cannot load mixedbread-ai model with optimization enabled 解决方案一、现象长什么样把 mixedbread-ai 的句向量模型如mixedbread-ai/mxbai-embed-large-v1导出成 ONNX开启图优化加载时直接失败反倒是关掉优化能加载。这和常见的“关优化才失败”正好相反import onnxruntime as ort so ort.SessionOptions() so.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL # 开优化 - 失败 sess ort.InferenceSession(mxbai-embed-large-v1.onnx, so, providers[CPUExecutionProvider]) # 抛错例如 # [ONNXRuntimeError] : 1 : FAIL : Node ... fusion produced invalid attribute combination而改成ORT_ENABLE_BASIC或ORT_DISABLE_ALL反而能加载。也就是说开优化反而加载不了关优化才救得了。这是“优化 pass 把图改坏了”的典型信号。下面所有分析都基于这个最小复现。二、背景mixedbread-ai 的 embedding 模型同样是 BERT 结构Embedding → Transformer 层 → 顶层 LN → 池化 → 归一化。导出 ONNX 后ORT 的图优化会对它做一系列融合MatMulAdd→FusedMatMul/GemmLayerNormalization/SimplifiedLayerNormalization→ 融合版带 fused 属性BiasGelu/FastGelu融合SkipSimplifiedLayerNormalization融合把残差 LN 合成一个算子常数折叠、节点洗牌等。问题在于这个模型在导出时某些算子的属性组合正好踩中了某条融合 pass 的盲区。融合 pass 拿到原图后生成了一个“看起来对、实则属性非法”的融合节点比如SkipSimplifiedLayerNormalization要求epsilon在某一范围、或要求bias形状与hidden_size严格一致而该模型导出时bias因为动态维度被标记成符号形状融合后属性对不上于是 session 构造阶段校验失败。关优化时这些融合 pass 根本不跑原图合法但未优化能被直接加载——所以“关优化反能加载”。三、根因根因是某条图优化融合 pass 对这个模型的特定属性组合处理出错生成了非法融合节点导致 session 构造校验失败融合产生非法属性比如SkipSimplifiedLayerNormalization融合把残差相加和 LN 合并但要求hidden_size是编译期常量该模型导出时hidden_size因动态 batch 被推断成符号维度如-1或seq*hidden融合后axis/hidden_size属性算错校验器拒收。fused op 不支持该变体融合出的FusedMatMul带了activationbias组合而该 CPU EP 的FusedMatMul内核不支持“activationBiasGelu 且 transBtrue”的变体于是报 “Unsupported fused kernel”。只影响开启优化时关优化ORT_DISABLE_ALL/ORT_ENABLE_BASIC跳过该融合时原图合法所以能加载。所以这不是模型算错而是优化器把一张合法图融合成了非法图属于 ORT 优化 pass 的 bug对某属性组合缺少防御。四、最小可运行复现下面用 Python 模拟“融合 pass 把合法属性改成非法属性”的退化逻辑不依赖真实模型但精准复现“开优化坏、关优化好”import onnxruntime as ort # 仅用于演示加载等级真正融合逻辑用模拟 def original_node(hidden_size): 原图节点hidden_size 可以是符号维度动态 batch 常见。 return {op: SimplifiedLayerNorm, hidden_size: hidden_size, valid: True} def fused_node(node): 有 bug 的融合 pass要求 hidden_size 是编译期常量符号值直接判非法。 hs node[hidden_size] if isinstance(hs, int) and hs 0: return {op: SkipSimplifiedLayerNorm, hidden_size: hs, valid: True} # 符号维度如 -1 / seq_x_hidden被融合后属性算错 - 非法 return {op: SkipSimplifiedLayerNorm, hidden_size: hs, valid: False} if __name__ __main__: # 动态 batch 导出时 hidden_size 变成符号值 orig original_node(hidden_size-1) # 原图合法 fused fused_node(orig) # 融合后非法 print(原图(开优化前):, orig) print(融合后(开优化):, fused) assert orig[valid] is True assert fused[valid] is False # 融合把合法图改坏了 print(复现开优化 - 融合产生非法节点 - 加载失败关优化 - 原图合法 - 加载成功)跑出来会断言失败预期内演示了“开优化反而坏”的机制融合 pass 对符号hidden_size处理出错。五、解决方案第一层最小直接修复最小修复禁用那一条出问题的融合 pass其余优化照常开而不是整个关掉优化。import onnxruntime as ort so ort.SessionOptions() so.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL # 禁用出问题的融合按 op 类型名禁用对应的图优化 pass so.add_session_config_entry(optimizer.enable, 1) # 关闭 SkipSimplifiedLayerNormalization / FusedMatMul 融合示例按实际报错定位 so.add_session_config_entry(optimizer.skip_fusion, SkipSimplifiedLayerNormalization;FusedMatMul) sess ort.InferenceSession(mxbai-embed-large-v1.onnx, so, providers[CPUExecutionProvider])如果 ORT 版本不支持按名跳过单个融合退而求其次用ORT_ENABLE_EXTENDED少跑一些激进融合或ORT_ENABLE_BASIC只做最基础优化避开那条有 bug 的融合同时保留大部分优化收益。这一层立刻让模型在“开优化”下也能加载。六、解决方案第二层结构性改进把“哪些融合对该模型安全”收口成唯一的配置对象OrtMixedbreadOptLoadPolicy加载逻辑读它from dataclasses import dataclass, field from typing import Tuple dataclass(frozenTrue) class OrtMixedbreadOptLoadPolicy: mixedbread 模型加载优化的单一事实来源。 # 基础优化必须开常数折叠等无害 base_optimization: str ORT_ENABLE_BASIC # 已知有问题的融合对该模型禁用 disabled_fusions: Tuple[str, ...] ( SkipSimplifiedLayerNormalization, FusedMatMul, ) # 是否允许 EXTENDED除禁用项外的激进融合 allow_extended: bool True # 动态维度策略导出时把 hidden_size 固定为常量避免符号维度触发融合 bug freeze_hidden_size: bool True # 出问题的属性用于上报上游 known_bad_attribute: str hidden_size(symbolic) def resolve_level(self) - str: return ORT_ENABLE_EXTENDED if self.allow_extended else ORT_ENABLE_BASIC def skip_list(self) - str: return ;.join(self.disabled_fusions) def describe(self) - str: return 禁用特定融合 固定 hidden_size避免优化把合法图改坏 POLICY OrtMixedbreadOptLoadPolicy() def build_session_options(policy: OrtMixedbreadOptLoadPolicy POLICY) - dict: return { level: policy.resolve_level(), skip_fusions: policy.skip_list(), freeze_hidden_size: policy.freeze_hidden_size, }所有加载逻辑读同一份POLICY哪条融合有问题就禁哪条不用一刀切关优化也不用手写散落的 config。七、解决方案第三层断言 / CI 守护把“开优化也能加载、融合被可控禁用”做成断言。下面用 pytest 风格守护import pytest def test_loads_with_optimization_enabled(policy): # 开优化EXTENDED 禁用问题融合应当能加载 assert policy.resolve_level() in (ORT_ENABLE_EXTENDED, ORT_ENABLE_ALL) assert SkipSimplifiedLayerNormalization in policy.disabled_fusions def test_not_fully_disabled(policy): # 不能为了避 bug 直接关掉所有优化 assert policy.resolve_level() ! ORT_DISABLE_ALL def test_hidden_size_frozen(policy): # 导出时固定 hidden_size从源头规避符号维度触发融合 bug assert policy.freeze_hidden_size is True def test_skip_list_well_formed(policy): skip policy.skip_list() assert ; in skip or len(policy.disabled_fusions) 1这四组断言锁住(1) 开优化EXTENDED下能加载、问题融合被禁(2) 不是一刀切关优化(3) hidden_size 固定(4) 跳过列表格式正确。CI 跑通即代表“开优化也能加载”被守护。八、排查清单遇到“开优化反而加载不了、关优化才行”看报错关键字是“fusion produced invalid attribute”还是“unsupported fused kernel” → 锁定是哪条融合。逐档降优化等级试ORT_ENABLE_ALL→EXTENDED→BASIC看哪档开始能加载定位问题融合档位。禁用特定融合用add_session_config_entry跳过那条融合其他优化保留。检查导出形态hidden_size等是否因动态维度变符号值触发融合属性算错导出时固定。上报上游把“模型 报错融合 属性组合”提到 ORT issue附known_bad_attribute。统一策略对象用OrtMixedbreadOptLoadPolicy固化禁用项。CI 守护断言开优化可加载、问题融合禁用、非全关。九、小结cannot load mixedbread-ai model with optimization enabled的根因是ONNX Runtime 的某条图优化融合 pass如SkipSimplifiedLayerNormalization/FusedMatMul对该模型导出时的特定属性组合典型是hidden_size因动态维度变成符号值处理出错把一张合法图融合成了属性非法的节点导致 session 构造校验失败——于是“开优化反而加载不了关优化才救得了”。最小修复是禁用那条问题融合add_session_config_entry跳过其余优化照开必要时导出时固定hidden_size结构性改进是用唯一的OrtMixedbreadOptLoadPolicy把禁用项固化CI 用四组断言守护“开优化可加载、问题融合禁用、非全关、hidden_size 固定”。记住开优化失败多是某条融合 pass 的盲区精准禁用一条融合远比整体关优化聪明。