多模态模型Multimodal Model已经广泛落地到图像理解、视频检索、内容审核等业务场景中。但当我们需要弄清“模型内部究竟学到了什么”“两个模型之间到底差在哪里”“如何在不重新训练的情况下定向修改模型行为”时传统做法往往只能停留在外部评测和注意力热力图层面。本文围绕Multimodal Model Diffing多模态模型对比展开重点讲解如何通过表征差异分析实现Feature Discovery特征发现与Control行为控制。我会从核心概念讲起给出可运行的代码示例与排查思路帮你理解这一方法的适用边界和工程落地方式。适合以下读者阅读正在做多模态模型可解释性研究、需要对模型进行行为诊断与纠偏的算法工程师以及想深入了解模型内部机制但被复杂论文劝退的入门开发者。1. 背景与核心概念1.1 什么是 Multimodal Model DiffingMultimodal Model Diffing 并不是一个官方标准库或固定框架而是一类方法的统称通过比较两个多模态模型在相同输入下的内部激活状态找出它们表征空间中的显著差异方向再把这些差异方向映射为可解释的特征从而发现某一模型独有的视觉/语言能力或偏见。简单来说它解决的是一个非常实际的问题我们有两个模型一个表现更好一个表现略差我们希望知道“更好的模型到底哪里更好”我们希望把这种差异用人类能理解的方式表达出来更进一步我们希望利用这些差异特征去控制模型行为。在传统单模型分析中我们通常只能看到某一层的注意力权重或梯度但这些信息不足以解释模型间差异。Multimodal Model Diffing 的思路是不直接观察模型内部权重而是观察模型对同一输入产生的表征差representation difference并在这个差值空间中寻找有语义的方向。1.2 Feature Discovery 与控制目标Feature Discovery 的目标是定位“语义特征方向”。在神经网络的激活空间中某些方向可能对应特定的视觉属性例如“猫的耳朵”“蓝色天空”某些方向可能对应特定的语言概念例如“否定语气”“时间顺序”。当我们对两个模型做 diffing 时实际要做的是固定输入样本集合提取两个模型在同一层的激活向量计算激活差向量在差向量构成的空间中发现稳定的、可解释的方向。这些方向一旦被发现就可以反过来用于 Control通过在推理时向激活向量添加或减去某个方向的控制向量使模型输出发生预期的倾向变化例如让图像描述模型更倾向于描述颜色或者让视觉问答模型减少对背景信息的依赖。这种思路与经典的控制向量Control Vector方法一脉相承但 Multimodal Model Diffing 的独特之处在于控制方向来自“两个模型的差异”而不是手工设计或监督训练。1.3 与迁移学习、对抗样本的区别这里需要澄清一个容易混淆的点Multimodal Model Diffing不是迁移学习中的微调对比。迁移学习对比关注的是“在新任务上的性能差异”。Model Diffing 关注的是“在表征空间中的结构差异”。它也不等同于对抗样本攻击。对抗样本是在输入层面添加噪声而 Model Diffing 是在内部表征层面做分析更接近可解释性研究中的“探针”probing思想。一个常见的误区是认为 diffing 必须使用两个结构完全相同的模型。实际上即使两个模型结构不同我们也可以选择结构相似的子模块例如视觉编码器的最后一层进行对齐比较。2. 环境准备与版本说明在动手编写代码之前我先说明实验环境的整体思路。由于 Multimodal Model Diffing 更多是一种研究方法社区还没有形成统一的工具包因此下面以“手动实现核心逻辑”为主依赖尽量精简。2.1 运行环境本文示例基于以下环境但版本不需要完全一致操作系统Ubuntu 20.04 / macOS 12 Python3.9 或 3.10 PyTorch2.0 或以上 NumPy1.24 或以上 transformers4.30 或以上 scikit-learn1.2 或以上如果你的机器没有 GPU也可以用小规模模型完成概念验证只是速度会慢一些。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。2.2 示例项目结构我们计划用一个简单的项目来演示 diffing 的完整流程。项目结构如下multimodal_diffing/ ├── data/ │ └── sample_inputs.txt ├── models/ │ ├── model_a.py │ └── model_b.py ├── diffing/ │ ├── activation_extractor.py │ ├── diff_analyzer.py │ └── control.py ├── scripts/ │ ├── run_diffing.py │ └── run_control.py └── requirements.txt考虑到多模态模型在实际加载时比较重本文的核心代码主要围绕“激活提取、差异分析、控制向量合成”三个模块来写你可以直接替换成自己的模型。2.3 安装依赖创建虚拟环境并安装依赖python -m venv venv source venv/bin/activate pip install torch transformers numpy scikit-learn如果你需要处理图像输入还需要安装 Pillowpip install pillow3. 核心原理拆解从激活差异到特征发现3.1 代理匹配让两个模型产生可比较的激活要对两个模型做 diffing首先必须保证它们的激活向量在语义上是对齐的。这里有一个隐藏难点不同模型的特征维度通常不同而且即使维度相同也可能因为初始化不同导致向量方向不一致。社区常用的做法是“代理匹配”proxy matching选择一组固定的输入样本将样本分别输入两个模型提取某一层的激活向量使用线性变换或简单拼接把两个激活向量映射到同一维度空间。在代码层面最简单的做法是提取两个模型的激活向量后统一降维到同一长度再计算差值。3.2 激活差异的提取方式假设模型 A 在某层对输入 x 的激活向量为 a模型 B 的激活向量为 b那么差异向量可以简单定义为d a - b但在实际中直接使用原始激活向量计算差值往往效果不好原因在于激活向量内部不同维度存在尺度差异。更常见的做法是对激活向量做 L2 归一化再计算逐元素差值对差值向量做 PCA 或矩阵分解得到少数几个主方向。这些主方向就是所谓的“特征方向”。3.3 用线性探针判定特征方向的语义仅仅得到方向还不够我们还需要验证某个方向是否真的对应某个语义特征。通常使用线性探针linear probe来做验证准备一组带有标签的样本将激活向量投影到某个方向 d 上得到标量分数训练一个逻辑回归分类器判断该分数是否能预测样本标签如果预测准确率显著高于随机猜测说明方向 d 确实编码了对应的语义特征。这也是 Multimodal Model Diffing 能够实现 Feature Discovery 的核心证据链。4. 完整实战案例用 Diffing 发现图像描述模型的语言差异为了让思路更直观我们用两个简单的图像描述模型来演示 diffing 流程。这里不加载真正的大模型而是用模拟激活向量的方式展示核心逻辑保证代码可以本地运行。4.1 定义激活提取器激活提取器的职责是从模型中取出指定层的输出。真实项目中你需要根据使用的框架HuggingFace、timm 等获取隐藏层状态。这里我们建立一个抽象基类# 文件路径diffing/activation_extractor.py import numpy as np from abc import ABC, abstractmethod class ActivationExtractor(ABC): 从多模态模型中提取指定层的激活向量。 def __init__(self, layer_name: str): self.layer_name layer_name abstractmethod def extract(self, inputs): 输入可以是文本、图像或两者的组合返回激活向量矩阵。 pass class MockActivationExtractor(ActivationExtractor): 模拟激活提取器。 真实场景中应替换为实际模型例如 CLIP 的 text encoder 输出。 这里随机生成激活向量仅用于演示 diffing 流程。 def __init__(self, layer_name: str, dim: int 512, seed: int 0): super().__init__(layer_name) self.dim dim self.seed seed self._rng np.random.default_rng(seed) def extract(self, inputs): n len(inputs) return self._rng.normal(size(n, self.dim))可以看到核心设计是不管底层模型是什么上层 diffing 逻辑只依赖激活矩阵。这样我们在实际项目中替换模型时只需要实现一个新的extract方法。4.2 实现差异方向发现差异分析器负责读入两组激活矩阵计算差异向量并用 PCA 提取主方向。# 文件路径diffing/diff_analyzer.py import numpy as np from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score class DiffAnalyzer: 差异分析器 1. 归一化激活向量 2. 计算两组激活的差异矩阵 3. 用 PCA 提取显著差异方向 4. 用线性探针评估方向的可解释性。 def __init__(self, n_components: int 10): self.n_components n_components self.pca PCA(n_componentsn_components) self.directions None def _normalize(self, activations: np.ndarray) - np.ndarray: norms np.linalg.norm(activations, axis1, keepdimsTrue) norms[norms 0] 1.0 return activations / norms def fit_directions( self, activations_a: np.ndarray, activations_b: np.ndarray ) - np.ndarray: 根据两组激活矩阵计算差异方向。 norm_a self._normalize(activations_a) norm_b self._normalize(activations_b) diff norm_a - norm_b self.pca.fit(diff) self.directions self.pca.components_ return self.directions def project(self, activations: np.ndarray) - np.ndarray: 把激活向量投影到差异方向上得到一组标量分数。 if self.directions is None: raise ValueError(请先调用 fit_directions 计算差异方向。) norm self._normalize(activations) return np.dot(norm, self.directions.T) def evaluate_direction( self, activations: np.ndarray, labels: np.ndarray, direction_index: int 0, ) - float: 用逻辑回归评估某个方向是否携带语义标签信息。 返回交叉验证准确率。 scores self.project(activations)[:, direction_index].reshape(-1, 1) clf LogisticRegression(max_iter1000) cv_scores cross_val_score(clf, scores, labels, cv3, scoringaccuracy) return float(np.mean(cv_scores))这段代码有几点需要说明归一化放在计算差异之前目的是消除激活向量整体尺度带来的干扰PCA 不直接作用于原始激活向量而是作用于差异矩阵确保我们提取的是“模型 A 有而模型 B 没有”的方向线性探针评估使用的是“投影到一个方向后的一维分数”而不是完整向量这能更直接地证明该方向与标签的关联性。4.3 实现控制向量合成得到差异方向后我们可以把它当作控制向量Control Vector来使用。控制的基本思路是新激活 原始激活 强度 * 控制方向。# 文件路径diffing/control.py import numpy as np class ControlVectorApplier: 控制向量应用器。 将差异方向作为控制向量对激活向量进行干预。 def __init__(self, direction: np.ndarray, strength: float 1.0): self.direction direction / np.linalg.norm(direction) self.strength strength def apply(self, activations: np.ndarray) - np.ndarray: 沿控制方向调整激活向量。 return activations self.strength * self.direction def create_control_from_diff( activations_a: np.ndarray, activations_b: np.ndarray, component_index: int 0, strength: float 1.0, ): 从两个模型的激活差异中直接生成控制向量。 注意这里使用 PCA 后的差异主方向作为控制方向。 from diffing.diff_analyzer import DiffAnalyzer analyzer DiffAnalyzer(n_componentscomponent_index 1) directions analyzer.fit_directions(activations_a, activations_b) control_direction directions[component_index] return ControlVectorApplier(control_direction, strength)在真实的多模态模型中使用控制向量时你通常需要在推理时修改模型中间的激活值。这可以通过 Hook 机制完成后面会说明。4.4 运行完整 diffing 流程现在我们写一个脚本把整体流程串起来。# 文件路径scripts/run_diffing.py import numpy as np from diffing.activation_extractor import MockActivationExtractor from diffing.diff_analyzer import DiffAnalyzer def main(): # 1. 准备一批输入样本 sample_inputs [ a photo of a cat on the sofa, a dog playing in the park, a red car parked on the street, a bowl of fruit on the table, children running on the beach, ] * 10 # 复制多份模拟更大数据集 # 2. 提取两个模型的激活 extractor_a MockActivationExtractor( layer_nametext_encoder_last_hidden, dim512, seed42, ) extractor_b MockActivationExtractor( layer_nametext_encoder_last_hidden, dim512, seed99, ) activations_a extractor_a.extract(sample_inputs) activations_b extractor_b.extract(sample_inputs) print(激活形状:, activations_a.shape, activations_b.shape) # 3. 计算差异方向 analyzer DiffAnalyzer(n_components5) directions analyzer.fit_directions(activations_a, activations_b) print(差异方向形状:, directions.shape) # 4. 用模拟标签评估第一个方向的可解释性 labels np.array( [0 if i % 2 0 else 1 for i in range(len(sample_inputs))] ) acc analyzer.evaluate_direction( activations_a, labels, direction_index0 ) print(方向 0 的线性探针准确率:, round(acc, 4)) # 5. 生成控制向量并应用 control_applier create_control_from_diff( activations_a, activations_b, component_index0, strength2.0, ) changed_activations control_applier.apply(activations_a) print(干预后激活形状:, changed_activations.shape) if __name__ __main__: main()由于我们使用的是模拟激活向量线性探针准确率会接近 0.5随机水平。这里只展示流程真实模型上的效果取决于数据质量和模型差异程度。4.5 在真实多模态模型中获取激活真实项目中你可能使用 CLIP、BLIP 或 LLaVA 等多模态模型。这里给出一个 CLIP 文本编码器的激活提取示例思路便于你替换# 文件路径models/clip_activation.py import torch from transformers import CLIPProcessor, CLIPModel class CLIPTextExtractor: def __init__(self, model_name: str openai/clip-vit-base-patch32): self.model CLIPModel.from_pretrained(model_name) self.processor CLIPProcessor.from_pretrained(model_name) self.model.eval() def extract_text_embeddings(self, texts: list[str]) - torch.Tensor: inputs self.processor( texttexts, return_tensorspt, paddingTrue, truncationTrue ) with torch.no_grad(): outputs self.model.get_text_features(**inputs) return outputs代码说明get_text_features返回的是文本编码器最后一层的池化向量适合直接用于 diffing如果你想提取中间层需要使用 Hook 挂到text_model.encoder.layers的某一层输出上不同模型接口差异较大建议查阅你所用模型的官方文档。5. 特征控制实战让模型输出更偏向某种风格或内容5.1 推理时干预的原理当我们找到差异方向后控制模型行为最直接的方式是在推理时对激活向量做调整。对于基于 Transformer 的多模态模型常见做法是找到目标层例如 cross-attention 之后的 feed-forward 输出注册 forward hook在 hook 中把控制向量加到激活值上让模型继续前向传播最终输出改变。这种做法的好处是不需要微调任何参数不会污染模型权重可以随时切换不同的控制方向。5.2 用 PyTorch Hook 实现激活干预以下代码展示如何在模型推理时注入控制向量# 文件路径diffing/hook_control.py import torch class ActivationSteeringHook: 通过 PyTorch hook 在推理时干预激活值。 使用方法 hook ActivationSteeringHook(control_direction, strength) handle model.some_layer.register_forward_hook(hook) # 模型推理 handle.remove() def __init__( self, control_direction: torch.Tensor, strength: float 1.0, layer_norm: bool True, ): self.control_direction control_direction self.strength strength self.layer_norm layer_norm def __call__(self, module, input_tensor, output_tensor): 干预输出激活。 注意这里只处理最后一维与 control_direction 维度一致的情况。 if isinstance(output_tensor, tuple): hidden output_tensor[0] else: hidden output_tensor direction self.control_direction.to(hidden.device).to(hidden.dtype) if self.layer_norm: hidden_norm torch.norm(hidden, dim-1, keepdimTrue) hidden_norm hidden_norm.clamp(min1e-6) hidden hidden / hidden_norm hidden hidden self.strength * direction if isinstance(output_tensor, tuple): return (hidden,) output_tensor[1:] return hidden使用示例# 文件路径scripts/run_control.py import torch from diffing.hook_control import ActivationSteeringHook # 假设 control_direction 是从 DiffAnalyzer 中得到的 torch 张量 control_direction torch.randn(512) steering_hook ActivationSteeringHook( control_directioncontrol_direction, strength3.0, layer_normTrue, ) # 以 transformers 模型为例 # from transformers import AutoModelForCausalLM # model AutoModelForCausalLM.from_pretrained(your-model) # # target_layer model.transformer.h[-1] # 以 GPT 类模型为例 # handle target_layer.register_forward_hook(steering_hook) # # with torch.no_grad(): # output model.generate(...) # # handle.remove()需要特别强调的是控制方向必须与你干预的层激活维度一致。如果你提取差异方向时使用的是最后一层激活那么干预时也应该干预最后一层。5.3 控制强度与可解释性的权衡控制强度strength是一个非常关键的参数。strength 过小模型行为几乎没有变化strength 过大模型输出可能崩溃出现重复、无关或矛盾内容推荐的做法是在验证集上扫描多个强度值观察模型输出的稳定性指标如困惑度、生成长度和风格指标的变化选择拐点处的强度。在实际项目中可以从 1.0 开始按 0.5 步长上下调整找到能明显改变输出风格但不破坏语义的临界值。6. 常见问题与排查思路Multimodal Model Diffing 属于比较前沿的方法在实践过程中容易遇到以下问题。我整理了一份问题排查表问题现象常见原因解决思路差异方向不能通过线性探针验证两个模型差异太小或输入样本覆盖不足增加样本数量选择差异更大的模型层PCA 方向不稳定换样本后方向变化大样本数量太少激活存在噪声增加样本多次运行并取方向余弦相似度的中位数控制向量干预后模型输出崩溃控制强度过大或方向与层不匹配调低 strength检查干预层是否正确两个模型激活维度不同无法直接相减模型结构不同最后一层维度不一致提取中间层并统一降维或使用平均池化对齐线性探针准确率很高但方向语义不明确方向携带了模型偏置信息而非语义概念对标签做混淆矩阵分析检查正负样本构成提取激活时显存不足批次太大或模型太大减小 batch size使用半精度推理6.1 差异不明显时怎么办如果你发现两个模型的差异方向在探针任务上表现很弱先不要怀疑方法本身。请按以下顺序排查确认两个模型确实在行为上存在差异。如果两个模型在评测集上表现几乎一致它们的内部表征可能也高度相似此时 diffing 很难找到有意义的特征方向换一层提取激活。通常低层编码通用视觉/语言特征高层编码任务相关特征。差异最明显的位置往往不是最后一层增加输入样本的多样性。如果样本太单一差异方向只会反映特定输入上的差异泛化性差。6.2 控制方向对应的语义难以描述特征方向本身是一个高维向量即使通过线性探针验证了与某个标签相关我们也很难用一个名词完全概括它。社区常用的做法是找一批在该方向上投影分数最高的样本观察它们之间的共同点找投影分数最低的样本观察它们的共同点把两个集合做对比人工归纳出方向语义。在报告中建议同时列出 top 样本和 bottom 样本避免“强行解释”某个方向。7. 最佳实践与工程建议7.1 激活提取阶段的工程规范在多模态模型中提取激活是 diffing 流程中最容易出问题的环节。建议做到以下几点固定随机种子模型加载、数据采样都要设置 seed保证多次实验可复现使用统一的预处理管线文本 tokenizer、图像 resize、归一化参数必须一致记录层名和维度不同版本的模型层名可能变化建议把层名写在配置文件中使用半精度推理多模态模型参数量大可以用torch.float16降低显存占用但要注意激活数值范围是否稳定。import torch torch.manual_seed(42) torch.cuda.manual_seed_all(42)7.2 数据集的构建原则Feature Discovery 的质量高度依赖输入样本集。推荐使用“成对样本”策略同一组输入分别送入两个模型保证差异只来自模型本身而不是输入分布不同。样本数量方面建议不少于 200 条。对于多模态任务要平衡文本模态和图像模态的多样性。如果条件允许可以准备多个领域的数据集分别做 diffing再汇总方向。7.3 控制向量使用时的安全边界控制向量可以直接改变模型行为因此在实际业务中需要谨慎只在测试环境验证控制方向不要直接上线未经验证的控制向量对控制强度设置上限避免模型生成不可控内容记录控制方向对应的数据来源方便回溯如果模型用于生产环境建议对干预后的输出增加人工审核或自动规则过滤。7.4 结果的可视化与文档化研究性质的工作需要把结果沉淀下来。建议每次实验记录以下内容两个模型的名称、版本、权重来源提取层名称和激活维度样本集描述和数量PCA 主方向的可解释性评估指标控制向量在不同 strength 下的输出样例。把这些信息整理成表格或 JSON 文件方便后续对比和复现。{ experiment_id: diffing_clip_vit_b32_vs_b16, model_a: openai/clip-vit-base-patch32, model_b: openai/clip-vit-base-patch16, layer: text_encoder_last_hidden, num_samples: 500, probe_accuracy: 0.82, control_strength: 2.0, notes: 方向 0 与‘颜色描述’高度相关 }7.5 与最新研究趋势结合Multimodal Model Diffing 的方法论仍在快速演进。目前在论文中可以看到几个明显的趋势不再只对比最后一层特征而是逐层分析差异传播路径从单一的线性探针扩展到非线性探针和可解释字典方向把 diffing 与控制方法结合用于大模型的安全对齐和去偏。如果你未来想深入研究建议按以下路线学习线性探针与表征分析基础稀疏编码与字典学习中的特征方向发现控制向量在 Transformer 生成模型中的应用多模态对齐空间的可视化工具。8. 总结本文围绕 Multimodal Model Diffing 展开了完整讲解从核心概念出发解释了 Feature Discovery 与 Control 的基本逻辑给出了激活提取、差异方向发现、线性探针验证、控制向量应用的完整代码示例最后补充了常见问题和工程建议。对于刚接触这一方向的读者我建议先用自己的模型跑通一个最小实验准备两组输入提取同一层激活计算差异方向看看是否能找到有语义的主方向。这一步一旦走通后续无论是做模型诊断、行为控制还是更深入的可解释性研究都会顺畅很多。如果本文对你有帮助可以收藏备用。如果你在实践 Multimodal Model Diffing 时踩到了坑也欢迎在评论区描述具体现象我会根据大家的反馈继续补充案例和排查思路。 多模态模型Diffing：表征差异分析与特征控制实战
多模态模型Multimodal Model已经广泛落地到图像理解、视频检索、内容审核等业务场景中。但当我们需要弄清“模型内部究竟学到了什么”“两个模型之间到底差在哪里”“如何在不重新训练的情况下定向修改模型行为”时传统做法往往只能停留在外部评测和注意力热力图层面。本文围绕Multimodal Model Diffing多模态模型对比展开重点讲解如何通过表征差异分析实现Feature Discovery特征发现与Control行为控制。我会从核心概念讲起给出可运行的代码示例与排查思路帮你理解这一方法的适用边界和工程落地方式。适合以下读者阅读正在做多模态模型可解释性研究、需要对模型进行行为诊断与纠偏的算法工程师以及想深入了解模型内部机制但被复杂论文劝退的入门开发者。1. 背景与核心概念1.1 什么是 Multimodal Model DiffingMultimodal Model Diffing 并不是一个官方标准库或固定框架而是一类方法的统称通过比较两个多模态模型在相同输入下的内部激活状态找出它们表征空间中的显著差异方向再把这些差异方向映射为可解释的特征从而发现某一模型独有的视觉/语言能力或偏见。简单来说它解决的是一个非常实际的问题我们有两个模型一个表现更好一个表现略差我们希望知道“更好的模型到底哪里更好”我们希望把这种差异用人类能理解的方式表达出来更进一步我们希望利用这些差异特征去控制模型行为。在传统单模型分析中我们通常只能看到某一层的注意力权重或梯度但这些信息不足以解释模型间差异。Multimodal Model Diffing 的思路是不直接观察模型内部权重而是观察模型对同一输入产生的表征差representation difference并在这个差值空间中寻找有语义的方向。1.2 Feature Discovery 与控制目标Feature Discovery 的目标是定位“语义特征方向”。在神经网络的激活空间中某些方向可能对应特定的视觉属性例如“猫的耳朵”“蓝色天空”某些方向可能对应特定的语言概念例如“否定语气”“时间顺序”。当我们对两个模型做 diffing 时实际要做的是固定输入样本集合提取两个模型在同一层的激活向量计算激活差向量在差向量构成的空间中发现稳定的、可解释的方向。这些方向一旦被发现就可以反过来用于 Control通过在推理时向激活向量添加或减去某个方向的控制向量使模型输出发生预期的倾向变化例如让图像描述模型更倾向于描述颜色或者让视觉问答模型减少对背景信息的依赖。这种思路与经典的控制向量Control Vector方法一脉相承但 Multimodal Model Diffing 的独特之处在于控制方向来自“两个模型的差异”而不是手工设计或监督训练。1.3 与迁移学习、对抗样本的区别这里需要澄清一个容易混淆的点Multimodal Model Diffing不是迁移学习中的微调对比。迁移学习对比关注的是“在新任务上的性能差异”。Model Diffing 关注的是“在表征空间中的结构差异”。它也不等同于对抗样本攻击。对抗样本是在输入层面添加噪声而 Model Diffing 是在内部表征层面做分析更接近可解释性研究中的“探针”probing思想。一个常见的误区是认为 diffing 必须使用两个结构完全相同的模型。实际上即使两个模型结构不同我们也可以选择结构相似的子模块例如视觉编码器的最后一层进行对齐比较。2. 环境准备与版本说明在动手编写代码之前我先说明实验环境的整体思路。由于 Multimodal Model Diffing 更多是一种研究方法社区还没有形成统一的工具包因此下面以“手动实现核心逻辑”为主依赖尽量精简。2.1 运行环境本文示例基于以下环境但版本不需要完全一致操作系统Ubuntu 20.04 / macOS 12 Python3.9 或 3.10 PyTorch2.0 或以上 NumPy1.24 或以上 transformers4.30 或以上 scikit-learn1.2 或以上如果你的机器没有 GPU也可以用小规模模型完成概念验证只是速度会慢一些。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。2.2 示例项目结构我们计划用一个简单的项目来演示 diffing 的完整流程。项目结构如下multimodal_diffing/ ├── data/ │ └── sample_inputs.txt ├── models/ │ ├── model_a.py │ └── model_b.py ├── diffing/ │ ├── activation_extractor.py │ ├── diff_analyzer.py │ └── control.py ├── scripts/ │ ├── run_diffing.py │ └── run_control.py └── requirements.txt考虑到多模态模型在实际加载时比较重本文的核心代码主要围绕“激活提取、差异分析、控制向量合成”三个模块来写你可以直接替换成自己的模型。2.3 安装依赖创建虚拟环境并安装依赖python -m venv venv source venv/bin/activate pip install torch transformers numpy scikit-learn如果你需要处理图像输入还需要安装 Pillowpip install pillow3. 核心原理拆解从激活差异到特征发现3.1 代理匹配让两个模型产生可比较的激活要对两个模型做 diffing首先必须保证它们的激活向量在语义上是对齐的。这里有一个隐藏难点不同模型的特征维度通常不同而且即使维度相同也可能因为初始化不同导致向量方向不一致。社区常用的做法是“代理匹配”proxy matching选择一组固定的输入样本将样本分别输入两个模型提取某一层的激活向量使用线性变换或简单拼接把两个激活向量映射到同一维度空间。在代码层面最简单的做法是提取两个模型的激活向量后统一降维到同一长度再计算差值。3.2 激活差异的提取方式假设模型 A 在某层对输入 x 的激活向量为 a模型 B 的激活向量为 b那么差异向量可以简单定义为d a - b但在实际中直接使用原始激活向量计算差值往往效果不好原因在于激活向量内部不同维度存在尺度差异。更常见的做法是对激活向量做 L2 归一化再计算逐元素差值对差值向量做 PCA 或矩阵分解得到少数几个主方向。这些主方向就是所谓的“特征方向”。3.3 用线性探针判定特征方向的语义仅仅得到方向还不够我们还需要验证某个方向是否真的对应某个语义特征。通常使用线性探针linear probe来做验证准备一组带有标签的样本将激活向量投影到某个方向 d 上得到标量分数训练一个逻辑回归分类器判断该分数是否能预测样本标签如果预测准确率显著高于随机猜测说明方向 d 确实编码了对应的语义特征。这也是 Multimodal Model Diffing 能够实现 Feature Discovery 的核心证据链。4. 完整实战案例用 Diffing 发现图像描述模型的语言差异为了让思路更直观我们用两个简单的图像描述模型来演示 diffing 流程。这里不加载真正的大模型而是用模拟激活向量的方式展示核心逻辑保证代码可以本地运行。4.1 定义激活提取器激活提取器的职责是从模型中取出指定层的输出。真实项目中你需要根据使用的框架HuggingFace、timm 等获取隐藏层状态。这里我们建立一个抽象基类# 文件路径diffing/activation_extractor.py import numpy as np from abc import ABC, abstractmethod class ActivationExtractor(ABC): 从多模态模型中提取指定层的激活向量。 def __init__(self, layer_name: str): self.layer_name layer_name abstractmethod def extract(self, inputs): 输入可以是文本、图像或两者的组合返回激活向量矩阵。 pass class MockActivationExtractor(ActivationExtractor): 模拟激活提取器。 真实场景中应替换为实际模型例如 CLIP 的 text encoder 输出。 这里随机生成激活向量仅用于演示 diffing 流程。 def __init__(self, layer_name: str, dim: int 512, seed: int 0): super().__init__(layer_name) self.dim dim self.seed seed self._rng np.random.default_rng(seed) def extract(self, inputs): n len(inputs) return self._rng.normal(size(n, self.dim))可以看到核心设计是不管底层模型是什么上层 diffing 逻辑只依赖激活矩阵。这样我们在实际项目中替换模型时只需要实现一个新的extract方法。4.2 实现差异方向发现差异分析器负责读入两组激活矩阵计算差异向量并用 PCA 提取主方向。# 文件路径diffing/diff_analyzer.py import numpy as np from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score class DiffAnalyzer: 差异分析器 1. 归一化激活向量 2. 计算两组激活的差异矩阵 3. 用 PCA 提取显著差异方向 4. 用线性探针评估方向的可解释性。 def __init__(self, n_components: int 10): self.n_components n_components self.pca PCA(n_componentsn_components) self.directions None def _normalize(self, activations: np.ndarray) - np.ndarray: norms np.linalg.norm(activations, axis1, keepdimsTrue) norms[norms 0] 1.0 return activations / norms def fit_directions( self, activations_a: np.ndarray, activations_b: np.ndarray ) - np.ndarray: 根据两组激活矩阵计算差异方向。 norm_a self._normalize(activations_a) norm_b self._normalize(activations_b) diff norm_a - norm_b self.pca.fit(diff) self.directions self.pca.components_ return self.directions def project(self, activations: np.ndarray) - np.ndarray: 把激活向量投影到差异方向上得到一组标量分数。 if self.directions is None: raise ValueError(请先调用 fit_directions 计算差异方向。) norm self._normalize(activations) return np.dot(norm, self.directions.T) def evaluate_direction( self, activations: np.ndarray, labels: np.ndarray, direction_index: int 0, ) - float: 用逻辑回归评估某个方向是否携带语义标签信息。 返回交叉验证准确率。 scores self.project(activations)[:, direction_index].reshape(-1, 1) clf LogisticRegression(max_iter1000) cv_scores cross_val_score(clf, scores, labels, cv3, scoringaccuracy) return float(np.mean(cv_scores))这段代码有几点需要说明归一化放在计算差异之前目的是消除激活向量整体尺度带来的干扰PCA 不直接作用于原始激活向量而是作用于差异矩阵确保我们提取的是“模型 A 有而模型 B 没有”的方向线性探针评估使用的是“投影到一个方向后的一维分数”而不是完整向量这能更直接地证明该方向与标签的关联性。4.3 实现控制向量合成得到差异方向后我们可以把它当作控制向量Control Vector来使用。控制的基本思路是新激活 原始激活 强度 * 控制方向。# 文件路径diffing/control.py import numpy as np class ControlVectorApplier: 控制向量应用器。 将差异方向作为控制向量对激活向量进行干预。 def __init__(self, direction: np.ndarray, strength: float 1.0): self.direction direction / np.linalg.norm(direction) self.strength strength def apply(self, activations: np.ndarray) - np.ndarray: 沿控制方向调整激活向量。 return activations self.strength * self.direction def create_control_from_diff( activations_a: np.ndarray, activations_b: np.ndarray, component_index: int 0, strength: float 1.0, ): 从两个模型的激活差异中直接生成控制向量。 注意这里使用 PCA 后的差异主方向作为控制方向。 from diffing.diff_analyzer import DiffAnalyzer analyzer DiffAnalyzer(n_componentscomponent_index 1) directions analyzer.fit_directions(activations_a, activations_b) control_direction directions[component_index] return ControlVectorApplier(control_direction, strength)在真实的多模态模型中使用控制向量时你通常需要在推理时修改模型中间的激活值。这可以通过 Hook 机制完成后面会说明。4.4 运行完整 diffing 流程现在我们写一个脚本把整体流程串起来。# 文件路径scripts/run_diffing.py import numpy as np from diffing.activation_extractor import MockActivationExtractor from diffing.diff_analyzer import DiffAnalyzer def main(): # 1. 准备一批输入样本 sample_inputs [ a photo of a cat on the sofa, a dog playing in the park, a red car parked on the street, a bowl of fruit on the table, children running on the beach, ] * 10 # 复制多份模拟更大数据集 # 2. 提取两个模型的激活 extractor_a MockActivationExtractor( layer_nametext_encoder_last_hidden, dim512, seed42, ) extractor_b MockActivationExtractor( layer_nametext_encoder_last_hidden, dim512, seed99, ) activations_a extractor_a.extract(sample_inputs) activations_b extractor_b.extract(sample_inputs) print(激活形状:, activations_a.shape, activations_b.shape) # 3. 计算差异方向 analyzer DiffAnalyzer(n_components5) directions analyzer.fit_directions(activations_a, activations_b) print(差异方向形状:, directions.shape) # 4. 用模拟标签评估第一个方向的可解释性 labels np.array( [0 if i % 2 0 else 1 for i in range(len(sample_inputs))] ) acc analyzer.evaluate_direction( activations_a, labels, direction_index0 ) print(方向 0 的线性探针准确率:, round(acc, 4)) # 5. 生成控制向量并应用 control_applier create_control_from_diff( activations_a, activations_b, component_index0, strength2.0, ) changed_activations control_applier.apply(activations_a) print(干预后激活形状:, changed_activations.shape) if __name__ __main__: main()由于我们使用的是模拟激活向量线性探针准确率会接近 0.5随机水平。这里只展示流程真实模型上的效果取决于数据质量和模型差异程度。4.5 在真实多模态模型中获取激活真实项目中你可能使用 CLIP、BLIP 或 LLaVA 等多模态模型。这里给出一个 CLIP 文本编码器的激活提取示例思路便于你替换# 文件路径models/clip_activation.py import torch from transformers import CLIPProcessor, CLIPModel class CLIPTextExtractor: def __init__(self, model_name: str openai/clip-vit-base-patch32): self.model CLIPModel.from_pretrained(model_name) self.processor CLIPProcessor.from_pretrained(model_name) self.model.eval() def extract_text_embeddings(self, texts: list[str]) - torch.Tensor: inputs self.processor( texttexts, return_tensorspt, paddingTrue, truncationTrue ) with torch.no_grad(): outputs self.model.get_text_features(**inputs) return outputs代码说明get_text_features返回的是文本编码器最后一层的池化向量适合直接用于 diffing如果你想提取中间层需要使用 Hook 挂到text_model.encoder.layers的某一层输出上不同模型接口差异较大建议查阅你所用模型的官方文档。5. 特征控制实战让模型输出更偏向某种风格或内容5.1 推理时干预的原理当我们找到差异方向后控制模型行为最直接的方式是在推理时对激活向量做调整。对于基于 Transformer 的多模态模型常见做法是找到目标层例如 cross-attention 之后的 feed-forward 输出注册 forward hook在 hook 中把控制向量加到激活值上让模型继续前向传播最终输出改变。这种做法的好处是不需要微调任何参数不会污染模型权重可以随时切换不同的控制方向。5.2 用 PyTorch Hook 实现激活干预以下代码展示如何在模型推理时注入控制向量# 文件路径diffing/hook_control.py import torch class ActivationSteeringHook: 通过 PyTorch hook 在推理时干预激活值。 使用方法 hook ActivationSteeringHook(control_direction, strength) handle model.some_layer.register_forward_hook(hook) # 模型推理 handle.remove() def __init__( self, control_direction: torch.Tensor, strength: float 1.0, layer_norm: bool True, ): self.control_direction control_direction self.strength strength self.layer_norm layer_norm def __call__(self, module, input_tensor, output_tensor): 干预输出激活。 注意这里只处理最后一维与 control_direction 维度一致的情况。 if isinstance(output_tensor, tuple): hidden output_tensor[0] else: hidden output_tensor direction self.control_direction.to(hidden.device).to(hidden.dtype) if self.layer_norm: hidden_norm torch.norm(hidden, dim-1, keepdimTrue) hidden_norm hidden_norm.clamp(min1e-6) hidden hidden / hidden_norm hidden hidden self.strength * direction if isinstance(output_tensor, tuple): return (hidden,) output_tensor[1:] return hidden使用示例# 文件路径scripts/run_control.py import torch from diffing.hook_control import ActivationSteeringHook # 假设 control_direction 是从 DiffAnalyzer 中得到的 torch 张量 control_direction torch.randn(512) steering_hook ActivationSteeringHook( control_directioncontrol_direction, strength3.0, layer_normTrue, ) # 以 transformers 模型为例 # from transformers import AutoModelForCausalLM # model AutoModelForCausalLM.from_pretrained(your-model) # # target_layer model.transformer.h[-1] # 以 GPT 类模型为例 # handle target_layer.register_forward_hook(steering_hook) # # with torch.no_grad(): # output model.generate(...) # # handle.remove()需要特别强调的是控制方向必须与你干预的层激活维度一致。如果你提取差异方向时使用的是最后一层激活那么干预时也应该干预最后一层。5.3 控制强度与可解释性的权衡控制强度strength是一个非常关键的参数。strength 过小模型行为几乎没有变化strength 过大模型输出可能崩溃出现重复、无关或矛盾内容推荐的做法是在验证集上扫描多个强度值观察模型输出的稳定性指标如困惑度、生成长度和风格指标的变化选择拐点处的强度。在实际项目中可以从 1.0 开始按 0.5 步长上下调整找到能明显改变输出风格但不破坏语义的临界值。6. 常见问题与排查思路Multimodal Model Diffing 属于比较前沿的方法在实践过程中容易遇到以下问题。我整理了一份问题排查表问题现象常见原因解决思路差异方向不能通过线性探针验证两个模型差异太小或输入样本覆盖不足增加样本数量选择差异更大的模型层PCA 方向不稳定换样本后方向变化大样本数量太少激活存在噪声增加样本多次运行并取方向余弦相似度的中位数控制向量干预后模型输出崩溃控制强度过大或方向与层不匹配调低 strength检查干预层是否正确两个模型激活维度不同无法直接相减模型结构不同最后一层维度不一致提取中间层并统一降维或使用平均池化对齐线性探针准确率很高但方向语义不明确方向携带了模型偏置信息而非语义概念对标签做混淆矩阵分析检查正负样本构成提取激活时显存不足批次太大或模型太大减小 batch size使用半精度推理6.1 差异不明显时怎么办如果你发现两个模型的差异方向在探针任务上表现很弱先不要怀疑方法本身。请按以下顺序排查确认两个模型确实在行为上存在差异。如果两个模型在评测集上表现几乎一致它们的内部表征可能也高度相似此时 diffing 很难找到有意义的特征方向换一层提取激活。通常低层编码通用视觉/语言特征高层编码任务相关特征。差异最明显的位置往往不是最后一层增加输入样本的多样性。如果样本太单一差异方向只会反映特定输入上的差异泛化性差。6.2 控制方向对应的语义难以描述特征方向本身是一个高维向量即使通过线性探针验证了与某个标签相关我们也很难用一个名词完全概括它。社区常用的做法是找一批在该方向上投影分数最高的样本观察它们之间的共同点找投影分数最低的样本观察它们的共同点把两个集合做对比人工归纳出方向语义。在报告中建议同时列出 top 样本和 bottom 样本避免“强行解释”某个方向。7. 最佳实践与工程建议7.1 激活提取阶段的工程规范在多模态模型中提取激活是 diffing 流程中最容易出问题的环节。建议做到以下几点固定随机种子模型加载、数据采样都要设置 seed保证多次实验可复现使用统一的预处理管线文本 tokenizer、图像 resize、归一化参数必须一致记录层名和维度不同版本的模型层名可能变化建议把层名写在配置文件中使用半精度推理多模态模型参数量大可以用torch.float16降低显存占用但要注意激活数值范围是否稳定。import torch torch.manual_seed(42) torch.cuda.manual_seed_all(42)7.2 数据集的构建原则Feature Discovery 的质量高度依赖输入样本集。推荐使用“成对样本”策略同一组输入分别送入两个模型保证差异只来自模型本身而不是输入分布不同。样本数量方面建议不少于 200 条。对于多模态任务要平衡文本模态和图像模态的多样性。如果条件允许可以准备多个领域的数据集分别做 diffing再汇总方向。7.3 控制向量使用时的安全边界控制向量可以直接改变模型行为因此在实际业务中需要谨慎只在测试环境验证控制方向不要直接上线未经验证的控制向量对控制强度设置上限避免模型生成不可控内容记录控制方向对应的数据来源方便回溯如果模型用于生产环境建议对干预后的输出增加人工审核或自动规则过滤。7.4 结果的可视化与文档化研究性质的工作需要把结果沉淀下来。建议每次实验记录以下内容两个模型的名称、版本、权重来源提取层名称和激活维度样本集描述和数量PCA 主方向的可解释性评估指标控制向量在不同 strength 下的输出样例。把这些信息整理成表格或 JSON 文件方便后续对比和复现。{ experiment_id: diffing_clip_vit_b32_vs_b16, model_a: openai/clip-vit-base-patch32, model_b: openai/clip-vit-base-patch16, layer: text_encoder_last_hidden, num_samples: 500, probe_accuracy: 0.82, control_strength: 2.0, notes: 方向 0 与‘颜色描述’高度相关 }7.5 与最新研究趋势结合Multimodal Model Diffing 的方法论仍在快速演进。目前在论文中可以看到几个明显的趋势不再只对比最后一层特征而是逐层分析差异传播路径从单一的线性探针扩展到非线性探针和可解释字典方向把 diffing 与控制方法结合用于大模型的安全对齐和去偏。如果你未来想深入研究建议按以下路线学习线性探针与表征分析基础稀疏编码与字典学习中的特征方向发现控制向量在 Transformer 生成模型中的应用多模态对齐空间的可视化工具。8. 总结本文围绕 Multimodal Model Diffing 展开了完整讲解从核心概念出发解释了 Feature Discovery 与 Control 的基本逻辑给出了激活提取、差异方向发现、线性探针验证、控制向量应用的完整代码示例最后补充了常见问题和工程建议。对于刚接触这一方向的读者我建议先用自己的模型跑通一个最小实验准备两组输入提取同一层激活计算差异方向看看是否能找到有语义的主方向。这一步一旦走通后续无论是做模型诊断、行为控制还是更深入的可解释性研究都会顺畅很多。如果本文对你有帮助可以收藏备用。如果你在实践 Multimodal Model Diffing 时踩到了坑也欢迎在评论区描述具体现象我会根据大家的反馈继续补充案例和排查思路。