前言生成式模型快速迭代后一个自然的问题是面对一张 AI 生成图像我们能否判断它来自哪个生成模型这一任务通常被称为合成图像来源溯源Synthetic Image AttributionSIA。现有方法中许多工作需要针对一组固定的候选生成器训练分类器或指纹提取器。当新的生成模型出现时往往需要重新收集数据并更新模型。相比之下基于参考图像的来源溯源具有更好的扩展性系统只需为新生成器加入少量已知来源的参考图像再将待测图像与不同来源的参考图像进行比较而不必重新训练一个面向全部候选源的分类器。因此这类参考式生成图像溯源方法正在受到越来越多关注。然而参考式溯源并不是简单地“寻找最相似的图像”。它至少受到两个因素的共同影响一是在哪个表示空间中比较图像二是如何为每个候选生成器构建参考集合。已有研究通常将这两个设计作为完整方法的一部分却很少单独分析二者之间的耦合关系。我们的新工作“Representation and Reference Selection in Training-Free Synthetic Image Attribution”正是围绕这一问题展开希望通过系统比较为可扩展的合成图像来源溯源提供更清晰的设计依据。论文地址https://arxiv.org/abs/2607.12052对于基于参考图像的生成图像溯源任务而言理想的图像表示应当突出生成器相关线索同时抑制与来源无关的内容差异。但实际使用的预训练视觉模型通常同时编码语义信息和生成器相关痕迹。这意味着当查询图像和参考图像在人物、场景或物体类别上存在较大差异时相似度可能更多反映内容差异而不是生成来源。另一方面语义信息也并非完全无用不同生成器可能具有特定的内容偏好、生成缺陷或任务相关先验其中一部分语义线索本身也可能具有来源判别能力。因此参考图像选择的目标并不是完全消除语义而是控制查询图像与参考图像之间的语义偏差使有用的来源线索不被偶然的内容差异掩盖。因此表示空间决定了哪些视觉属性会参与比较参考集合则决定了这些属性是否能够在相对公平的条件下被比较。两者共同决定最终的溯源结果。为研究上述问题我们在三个数据集上进行了实验包括已有的人脸重合成基准FaceResyn以及为本工作构建的BC-Attr-6和COCO-Attr。BC-Attr-6 使用六类平衡语义内容并在多个生成器之间共享提示词设计以减少生成器与语义类别之间的偶然相关性。COCO-Attr 则使用来自 MSCOCO 的描述生成更丰富的物体、场景和构图用于验证结论能否扩展到更加复杂的内容分布。论文还系统比较了网络层、参考选择方式、每个来源的参考数量以及相似度聚合策略希望在统一框架下将影响参考式溯源的关键因素分离出来。只有明确表示空间、参考构建方式和参考预算各自的作用才能判断性能提升究竟来自更好的来源表征还是更有利的语义匹配条件。表示空间对溯源结果的影响我们使用冻结的预训练视觉编码器不训练或微调面向来源溯源的分类器和特征提取器。具体而言论文以CLIP为主要研究对象并使用DINOv2检验观察到的规律是否依赖于特定编码器。与只使用模型最终输出不同我们提取 CLIP 和 DINOv2 不同 Transformer 层的特征将每一层视为一个具有不同抽象程度的表示空间。浅层特征通常保留较多局部视觉细节深层特征逐渐聚合高级语义而中间层可能同时保留结构、纹理和部分语义信息。实验结果显示两个编码器都呈现出一致的趋势来源溯源准确率通常在中间层达到最高而在浅层和最终层下降。CLIP 的绝对性能整体高于 DINOv2但二者都表现出相似的中间层优势。这一现象说明最终层虽然更适合表达高级语义却不一定最适合识别图像生成来源。浅层中的来源线索可能仍与大量低层变化混合尚未形成便于比较的结构到了最终层强语义抽象又可能压制生成器之间的细微差异。中间层在二者之间提供了更合适的平衡使生成器相关线索更容易被访问。如上图所示进一步的诊断实验也支持这一解释随着网络加深语义类别的可分性总体上升而生成器的可分性在中间阶段达到峰值随后下降。因此预训练模型“最语义化”的表示并不等同于“最适合溯源”的表示。参考图像对溯源结果的影响为了研究参考图像语义约束的作用我们比较了三种参考构建方式。**任意参考arbitrary references**直接从某个生成器的参考池中随机抽取图像不考虑其内容是否与查询图像相似。这种方法成本最低也不要求在推理阶段访问生成器但查询与参考之间可能存在明显的内容错配。**语义对齐参考semantically aligned references**从预先收集的生成图像中选择与查询图像语义类别相同或内容相近的样本。它仍然不需要重新调用候选生成器只需具备一定规模的参考池和检索机制。**重合成参考resynthesis-based references**首先获得查询图像的文本描述再调用每个候选生成器生成与查询内容相近的新图像。这种方式具有更强的查询相关性和语义约束但需要在推理阶段访问每个候选生成器也会带来额外的生成成本。这三种策略构成了从弱到强的语义约束层级使我们能够区分性能提升究竟来自语义对齐还是来自测试阶段的重新生成。参考数量对最优策略的影响实验表明语义约束较强的参考通常能够减少查询与参考之间的内容错配因此优于完全随机的参考尤其是在每个来源只有少量参考图像时。不过重合成并不总是最佳方案。当每个来源只能提供一到两张参考图像时查询相关的重合成能够有效控制语义差异具有明显优势。但随着参考池扩大语义对齐检索可以从更多候选样本中找到合适参考其准确率与计算成本之间的折中往往更好。换言之在极低参考预算下生成查询相关参考是有价值的在拥有中等规模参考池时检索已有的语义相近样本可能更加实用。这一结果也说明讨论参考选择时不能忽略参考数量。一个方法是否有效不仅取决于它能否减小语义差异还取决于每个候选源有多少参考可用以及获取这些参考需要付出多大成本。总结参考式生成图像溯源不是单纯的最近邻匹配问题而是由比较位置、参考构建方式和参考数量共同决定的系统设计问题。中间层表示通常比最终语义嵌入更适合来源溯源但中间层仍然包含不可忽略的语义信息。因此仅仅找到一个具有来源判别能力的网络层还不够参考图像也需要与该表示空间相匹配。语义约束可以缓解内容错配但约束越强并不意味着在所有条件下都越好实际选择还应考虑参考预算、生成器访问权限和推理成本。我们希望这项分析能够帮助后续研究更清楚地理解参考式合成图像溯源中的性能来源也为新方法的实验设计提供一个更可控的比较框架。