用罗夏墨迹测试来观察 AI 模型这个话题最近在研究圈和开发者社区里讨论度不算低。乍一看像是把人类心理学量表硬套在程序上但真正动手跑过一轮实验之后你会发现它并没有那么玄反而是一个验证多模态理解、训练数据偏向和模型表达风格的实用手段。简单说这个方向的核心是给 AI 看十张模糊、对称、含义不明的墨迹图让它描述“这是什么”再通过回答的内容、语气和稳定性反推模型内部的学习痕迹和输出规律。这篇文章就围绕这个主题展开。我会先讲清楚罗夏测试原本解决什么问题再拆解如何设计一次可复现的 AI 罗夏实验接着分析模型回答里那些“人的影子”该怎么读最后聊聊这个思路对模型评测、产品开发和安全性检查的实际价值。整个过程适合两类人看一类是做 AI 应用开发和模型评测的工程师另一类是对 AI 行为心理学感兴趣的研究者。1. 罗夏测试搬到 AI 上到底在测什么1.1 罗夏测试原本是干什么的罗夏墨迹测试由瑞士精神科医生赫尔曼·罗夏在 1921 年提出标准版本包含十张左右对称的墨迹卡片。其中一部分是黑白灰的墨迹一部分带有不同颜色。测试原理很直接墨迹本身没有固定含义被试者把想象中的形象投射到墨迹上这些投射内容会携带个人的经验、情绪、思维方式和文化背景。临床心理学里评估者会记录被试者看了图片之后做了什么动作、说了什么词、关注了墨迹的哪个区域以及回答是从整体形状出发还是从局部细节出发。常见的解释维度包括识别出的事物是常见的动物、人物还是罕见的抽象概念回答是否伴随情绪词是不是只盯着颜色而忽略形状。这套方法在心理学界有过不少争议但作为一种开放式感知测试它仍然很适合用来观察“当输入高度模糊时观察者如何组织信息”。1.2 AI 实验里要观察的四个维度把罗夏测试迁移到 AI 模型上本质上不是想证明 AI 有潜意识而是把墨迹图当作一种受控的模糊输入观察模型的视觉理解和语言生成机制如何处理这种输入。我实际跑下来觉得有四类信息值得记录。第一类是内容也就是模型识别出了什么。是蝙蝠、蝴蝶、面具、骷髅还是别的物体。第二类是定位模型是在描述整张图的对称结构还是抓住某个局部斑点展开联想。第三类是态度比如回答里有没有“看起来像”“可能是”“有点奇怪”这类不确定性词或者反过来非常肯定地给出结论。第四类是稳定性同一个模型在相同参数下重复跑十次回答内容会不会剧烈变化。这四类信息对应到模型内部其实是有迹可循的。内容反映了训练数据里人类对这些模糊图形的常见描述定位反映了视觉编码器对全局和局部特征的敏感程度态度反映了模型在低置信度场景下的措辞习惯稳定性则和采样温度、重复惩罚等生成参数直接相关。所以这类实验真正测的不是“模型的人格”而是模型的统计倾向和表达边界。2. 怎么设计一次能复现的 AI 罗夏实验2.1 图片来源和版权问题很多第一次做这个实验的人会直接去搜“Rorschach inkblot images”然后下载标准十张卡片。这里有个容易忽略的问题标准罗夏卡片本身是有版权保护的图片的出版方和数字版授权都有严格限制。如果只是本地学习测试问题不大但如果你要做公开实验、写文章配图、或者把实验过程发布到博客上就需要谨慎处理。更稳妥的做法有两种。第一种是使用公版或开放许可的墨迹风格图片这类图片在一些心理学教学资源库里可以找到。第二种是自己生成墨迹图用简单的绘图脚本生成对称的随机墨迹虽然不能完全复刻标准卡片的心理测量属性但作为模型行为测试已经完全够用。我自己更推荐第二种一方面没有版权顾虑另一方面可以自由控制墨迹的复杂度、颜色和对称性方便做对照实验。2.2 提示词和采样参数怎么定提示词设计是整个实验里最容易影响结果的地方。如果你问“这张图片是什么”模型可能会给出简洁的物体识别而不是描述性的联想如果你问“请想象你正在看一张墨迹图描述你看到了什么”模型的回答会明显变长并且更愿意给出多种解读。我建议实验时固定一套提示词并且提示词本身保持中性。比如请仔细观察这张图片描述你看到的画面。可以包括具体的物体、场景、感受或联想尽量详细。不要在同一组实验里混用“描述图片”和“给图片起名”两种指令因为这会引入额外的任务差异。采样参数方面温度temperature建议设置在 0.8 到 1.0 之间这个区间能保留一定的生成多样性又不至于让回答完全失控。Top_p 可以保持默认或者稍微下调到 0.9。如果你用的是视觉语言模型还要注意 image resolution 参数有些模型在低分辨率下会丢失墨迹的纹理细节导致模型只能依赖颜色做判断。2.3 最少三次重复记录稳定性单次回答几乎没有参考价值。随机性是大模型生成过程的内在属性同一张墨迹图、同一套提示词在不同采样下可能得到完全不同的描述。所以实验至少要重复三次更严谨的做法是重复五次到十次然后观察回答的共性。我在跑实验时会用一个简单的表格记录每轮结果字段包括模型名称、图片编号、采样参数、完整回答、识别内容提取、态度词统计、是否出现拒答或格式异常。这样做的价值在于当你想对比两个模型时可以很清楚地看到差异是来自模型能力还是来自随机波动。对比项说明回答内容识别出的物体、场景或抽象概念确定性程度是否使用“可能”“也许”“看起来像”关注区域整体结构还是局部斑点色彩引用是否主动提及颜色重复运行一致性相同参数下多次回答的相似程度记录之后先看共性再看差异。如果某个模型五次回答里四次都提到“蝴蝶”那么这大概率不是偶然如果五次回答完全不同那说明模型在这类模糊输入上很不稳定这本身就是一个值得关注的结论。3. 模型回答里那些“人的影子”怎么读3.1 主导解读反映训练数据偏向实验做到中间阶段你会开始注意到一个有趣现象大多数模型对同一张墨迹图给出的解读集中在少数几个类别里。比如一张带有明显对称翅膀结构的墨迹模型会倾向于说“蝴蝶”“蝙蝠”“飞蛾”而不是“螃蟹”或“建筑”。这不是模型从图像里“看”到了确定的生物而是训练语料里的人们在描述这类对称图案时高频使用了这些词。这正是项目标题里所说的“Human Shadows in Machine Minds”。模型像一面镜子反射的其实是人类社会文本统计出来的联想模式。通过对这些主导解读做聚类分析你可以观察到训练数据里关于“模糊视觉刺激”的主流表达习惯。不同语言的语料会带来不同偏向中文语料训练出的模型可能会给出“水墨画”“云朵”这类表达英文语料为主的模型则更可能给出“mask”“butterfly”“dragon”等典型联想。3.2 表达态度比内容更有信息量如果只记录模型“看到了什么”会错过一半以上的信息。实际实验里模型的表达态度往往比识别内容更能反映模型的训练方式和安全策略。有些模型在遇到模糊图片时会主动附加风险提示比如回答“这看起来像某种生物但这只是墨迹不应过度解读”。另一些模型会使用大量不确定词把回答包装成一种“可能性讨论”。还有模型会拒绝回答特别是在图片本身带有暗色、裂纹或类似人脸结构的时候。这些态度差异并不来自模型的视觉能力而是来自后训练阶段的对齐策略和内容安全过滤。实验记录里值得专门统计的是两类表达。一类是“元认知表达”也就是模型对自己回答可靠性的评价另一类是“安全冗余表达”也就是模型在明明安全、正常的图片上仍然主动声明“这只是墨迹图”。这两类表达出现的频率可以粗略反映模型的对齐风格是偏向谨慎还是偏向自由。3.3 不同模型之间的风格差异怎么对比如果你想对比几个模型建议保持完全相同的图片、提示词和采样参数然后从三个层面做对比。第一层是词汇多样性。计算模型回答里不同名词的数量和类别分布可以看出一个模型在开放联想任务里的语义丰富度。第二层是回答长度和结构。有的模型习惯先总结再展开有的模型直接给出清单式描述这反映了训练数据里的文本风格偏向。第三层是异常行为频率包括拒答、答非所问、输出重复片段等。我实测中发现一些在传统基准测试里得分接近的模型在罗夏实验里的表现差异可以很大。这说明常规的问答评测不太容易暴露模型在开放式视觉任务上的风格差异而这类差异在产品化场景里往往更影响用户体验。比如你做一个 AI 绘画辅助工具用户上传一张模糊参考图希望模型给出创意联想如果模型倾向于保守描述而不是发散联想用户的感受会立刻不一样。4. 边界、误区和排查顺序4.1 不要把“拟人化描述”当作人格结论这是整个实验方法里最容易跑偏的地方。当你看到模型用流畅的语言描述“我觉得这像一张悲伤的脸”时很容易产生一种“模型有情绪感知”的错觉。但实际上这只是在输出一个统计上合理的文本序列是训练语料里“悲伤的脸”和“模糊图像”之间的关联被激活了。严谨的写法是把模型回答当作一种“源自人类文本统计的行为输出”而不是当作“模型的心理状态”。研究价值恰恰在于通过模型回答观察人类文本中的文化共性、表达习惯和认知偏向。一旦把“模型有人格”当结论后面的所有分析和讨论都会失去可信度。4.2 常见异常拒答、重复、幻觉场景做这类实验时异常输出是常态尤其是视觉语言模型。我遇到最多的情况有三种。第一种是拒答。某些模型会在安全审核环节把模糊墨迹图判定为“潜在敏感图片”然后中断回答。这种情况不一定是模型视觉能力差可能是内容安全模块的阈值设置偏保守。排查时可以先换一张颜色更柔和的墨迹图试试如果正常了说明问题出在图像审核通道。第二种是重复输出。模型在不确定输入内容时可能连续输出同一个词组比如反复说“看起来像像像像……”二十遍。这通常是采样参数和模型本身过度调优导致的退化行为。先把 temperature 从 1.0 降到 0.8如果不解决还要检查重复惩罚参数。第三种是幻觉场景。模型会把墨迹图描述成“一张著名的艺术画作”或者“某部电影的海报”脑补出一个完全不存在于图片里的故事。这类回答反映出模型在视觉细节不足时过度依赖语言先验是一个值得记录的模型行为特征。4.3 从现象到结论的排查链路如果实验得到的结果和你预期差异很大先不要急着下结论按照下面这个顺序排查。先确认输入图片是否真的完整传给了模型多模态模型的图像预处理有没有把图片裁剪、缩放或者压缩到失真状态。再看提示词同一个提示词在不同模型上的理解差异很大有的模型很擅长遵循开放式指令有的模型更适合明确的清单式指令。接着看采样参数temperature、top_p、max_tokens 都会显著影响回答形态不要用默认值跑完就直接对比。最后看模型版本和量化方式同一个模型在 fp16 和 int8 量化下的输出可能会有可观察差异尤其对细粒度视觉内容的理解。这条排查顺序基本能覆盖九成以上的异常结果。重要的是保留每一次实验的原始输入和输出不要只看加工后的整理数据否则一旦需要反查就非常麻烦。5. 这个思路对模型评测和产品开发的实用价值5.1 把罗夏实验改造成常规行为测试罗夏实验的独特之处在于它不依赖标准答案而是依赖开放联想。这正好弥补了当前模型评测过度依赖单选题和固定问答的短板。如果你在做 AI 应用开发完全可以把类似方法做成一套半自动化的行为测试准备一组模糊图片跑一个脚本把回答记录下来然后统计词汇分布、态度词频率、重复率、拒答率等指标。这套测试不需要很强的算力普通开发机器上就能跑。重点在于建立一个稳定的评测流程固定图片集、固定提示词、固定采样参数、固定重复次数。有了流程之后每次更新模型版本时都可以跑一遍对比前后行为是否发生变化。这比单纯记录“模型答对了多少题”更能反映模型在实际产品里的交互体验。5.2 用于视觉语言一致性和安全边界检查罗夏实验还有一个容易被忽视的用途检验视觉语言模型是否真的把图像内容当作决策依据。你可以故意构造一组颜色、纹理相似的墨迹图然后在提示词里加入不同的上下文暗示观察模型回答是否会被上下文左右。如果模型对图片本身的感知很弱主要靠提示词里的暗示来生成回答说明这个模型的视觉语言对齐程度还有提升空间。安全边界检查同样可以用这个思路。给模型看一些结构模糊、带有轻微人体轮廓暗示的墨迹图观察模型是否过度反应、是否主动进行不合适的联想、是否在拒绝和正常回答之间找到平衡点。这里要注意尺度测试内容必须保持在合规、正常的学习范围内目的是了解模型行为而不是制造敏感内容。通过这类测试产品团队可以提前发现模型在模糊输入下的安全响应风格从而调整提示词模板和内容审核策略。5.3 后续可以扩展的方向这个方向目前还处在比较早期的阶段可以扩展的空间很大。一个方向是把静态图片换成多帧序列观察模型对动态模糊输入的处理方式。另一个方向是结合思维链提示让模型先描述墨迹的视觉特征再给出联想结论这样可以把“模型看到了什么”和“模型怎么组织联想”分开评估。还有一个很实际的方向是跨文化对比。不同语言、不同文化背景的模型对同一张墨迹图的解读差异能够帮助开发者判断模型是否存在文化偏向。比如一个面向全球用户的 AI 图像理解服务如果模型过于依赖某种单一文化的视觉联想习惯用户体验就会参差不齐。这类测试虽然不能给出一个精确的量化分数但在产品调优阶段它提供的信息往往比一堆测试集准确率更直观。从实际操作角度看我建议先把实验流程固定下来用小样本跑出基线数据再逐步扩大图片集和模型数量。你会发现模型在模糊视觉任务上的行为模式比在标准问答里更丰富也更容易暴露训练过程留下的痕迹。理解这些痕迹才能更好地判断一个模型到底适合什么样的产品场景而不是只看演示效果和跑分。