这项由荷兰乌得勒支大学语言与人工智能研究团队完成的研究于2026年6月以预印本形式发布论文编号为arXiv:2606.31719有兴趣深入了解的读者可以通过该编号查询完整论文。两个人对话真的意味着两个人理解了同一件事吗这个问题在日常生活中往往被我们忽略因为大多数时候说话的两个人处于几乎相同的信息环境里。但假设你手里拿着一张地图朋友手里也拿着一张地图看似一模一样其实上面的地标有些不同——这时候当你说在那个停车场旁边转弯对方点了头你们真的说的是同一个停车场吗这种场景并不只是一道烧脑的哲学题。在现实世界里误解往往正是以表面同意的面目出现的——双方都以为彼此懂了但其实各自理解的是完全不同的东西。这个现象在语言学里有个专有名词叫做共同基础common ground的建立或者更学术地说叫接地气化grounding。乌得勒支大学的研究团队把目光投向了一类越来越强大的AI系统——视觉语言模型Vision-Language Models简称VLMs。这类AI既能看图又能读文字理论上应该能很好地理解对话中的信息。研究团队想搞清楚当这类AI充当一个旁观者同时拿到两张不一样的地图再读完两个人的对话它能不能准确判断这两个人真的在说同一件事吗答案令人颇为意外。这些AI模型看到地图之后反而更容易犯一种特定的错误——它们会因为两张地图上都有某个地标就误以为两个人已经达成了一致完全忽视了对话过程中真正形成理解所需要的那些互动细节。说到底能看见和已经共享是两回事但AI们往往分不清这个区别。一、当两张地图上的地标不一样对话就变成了猜谜要理解这项研究得先认识一个经典的心理语言学实验工具叫做HCRC地图任务HCRC MapTask。这是1991年由英国一组语言学家设计的实验框架至今仍是研究对话与理解的重要参照。实验的设置非常精妙。两个人分别拿着一张地图这两张地图看起来差不多但其实存在一些刻意设计的差异某些地标只出现在其中一张地图上某些地标在两张地图上名字不同比如一张叫白水另一张叫激流还有些地标在一张地图上出现了两次在另一张上只出现一次。两个人看不到对方的地图只能通过对话协作完成任务其中一人叫引导者根据自己地图上的路线引导另一人叫跟随者在自己的地图上画出同样的路线。这个设计的妙处在于它把误解的可能性直接嵌入了任务结构里。当引导者说到那个停好的货车旁边而自己的地图上有两辆停好的货车跟随者的地图上只有一辆双方就很可能在表面同意的情况下各自理解成了不同的地标。这种错位正是研究者想要研究的核心现象。最近乌得勒支大学的团队在一份名为透视视角标注数据集的资源基础上开展了这项研究。这份数据集包含了128段完整的地图任务对话共13077个标注好的参考表达式也就是对话中提到某个地标的具体说法。对于每一个参考表达式数据集分别记录了引导者的理解和跟随者的理解——即使两个人都觉得自己明白了两者的理解也可能指向完全不同的地标。研究团队的核心任务就是把这些对话和地图喂给AI让它判断在这个时间点上两个参与者对某个参考表达式的理解是一致的YES还是不一致的NO数据显示在这13077个例子里约72.1%是已经达成一致的情况另外27.9%则是尚未一致——其中大部分是尚未真正建立理解的悬而未决状态极少数仅239个是双方各自以为理解了但其实指向了不同地标的真正误解。二、研究团队怎么测试这些AI——一场精心设计的信息控制实验研究团队测试的AI并不只有一个而是来自两个主流开源模型家族Qwen3-VL系列由阿里巴巴研发和Gemma3系列由谷歌研发参数规模从20亿到120亿不等共五个模型。其中综合表现最好的Qwen3-VL-8B-Instruct被作为主要研究对象进行了最详细的条件测试。整个实验的巧妙之处在于研究团队精心控制了两个变量就像厨师在调整食谱时每次只改变一个配料的用量观察菜品口味的变化。第一个变量是对话上下文窗口也就是AI能看到多少对话内容。研究团队设计了四种不同的阅读范围最窄的只让AI看到包含目标地标表达的那一行对话curL稍宽的让AI看到目标所在的整个交易单元curT大概是一段围绕某个地标展开的对话段落更宽的让AI从对话开始看到目标所在行startL最宽的让AI从对话开始看到目标所在交易单元结束startT。通过这样的设计研究者可以观察知道更多对话历史有没有帮助AI更准确地判断两人是否达成了共识第二个变量是地图信息的形式也就是AI能获得什么样的地图信息。这里设计了多种条件形成了一个完整的对比网络。在基础条件下AI可以完全不知道地图内容纯文字条件也可以同时看到两张真实的地图图片双图条件或者只看引导者的地图单图-引导者或者只看跟随者的地图单图-跟随者。为了进一步弄清楚究竟是视觉图片本身在影响AI还是地图上的具体内容在影响AI研究团队又加了四个特殊条件给AI一段文字列出每张地图上的地标名称文字-地标名称给AI一段文字详细描述两张地图有哪些不同文字-差异描述给AI看两张完全空白的灰色图片空白地图以及给AI看两张地标被随机替换成其他不相关地图内容的图片乱序地图。这后面两个假控制条件特别关键——如果AI只是因为图片存在就改变了判断那空白图片和乱序图片应该也会造成同样的偏差如果AI是因为图片里有具体的地标信息才改变了判断那这两种假图片就不该造成相同的偏差。三、让AI看了地图之后它反而更容易说他们理解一致了实验的核心发现可以用一个生活场景来类比。假设你是一位婚姻调解员正在判断一对夫妻是否真的就某件事达成了共识。如果你只听他们说了什么你会非常谨慎地评估双方的措辞和反应。但如果你突然拿到了一份两人各自的资产清单上面显示两人都有一辆红色丰田汽车——你可能会不假思索地认为哦他们在说同一辆车没有问题。但实际上这两辆车可能是完全不同的车只是颜色和品牌一样。这正是AI模型在实验中暴露的问题。在不给AI任何地图信息的情况下最好的评估窗口startT下主要模型Qwen3-VL-8B-Instruct的宏平均F1分数一个综合衡量判断准确度的指标满分为1.0为0.591对对话已对齐的预测比例yes-rate为0.515大致处于中性位置对两种情况的判断相对均衡。但当AI同时看到两张真实地图之后宏平均F1分数提升到了0.671——看起来是进步了。然而这个数字背后藏着一个非常不健康的结构AI对已对齐案例的正确识别率从0.590急剧攀升到了0.822而对未对齐案例的正确识别率则从0.677跌落到了0.518。同时AI说YES两人理解一致的比例从0.515骤升到了0.727几乎与数据集中已对齐案例的真实比例相当。换句话说AI变得更乐观了在看到地图之后它更倾向于认为两个人已经达成了共识即便实际上并没有。总体准确率看起来提高了但那是因为已对齐案例本来就占了72%——你只要把所有答案都说YES准确率也能轻松到达72%。真正困难的地方在于识别未对齐的案例而这正是AI在看到地图后更容易失手的地方。更有意思的是只给AI看一张地图的情况反而比给两张地图更极端。只看引导者地图时AI说YES的比例高达0.791对未对齐案例的正确识别率跌到了0.436。只看跟随者地图时情况类似yes-rate达到0.794正确识别未对齐的比例仅剩0.408。这说明只要AI看到了任意一张地图它就会开始过度乐观地预测双方理解一致而同时拥有两张地图反而因为跨图差异提供了一些修正信号让偏差稍微小了一点。四、罪魁祸首不是图片而是图片里的内容这里有一个关键问题AI是因为收到了图片才变得过度乐观还是因为图片里那些具体的地标信息让它产生了偏差空白地图和乱序地图两个控制条件给出了明确的回答。当AI收到的是两张纯灰色的空白图片它的yes-rate直接跌到了0.184变得极度保守几乎把所有情况都判断为未对齐宏F1跌至0.407。收到乱序地图地标内容来自一个完全不相关的地图对时结果几乎相同yes-rate为0.193宏F1为0.402。这种超级保守的倾向与看到真实地图时的超级乐观形成了鲜明对比。这个发现告诉我们不是有图片就会让AI过度乐观而是图片里有与任务相关的地标内容才会触发这种偏差。图片作为视觉通道本身并不是问题问题在于那些具体的、与任务相关的地标信息。接下来两个文字版的地图信息条件进一步验证了这一点。当AI收到的是一段文字列出了每张地图上的地标名称yes-rate达到了0.675宏F1为0.636对已对齐案例的识别率为0.756对未对齐案例的识别率为0.533。当AI收到的是一段详细描述两张地图差异的文字yes-rate为0.716宏F1为0.668对已对齐案例的识别率达到0.810对未对齐案例的识别率为0.528。这两个文字条件的表现与真实地图图片条件yes-rate 0.727宏F1 0.671已对齐识别率0.822未对齐识别率0.518高度相近大大高于纯文字不提供地图信息条件yes-rate 0.515宏F1 0.591。由此可见不管是通过图片还是通过文字告诉AI两张地图上都有这个地标AI都会变得过度乐观。地图内容是触发偏差的关键视觉呈现方式只是一个幅度更强一点的放大器。五、置信度分析AI不只是猜错了而是自信地猜错了研究团队还深入分析了AI在做判断时的自信程度。通过观察AI模型输出YES或NO时的概率分数研究者发现了一个令人不安的现象——地图不只是让AI更容易预测对齐还让AI在预测错误时更加自信。在不提供地图信息的情况下AI对已对齐案例的校准误差ECE一个衡量AI自信度与实际准确度是否匹配的指标越低越好为0.263对未对齐案例的校准误差为0.235两者相差不大说明AI在两类情况下的自信程度与准确度大致匹配平均自信度约为0.863。当AI同时看到两张真实地图情况发生了根本性的变化。对已对齐案例校准误差骤降至0.094说明AI在这类案例上变得相当精准可靠但对未对齐案例校准误差急剧攀升至0.403。最极端的情况出现在只看跟随者地图时对已对齐案例的校准误差仅为0.061而对未对齐案例高达0.524——AI在未对齐案例上不只是错的而是满怀信心地错的。与此同时整体平均自信度从无地图的0.863上升到了约0.927至0.929。这意味着什么地图信息让AI在看到地标共存于两张地图时坚定地相信两人理解一致即便对话中的证据根本不支持这一结论。这种自信的错误比普通的随机错误危险得多——因为它很难从表面识别出来。六、把未理解状态、正在理解状态和误解状态分开看研究团队进一步把所有13077个案例按照实际的理解状态分成三类真正对齐两人确实指向同一地标占9435个案例、悬而未决对话中该参考表达式尚未真正被理解确认占3403个案例以及真正误解双方都以为理解了但其实指向了不同地标仅239个案例。在这三类上不同的信息条件表现出了截然不同的效果。在不提供地图的情况下AI对真正对齐案例的准确率为0.590对悬而未决案例的准确率为0.691对真正误解案例的准确率为0.473。提供双图后对真正对齐案例的准确率飙升到0.822提升了23个百分点效果显著。但与此同时对悬而未决案例的准确率从0.691骤降至0.523下降了17个百分点统计检验显示这个下降在统计意义上非常显著。对真正误解案例双图条件下准确率从0.473略降至0.456统计上差异不显著。然而单图条件对误解案例的破坏更大。只看跟随者地图时对真正误解案例的准确率直接崩塌到0.255下降幅度超过20个百分点只看引导者地图时误解案例准确率也跌至0.372。相比之下双图条件反而比单图条件温和一些因为两张地图之间的差异提供了一定的纠错信号。文字版地图信息条件同样呈现了类似的权衡。提供地标名称列表时三类准确率分别为0.756、0.544和0.372提供差异描述时分别为0.810、0.540和0.368——与双图条件高度相似只是对误解案例的表现略差于双图。而空白地图和乱序地图则产生了截然相反的极端情况对真正对齐案例准确率仅为0.220/0.222对悬而未决案例准确率高达0.913/0.886对真正误解案例准确率也高达0.866/0.858整体呈现近似什么都回答NO的状态。七、重复提到同一地标会不会帮助AI更准确在真实的地图对话中同一个地标往往会被多次提及——一开始引导者简单提到后来又经过反复确认、修正、重新协商逐步建立了真正的共识。研究团队追踪了这些参考链即对同一地标的连续多次提及序列按照一条链包含多少次提及分成了六个组1次、2次、3次、4-5次、6-8次、9次以上观察AI的判断准确率和乐观程度如何随着提及次数变化。结果显示了一个值得深思的规律。在不提供地图的情况下随着同一地标被提及的次数增多AI的准确率反而略有下滑从单次提及时的0.719下降到9次以上的0.599。这并不奇怪——被提及次数越多的地标往往是对话中越难协商的地标对话越长越复杂AI就越难以准确判断。而在提供地图的情况下AI的总体准确率随提及次数增多而稳步提升双图条件从单次提及的0.681上升到9次以上的0.791。乍一看这是好事但是yes-rate也在同步攀升双图条件从0.549上升到0.789单图条件更是高达0.840至0.845。由于在一条较长的参考链中后期的提及往往确实是在已建立共识后发生的而AI通过提高yes-rate在这些案例上表现更好这并不能说明AI真正学会了追踪理解过程而更可能是它在利用提及次数多已经建立共识这个粗糙的启发式规则。研究团队还观察了在一条参考链的不同位置上AI的yes预测概率如何变化。几乎在所有条件下P(YES)的概率都随着提及位置的推进而稳步上升。不提供地图时第一次提及时P(YES)约为0.420到第9次以上时升至0.601提供地图时这个上升更为明显各地图条件的P(YES)从约0.708升至0.794幅度在0.034到0.118之间。这说明AI并没有真正追踪对话过程中理解是如何逐步建立的而只是简单地认为越说越多就越该是理解一致的。八、不同AI模型行为差异相当显著除了主要模型Qwen3-VL-8B-Instruct研究团队还在基础条件下测试了其余四个模型结果相当有趣甚至可以说出人意料。Qwen3-VL-2B是参数最小的版本20亿参数但在看到地图后同样表现出过度乐观的倾向yes-rate从不看地图时的0.483升至看双图后的0.707宏F1从0.561微升至0.566。Gemma3-4B也表现出类似的方向性偏移yes-rate从0.279升至0.400宏F1从0.445升至0.510。然而Qwen3-VL-4B却走向了完全相反的方向看到地图之后它变得更加保守而非更乐观yes-rate从0.368跌至0.225宏F1从0.518跌至0.411。而Gemma3-12B则不管有没有地图都极度保守yes-rate仅为0.107不看地图和0.231看双图几乎所有情况都预测未对齐宏F1仅为0.322和0.416。研究团队分析了这种差异的可能原因。Gemma3系列使用的视觉编码器会把图片压缩成固定的256个视觉标记无论图片多大、内容多复杂这种激进压缩很可能丢失了地图上那些微小的地标标签和图标细节。Qwen3-VL系列则根据图片实际分辨率动态生成视觉标记保留了更多空间细节。在预先进行的读图测验中Qwen3-VL各模型对地标名称的识别F1达到了0.876至0.897而Gemma3系列仅为0.813至0.820而且Gemma3还会出现字符级的识别错误比如把picket fence栅栏读成picker fence把site of forest fire森林火灾遗址读成pits of forest fire。此外研究还发现模型规模越大并不意味着表现越好。在Qwen3-VL系列里2B版本反而在某些条件上优于4B版本。Gemma3-12B的校准误差高达0.531是所有模型中最差的而它的平均自信度为0.948是所有模型中最高的之一——更大的模型更自信但更错。这种越大越自信但未必越对的现象提示我们单纯扩大模型规模并不能解决识别理解过程的根本问题。九、这件事真正意味着什么归根结底这项研究揭示的是一种被研究团队称为旁听者幻觉的现象——AI充当一个对话旁听者它能读到对话的每一句话也能看到两张地图上的每一个地标但它缺少一种能力真正追踪理解是如何在对话互动过程中一步步建立起来的。就像一个在教室外偷听课的学生他能听到老师和同学说了什么也能看到黑板上写了什么但他并没有参与那个老师提问、学生回答、老师纠正、学生再次回答的动态过程。因此他对这个知识点是否真的被学生理解了的判断就很容易流于表面。在地图任务里地图告诉了AI两个人的地图上都有这个地标也就是这个地标有可能成为共识。但对话告诉AI的是这个地标是否通过对话交互真正被确认为双方的共识。AI过度依赖了前者而对后者的追踪能力明显不足。这一发现对任何需要AI理解对话中共识建立过程的应用都有直接影响——比如对话辅助系统、协作任务中的AI助手、或者任何需要AI判断两方是否真正达成一致的自动化分析工具。如果AI仅仅因为两方有共同的可见信息就误判已达成共识那么它在这些场景下的可靠性将大打折扣。研究团队也坦诚地指出了这项工作的局限实验只在旁听者视角下进行AI没有机会主动提问或澄清评估只依赖HCRC地图任务这一个特定数据集类别分布本身就偏向已对齐而且对于真正的误解案例数量仅有239个统计力较弱。未来的研究方向可能需要让AI也参与到对话中赋予它澄清、表达不确定性和主动修正的能力并在更多元的数据集上验证这些发现是否具有普遍性。从更宏观的角度来看这项研究提醒我们当我们把视觉语言模型应用于涉及多方理解和协作的场景时能看到和真正理解了发生了什么之间仍然存在一道不小的鸿沟。地图摆在那里地标都清晰可见但对话是活的理解是在互动中动态建立的——而当前的AI更擅长读静止的图不擅长追踪活的互动。---QAQ1视觉语言模型在地图对话任务中发现了什么问题A研究发现视觉语言模型如Qwen3-VL等在看到地图后会因为两张地图上都有某个地标就误以为对话双方已经理解一致即使对话实际上并没有完成这个确认过程。这种偏差在提供真实地图图片时最为明显yes-rate预测已对齐的比例从没有地图时的约0.515急升至0.727而对未对齐案例的正确识别率则从0.677跌至0.518。Q2为什么Gemma3系列模型在地图任务中表现比Qwen3-VL差AGemma3系列的视觉编码器会把图片强制压缩成固定的256个视觉标记无论图片多大或内容多复杂这种压缩会丢失地图上的细节比如小字地标名称和图标。实验中Gemma3模型的地标识别F1只有0.813到0.820低于Qwen3-VL的0.876到0.897而且还会出现拼写错误和位置判断错误。读不清地图自然也就无法产生内容驱动的过度乐观偏差。Q3给AI提供地图的文字描述和给AI看真实地图图片效果有什么不同A两者效果非常接近。提供地标名称列表时模型yes-rate为0.675宏F1为0.636提供差异详细描述时yes-rate为0.716宏F1为0.668——与真实地图图片yes-rate 0.727宏F1 0.671高度相似远高于不提供任何地图信息的纯文字条件yes-rate 0.515宏F1 0.591。这说明触发过度乐观偏差的是地图的内容信息而非视觉呈现形式本身视觉渠道只有轻微的额外放大作用。