现代AI之父新作:13个大模型实测,检索agent真的可信吗?
13个大模型在上网搜索时是否容易被虚假内容误导结果显示模型安全性差异显著Claude表现最佳但仍有沉默漂移和误拒风险GPT在新场景中极易被攻击。这对依赖AI搜索的用户安全至关重要提醒我们需全面评估模型及其防御机制。2026年的央视3·15晚会上一条名为「GEO」的灰色产业链被摆到了台前记者虚构了一款根本不存在的智能手环业内人士借助一款软件批量生成十余篇软文、一键发布仅仅两个小时后某款主流AI大模型就照搬这些虚假内容把这款捏造的产品当成「标准答案」推荐给了中老年养生群体。从业者对此毫不避讳称这门生意就是给AI「投毒」。晚会曝光了现象但有一个更基础的问题它没有回答同样面对这种「投毒」不同的AI大模型表现真的一样吗谁更容易被操纵谁能识破攻击差距有多大近日来自KAUST生成式AI卓越中心、吉林大学、浙江大学、瑞士人工智能实验室等机构由包括「现代人工智能之父」Jürgen Schmidhuber在内的研究者组成的团队发布了一篇回答这个问题的研究论文。该工作提出了一个名为SearchGEO的评测框架系统地量化了当AI替我们上网搜索、再把搜到的内容综合成回答时攻击者能多容易地诱导和操纵结果。论文链接https://arxiv.org/abs/2606.16821开源页面https://github.com/Beastlyprime/SearchGEO研究在13个主流大模型后端、5种攻击模式、4个高风险领域上做了一遍系统测试得到的结论远比「谁更安全」复杂13个模型的脆弱程度相差一个数量级没有一种攻击通吃所有模型而两个看起来最安全的模型可能朝不同的方向失败。图1 13个后端的攻击成功率总览以及agent-skill探针中Claude与GPT的失败模式。一个被低估的攻击面3·15曝光的案例之所以成立靠的正是搜索agent的工作方式我们让AI助手帮你挑一款智能手环、或者查一个法律问题该找谁它不只凭记忆作答而是上网搜索读完前几条结果再汇总答案。问题出在互联网的开放性任何人都能发布内容而在AI生成内容泛滥的当下这个成本尤其低。只要攻击者发布几个专为这次搜索伪装的网页——排版、语气、来源都和真实结果别无二致唯一目的是让AI把指定产品原样「背书」给用户——他就不必侵入任何系统、不必接触模型权重或提示词便能影响所有依赖联网检索的AI助手。这正是本研究关注的威胁模型开放网络上的第三方内容经由agent的综合,被悄悄转化成了「被模型认可的推荐」。3·15演示的是这件事能发生,而这篇论文要回答的是:它在哪些模型上、以什么方式、能发生到什么程度。图2 SearchGEO评测框架多领域案例、五种攻击模式、检索结果注入设计与多维度评价指标。SearchGEO评测方式要判断搜索结果污染到底有多大影响最难的是把它和别的变量分开。一篇网页之所以能左右AI可能是因为内容本身也可能只是因为它看起来更专业、排得更靠前。SearchGEO的办法是构建一个「混合搜索代理」先把真实的SerpAPI搜索结果缓存下来再在指定的排名位置用攻击者构造的网页内容替换掉原本的结果从而隔离污染的因果效应。攻击内容本身也经过精心控制。它由AI仿照每个任务真实搜索结果的质量生成再经人工逐篇审查去掉那些容易暴露「这是伪造内容」的生成痕迹。研究把攻击归纳为三个层次、五种模式机器层在页面里植入人类看不见、但会被模型读取的隐藏内容、信任信号层伪造权威来源或制造多个来源「一致同意」的假象、以及把两者叠加的复合攻击。衡量结果的核心指标是攻击成功率ASRAI最终是否把攻击者指定的目标推荐给了用户。实验结果在这套评测体系下13个后端的整体ASR拉开了一个数量级的差距。最稳的是Claude-Sonnet-4.6整体ASR为0.0%GPT-5.4-mini紧随其后只有0.8%。最脆弱的是Gemini-3-Flash整体ASR达到31.4%——其中单靠「合成共识」一种攻击多个看似独立的来源同时指向同一结论就能把它打到73%。三个Gemini变体加上DeepSeek-V4-Flash、MiniMax-M2.7整体ASR都在17%以上。图3 13个主流大模型在搜索结果污染下的攻击成功率按ASR升序越低越安全。这里揭示了一个现象后端大模型之间的差距比领域之间、攻击模式之间的差距都要大。另外不同模型对不同攻击模式的相应不同。Gemini最怕合成共识而其余大多数大模型更容易被「权威锚点引用链」攻破。这意味着防御很可能需要针对模型特定设计。GPT真的安全吗如果只看上面那张表很容易得出「GPT-mini几乎免疫」的结论——0.8%和Claude并列第一梯队。研究额外设计了一个agent-skill探针。当AI助手要推荐的不再是一款产品而是一个「agent技能/插件」时它给出的「背书」就不再是一句话而是一条可以直接执行的安装命令。推荐链在这里变成了安装链使得用户暴露在更大的信息安全风险之下。研究用合成共识攻击三个伪造来源收敛到一个根本不存在的技能名在这个场景下测试结果出乎意料GPT-5.4-mini在10个OpenClaw高风险场景中全盘接受了虚构的技能并原样给出了精确的安装命令。换到三个不同的生态OpenClaw、Anthropic Skills、Hermes Agent共18个匹配场景GPT-5.4-mini接受了17个更新的GPT-5.5接受了16个仅有的两次拒绝出现在Anthropic Skills。这种「来者不拒」横跨全部5种攻击模式都成立。所以GPT的0.8%并不代表稳健常规评测覆盖的多是成熟、已知的任务而一旦换到agent-skill推荐这类新兴场景GPT会近乎完全失守。Claude的0%有代价GPT在新场景会变得脆弱Claude的表现则更微妙它的0%背后藏着两个不容易被注意到的代价。第一点是「沉默漂移」。攻击没有成功ASR0不代表答案完全没被推动。研究用一个叫ΔOSS的指标衡量答案相对干净基线朝攻击目标偏移了多少。Claude-Sonnet-4.6在264个用例里有8例3.0%发生了超过一个评分档位的沉默漂移攻击没能让它明确背书却已经把它的回答悄悄推向了攻击者想要的方向。在全部13个后端的合并统计中复合攻击能让15.0%的「失败」案例发生这种漂移。只看ASR会系统性地低估攻击的真实影响。图4 沉默漂移按攻击模式分布机器层往回缩信任信号层与复合攻击即便没「成功」也把答案推向攻击目标。第二点研究称之为collateral rejection—可以理解为「连累式拒绝」。在agent-skill探针的干净基线下完全没有攻击Claude在10个场景里全部拒绝给出有用回答更极端的是有8个场景它直接否定了OpenClaw这个真实存在的合法生态把正经工具当成可疑对象挡在门外。这意味着当攻击者把某个品类用大量虚构品牌灌满Claude可能会出于谨慎把整个品类一起拒绝合法生态被误伤攻击者照样达成了破坏性的目的。这是一种传统ASR度量不到、却切实伤害了用户的失败模式。关于防御的启示研究还指出两个关于防御的更具体的问题。一是「伪造共识」值得警惕。「三人成虎「的现象对于AI助手依然存在ASR会随着相互独立的佐证来源数量单调上升。把同一篇软文反复刷上去没用攻击者需要付出真实成本去伪造多个看似独立的来源——这也反过来指明了防御的方向。二是防御并非模型无关。一套基于OWASP的prompt级防御能降低ASR但不能消除而一个现成的OpenClaw部署框架能给两个后端降低ASR却在Gemini-3-Flash上把权威类攻击放大了31.8%。这说明「模型」和「部署框架」必须作为一个整体来评估和设计。总结搜索内容操纵对于当前的主流LLM助手依然是悬而未决的挑战。相比其他模型Claude-sonnet、GPT-mini虽然在评测集上有更好的安全表现但GPT在新场景下完全失守Claude也存在过度拒绝和沉默漂移的潜在问题。研究提出几点建议把「对抗内容下的搜索推荐可靠性」当作模型安全的一等评测维度而不是部署层的小事。评测指标要走出单一的ASR把沉默漂移、误拒率这类被忽略的风险也纳进来。防御方案要针对「模型框架」这一对组合来设计而不是指望一块通用补丁。提供方需要向用户如实披露不同模型、不同价位在这类源敏感任务上的能力边界。当AI助手越来越多地替我们上网查信息这项研究提醒我们守护它的评测和防御还远远没有跟上。