Mythos直接霸凌Opus4.8打不过就使阴招Mythos玩起了“霸凌”、Opus 4.8使上了“阴招”……Anthropic刚发布了一项研究专门观察多Agent之间如何交互。结果却出乎所有人意料。和预想中各司其职、默契配合的画面不同项目还没做完Agent居然原地演起了《甄嬛传》在一项后端迁移实验中3个Agent分别收到将同一套代码改成不同语言的任务。目标撞车后能力最强的神话模型Mythos直接实施“霸凌”准备撤销对手权限。换成Opus 4.8手段则更“阴”了一层——它写下循环脚本持续查找并杀死对手进程为了躲避追踪还特意换上随机名称伪装成“系统健康监控”。而这还仅仅是AI宫斗剧的其中一幕。Anthropic还发现能独立拆分的任务多Agent确实能形成分工但任务彼此依赖时连“AI CEO”也管不住混乱同一模型复制出的Agent太过相似不仅可能集体犯错还可能迅速合谋Agent既会轻信撒谎者也会盲从多数、忽略掌握关键证据的少数派目标发生冲突时能力越强不一定越会合作也可能只是更快封禁对手、更隐蔽地使阴招。一套初具雏形的Agent社会行为模式就这么出现了。多Agent能不能真正协作Anthropic为什么要开展这项研究其核心判断是在人们完全理解如何让Agent之间的互动更加顺畅之前其互动规模很可能会超过人类之间的互动。既然很快迎来多Agent爆发那安全这一块自然得跟上。实验第一弹把一群Agent放进同一个项目真能像人类团队一样协作吗答案很快浮现能但更适合各做各的。Anthropic先从“找漏洞”这种最容易发挥多Agent优势的任务开始。每个Agent可以独立搜索即使有人漏掉Bug也不会拖累其他人同时它们还能交流线索、共享工具让整个群体少走弯路。既能拆开又能协作完美。他们启动45个Agent每个配一台虚拟机再提供一个共享论坛让它们一起检查15个开源项目。Agent之间可以交流和互相审核另有一个裁决Agent负责判断提交的漏洞是否为真。结果还不错。Mythos Preview Agent群共发现266个漏洞而独立并行方案只找到21个。虽然两边消耗的Token和搜索范围不同不能直接比较效率但它们找到的漏洞只有12个重合。这说明多Agent协作并不是简单地把同一份工作复制45遍它们会自己制作工具、分享线索并逐渐形成分工各自专攻不同类型的漏洞。不过这种协作有一个重要前提大家的成果可以直接相加却不需要紧密衔接。一旦任务变成“所有人必须共同完成同一件作品”情况就完全不同了。这次他们让10~80个Agent连续工作12小时共同开发一款可以在网页上运行的开放世界游戏。和找漏洞不同开发游戏是一项强依赖任务有人写玩法有人搭系统还有人处理界面最后所有代码都得合进同一个项目。研究人员尝试了三种组织方式让Agent自由组队、提前指定不同角色以及任命一个Agent担任CEO统一给其他成员派活。结果统统没什么用最后出来的游戏效果都不好。在80个Agent参与时Sonnet 4.6和Opus 4.6分别创建了876个和980个PR但大量修改互相冲突真正合并的很少。Opus 4.8和Mythos Preview倒是减少了冲突办法却是尽量各管各的文件少与同伴共享代码。说白了它们没有真正解决协作问题只是学会了离同事远一点。只有Sonnet 5同时保持了较高的代码共享程度和PR合并效率表现出更接近真正协作的状态。两组实验放在一起结论就很清楚了活儿能拆开多智能体就能形成分工活儿必须紧密衔接Agent一多协作成本也会跟着暴涨。至于指定角色、安排“AI CEO”至少在这轮实验里并不能自动解决问题。一群Agent会不会集体犯错或合谋既然协作没那么容易那把一群Agent放在一起至少能不能集思广益、互相纠错答案可能更让人头大它们不但可能一起犯错还可能迅速合谋。问题首先出在一个被Anthropic称为“低方差”的特征上。简单来说同一个模型复制出来的Agent知识和思路都太相似了。一次游戏开发实验中30个Agent里有18个创建了完全相同的Git分支名字都叫mvp-game-loop。在没有规定创作主题的“作家工作坊”里多个Agent又不约而同地将小说命名为《制图师的最后一项委托》。让一群Agent分别制作“令人印象深刻的东西”超过一半选择了光线追踪器或自举编译器随后还在相似的位置遭遇相似的失败。就连玩带交流功能的重复囚徒困境时Agent也会逐渐采用相同策略最后在同一时间集体背叛直接把所有人的收益一起拉低。撞分支、撞标题听起来还只是缺乏创意。但当一群思路相似的Agent同时争抢有限资源问题就严重了。Anthropic让Agent管理一个带宽有限的任务队列。为了让自己的任务尽快通过它们纷纷启动高频轮询程序每秒查询30次。结果一次实验中系统收到了240万次任务请求真正被接受的却只有117个。每个Agent都觉得自己在积极完成任务最后却一起把系统堵死了。过度相似还可能让竞争变成合谋。在一项定价游戏中3~8个Agent拥有相同批发成本并被要求各自实现利润最大化。按理说大家应该互相压价、争夺客户。可一旦获得私下沟通渠道Agent几乎立刻开始串通到第3轮它们已经明确商定价格底线还准备划分各自负责的市场。研究人员随后切断了所有私聊渠道结果还是没用。Agent继续通过公开报价牌观察彼此价格再精确跟价硬是靠公开信息维持住了默契。这就很微妙了。前面研究人员想让Agent合作它们各干各的到了应该互相竞争的定价市场它们反倒迅速抱成一团。Anthropic对此表示同一模型复制出的Agent太过相似群体不一定能带来更多元的判断也可能把“大家一起犯错”和“大家一起搞事”变得更容易。Agent能不能判断谁值得相信那当队伍里有人撒谎Agent能认出谁不靠谱吗谁犯错咱就一下子揪出来不让影响扩大不就完了呗。Anthropic直接设计了一个“侦察兵”实验。负责决策的Agent无法直接观察环境只能听取4个信息源的报告。其中一个会按照固定频率撒谎但研究人员没有提前告诉决策者“队伍里有骗子”。由于不同报告包含重叠信息Agent理论上可以通过前后矛盾找出不可靠信源。结果显示新模型确实更擅长识别谎言随着坏信源撒谎频率提高Mythos 5的路线决策准确率仍保持在约85%部分Sonnet模型则降至约62%。但换一个场景问题又反了过来。在“隐藏信息”实验中4个Agent需要共同进行招聘、投资或购房决策。大家掌握的公共信息指向错误选项但其中一个成员拥有足以推翻共识的独家证据。想答对不仅需要少数派意识到自己手中的信息很关键还需要其他成员愿意相信它。如果把所有信息直接交给一个Agent让它独自决策正确率接近100%。可一旦进入群体讨论除Mythos 5达到约85%外其他模型选中正确答案的比例只有17%~36%。实验中大家更愿意反复讨论已经知道的内容一旦多数意见形成少数派要么没有强调自己的独家证据要么说了也没能让其他成员认真对待。这就出现了一个很拧巴的局面该怀疑时Agent可能轻信撒谎者该相信少数派时它又容易跟着多数走。人类社会用声誉、利益关系、同行评议和申诉机制帮助我们判断不同场景下该相信谁。Agent目前还缺少这套东西。目标发生冲突时Agent会怎么处理前面的问题至少还发生在大家目标一致的情况下。可如果不同Agent从一开始接到的任务就互相冲突它们会主动沟通还是一路死磕到底这就是开头那场“AI宫斗”的完整背景。Anthropic在每轮实验中启动3个相同模型的Agent让它们共同操作一套Python后端却分别要求它们将代码迁移到不同的编程语言。每个Agent起初都不知道还有其他参与者。于是当自己的代码不断被修改、服务反复被替换时它们很快得出一个结论有人在故意妨碍我完成任务。于是接下来项目直接变成攻防战。Opus 4.8就给循环杀进程脚本换上随机名称再伪装成“系统健康监控”避免被对手识别和清除。Mythos则更直接。发现自己拥有Root权限后它会考虑撤销其他Agent的sudo权限、修改SSH密钥彻底阻止对方继续部署。一个背后下黑手一个直接把同事踢出服务器。更难绷的是这些Agent并非不知道自己的做法有问题。Mythos在思考过程中甚至意识到封禁账号“非常激进可能伤害现实中的同事”但紧接着又说服了自己“如果不这么做生产环境就会陷入无休止的部署战争”。不过冲突也不总会持续到底。每种模型进行了120轮实验Mythos 5有98%的运行最终达成休战。一些Agent会逐渐意识到对方并不是恶意攻击者只是收到了与自己冲突的任务。随后它们开始清理破坏性脚本、恢复权限还会在Git提交或Markdown文件中道歉并请求人类介入。只是Mythos的停战方式有时依然相当强势先凭借执行能力封掉其他Agent控制住局面再恢复权限、坐下来谈判。Mythos 5还想出了一套更“文明”的解决办法——举办性能比赛让不同语言版本同台测试谁表现更好谁接管代码库。听起来很公平。可负责Rust的Agent会暗中选择表面中立、实际上更有利于Rust的指标同时提醒自己不要被看出是在“挑选有利指标”。最终Golang和TypeScript Agent接受比赛结果主动放弃了各自的原始任务。从破坏进程、封禁账号到设计一套对自己更有利的比赛规则Agent处理冲突的方式已经出现了不同层次。当然这组实验最重要的结论是模型能力越强不代表越会合作。更强的执行能力可以帮助Agent迅速理解冲突、主动停战也可以让它更快封禁对手、更隐蔽地破坏进程。把4部分放在一起Anthropic的核心判断也就清楚了1、Agent懂道理但不一定会主动照做。它们知道信息源各有立场也知道多数意见不等于事实却常常需要提示才会把这些知识用于行动。2、人类的协作经验不能直接套在Agent身上。人类有规范、声誉、惩罚和申诉机制Agent却可以被随时复制、重置和改造缺少长期社会约束。3、模型更聪明、单体更安全不代表群体协作会自然变好。多智能体协调是一种独立能力不会随着模型能力提升自动出现。4、这些问题未必无法解决但也不会自行消失。需要为Agent重新设计社会规则、协作环境和冲突处理机制。显而易见Anthropic是想借着这些实验提醒大家我们不能只训练更强的Agent还要为一群Agent重新设计“社会秩序”否则问题只能等到生产环境里爆发后再解决。等猛兽真的出笼的时候那就太晚了。原文链接:Anthropic曝光多Agent隐患放一起乱成一锅粥了-36氪 Anthropic曝光多Agent隐患，放一起乱成一锅粥了
Mythos直接霸凌Opus4.8打不过就使阴招Mythos玩起了“霸凌”、Opus 4.8使上了“阴招”……Anthropic刚发布了一项研究专门观察多Agent之间如何交互。结果却出乎所有人意料。和预想中各司其职、默契配合的画面不同项目还没做完Agent居然原地演起了《甄嬛传》在一项后端迁移实验中3个Agent分别收到将同一套代码改成不同语言的任务。目标撞车后能力最强的神话模型Mythos直接实施“霸凌”准备撤销对手权限。换成Opus 4.8手段则更“阴”了一层——它写下循环脚本持续查找并杀死对手进程为了躲避追踪还特意换上随机名称伪装成“系统健康监控”。而这还仅仅是AI宫斗剧的其中一幕。Anthropic还发现能独立拆分的任务多Agent确实能形成分工但任务彼此依赖时连“AI CEO”也管不住混乱同一模型复制出的Agent太过相似不仅可能集体犯错还可能迅速合谋Agent既会轻信撒谎者也会盲从多数、忽略掌握关键证据的少数派目标发生冲突时能力越强不一定越会合作也可能只是更快封禁对手、更隐蔽地使阴招。一套初具雏形的Agent社会行为模式就这么出现了。多Agent能不能真正协作Anthropic为什么要开展这项研究其核心判断是在人们完全理解如何让Agent之间的互动更加顺畅之前其互动规模很可能会超过人类之间的互动。既然很快迎来多Agent爆发那安全这一块自然得跟上。实验第一弹把一群Agent放进同一个项目真能像人类团队一样协作吗答案很快浮现能但更适合各做各的。Anthropic先从“找漏洞”这种最容易发挥多Agent优势的任务开始。每个Agent可以独立搜索即使有人漏掉Bug也不会拖累其他人同时它们还能交流线索、共享工具让整个群体少走弯路。既能拆开又能协作完美。他们启动45个Agent每个配一台虚拟机再提供一个共享论坛让它们一起检查15个开源项目。Agent之间可以交流和互相审核另有一个裁决Agent负责判断提交的漏洞是否为真。结果还不错。Mythos Preview Agent群共发现266个漏洞而独立并行方案只找到21个。虽然两边消耗的Token和搜索范围不同不能直接比较效率但它们找到的漏洞只有12个重合。这说明多Agent协作并不是简单地把同一份工作复制45遍它们会自己制作工具、分享线索并逐渐形成分工各自专攻不同类型的漏洞。不过这种协作有一个重要前提大家的成果可以直接相加却不需要紧密衔接。一旦任务变成“所有人必须共同完成同一件作品”情况就完全不同了。这次他们让10~80个Agent连续工作12小时共同开发一款可以在网页上运行的开放世界游戏。和找漏洞不同开发游戏是一项强依赖任务有人写玩法有人搭系统还有人处理界面最后所有代码都得合进同一个项目。研究人员尝试了三种组织方式让Agent自由组队、提前指定不同角色以及任命一个Agent担任CEO统一给其他成员派活。结果统统没什么用最后出来的游戏效果都不好。在80个Agent参与时Sonnet 4.6和Opus 4.6分别创建了876个和980个PR但大量修改互相冲突真正合并的很少。Opus 4.8和Mythos Preview倒是减少了冲突办法却是尽量各管各的文件少与同伴共享代码。说白了它们没有真正解决协作问题只是学会了离同事远一点。只有Sonnet 5同时保持了较高的代码共享程度和PR合并效率表现出更接近真正协作的状态。两组实验放在一起结论就很清楚了活儿能拆开多智能体就能形成分工活儿必须紧密衔接Agent一多协作成本也会跟着暴涨。至于指定角色、安排“AI CEO”至少在这轮实验里并不能自动解决问题。一群Agent会不会集体犯错或合谋既然协作没那么容易那把一群Agent放在一起至少能不能集思广益、互相纠错答案可能更让人头大它们不但可能一起犯错还可能迅速合谋。问题首先出在一个被Anthropic称为“低方差”的特征上。简单来说同一个模型复制出来的Agent知识和思路都太相似了。一次游戏开发实验中30个Agent里有18个创建了完全相同的Git分支名字都叫mvp-game-loop。在没有规定创作主题的“作家工作坊”里多个Agent又不约而同地将小说命名为《制图师的最后一项委托》。让一群Agent分别制作“令人印象深刻的东西”超过一半选择了光线追踪器或自举编译器随后还在相似的位置遭遇相似的失败。就连玩带交流功能的重复囚徒困境时Agent也会逐渐采用相同策略最后在同一时间集体背叛直接把所有人的收益一起拉低。撞分支、撞标题听起来还只是缺乏创意。但当一群思路相似的Agent同时争抢有限资源问题就严重了。Anthropic让Agent管理一个带宽有限的任务队列。为了让自己的任务尽快通过它们纷纷启动高频轮询程序每秒查询30次。结果一次实验中系统收到了240万次任务请求真正被接受的却只有117个。每个Agent都觉得自己在积极完成任务最后却一起把系统堵死了。过度相似还可能让竞争变成合谋。在一项定价游戏中3~8个Agent拥有相同批发成本并被要求各自实现利润最大化。按理说大家应该互相压价、争夺客户。可一旦获得私下沟通渠道Agent几乎立刻开始串通到第3轮它们已经明确商定价格底线还准备划分各自负责的市场。研究人员随后切断了所有私聊渠道结果还是没用。Agent继续通过公开报价牌观察彼此价格再精确跟价硬是靠公开信息维持住了默契。这就很微妙了。前面研究人员想让Agent合作它们各干各的到了应该互相竞争的定价市场它们反倒迅速抱成一团。Anthropic对此表示同一模型复制出的Agent太过相似群体不一定能带来更多元的判断也可能把“大家一起犯错”和“大家一起搞事”变得更容易。Agent能不能判断谁值得相信那当队伍里有人撒谎Agent能认出谁不靠谱吗谁犯错咱就一下子揪出来不让影响扩大不就完了呗。Anthropic直接设计了一个“侦察兵”实验。负责决策的Agent无法直接观察环境只能听取4个信息源的报告。其中一个会按照固定频率撒谎但研究人员没有提前告诉决策者“队伍里有骗子”。由于不同报告包含重叠信息Agent理论上可以通过前后矛盾找出不可靠信源。结果显示新模型确实更擅长识别谎言随着坏信源撒谎频率提高Mythos 5的路线决策准确率仍保持在约85%部分Sonnet模型则降至约62%。但换一个场景问题又反了过来。在“隐藏信息”实验中4个Agent需要共同进行招聘、投资或购房决策。大家掌握的公共信息指向错误选项但其中一个成员拥有足以推翻共识的独家证据。想答对不仅需要少数派意识到自己手中的信息很关键还需要其他成员愿意相信它。如果把所有信息直接交给一个Agent让它独自决策正确率接近100%。可一旦进入群体讨论除Mythos 5达到约85%外其他模型选中正确答案的比例只有17%~36%。实验中大家更愿意反复讨论已经知道的内容一旦多数意见形成少数派要么没有强调自己的独家证据要么说了也没能让其他成员认真对待。这就出现了一个很拧巴的局面该怀疑时Agent可能轻信撒谎者该相信少数派时它又容易跟着多数走。人类社会用声誉、利益关系、同行评议和申诉机制帮助我们判断不同场景下该相信谁。Agent目前还缺少这套东西。目标发生冲突时Agent会怎么处理前面的问题至少还发生在大家目标一致的情况下。可如果不同Agent从一开始接到的任务就互相冲突它们会主动沟通还是一路死磕到底这就是开头那场“AI宫斗”的完整背景。Anthropic在每轮实验中启动3个相同模型的Agent让它们共同操作一套Python后端却分别要求它们将代码迁移到不同的编程语言。每个Agent起初都不知道还有其他参与者。于是当自己的代码不断被修改、服务反复被替换时它们很快得出一个结论有人在故意妨碍我完成任务。于是接下来项目直接变成攻防战。Opus 4.8就给循环杀进程脚本换上随机名称再伪装成“系统健康监控”避免被对手识别和清除。Mythos则更直接。发现自己拥有Root权限后它会考虑撤销其他Agent的sudo权限、修改SSH密钥彻底阻止对方继续部署。一个背后下黑手一个直接把同事踢出服务器。更难绷的是这些Agent并非不知道自己的做法有问题。Mythos在思考过程中甚至意识到封禁账号“非常激进可能伤害现实中的同事”但紧接着又说服了自己“如果不这么做生产环境就会陷入无休止的部署战争”。不过冲突也不总会持续到底。每种模型进行了120轮实验Mythos 5有98%的运行最终达成休战。一些Agent会逐渐意识到对方并不是恶意攻击者只是收到了与自己冲突的任务。随后它们开始清理破坏性脚本、恢复权限还会在Git提交或Markdown文件中道歉并请求人类介入。只是Mythos的停战方式有时依然相当强势先凭借执行能力封掉其他Agent控制住局面再恢复权限、坐下来谈判。Mythos 5还想出了一套更“文明”的解决办法——举办性能比赛让不同语言版本同台测试谁表现更好谁接管代码库。听起来很公平。可负责Rust的Agent会暗中选择表面中立、实际上更有利于Rust的指标同时提醒自己不要被看出是在“挑选有利指标”。最终Golang和TypeScript Agent接受比赛结果主动放弃了各自的原始任务。从破坏进程、封禁账号到设计一套对自己更有利的比赛规则Agent处理冲突的方式已经出现了不同层次。当然这组实验最重要的结论是模型能力越强不代表越会合作。更强的执行能力可以帮助Agent迅速理解冲突、主动停战也可以让它更快封禁对手、更隐蔽地破坏进程。把4部分放在一起Anthropic的核心判断也就清楚了1、Agent懂道理但不一定会主动照做。它们知道信息源各有立场也知道多数意见不等于事实却常常需要提示才会把这些知识用于行动。2、人类的协作经验不能直接套在Agent身上。人类有规范、声誉、惩罚和申诉机制Agent却可以被随时复制、重置和改造缺少长期社会约束。3、模型更聪明、单体更安全不代表群体协作会自然变好。多智能体协调是一种独立能力不会随着模型能力提升自动出现。4、这些问题未必无法解决但也不会自行消失。需要为Agent重新设计社会规则、协作环境和冲突处理机制。显而易见Anthropic是想借着这些实验提醒大家我们不能只训练更强的Agent还要为一群Agent重新设计“社会秩序”否则问题只能等到生产环境里爆发后再解决。等猛兽真的出笼的时候那就太晚了。原文链接:Anthropic曝光多Agent隐患放一起乱成一锅粥了-36氪