先说一个不算冷门的观察现在大家聊 AI 模型几乎都不聊“模型自己”了。聊的是联网搜索、代码解释器、文档库、Agent 工作流、各种外挂插件。模型本身倒像成了一个底座真正出彩的是底座上长出来的那一堆工具。这当然没有错。但从另一个角度想如果把这些工具全部关掉呢不让它联网不给它插件不挂知识库不接代码执行环境只给它一个朴素的对话框——这时候模型还剩下什么就非常诚实了。最近在圈子里看到一个话题叫“禁掉所有工具后Opus 5 和 GPT-5.6 的差距终于藏不住了”。先说明一下Opus 5 和 GPT-5.6 这两个称呼更像是社区里对新一代模型的一种口语化叫法未必是官方正式的版本号。但这不影响我们讨论一个真问题当所有外部辅助被剥离两个模型之间真正拉开差距的到底是什么。这个话题让我想起前两周做的一次对比实验。我没有去跑排行榜上的标准 benchmark而是把日常工作中经常用到的一批真实任务去掉所有工具加成全凭模型裸跑。结果很有意思有些差距在第一轮对话就暴露了有些则要到第三轮、第五轮、甚至长文本写到一半才现出原形。这篇文章我想把“禁掉工具之后到底会暴露什么”这件事拆开讲。重点不是替某一个模型站台而是想说明白一个判断工具会放大模型的下限但模型自己的上限永远藏在裸奔状态下。1. 为什么“禁掉工具”才是真正的照妖镜先说一个很常见的现象。很多人觉得某个模型“能力强”其实是因为它外挂了搜索、知识库、代码解释器这些工具。工具把模型的短板补上了体验自然就上去了。但这里面有个问题工具不是模型自己的本事。打个比方。一个人做菜好吃可能是他本身厨艺好也可能只是因为他家的锅好、灶好、调料全。禁掉工具就像把他扔到一间只有一口铁锅和一把盐的厨房里。这时候他还能不能做出一桌像样的菜才真正反映他的基本功。放在大模型上也是一样。联网搜索可以帮助模型拿到最新信息但推理、判断、组织信息的能力仍然是模型自己的。代码解释器可以帮它算出结果但如果模型自己连思路都理不清工具也只能把错误答案算得更快。知识库可以让它引用到相关资料但模型能不能在资料之间找到逻辑联系工具帮不上忙。所以“禁掉工具”这个操作本质上是在做一次能力剥离测试。它把外部因素全部移除之后暴露出来的是三个真正属于模型内部的东西模型本身的推理深度。模型对指令的理解和遵循能力。模型在长对话、长文本中的稳定性。这三个能力恰恰是工具最难掩盖的。搜索引擎可以补信息但补不了逻辑。代码执行器可以补算力但补不了思路。上下文插件可以补记忆但补不了模型对前文的真正理解。从工程经验看这种测试的价值甚至比跑一堆排行榜指标更大。排行榜测的是标准化问题而现实场景里的问题往往是模糊的、多步的、需要自己补全前提的。工具也许能帮忙把前提补齐但如果模型自己不会推理补齐了前提也推不出结论。所以在看两个模型的差距时我倾向于先不看双方各自的工具生态而先看它们在裸奔状态下的表现。把工具关掉之后还能保持稳定输出的模型才值得被放进复杂工作流里。1.1 工具往往会“借力”但不会“造力”这里需要解释一个容易混淆的点。很多人觉得工具可以提升模型能力这个说法不算错但更准确地说工具是“借力”不是“造力”。举个例子。你让一个模型分析一份财报如果允许它联网它可以去搜行业新闻、同行数据、宏观环境然后给出一个看似很全面的判断。但如果你把网断掉只给它一份财报原文它还能不能从数据变化、业务结构、现金流特征这些信息里推导出这家公司可能遇到的问题这个才是模型真实的分析能力。工具能做的是把外部信息送进来但把信息变成判断这件事仍然发生在模型内部。禁掉工具之后信息源变少了模型必须更多地依靠自己已经掌握的常识、逻辑推理和语言组织能力来完成任务。这时候谁强谁弱自然就藏不住了。所以如果你要判断一个模型适不适合作为你业务系统里的核心大脑最靠谱的方法不是看它接了多少个工具而是先看看它不接工具的时候你到底敢不敢把核心问题交给它。1.2 两条基准线下限由工具抬升上限由模型决定我习惯把模型的能力分成两条线。一条是下限。下限指的是当任务足够简单、输入足够明确、外部资源足够充分时模型能给出的最低响应质量。在现实使用中工具主要抬升的是下限。比如联网搜索可以让模型少犯错、少编造、信息更新鲜知识库可以让回答更贴合企业内部事实工作流可以让输出格式更稳定。这些都是在抬升下限。另一条是上限。上限是指当任务足够复杂、边界足够模糊、信息足够稀缺时模型能够达到的最好表现。这种情况下工具能帮的忙有限因为复杂任务的核心难点往往不在于缺少信息而在于如何推理、如何取舍、如何在多个目标之间做权衡。这些能力完全是模型自己的。禁掉工具之后下限会明显下降因为外部帮助没有了。但上限不会因此改变它本来就在那里只是之前可能被工具的效果盖住了。两个模型之间的真正差距往往不在下限而是在上限。如果一个模型在裸跑时推理不稳、逻辑发散、指令理解有偏差那么就算给它配上再多的工具它也只能在简单任务里做得漂亮一进入复杂任务就会露馅。反之如果一个模型在裸跑时能稳定地遵循指令、展开推理、保持上下一致那么给它配上工具之后它会变得非常可怕——因为工具的每一分加成都会被它完整地接住。2. 裸跑测试中实际能拉开差距的五个维度把工具全部关掉之后怎么观察两个模型的差异如果只是随便问几个问题很难得出有效结论。我在做对比时一般会固定看五个维度。这五个维度不是我发明的而是长期做提示词工程和质量评估时沉淀出来的对真实使用更有参考价值。先看第一维度指令遵循的精确度。工具关闭之后模型只能依赖你对指令的文本描述。此时它能多精确地理解你的要求就非常关键。比如你要求“先给出结论再解释原因每个原因不超过三句话最后给出一个反例”有的模型会完整照做有的模型会在中途忘掉“反例”或把原因写成长段。这个维度直接决定了模型能否被放进自动化流程。一个指令遵循不稳定的模型每次输出格式稍有偏差下游解析就会出错最后还是要人来兜底。所以在我的判断标准里指令遵循精度是第一批要看的维度。第二维度多步推理的连贯性。很多真实任务不是一步完成的。比如分析一个业务问题需要先拆解问题、再收集信息、再分析因果、再给出建议。这个过程模型不能跳步也不能前后矛盾。工具关闭后模型没有外部信息源可以“抄近路”所有推理都必须靠自己完成。此时模型能不能把每一步的逻辑链条保持住就是关键分水岭。第三维度长文本中的上下文一致性。你在一个长对话里切换了多个话题它还能不能记住最早提到的关键约束你在文章前半部分埋了一个伏笔它后半部分有没有能力呼应回来这些能力工具完全帮不上忙。模型在上下文窗口内的注意力保持能力、信息的召回能力只能在裸奔状态里看出真实水平。第四维度抵抗幻觉的能力。工具的一个重要功能是帮模型校验事实。但工具关掉之后模型只能靠内部知识作答。此时它会不会在不确定的时候强行编一个答案还是诚实地说“我不确定需要更多信息”会在体验上产生巨大差异。这个差异在普通闲聊里不明显但在专业内容生产、代码审查、数据整理这类场景里几乎是生死问题。第五维度表达风格的一致性。模型的表达风格是不是统一是不是一进入复杂任务就开始胡言乱语、措辞漂移、格式混乱。工具关闭后模型失去了外部格式模板的约束完全靠它自己的语言组织能力。这时候风格一致性强的模型会给人一种“背后有个稳定的写手”的感觉而风格漂移明显的模型读起来就像换了个人在写。这五个维度不是并列的。指令遵循和推理连贯性是基础上下文一致性和幻觉抵抗能力决定可靠性表达风格决定最终输出的可读性。禁掉工具之后这些维度全都裸在明面上谁强谁弱基本藏不住。2.1 维度细化推理不是“答对”而是“不跳步”多步推理是我认为最值得展开的一项因为大多数人在日常使用中并不会特意测这一项。他们更关心答案是“对还是错”但忽略了模型在推导过程中的跳步问题。举一个我实测过的例子。同一个业务分析问题两个模型都给出了正确的结论但过程完全不一样。一个模型把分析路径写得清清楚楚先定义问题边界再列出现有信息再指出信息缺口最后基于已有信息给出带前提的结论。另一个模型一步到位直接给出结论中间的分析草草带过。表面上看两者答案一致但在真实工作流里高下立判。因为第一模型能让你复核它的思路第二模型只有一个结果。一旦结论有风险你根本不知道它错在哪一步。工具关闭后这种“过程透明”的能力就变得极其重要。推理连贯性强的模型在复杂任务里更值得信任不是因为它每一句都正确而是因为它走的路可以被你检查。而路可以被检查是工程化使用的前提。2.2 维度细化幻觉不是“有或没有”而是“在哪儿发生”关于幻觉这里也值得多说一句。很多人以为幻觉是两个模型之间“一个有一个没有”的差异。实际上不是。更准确的说法是幻觉是两个模型都会发生的事区别在于“在哪里发生”。能力强的模型幻觉通常发生在信息非常模糊、超出它能力边界的地方。这种情况下它会给出一个明显不够确定的说法或者主动告诉你需要核实。能力弱的模型幻觉更容易发生在看似正常、实际关键的地方——它会在一个本应严谨的数字、一个本应准确的事实、一个本应明确的逻辑关系上用很流畅的语气编出一个错误。这也是为什么“禁掉工具”能暴露差距。因为工具被禁掉之后模型无法通过搜索来修正自己它只能凭内部知识作答。此时它还能不能辨识“我知道什么”和“我不知道什么”就是最核心的分水岭。在实际评测时我会故意问一些边界模糊、涉及细节数据的问题然后看模型是选择承认不知道还是用流畅的表达把不确定性盖过去。后者往往比前者更危险。3. 我实测下来最容易暴露差距的几类任务在说哪些任务更容易暴露差距之前先说明一下测试方式。我做的不是那种一场比赛定胜负的测试而是把同类型任务拆成多轮、多重、多角度连续观察。这样得出的结论更稳定也不容易受单次生成随机性的干扰。以下这几类任务是我在实际对比中发现差距最明显的地方。第一类是“带约束的写作任务”。比如要求写一篇产品分析文章但同时给出五个约束条件不能用“但是”这个词、每个小节必须用提问句式开头、必须出现至少一个反常识观点、结尾必须提出一个开放问题、整体字数不能超过一千字。这类任务模型没有工具可以依赖全靠对指令的理解和语言组织能力。差距会非常清晰地暴露出来。有的模型能把所有约束都照顾到而且输出依然流畅。有的模型会在第三段就忘了“不能用但是”这条或者把“开放问题”写成了“总结性陈述”。这种差异不是偶发现象而是模型在指令遵循和长程规划上的结构性差异。第二类是“多轮信息整理任务”。比如我给它三篇文章的概要要求它在对话过程中不断追加新的信息并在最后统一整理出一份结构化笔记。中途我还会故意插入一些无关内容观察它是否会把这些无关内容也“整理”进去。工具关闭状态下模型没有外部记忆系统可用只能靠自己的上下文管理能力。这类任务如果模型做得好说明它的上下文注意力分配比较健康。做得不好经常会把早期信息忘掉或者把中途插入的题外话误当作正式信息处理。在真实办公场景里这种能力比单轮问答重要得多。第三类是“推理链条检验任务”。我给它一个业务现象要求它先列出可能的三种解释再逐一排除最后选出最可能的一种并说明理由。关键要求是每一步推理都要有据可依不能凭空跳跃。这类任务最能检验模型在复杂逻辑里的路径规划能力。实测下来这类任务里两个模型的差距往往比前两类更大。因为写文章做得流畅可能只是语言能力强但推理链条要理得顺就需要模型真的在“想”而不是在“说”。工具关闭后模型没有外部参考可以依赖只能靠内部推理这时候谁在想、谁在说基本一目了然。3.1 案例同样一个“带约束总结”任务差距怎么出现我举一个具体任务片段你可以自己也试试。任务给一段大约两千字的材料要求模型做三句话总结。约束条件是第一句话写结论第二句话写前提第三句话写不确定性。全程不允许使用“可能”“也许”这类模糊词同时必须保证第三句话真的在写不确定性而不是换一种方式再确认一遍结论。这个任务看起来不难但实测里能稳定完成的模型比例并不高。有的模型会在第三句话里再次重复结论用“需要进一步观察”这种套话代替真正的不确定性。有的模型会在第二句话里悄悄开始表达自己的判断把前提写成了推测。这些细节正是指令遵循能力的真实反映。工具在这个任务里帮不上任何忙。联网搜索解决不了“三句话各自的功能”这种结构问题代码执行器解决不了“不确定性的表达边界”知识库更不可能告诉模型第三句话应该怎么写。模型必须自己理解这些约束并在生成过程中始终不丢。这就是为什么要“禁掉工具”来做对比。工具在这个任务里没有存在感剩下的就只有模型本身的质量。3.2 案例长对话轮次越多差距越明显再举一个长对话场景。我让模型在一段核心主题上连续追问五轮以上每轮追加一个新要求同时提醒它必须记住第一轮的原始约束。没有外挂记忆工具模型只能靠自己的上下文窗口。结果到第五轮时两个模型的表现差异已经非常大了。一个模型在第四轮仍然能引用第一轮的原始信息并在第五轮综合所有追加条件给出完整回答。另一个模型在第三轮开始出现信息遗忘到第五轮已经完全“放飞”只根据最近一轮的输入作答之前的所有约束基本都被丢弃。这种差异在单轮问答里几乎测不出来。因为单轮对话里模型只需要处理一个输入、一个输出上下文压力很小。但真实用户的使用习惯是连续对话真实业务系统也往往是多轮交互。所以如果你只测单轮你的结论一定失真。禁掉工具后跑长对话是暴露上下文管理能力最有效的方式。工具一旦开启很多模型会外接向量数据库或记忆模块反而掩盖了它自身的上下文能力。4. 普通用户应该怎么设计一次“裸测”前面说了这么多最后落在实操上。如果你也想自己做一次“禁掉工具后的对比”不需要搭建复杂的评测环境也不需要跑 benchmark。你只需要做一件事在设置里关掉所有联网、插件、代码执行和数据上传相关的功能然后按下面的流程测。先说准备工作。建议提前准备好三类任务第一类带多重约束的写作或总结任务第二类至少五轮以上的连续对话任务第三类需要多步推理的业务分析任务。每类任务准备两到三个变体防止模型对单个问题的偶然性表现影响判断。另外建议用同一个账号环境、同一套提示词、同样的温度参数设置去测两个模型。避免因为提示词写法不一致导致结果差异被放大或缩小。然后按下面的顺序执行。第一步先跑单轮带约束写作任务。观察模型是否完整地遵循了所有约束有没有在某一个约束上“滑掉”。这一步看的是指令遵循的精确度也是最重要的基础能力。第二步跑多轮对话任务。从第一轮开始设定一个核心约束之后每一轮都追加一个新信息然后在最后一轮要求模型综合所有信息做回答。观察它还记得多少、遗漏了什么、有没有把中途的干扰信息混进来。这一步看的是上下文管理能力。第三步跑推理链条任务。给一个具体问题要求模型分步骤给出推理过程每一步都要注明依据。观察它的推理是否连贯、有没有跳步、依赖的信息是否真实存在于它的内部知识里。这一步看的是真正的思考质量。第四步专门准备几个模糊问题。比如让模型给出某个具体数字、某个事件发生时间、某个产品的某个细节。这些问题应该是你不确定它是否知道的重点看它在不知道的时候是承认不确定还是编出一个流畅的答案。这一步看的是幻觉控制能力。第五步把所有测试结果放到一起不看单次答案只看整体稳定性。某个模型就算前面几轮表现不错但只要在幻觉测试里频繁编造就说明它在真实使用中有风险。工具可以稍后补上但模型自己的可靠性很难靠工具来修复。做完这一套流程你再回头看“Opus 5 和 GPT-5.6 的差距”这个话题会发现讨论具体型号的意义不大——更重要的是你把模型还原到了它本来的样子看清楚它的能力底版到底如何。4.1 不需要复杂的指标只需要记录四个信号做裸测时如果你不想写代码、不想算指标最简单的方法是记录四个信号。第一个信号是“修正次数”。你在对话过程中需要纠正模型多少次它才能真正理解你的要求。如果一遍就能理解说明指令遵循能力很强。如果需要反复澄清、反复纠偏说明模型在理解模糊指令时还有短板。第二个信号是“遗忘位置”。在多轮对话里模型在第几轮开始遗忘你最初的约束。第三轮就开始忘还是第六轮才忘区别很大。这个信号直接用肉眼就能观察到不需要任何工具。第三个信号是“编造密度”。在回答不确定的问题时模型是在全句都编还是只在细节处编。两种情况的危险程度完全不同。全句都编的模型基本不具备可靠生产的能力。只在细节处编的还可以靠人工复核来兜底。第四个信号是“输出风格落差”。在简单任务里多数模型都能做到表达流畅、格式整齐。但一进入复杂任务有些模型就会开始表达混乱、格式漂移、用词重复。落差越大说明模型在复杂任务中的稳定性越差。这四个信号比任何排行榜都贴近日常体验。4.2 评测时的几个反面规则做裸测时也有几个容易误判的地方这里单独提醒一下。第一不要只测一次就下结论。大模型生成有随机性同一个问题跑三次可能三次结果都有差异。要判断一个模型的能力至少每个任务跑三到五次看大多数结果落在什么水平。第二不要用模型可能没接触过的超级冷门知识去测。模型不是搜索引擎它不会记得所有网络资料。如果你用一条非常刁钻、非常小众的事实去考验它它回答错误并不能说明它能力差只能说明它内部知识里没有这条信息。测幻觉的正确方式是看它面对不确定时是否诚实而不是看它知道多少冷知识。第三不要在开启工具的状态下测。这个不用多解释裸测不裸结果就没有意义了。关掉联网、关掉插件、关掉任何可能访问外部资源的渠道测试环境才算成立。第四不要用同一条提示词在两种完全不公平的上下文里测。如果你给一个模型喂了很详细的背景信息给另一个模型只抛了一个干巴巴的问题结果当然会偏向信息多的一方。保持输入条件一致是评测的前提。5. 工具之外真正值得长期关注的是什么写到这里我想回到一个更大的问题上来我们到底应该用什么标准去判断一个模型的长期价值很多人喜欢看功能列表。模型接入了多少插件、支持多少种工具、能执行多少种任务这些当然重要。但从长期使用的角度看功能列表不是最有参考价值的指标。因为工具可以迭代、插件可以更新、外部能力可以不断增强但模型自身的底版质量决定了这些外部能力能被兑现到什么程度。一个底版扎实的模型哪怕暂时功能少一点后续扩展起来也会非常顺利。因为它的推理能力强所以接上新工具时能快速理解工具的使用方式因为它的指令遵循精度高所以复杂工作流里的每一步都能稳定执行因为它的上下文管理能力强所以长期运行中不会因为遗忘导致任务中断。反过来如果一个模型底版不够扎实就算接上再多的工具也只能在简单任务里表现良好。一旦任务复杂度上升工具的作用就会变得越来越有限。因为工具能帮助模型获得信息、执行计算、调用外部接口但工具不能帮助模型“想清楚”。这也是我写这篇文章最想表达的一个判断禁掉所有工具之后我们才能看到模型的真实底版。而这个底版决定了它未来在复杂工作流里能走多远。所以在选择模型的时候你可以关注功能、关注工具生态、关注价格和速度但一定不要忽略一件事把这些全部拿掉之后它还能不能好好回答一个问题。这个话题里提到的 Opus 5 和 GPT-5.6无论它们是真实存在的版本还是社区里的叫法都不影响我们理解一个规律——模型与模型之间的竞争表层是功能中间是工具生态底层永远是推理能力、稳定性和可靠性。工具会越做越复杂但底版只会越来越重要。如果你现在正准备开始评估一个模型适不适合自己的业务建议先做一次裸测。关掉所有的工具只留一个对话框把你最复杂、最看重可靠性的任务交给它。它能不能接住值不值得你长期用下去答案会比任何榜单都清楚。