如果你最近在关注大模型推理相关的研究可能已经看到两种听起来有点“反常识”的说法一是大模型在复杂推理过程中会“忘掉”自己原本知道的世界知识二是把提示词里的英文改成全大写某些任务上的准确率反而会上升。这两个现象一个涉及推理与记忆的关系一个涉及输入表示与分词器看起来风马牛不相及但拼在一起恰好暴露了当前生成式推理的一个共性问题模型的“推理”并不像人类那样稳定它高度依赖输入形式、上下文顺序和 token 切分方式。这篇 arXiv 前沿快报我把这两件事放在一起拆解。第一部分解释“推理时忘记世界知识”背后的机制猜想第二部分分析大写文本影响准确率可能的原因第三部分给出一个可以本地跑通的最小验证实验最后聊一聊这些现象对提示词设计、知识增强和模型评测的启示。如果你正在做 RAG、Agent 或复杂推理任务的 prompt 调优这篇文章值得收藏。1. 这两条新闻为什么值得关注先给一个明确判断这两条信息不是猎奇而是在提醒我们重新看待大模型的“推理能力”边界。过去一年行业对推理模型的关注点集中在“能不能做对题”“推理链长不长”这类宏观层面却很少关心一个基础问题模型在推理过程中到底是如何调用自己记忆中的世界知识的标题里“AI 推理时会忘掉世界”这个说法听起来很科幻但它真正指向的问题是当模型进入多步推理状态后它可能在形式上保持逻辑连贯却在内容上偏离了事实。这对实际工程意味着什么说明你的 RAG 问答系统、Agent 工具调用链、甚至简单的 few-shot 提示词都可能因为上下文长度、问题改写方式或输入格式变化出现“答得很有逻辑但事实是错的”的情况。这比“直接答错”更难发现也更容易让业务方对系统失去信任。大写文本影响准确率这件事属于典型的输入敏感性。它提醒我们大模型的推理结果不只取决于“模型能力”还取决于“你用什么方式把问题递给模型”。同一个问题全小写是难题混合大小写是普通题这在传统机器学习时代不可想象但在 LLM 时代这已经是日常。理解这一层才能真正理解为什么提示词工程到现在还有价值。2. “推理时忘掉世界”到底是什么意思2.1 先说结论从目前公开讨论和 arXiv 上的相关工作看“忘掉世界”并不是指模型像数据库一样把某条记录删除了而是指推理过程中模型对上下文局部信息的注意力权重上升对自身参数中存储的知识的依赖下降。简单说模型不是“没记住”而是“没用上”。2.2 一个通俗类比想象你做一道数学应用题题目里给了一个多余条件但表述得很像关键信息。你一边算题一边盯着这个多余条件最后反而把自己本来很熟的公式给用错了。模型在长上下文推理中也会出现类似现象它把注意力过多放在上下文的最近几轮、问题改写句、或者中间某个看似重要的 span 上导致原本存储在权重里的知识没有被激活。2.3 技术层面的可能原因从技术角度看有几个值得关注的解释方向注意力稀释。多步推理时输入 token 越来越多模型在每个 token 上分配的平均注意力权重下降早期出现的关键事实可能被后续推理步骤“覆盖”。这有点像你在一张纸上不断写新内容最后早期写的字被压得看不清了。推理链的“自洽偏好”。模型在生成长推理链时会倾向于让后续内容与前面内容的表述保持一致而不是与外部事实保持一致。如果推理链中途出现一个小偏差后续步骤可能沿着这个偏差继续走形成“逻辑自洽但事实错误”的输出。知识检索与推理解耦不足。人类解决复杂问题时会主动区分“我正在推理”和“我从记忆里调取事实”这两个过程。但当前大多数 LLM 是单通道生成没有显式的知识检索开关知识和推理交织在同一个自回归过程中容易互相干扰。2.4 这不是一个纯理论问题从工程角度看“推理时忘掉世界”会直接表现为模型在长链路推理中把前面已经说对的事实改错模型在 RAG 场景里过度依赖检索片段反而忽略了自己知识中的常识模型在 Agent 工具调用场景里根据错误的中间结论选择错误的工具或参数。如果你在做这类系统下面这句结论值得记住当前模型的推理稳定性远不如它们在 benchmark 上的准确率看起来那么可靠。评测时不能只看最终答案对不对还要看中间推理过程中是否发生了事实漂移。3. 大写文本影响准确率是玄学还是工程问题3.1 这个现象本身很多开发者可能都遇到过把一段英文提示词全部转成大写模型输出的质量明显变化。有些任务上准确率下降有些任务上反而上升。标题里说“大写还能让准确率上升”这并不矛盾因为不同模型、不同任务、不同分词器对大小写的敏感度完全不同。3.2 背后的三个原因第一个原因是训练数据分布。大多数模型的预训练语料中全大写文本占比很低模型对这种输入形式的“熟悉度”不够。当输入全部变成大写时模型相当于在分布外做推理效果自然不稳定。反过来某些任务如果模型见过较多大写风格的数据比如标题、口号、法律文书摘要大写反而可能触发更相关的知识区域。第二个原因是 token 化差异。对 BPE 分词器来说“hello”和“HELLO”可能被切成完全不同的 token甚至 token 数量都可能不同。比如“AGI”可能是一个 token而“AGI”全部展开成单字母后可能是多个 token。token 序列变了注意力分布就变了最终推理结果也会变。这是最容易被忽略的工程细节。第三个原因是指令遵循的稳定性。部分模型在小写或混合大小写场景下更容易遵循指令因为训练时的指令模板大多如此全大写输入可能与模型的指令格式先验冲突导致模型错误地进入“强调”“警告”等生成模式从而影响推理质量。3.3 这个现象带来的实际教训不要默认“换一种输入格式模型能力不变”。在搭建提示词模版时应该把输入标准化作为一个独立环节来处理尤其是当你的系统可能接受用户原始输入并直接拼接到提示词中时。比如用户输入全大写、全小写、带大量 emoji、带异常空格这些看起来无关紧要的差异在最终结果上的影响可能比模型版本升级还大。这一点也直接引出了本文的实操部分与其看别人报告里说“大写让准确率上升了还是下降了”不如自己动手在目标任务上测一遍。下面我们就用一个小实验把这两个现象放到同一个脚本里验证。4. 自己动手验证搭建最小实验环境为了验证“推理时忘掉世界”和“大写影响准确率”不需要特别大的模型。我的建议是选一个 1B 参数左右的 instruct 模型既能跑出有意义的结果又不会让显存压力太大。4.1 环境清单操作系统Windows / Linux / macOS 均可Python3.10 或更高版本框架Transformers PyTorch模型Qwen2.5-0.5B-Instruct 或 Llama-3.2-1B-Instruct 这类可公开获取的开源模型显存要求0.5B 模型大约 2GB 显存即可纯 CPU 推理也可以只是速度慢一些4.2 安装依赖pip install --upgrade transformers torch accelerate如果你使用国内镜像可以用pip install --upgrade transformers torch accelerate -i https://pypi.tuna.tsinghua.edu.cn/simple版本以实际安装为准本文重点演示通用思路不绑定某一个具体版本号。4.3 准备实验脚本目录建议创建一个干净的项目目录mkdir llm-input-sensitivity cd llm-input-sensitivity后续所有脚本都放在这个目录下。5. 完整实验设计与代码实现实验设计分成两个部分。第一部分验证输入格式敏感性设计一组科学常识问题分别用正常大小写和全大写输入让模型回答比较准确率差异。第二部分验证推理中的知识一致性先让模型回答一个简单事实问题再把这个事实嵌入到一个多步推理题中看模型在推理过程中是否可能“忘掉”刚刚已经答对的事实。5.1 公共加载代码先写一个公共模块统一加载模型和分词器。# 文件路径llm-input-sensitivity/model_loader.py from transformers import AutoModelForCausalLM, AutoTokenizer def load_model(model_name: str Qwen/Qwen2.5-0.5B-Instruct): tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto, trust_remote_codeTrue, ) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token return model, tokenizer这里要说明如果你在 macOS 上跑device_map 可能自动选择 CPU 或 MPS如果你在 Linux 服务器上跑可以调整 torch_dtype 和 device_map。关键点是让模型能够在本地正常加载后续实验才有意义。5.2 实验一大写输入对推理准确率的影响实验思路构造同一组问题一个版本是正常书写一个版本是全部大写模型分别回答然后人工或通过关键词判断是否正确。# 文件路径llm-input-sensitivity/exp1_case_sensitivity.py import torch from model_loader import load_model model, tokenizer load_model() # 实验问题集每项是 (question, expected_keyword) questions [ (What is the capital of France?, Paris), (Which planet is known as the Red Planet?, Mars), (What is the chemical symbol for water?, H2O), (Who wrote the play Romeo and Juliet?, Shakespeare), (What is the largest mammal on Earth?, blue whale), ] def ask(model, tokenizer, prompt: str, max_new_tokens: int 64): messages [ {role: system, content: You are a helpful assistant. Answer the question briefly.}, {role: user, content: prompt}, ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(text, return_tensorspt) outputs model.generate( inputs.input_ids.to(model.device), attention_maskinputs.attention_mask.to(model.device), max_new_tokensmax_new_tokens, do_sampleFalse, ) response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return response.strip() for q, keyword in questions: normal_prompt q upper_prompt q.upper() normal_answer ask(model, tokenizer, normal_prompt) upper_answer ask(model, tokenizer, upper_prompt) normal_hit keyword.lower() in normal_answer.lower() upper_hit keyword.lower() in upper_answer.lower() print(f问题: {q}) print(f 正常输入回答: {normal_answer} 命中: {normal_hit}) print(f 大写输入回答: {upper_answer} 命中: {upper_hit}) print()这里的关键逻辑是同一个模型、同一个问题只改变输入的大小写形式记录准确率差异。正常大小写和全大写输入对模型来说可能对应完全不同的 token 序列因此最终回答质量会有波动。5.3 实验二推理链路中的“世界知识遗忘”这个实验更贴近标题里“推理时会忘掉世界”的现象。我们先让模型给出一个明确的事实判断然后把一个需要用到该事实的多步推理题交给模型观察模型是否能在推理中使用刚才已经答对的知识。# 文件路径llm-input-sensitivity/exp2_knowledge_recall.py from model_loader import load_model model, tokenizer load_model() def generate(prompt: str, max_new_tokens: int 128): messages [ {role: system, content: You are a careful reasoner. Answer step by step.}, {role: user, content: prompt}, ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(text, return_tensorspt) outputs model.generate( inputs.input_ids.to(model.device), attention_maskinputs.attention_mask.to(model.device), max_new_tokensmax_new_tokens, do_sampleFalse, ) response tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return response.strip() # 第一步单独问事实 fact_question What is the freezing point of water in Celsius? fact_answer generate(fact_question, max_new_tokens24) print(f事实问题回答: {fact_answer}) # 第二步把同一个知识嵌入到多步推理中 reasoning_question ( A scientist is studying phase changes. She has a sample of pure water at 100 degrees Celsius. She cools it down to 0 degrees Celsius exactly. Then she cools it further to -5 degrees Celsius. At which temperature does water start to freeze? Provide a short explanation. ) reasoning_answer generate(reasoning_question, max_new_tokens128) print(f推理问题回答: {reasoning_answer})如果你运行这个脚本一个可能看到的现象是模型在单独回答“水的冰点是 0 摄氏度”时是对的但在多步推理中可能会被其他条件干扰给出偏离事实的中间结论。这并不是模型“忘了”冰点是 0 度而是它在长上下文中处理多个条件时没有稳定地把已调用的知识迁移到后续推理步骤中。5.4 实验三通过标准化输入降低波动这个实验用来验证提示词标准化的价值。做法很简单把用户输入统一转换成模型训练时最常见的格式比如英文统一首字母大写、去除多余空格、统一标点再与原始输入的结果做对比。# 文件路径llm-input-sensitivity/exp3_normalization.py import re from model_loader import load_model model, tokenizer load_model() RAW_INPUT What is the capital city of FRANCE? tell me in one word. NORMALIZED_INPUT re.sub(r\s, , RAW_INPUT.lower().capitalize()) def ask(prompt: str, max_new_tokens: int 32): messages [ {role: system, content: You are a helpful assistant.}, {role: user, content: prompt}, ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, ) inputs tokenizer(text, return_tensorspt) outputs model.generate( inputs.input_ids.to(model.device), attention_maskinputs.attention_mask.to(model.device), max_new_tokensmax_new_tokens, do_sampleFalse, ) return tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue).strip() print(原始输入:, RAW_INPUT) print(标准化输入:, NORMALIZED_INPUT) print() print(原始输入回答:, ask(RAW_INPUT)) print(标准化输入回答:, ask(NORMALIZED_INPUT))这个实验的价值不在于证明“标准化一定更好”而在于让你实际感受到输入形式对结果的影响幅度。在很多真实项目里输入标准化甚至可以当作一个免费的提升手段。6. 运行结果与判断方法6.1 运行命令按顺序运行三个实验脚本python exp1_case_sensitivity.py python exp2_knowledge_recall.py python exp3_normalization.py6.2 预期现象实验一可能出现的现象是同一个模型在不同大小写输入下回答质量不稳定。有些问题大写后答对有些问题大写后答错。这种不一致本身就说明了模型对输入表示的敏感性。实验二可能出现的现象是模型在单独回答事实问题时正确但在嵌入多步推理后出现偏差。如果模型在复杂推理中仍然保持了正确的事实判断那说明这个小模型在这类问题上比较稳定但这并不代表更复杂的模型不会出问题。实验三可能出现的现象是标准化后生成的答案更稳定、更简短。如果出现这种情况说明在正式系统里加入 prompt 输入标准化是值得的。6.3 如何判断成功这套实验没有一个绝对量化的“成功”标准因为我们的目的是观察现象而不是刷指标。你可以用下面几个维度来判断实验是否有效同一问题不同输入形式模型输出是否出现可观察的差异单独事实问答与嵌入推理的事实使用之间是否出现不一致标准化输入是否带来更好的生成稳定性。如果三个实验都没有出现任何差异可能是模型比较大、鲁棒性较好也可能是实验问题对当前模型太简单。可以换更难的问题、更长的推理链或者更小的模型重新测试。6.4 运行失败先看哪里如果脚本报错先按以下顺序排查模型下载失败检查网络或更换国内可访问的镜像源显存不足换更小的模型或者在加载时加上 device_mapcpuapply_chat_template 报错确认模型版本是否支持聊天模板不支持就改为直接拼接纯文本提示词。7. 常见问题与排查思路问题现象可能原因排查方式解决方案加载模型时报 OOM模型参数量超过可用显存查看 GPU 显存占用减小 batch换更小模型或使用 CPU 推理generate 时输出为空生成长度设置太短检查 max_new_tokens 参数适当调大 max_new_tokens全大写输入回答乱码分词器对连续大写 token 切分异常打印 tokenizer 的 token 序列先做输入标准化再进入模型标准化前后结果差异过大模型对输入格式非常敏感多次运行观察波动范围固定输入模板避免用户原始格式直连模型推理题中模型反复不遵循指令推理链过长指令被稀释简化问题或增加显式的分步指令使用“Please think step by step”等提示词增强需要提醒一下上面提到的 OOM 和分词异常问题在任何大模型推理项目中都是常见的。真正容易踩坑的地方是第二个和第三个实验的判断标准——不要因为一两次运行结果就下结论建议每次实验至少重复 3 次观察结果是否稳定。8. 对 AI 推理工程实践的启发这两个现象看起来是学术探索但它们对实际工程的影响是直接的。8.1 提示词输入标准化应该成为工程规范无论你用的是商用 API 还是私有化模型用户输入都不可能天然规范。英文用户可能全大写中文用户可能带大量口语化表达有些人还会在问题里夹杂多余的空格、换行和标点。如果这些内容直接拼接进提示词模型输出质量就会波动。更稳妥的做法是在进入模型前加一个轻量的输入清洗层做统一格式化而不是把原始输入直接塞给大模型。8.2 评测不能只看最终答案“推理时忘掉世界”提醒我们模型可能在最终答案上碰巧正确但推理过程已经发生了知识漂移。更严格的评测方式应该包括对中间推理步骤的检查比如让模型输出思考过程再人工或用一个更强的校验模型去检查中间结论与事实是否一致。如果你在做 Agent 或工具调用类项目这一点尤其重要因为一个错误的中间结论可能触发错误的外部调用。8.3 知识增强系统要显式区分知识与推理如果你在做一个以知识问答为核心的系统建议在架构上把“知识检索/知识召回”和“推理生成”分成两个阶段。先明确告诉模型哪些是检索到的知识片段哪些是问题再要求模型推理。不要把相关知识隐藏在长上下文中模型很容易在长链路推理中“忘掉”它。推荐的结构是[用户问题]: ... [参考资料]: ... [基于资料和你的常识回答问题]: ...用这种显式分段比把全部内容堆在一个长 prompt 里更稳定。8.4 版本升级后必须重新验证输入格式敏感性模型从 0.5B 换到 1B或者从 Qwen 换到 Llama分词器完全变了同一段输入对应的 token 序列也完全不同。这意味着你在旧模型上验证过的“大写会降低准确率”“标准化有帮助”这些经验在新模型上可能不再成立。每次模型版本升级都需要把输入格式敏感性测试重新跑一遍。9. 总结与后续学习方向本文从本周 arXiv 前沿讨论中提取了两个容易被当成“冷知识”的现象并把它放到了实际工程视角里拆解。第一个现象“AI 推理时会忘掉世界”本质是模型在多步推理中注意力偏移导致参数知识与上下文知识没有稳定协作第二个现象“大写文本影响准确率”本质是 token 化差异与训练数据分布共同作用下的输入敏感性。这两个现象合在一起指向同一个结论我们在评估和部署大模型能力时不能忽略推理过程的稳定性与输入表示的鲁棒性。下一步你可以从三个方向继续深入。第一把本文的实验脚本扩展到自己的业务数据上建立一套专属的输入敏感性测试集每次模型或提示词变更后都跑一遍。第二研究提示词压缩和知识分段技术例如在长上下文中使用“知识块 推理指令”分离的结构缓解推理中途的事实漂移。第三关注 RAG 与 Agent 架构中的评测方法重点看“推理中间步准确性”这类指标而不是只盯着最终答案。这篇文章核心讲清楚的是模型推理的稳定性不是天生的它取决于输入表示、提示词结构和评测方式。如果你在做大模型应用建议先把这套输入敏感性实验跑起来它会帮你提前避开很多“上线才发现结果不受控”的坑。