模型“知道”却不“会说”18个开源大模型中的文化知识表示与解码鸿沟如果你正在用开源大模型做中文产品或文化类应用大概率遇到过这样的场景让模型讲讲“嫦娥奔月”它头头是道但你追问“嫦娥和后羿是什么关系为什么嫦娥要奔月她偷吃的灵药从哪里来”模型的回答开始变得似是而非甚至把“后羿射日”和“嫦娥奔月”混在一起。你第一反应是训练数据里没有这些知识于是准备换更大的模型或者再喂一批语料做微调。但最近一项追踪 18 个开源大语言模型中神话知识的研究给出了一个反直觉的结论这些文化知识其实在很多模型的内部表示里已经存在但模型在生成时无法稳定地把它们“解码”出来。换句话说模型不是“不知道”而是“知道却调不出来”。这个区别非常重要。如果模型真的不知道解决路径是加语料、换模型、扩参数但如果是“表示有、解码无”那问题出在知识提取链路、训练对齐方式甚至评测方法上盲目换大模型和加数据反而解决不了核心矛盾。本文会拆解这个研究与标题背后的技术逻辑并给出开发者可以落地的代码示例、复现思路和工程建议。1. 这篇文章真正要解决的问题先明确一个概念框架它也是整篇文章的核心术语表示Representation与解码Decoding。在 Transformer 架构中模型的知识以分布式向量的形式存储在不同层的 hidden state 里。所谓“表示有”指的是当喂给模型一段包含文化实体的文本时模型内部某一层或某几层的向量已经可以区分“嫦娥”和“精卫”“哪吒”等不同的神话人物。所谓“解码无”指的是当模型被直接提问时它在逐 token 生成回答的过程中无法稳定地从内部表示中提取出正确知识输出结果可能是错误、含糊或编造的。用人类来类比一个人看书时记住了“孟姜女哭长城”的故事但当你考他“孟姜女姓什么”时他说“姓孟”。他没有“不知道”这个知识只是无法在考试情境下正确提取。模型内部发生了类似的事情只是它的“提取失败”发生在神经网络的前向传播和自回归生成过程中。这项研究的价值在于两点第一它把“模型知识不足”这个模糊的结论进一步拆成了“知识是否被存储”和“知识是否能被调用”两个独立问题。对做 AI 应用和模型评测的人来说这是完全不同的排查方向。第二它选择了神话知识作为测试对象。神话是典型的高稀疏、强文化依赖的知识类型同一个概念在不同文化谱系里有不同变体不同语言社区对同一神明的描述方式差异极大。文化知识比“太阳系有几大行星”这种普适常识更容易暴露模型的内部盲区也更容易让我们看清“表示-解码”之间的裂缝。所以无论你是用开源 LLM 做问答、做数字人、做文化内容生成还是单纯想搞清楚“为什么大模型平时看着聪明、一考文化常识就翻车”这篇文章都值得读完。2. 为什么要用神话知识来检测大模型先解释为什么选神话知识。这不是一个随意的测试集而是经过了精心设计的选择。第一神话知识具有明确的实体边界。比如“嫦娥”“后羿”“广寒宫”“灵药”这些概念互相有稳定的人物关系和情节因果可以被标准化为知识三元组。这让研究人员可以精确构造测试题并判断模型的输出是否正确。第二神话知识在训练语料中的出现频率不高且严重不均衡。像“Zeus”“Thor”这类在英文互联网中高频出现的神话人物大模型可能学得不错但“精卫填海”“白蛇传”“孟婆汤”这类中国文化语境下的故事在海量训练语料中的占比很低。这种不均衡会让“知识是否被编码”和“知识是否能被解码”的差异更加明显。第三神话知识非常依赖上下文。同一个神话人物在不同的提问方式下会激活不同的知识路径。比如“嫦娥的丈夫是谁”和“嫦娥为什么奔月”虽然都指向同一知识实体但模型提取的内部特征向量可能完全不同。如果模型只在一个方向上学到了知识的“映射”换一个角度提问生成可能就失效了。因此神话知识是一面很好的“照妖镜”它足够难难到能区分真正掌握知识和靠统计表面关联“猜”出来的模型它又足够结构化让人可以设计可控的实验来分别检验表示层和解码层。3. 研究设计18 个开源大模型两层知识追踪这项研究覆盖了 18 个开源大语言模型。从研究标题看它追踪的是“神话知识”而非所有文化知识。整个实验设计可以看成两条并行路线。第一层是“解码能力”测试。研究人员直接向模型提出与神话知识相关的问题包括直接问答、多项选择和完形填空等多种形式。比如问“精卫填海中的精卫原本是谁的女儿”然后看模型能不能输出正确答案。这一层测的是模型在真实生成场景中的表现也就是用户实际体验到的能力。第二层是“表示能力”测试。研究人员提取模型在不同层级上的 hidden state训练一个线性探针linear probe去判断这些内部表示是否含有特定文化实体的可辨信息。如果探针在某个中间层能以较高准确率区分不同文化实体说明模型在参数中确实编码了相关文化知识。最后将两层结果进行对比。论文标题已经点明了最关键的发现文化意识在模型中确实有表示但无法被稳定解码。从研究分布来看开源 LLM 家族的表现存在明显的分层有代表性的几个模型系列在表示层差距并不大但在解码表现上差异显著。这表明“内部存储”能力可能相差无几真正的差距在于将存储转化为输出的能力。我们可以用一个示意表格来概括这两层测试的差异层面测试方式反映能力用户感知解码层直接问答、选择、填空模型从参数中提取并输出知识的能力直接看到对应“会不会答”表示层提取内部向量训练线性探针模型参数中是否包含可分离的知识特征不可见对应“内部有没有”需要注意不同系列模型的“表示-解码差距”并不一致。这说明差距可能源于架构选择、训练数据配比、对齐策略等多个因素而不是单纯由模型大小决定。对开发者而言这提醒我们不能只看“榜单分数”更应该关注模型在具体任务类型上的“知识可调用性”。4. 核心发现表示有、解码无到底意味着什么把研究结论再说得直接一点在多项测试中模型内部表示层包含的文化知识比模型生成层实际输出的要丰富。也就是说如果你只看模型生成的答案会严重低估它内部已经学到的内容。这个发现可以从三个维度去解读。维度一知识存储不等于知识使用。预训练阶段模型通过海量文本学到了大量统计规律其中包含了文化实体之间的共现关系。这些关系形成了内部向量空间中的结构。但在生成阶段模型需要把向量空间中的“相似性”转成具体的自然语言序列这个过程不是拷贝而是一次重建。如果重建路径不稳定知识就会被“锁”在参数里用户根本看不到。维度二模型越大表示能力未必同步转化为解码能力。很多人会下意识认为模型规模越大知识和输出都应该越好。但这项研究的结论表明更大的模型确实可能存储更多文化知识但知识调用能力的提升并不与之成正比。放大模型不一定会自动缩小“表示-解码差距”。这解释了为什么某些 7B 模型在文化知识问答中的表现可能不如经过更精细对齐的其他模型。维度三文化知识的稀疏性放大了解码失败。对于“北京是中国的首都”这种高频知识模型在生成时有多条路径可以提取到正确信息即使某条路径不通也能靠其他路径“绕”过去。但神话知识在语料中分布稀疏可用的提取路径少一旦主要通路激活失败模型没有备用方案就只能生成幻觉内容。这是“表示有、解码无”现象在文化场景中尤其明显的重要原因。对普通用户来说这种内部差异的直接体验就是模型在涉及文化常识的测试里看起来像“没学过”但实际上它是“学了但没考好”。这两种情况对应的改进方案截然不同。5. 为什么会“表示有、解码无”四个技术原因深入分析后可以把“表示有、解码无”拆成四个层面的技术原因这些原因也是模型开发者需要关注的本质问题。5.1 知识在参数中是分布式存储的提取需要触发条件Transformer 中某个知识并非集中存放在某个神经元里而是以分布式的形式铺在很多参数上。当我们说模型“知道”嫦娥和后羿的关系时指的是它内部存在一组向量模式能在某些激活条件下将这个关系“表达”出来。但生成任务要求模型在自回归过程中逐步选择 token每一步的选择都会影响后续的状态。如果最初的几个 token 走了偏后续激活的知识路径可能完全错位最终产出一个错误的回答。5.2 文化知识在训练语料中占比低解码路径没有“训练熟”预训练阶段模型并不会专门针对“如何把知识说清楚”做优化它只是学习预测下一个 token。对于高频知识模型有大量机会练习“提取-生成”的完整链路路径会越来越成熟。但文化知识出现的频率低模型的提取路径建立得很脆弱。一旦遇到上下文扰动、同义词替换或不同的提问句式激活就会失败。5.3 指令微调可能在抹平知识调用能力对齐阶段模型被训练成“更愿意回答、更谨慎、更符合人类偏好”。这个过程会改变模型的输出分布但不会修改预训练阶段学到的知识表示。如果一个模型在 SFT 和 RLHF 阶段被引导得过于保守或偏向某种特定风格的输出原本可以被调用的文化知识可能在输出层被过滤掉。研究中不同模型家族的“表示-解码差距”差异很可能就反映了这一步的差异。5.4 生成是逐 token 搜索错误会累积自回归生成本质上是“一次走错步步走偏”。假设模型正确存储了“精卫是炎帝之女”的知识但在生成“精卫”二字的上下文时注意力机制错误地把“女娲补天”相关的向量也激活了那么后续内容很可能就会滑向“女娲”的故事。这种错误累积在开放式生成中尤其常见也解释了为什么多项选择中模型的表现往往优于直接问答——选择题给了模型更多的约束降低了错误路径的扩散。6. 复现思路与代码实现给模型做一次“文化知识体检”理解了原理接下来要落地。这里给出一个简易但完整的复现流程总共三个步骤用到的代码都可直接运行。核心思路与论文一致第一步测解码能力直接问模型第二步测表示能力提取 hidden state 训练探针第三步做一个 RAG 补充方案验证外部检索是否能缓解解码失败。需要注意的是下面的示例代码聚焦方法论演示不是对论文实验的完整复刻。实际运行时你需要把自己的测试数据和标注结果替换进去。6.1 环境准备建议使用 Python 3.10安装以下依赖pip install transformers torch scikit-learn sentence-transformers如果国内网络拉取 HuggingFace 模型较慢可以先设置镜像环境变量export HF_ENDPOINThttps://hf-mirror.com6.2 第一步生成式问答测试测解码能力这个脚本会向模型提出一组神话知识问题并把模型生成的答案保存下来。# generation_eval.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapcuda ) questions [ 嫦娥是什么神话中的人物她与后羿是什么关系, 精卫填海的故事出自哪里精卫原本是谁的女儿, 哪吒的父亲是谁他大闹东海龙宫的原因是什么, ] def ask(question: str) - str: messages [{role: user, content: question}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt).to(cuda) outputs model.generate( **inputs, max_new_tokens200, do_sampleFalse, temperatureNone, top_pNone, ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) for q in questions: print(f问题: {q}) print(f回答: {ask(q)}) print(- * 60)关键逻辑do_sampleFalse关闭随机采样确保生成结果是确定的方便复现。使用apply_chat_template构造对话格式不同模型的模板可能不同但这个方法会自动适配。如果跑完发现模型答错别急着下结论先看下一步的探针结果判断是“没学到”还是“提取失败”。6.3 第二步内部表示探针测表示能力这是复现论文思路最核心的一步。我们从中间层提取句子的 hidden state并训练一个逻辑回归分类器判断内部表示是否能区分出“包含神话实体”和“不包含神话实体”的句子。# probe_training.py import numpy as np import torch from transformers import AutoModelForCausalLM, AutoTokenizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score model_name Qwen/Qwen2-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapcuda ) # 这里构造一个极小的示例数据集 # 实际实验建议每个文化实体准备数百条正负样本 texts [ 嫦娥奔月后居住在广寒宫。, # 正样本 后羿是嫦娥的丈夫嫦娥因服灵药升天。, # 正样本 精卫是炎帝之女死后化为鸟发誓填海。, # 正样本 哪吒是天庭托塔天王李靖的第三子。, # 正样本 今天天气很好我打算去公园跑步。, # 负样本 Python 是一种动态类型的编程语言。, # 负样本 苹果公司在秋季发布了新款手机。, # 负样本 ] labels np.array([1, 1, 1, 1, 0, 0, 0]) # 选择模型的中间层一般取总层数的 1/2 到 2/3 位置 # Qwen2-7B 共有 28 层这里取第 18 层 TARGET_LAYER 18 def extract_last_hidden(text: str) - np.ndarray: inputs tokenizer(text, return_tensorspt).to(cuda) with torch.no_grad(): outputs model(**inputs, output_hidden_statesTrue) hidden outputs.hidden_states[TARGET_LAYER] # (1, seq_len, hidden_dim) # 取最后一个 token 的 hidden state 作为句子表示 last_token_hidden hidden[:, -1, :].cpu().numpy() return last_token_hidden X np.vstack([extract_last_hidden(t) for t in texts]) clf LogisticRegression(max_iter1000) scores cross_val_score(clf, X, labels, cv3) print(f探针交叉验证准确率: {scores.mean():.3f})关键逻辑output_hidden_statesTrue让模型返回每一层的 hidden state这是探针实验的入口。取最后一个 token 的向量是一个简化策略。对于实体检测任务更稳妥的做法是取句子的平均池化或者只取目标实体位置上的 token这里为了演示清晰使用最后 token。如果探针准确率显著高于随机水平二分类接近 0.5说明模型内部确实编码了与神话实体相关的知识。当“探针分数高 生成准确率低”同时出现就复现出了论文强调的“表示有、解码无”现象。6.4 第三步RAG 检索增强方案外部知识注入既然模型内部有知识但解码不稳定最直接的生产级解法是引入外部知识。这里用向量检索把文化知识片段注入到生成上下文中。# simple_rag_demo.py import numpy as np from sentence_transformers import SentenceTransformer # 这是一个很小的神话知识库实际项目中建议从结构化知识图谱或百科语料构建 knowledge_base [ 嫦娥是中国古代神话中的月宫仙女后羿之妻因服用灵药而奔月。, 后羿是上古射日英雄嫦娥的丈夫曾射落九个太阳。, 精卫是炎帝之女女娃的化身溺亡于东海后化为鸟发誓填平东海。, 哪吒是托塔李天王李靖的第三子因闹海与东海龙王发生冲突。, 哪吒的法器有乾坤圈、混天绫、风火轮和火尖枪。, 孟婆是阴间鬼使传说她会递上孟婆汤使魂魄忘却前世记忆。, ] embed_model SentenceTransformer(BAAI/bge-base-zh-v1.5) # 预计算知识库向量 kb_embeddings embed_model.encode(knowledge_base, normalize_embeddingsTrue) def retrieve(query: str, top_k: int 2) - list[str]: query_embedding embed_model.encode(query, normalize_embeddingsTrue) scores kb_embeddings query_embedding top_indices scores.argsort()[-top_k:][::-1] return [knowledge_base[i] for i in top_indices] query 嫦娥的丈夫是谁 print(检索到的相关知识) for ctx in retrieve(query): print(f- {ctx})关键逻辑使用SentenceTransformer将文本转成向量再用余弦相似度检索这是 RAG 的最小实现。实际项目中可以把知识库从几行扩大到几千行并使用 FAISS、Milvus 等向量数据库。检索结果拼进 prompt 后再调用大模型生成回答。由于模型不用完全依赖内部的不稳定提取路径输出准确率会明显提升。7. 对开发者的实际影响与应对方案“表示有、解码无”这个结论如果成立对 AI 应用开发者会有实打实的影响。至少有三个方向值得重新思考。7.1 先诊断再换模型当模型在文化知识任务上表现不好时不要急着换更大规模的模型或加更多数据。先做一个“内部探针”测试确认是不是“解码失败”。如果是解码失败换一个规模相当但对齐策略不同的模型可能比换大模型效果更明显因为不同模型家族的“表示-解码差距”差异很大。7.2 RAG 是当前最稳的解法对于文化类产品外部知识注入比纯靠模型内生知识更可靠。原因很简单无论模型的内部表示有多丰富只要解码通路不稳定你都无法保证生成质量。与其去解锁模型的“隐藏知识”不如直接用检索的方式把正确答案放进上下文里让模型“照着说”。这个方案已经成为生产环境中文化问答、法律问答、医疗问答类应用的标配。7.3 评测指标要拆开看如果你负责模型评测可以考虑改变评测方式。传统评测只看模型最终输出的正确率但从这项研究来看输出正确率其实会掩盖模型的真实知识储备。更有参考价值的做法是“双轨评测”先测生成准确率再测内部表示的可分性然后记录两者的差值。差值大的模型未来的优化空间主要在解码侧差值小的模型知识储备本身可能就是短板。8. 常见问题与排查方法如果你在自己的模型或项目里也遇到了类似现象可以按照下面这张表来排查。问题现象可能原因排查方式解决方案直接问答错误率高但多选/填空正确率高知识提取链路不稳定生成时错误累积对比同一知识点的问答与选择准确率尝试约束生成、增加上下文提示、引入 RAG探针准确率高生成准确率低表示与解码脱钩模型内部有知识但难以调用对中间层 hidden state 训练线性探针改进生成策略、针对性 SFT、增加检索增强换更大模型后文化知识提升不明显模型规模扩大主要提升表示能力解码能力未同步增强分别测评表示层和解码层指标不盲目增大参数优先检查对齐策略和提示方式中文文化知识输出不如英文文化知识预训练语料中中文文化内容分布稀疏检查不同语言、不同文化实体上的表现差异用中文知识库做 RAG或做文化领域 SFT同一个问题换一种问法结果差异大知识提取依赖上下文触发条件没有泛化用同义改写构造多个测试用例增加多样化提示模板覆盖不同提问风格9. 总结与实践建议这项研究给出的核心启示可以总结为一句话大模型的文化知识问题很多时候不是“学没学到”而是“能不能调出来”。这两者的区分直接影响我们判断模型、选择模型和改进模型的方式。对于开发者和研究者来说下一步有三件可以立刻做的事第一把你自己的测试集拆成“表示层”和“解码层”不要只用最终答案准确率来衡量模型。只要多做一个探针实验就能更精确地知道模型知识短板到底出在哪一环。第二在做文化类应用时优先考虑 RAG 方案。把知识图谱、百科、神话文本库外置出来通过检索增强给模型提供可靠的上下文。这比单纯依赖模型内生知识更可控出错的概率也更低。第三如果你要做模型微调不要把全部精力放在 SFT 和 RLHF 上可以先从“解码路径”入手设计针对性的指令数据。让模型学会在不同提问方式下都能稳定激活已有的文化知识可能比让模型学习新知识更容易也更有效。“表示有、解码无”是开源大模型面临的普遍现象并不是某个具体模型的缺陷。理解这个现象能够帮助你在模型选型和系统设计中少走弯路也能让你在做评测时不被表面分数误导。这篇论文的方法值得在更多知识类型上验证如果你对文化知识表示与模型评估感兴趣建议直接去读论文原文并自己动手跑一次探针实验亲眼看一看模型的“隐藏知识”和“实际输出”之间的差距。 开源大模型“知道”却“不会说”：文化知识表示与解码鸿沟
模型“知道”却不“会说”18个开源大模型中的文化知识表示与解码鸿沟如果你正在用开源大模型做中文产品或文化类应用大概率遇到过这样的场景让模型讲讲“嫦娥奔月”它头头是道但你追问“嫦娥和后羿是什么关系为什么嫦娥要奔月她偷吃的灵药从哪里来”模型的回答开始变得似是而非甚至把“后羿射日”和“嫦娥奔月”混在一起。你第一反应是训练数据里没有这些知识于是准备换更大的模型或者再喂一批语料做微调。但最近一项追踪 18 个开源大语言模型中神话知识的研究给出了一个反直觉的结论这些文化知识其实在很多模型的内部表示里已经存在但模型在生成时无法稳定地把它们“解码”出来。换句话说模型不是“不知道”而是“知道却调不出来”。这个区别非常重要。如果模型真的不知道解决路径是加语料、换模型、扩参数但如果是“表示有、解码无”那问题出在知识提取链路、训练对齐方式甚至评测方法上盲目换大模型和加数据反而解决不了核心矛盾。本文会拆解这个研究与标题背后的技术逻辑并给出开发者可以落地的代码示例、复现思路和工程建议。1. 这篇文章真正要解决的问题先明确一个概念框架它也是整篇文章的核心术语表示Representation与解码Decoding。在 Transformer 架构中模型的知识以分布式向量的形式存储在不同层的 hidden state 里。所谓“表示有”指的是当喂给模型一段包含文化实体的文本时模型内部某一层或某几层的向量已经可以区分“嫦娥”和“精卫”“哪吒”等不同的神话人物。所谓“解码无”指的是当模型被直接提问时它在逐 token 生成回答的过程中无法稳定地从内部表示中提取出正确知识输出结果可能是错误、含糊或编造的。用人类来类比一个人看书时记住了“孟姜女哭长城”的故事但当你考他“孟姜女姓什么”时他说“姓孟”。他没有“不知道”这个知识只是无法在考试情境下正确提取。模型内部发生了类似的事情只是它的“提取失败”发生在神经网络的前向传播和自回归生成过程中。这项研究的价值在于两点第一它把“模型知识不足”这个模糊的结论进一步拆成了“知识是否被存储”和“知识是否能被调用”两个独立问题。对做 AI 应用和模型评测的人来说这是完全不同的排查方向。第二它选择了神话知识作为测试对象。神话是典型的高稀疏、强文化依赖的知识类型同一个概念在不同文化谱系里有不同变体不同语言社区对同一神明的描述方式差异极大。文化知识比“太阳系有几大行星”这种普适常识更容易暴露模型的内部盲区也更容易让我们看清“表示-解码”之间的裂缝。所以无论你是用开源 LLM 做问答、做数字人、做文化内容生成还是单纯想搞清楚“为什么大模型平时看着聪明、一考文化常识就翻车”这篇文章都值得读完。2. 为什么要用神话知识来检测大模型先解释为什么选神话知识。这不是一个随意的测试集而是经过了精心设计的选择。第一神话知识具有明确的实体边界。比如“嫦娥”“后羿”“广寒宫”“灵药”这些概念互相有稳定的人物关系和情节因果可以被标准化为知识三元组。这让研究人员可以精确构造测试题并判断模型的输出是否正确。第二神话知识在训练语料中的出现频率不高且严重不均衡。像“Zeus”“Thor”这类在英文互联网中高频出现的神话人物大模型可能学得不错但“精卫填海”“白蛇传”“孟婆汤”这类中国文化语境下的故事在海量训练语料中的占比很低。这种不均衡会让“知识是否被编码”和“知识是否能被解码”的差异更加明显。第三神话知识非常依赖上下文。同一个神话人物在不同的提问方式下会激活不同的知识路径。比如“嫦娥的丈夫是谁”和“嫦娥为什么奔月”虽然都指向同一知识实体但模型提取的内部特征向量可能完全不同。如果模型只在一个方向上学到了知识的“映射”换一个角度提问生成可能就失效了。因此神话知识是一面很好的“照妖镜”它足够难难到能区分真正掌握知识和靠统计表面关联“猜”出来的模型它又足够结构化让人可以设计可控的实验来分别检验表示层和解码层。3. 研究设计18 个开源大模型两层知识追踪这项研究覆盖了 18 个开源大语言模型。从研究标题看它追踪的是“神话知识”而非所有文化知识。整个实验设计可以看成两条并行路线。第一层是“解码能力”测试。研究人员直接向模型提出与神话知识相关的问题包括直接问答、多项选择和完形填空等多种形式。比如问“精卫填海中的精卫原本是谁的女儿”然后看模型能不能输出正确答案。这一层测的是模型在真实生成场景中的表现也就是用户实际体验到的能力。第二层是“表示能力”测试。研究人员提取模型在不同层级上的 hidden state训练一个线性探针linear probe去判断这些内部表示是否含有特定文化实体的可辨信息。如果探针在某个中间层能以较高准确率区分不同文化实体说明模型在参数中确实编码了相关文化知识。最后将两层结果进行对比。论文标题已经点明了最关键的发现文化意识在模型中确实有表示但无法被稳定解码。从研究分布来看开源 LLM 家族的表现存在明显的分层有代表性的几个模型系列在表示层差距并不大但在解码表现上差异显著。这表明“内部存储”能力可能相差无几真正的差距在于将存储转化为输出的能力。我们可以用一个示意表格来概括这两层测试的差异层面测试方式反映能力用户感知解码层直接问答、选择、填空模型从参数中提取并输出知识的能力直接看到对应“会不会答”表示层提取内部向量训练线性探针模型参数中是否包含可分离的知识特征不可见对应“内部有没有”需要注意不同系列模型的“表示-解码差距”并不一致。这说明差距可能源于架构选择、训练数据配比、对齐策略等多个因素而不是单纯由模型大小决定。对开发者而言这提醒我们不能只看“榜单分数”更应该关注模型在具体任务类型上的“知识可调用性”。4. 核心发现表示有、解码无到底意味着什么把研究结论再说得直接一点在多项测试中模型内部表示层包含的文化知识比模型生成层实际输出的要丰富。也就是说如果你只看模型生成的答案会严重低估它内部已经学到的内容。这个发现可以从三个维度去解读。维度一知识存储不等于知识使用。预训练阶段模型通过海量文本学到了大量统计规律其中包含了文化实体之间的共现关系。这些关系形成了内部向量空间中的结构。但在生成阶段模型需要把向量空间中的“相似性”转成具体的自然语言序列这个过程不是拷贝而是一次重建。如果重建路径不稳定知识就会被“锁”在参数里用户根本看不到。维度二模型越大表示能力未必同步转化为解码能力。很多人会下意识认为模型规模越大知识和输出都应该越好。但这项研究的结论表明更大的模型确实可能存储更多文化知识但知识调用能力的提升并不与之成正比。放大模型不一定会自动缩小“表示-解码差距”。这解释了为什么某些 7B 模型在文化知识问答中的表现可能不如经过更精细对齐的其他模型。维度三文化知识的稀疏性放大了解码失败。对于“北京是中国的首都”这种高频知识模型在生成时有多条路径可以提取到正确信息即使某条路径不通也能靠其他路径“绕”过去。但神话知识在语料中分布稀疏可用的提取路径少一旦主要通路激活失败模型没有备用方案就只能生成幻觉内容。这是“表示有、解码无”现象在文化场景中尤其明显的重要原因。对普通用户来说这种内部差异的直接体验就是模型在涉及文化常识的测试里看起来像“没学过”但实际上它是“学了但没考好”。这两种情况对应的改进方案截然不同。5. 为什么会“表示有、解码无”四个技术原因深入分析后可以把“表示有、解码无”拆成四个层面的技术原因这些原因也是模型开发者需要关注的本质问题。5.1 知识在参数中是分布式存储的提取需要触发条件Transformer 中某个知识并非集中存放在某个神经元里而是以分布式的形式铺在很多参数上。当我们说模型“知道”嫦娥和后羿的关系时指的是它内部存在一组向量模式能在某些激活条件下将这个关系“表达”出来。但生成任务要求模型在自回归过程中逐步选择 token每一步的选择都会影响后续的状态。如果最初的几个 token 走了偏后续激活的知识路径可能完全错位最终产出一个错误的回答。5.2 文化知识在训练语料中占比低解码路径没有“训练熟”预训练阶段模型并不会专门针对“如何把知识说清楚”做优化它只是学习预测下一个 token。对于高频知识模型有大量机会练习“提取-生成”的完整链路路径会越来越成熟。但文化知识出现的频率低模型的提取路径建立得很脆弱。一旦遇到上下文扰动、同义词替换或不同的提问句式激活就会失败。5.3 指令微调可能在抹平知识调用能力对齐阶段模型被训练成“更愿意回答、更谨慎、更符合人类偏好”。这个过程会改变模型的输出分布但不会修改预训练阶段学到的知识表示。如果一个模型在 SFT 和 RLHF 阶段被引导得过于保守或偏向某种特定风格的输出原本可以被调用的文化知识可能在输出层被过滤掉。研究中不同模型家族的“表示-解码差距”差异很可能就反映了这一步的差异。5.4 生成是逐 token 搜索错误会累积自回归生成本质上是“一次走错步步走偏”。假设模型正确存储了“精卫是炎帝之女”的知识但在生成“精卫”二字的上下文时注意力机制错误地把“女娲补天”相关的向量也激活了那么后续内容很可能就会滑向“女娲”的故事。这种错误累积在开放式生成中尤其常见也解释了为什么多项选择中模型的表现往往优于直接问答——选择题给了模型更多的约束降低了错误路径的扩散。6. 复现思路与代码实现给模型做一次“文化知识体检”理解了原理接下来要落地。这里给出一个简易但完整的复现流程总共三个步骤用到的代码都可直接运行。核心思路与论文一致第一步测解码能力直接问模型第二步测表示能力提取 hidden state 训练探针第三步做一个 RAG 补充方案验证外部检索是否能缓解解码失败。需要注意的是下面的示例代码聚焦方法论演示不是对论文实验的完整复刻。实际运行时你需要把自己的测试数据和标注结果替换进去。6.1 环境准备建议使用 Python 3.10安装以下依赖pip install transformers torch scikit-learn sentence-transformers如果国内网络拉取 HuggingFace 模型较慢可以先设置镜像环境变量export HF_ENDPOINThttps://hf-mirror.com6.2 第一步生成式问答测试测解码能力这个脚本会向模型提出一组神话知识问题并把模型生成的答案保存下来。# generation_eval.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapcuda ) questions [ 嫦娥是什么神话中的人物她与后羿是什么关系, 精卫填海的故事出自哪里精卫原本是谁的女儿, 哪吒的父亲是谁他大闹东海龙宫的原因是什么, ] def ask(question: str) - str: messages [{role: user, content: question}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt).to(cuda) outputs model.generate( **inputs, max_new_tokens200, do_sampleFalse, temperatureNone, top_pNone, ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) for q in questions: print(f问题: {q}) print(f回答: {ask(q)}) print(- * 60)关键逻辑do_sampleFalse关闭随机采样确保生成结果是确定的方便复现。使用apply_chat_template构造对话格式不同模型的模板可能不同但这个方法会自动适配。如果跑完发现模型答错别急着下结论先看下一步的探针结果判断是“没学到”还是“提取失败”。6.3 第二步内部表示探针测表示能力这是复现论文思路最核心的一步。我们从中间层提取句子的 hidden state并训练一个逻辑回归分类器判断内部表示是否能区分出“包含神话实体”和“不包含神话实体”的句子。# probe_training.py import numpy as np import torch from transformers import AutoModelForCausalLM, AutoTokenizer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score model_name Qwen/Qwen2-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapcuda ) # 这里构造一个极小的示例数据集 # 实际实验建议每个文化实体准备数百条正负样本 texts [ 嫦娥奔月后居住在广寒宫。, # 正样本 后羿是嫦娥的丈夫嫦娥因服灵药升天。, # 正样本 精卫是炎帝之女死后化为鸟发誓填海。, # 正样本 哪吒是天庭托塔天王李靖的第三子。, # 正样本 今天天气很好我打算去公园跑步。, # 负样本 Python 是一种动态类型的编程语言。, # 负样本 苹果公司在秋季发布了新款手机。, # 负样本 ] labels np.array([1, 1, 1, 1, 0, 0, 0]) # 选择模型的中间层一般取总层数的 1/2 到 2/3 位置 # Qwen2-7B 共有 28 层这里取第 18 层 TARGET_LAYER 18 def extract_last_hidden(text: str) - np.ndarray: inputs tokenizer(text, return_tensorspt).to(cuda) with torch.no_grad(): outputs model(**inputs, output_hidden_statesTrue) hidden outputs.hidden_states[TARGET_LAYER] # (1, seq_len, hidden_dim) # 取最后一个 token 的 hidden state 作为句子表示 last_token_hidden hidden[:, -1, :].cpu().numpy() return last_token_hidden X np.vstack([extract_last_hidden(t) for t in texts]) clf LogisticRegression(max_iter1000) scores cross_val_score(clf, X, labels, cv3) print(f探针交叉验证准确率: {scores.mean():.3f})关键逻辑output_hidden_statesTrue让模型返回每一层的 hidden state这是探针实验的入口。取最后一个 token 的向量是一个简化策略。对于实体检测任务更稳妥的做法是取句子的平均池化或者只取目标实体位置上的 token这里为了演示清晰使用最后 token。如果探针准确率显著高于随机水平二分类接近 0.5说明模型内部确实编码了与神话实体相关的知识。当“探针分数高 生成准确率低”同时出现就复现出了论文强调的“表示有、解码无”现象。6.4 第三步RAG 检索增强方案外部知识注入既然模型内部有知识但解码不稳定最直接的生产级解法是引入外部知识。这里用向量检索把文化知识片段注入到生成上下文中。# simple_rag_demo.py import numpy as np from sentence_transformers import SentenceTransformer # 这是一个很小的神话知识库实际项目中建议从结构化知识图谱或百科语料构建 knowledge_base [ 嫦娥是中国古代神话中的月宫仙女后羿之妻因服用灵药而奔月。, 后羿是上古射日英雄嫦娥的丈夫曾射落九个太阳。, 精卫是炎帝之女女娃的化身溺亡于东海后化为鸟发誓填平东海。, 哪吒是托塔李天王李靖的第三子因闹海与东海龙王发生冲突。, 哪吒的法器有乾坤圈、混天绫、风火轮和火尖枪。, 孟婆是阴间鬼使传说她会递上孟婆汤使魂魄忘却前世记忆。, ] embed_model SentenceTransformer(BAAI/bge-base-zh-v1.5) # 预计算知识库向量 kb_embeddings embed_model.encode(knowledge_base, normalize_embeddingsTrue) def retrieve(query: str, top_k: int 2) - list[str]: query_embedding embed_model.encode(query, normalize_embeddingsTrue) scores kb_embeddings query_embedding top_indices scores.argsort()[-top_k:][::-1] return [knowledge_base[i] for i in top_indices] query 嫦娥的丈夫是谁 print(检索到的相关知识) for ctx in retrieve(query): print(f- {ctx})关键逻辑使用SentenceTransformer将文本转成向量再用余弦相似度检索这是 RAG 的最小实现。实际项目中可以把知识库从几行扩大到几千行并使用 FAISS、Milvus 等向量数据库。检索结果拼进 prompt 后再调用大模型生成回答。由于模型不用完全依赖内部的不稳定提取路径输出准确率会明显提升。7. 对开发者的实际影响与应对方案“表示有、解码无”这个结论如果成立对 AI 应用开发者会有实打实的影响。至少有三个方向值得重新思考。7.1 先诊断再换模型当模型在文化知识任务上表现不好时不要急着换更大规模的模型或加更多数据。先做一个“内部探针”测试确认是不是“解码失败”。如果是解码失败换一个规模相当但对齐策略不同的模型可能比换大模型效果更明显因为不同模型家族的“表示-解码差距”差异很大。7.2 RAG 是当前最稳的解法对于文化类产品外部知识注入比纯靠模型内生知识更可靠。原因很简单无论模型的内部表示有多丰富只要解码通路不稳定你都无法保证生成质量。与其去解锁模型的“隐藏知识”不如直接用检索的方式把正确答案放进上下文里让模型“照着说”。这个方案已经成为生产环境中文化问答、法律问答、医疗问答类应用的标配。7.3 评测指标要拆开看如果你负责模型评测可以考虑改变评测方式。传统评测只看模型最终输出的正确率但从这项研究来看输出正确率其实会掩盖模型的真实知识储备。更有参考价值的做法是“双轨评测”先测生成准确率再测内部表示的可分性然后记录两者的差值。差值大的模型未来的优化空间主要在解码侧差值小的模型知识储备本身可能就是短板。8. 常见问题与排查方法如果你在自己的模型或项目里也遇到了类似现象可以按照下面这张表来排查。问题现象可能原因排查方式解决方案直接问答错误率高但多选/填空正确率高知识提取链路不稳定生成时错误累积对比同一知识点的问答与选择准确率尝试约束生成、增加上下文提示、引入 RAG探针准确率高生成准确率低表示与解码脱钩模型内部有知识但难以调用对中间层 hidden state 训练线性探针改进生成策略、针对性 SFT、增加检索增强换更大模型后文化知识提升不明显模型规模扩大主要提升表示能力解码能力未同步增强分别测评表示层和解码层指标不盲目增大参数优先检查对齐策略和提示方式中文文化知识输出不如英文文化知识预训练语料中中文文化内容分布稀疏检查不同语言、不同文化实体上的表现差异用中文知识库做 RAG或做文化领域 SFT同一个问题换一种问法结果差异大知识提取依赖上下文触发条件没有泛化用同义改写构造多个测试用例增加多样化提示模板覆盖不同提问风格9. 总结与实践建议这项研究给出的核心启示可以总结为一句话大模型的文化知识问题很多时候不是“学没学到”而是“能不能调出来”。这两者的区分直接影响我们判断模型、选择模型和改进模型的方式。对于开发者和研究者来说下一步有三件可以立刻做的事第一把你自己的测试集拆成“表示层”和“解码层”不要只用最终答案准确率来衡量模型。只要多做一个探针实验就能更精确地知道模型知识短板到底出在哪一环。第二在做文化类应用时优先考虑 RAG 方案。把知识图谱、百科、神话文本库外置出来通过检索增强给模型提供可靠的上下文。这比单纯依赖模型内生知识更可控出错的概率也更低。第三如果你要做模型微调不要把全部精力放在 SFT 和 RLHF 上可以先从“解码路径”入手设计针对性的指令数据。让模型学会在不同提问方式下都能稳定激活已有的文化知识可能比让模型学习新知识更容易也更有效。“表示有、解码无”是开源大模型面临的普遍现象并不是某个具体模型的缺陷。理解这个现象能够帮助你在模型选型和系统设计中少走弯路也能让你在做评测时不被表面分数误导。这篇论文的方法值得在更多知识类型上验证如果你对文化知识表示与模型评估感兴趣建议直接去读论文原文并自己动手跑一次探针实验亲眼看一看模型的“隐藏知识”和“实际输出”之间的差距。