一项建模研究预测科学家使用 LLM 做研究最终会“做得更多但做得没那么好”。这句话听起来像一句提醒但拆开看它其实在说当工具把写代码、查文献、整理论文这些执行成本压到极低时真正的稀缺品变成了人的注意力、判断力和验证意愿。过去一个科研想法从产生到验证中间隔着大量琐碎劳动这些劳动既是负担也是一种天然的刹车。现在 LLM 把刹车拆掉了很多科学家自然会加速踩油门。问题是科研质量并不完全取决于油门。我更关心的是这个预测指向的机制如果科学家真的把 LLM 当成“代笔工具”来用把所有重复劳动都外包出去那么接住这个加速度的会不会是更严格的实验验证、更细致的误差分析、更诚实的失败记录还是只有更多看起来完整、实则没有足够推敲的产出这个问题的答案决定了 LLM 对科学界是放大器还是稀释器。1. 先理解这句预测为什么“做得更多”容易“做得没那么好”也说得通1.1 这不是实测结论而是一个建模预测关键是它指出的机制很多读者看到这个预测第一反应是“又在唱衰 AI”。我理解这种直觉但更建议把它当成一个“如果……那么……”的思维实验。建模预测不是对现状的统计归纳而是根据一系列假设推演出的未来路径。它可能不准但它的价值在于把一个隐性风险摆到台面上如果科学家原样使用 LLM质量会发生什么变化。科研工作可以粗略分成两类活动生产性活动和验证性活动。生产性活动包括读文献、写代码、起草论文验证性活动包括设计对照实验、检查误差、寻找反例、质疑因果方向。LLM 大幅降低的是生产性活动的成本而验证性活动仍然依赖人的脑力和时间。当生产性活动的成本趋近于零时科学家在单位时间里可以产生更多半成品但验证这些半成品的时间并不会同步减少。假设一个科学家过去一周做一个课题其中 3 天用于“写”4 天用于“验证”。现在“写”被压缩到 1 天剩余 6 天如果全部投入新课题的“写”那么每个课题分到的验证时间就会明显下降。这就是“做得更多但做得没那么好”最朴素的计算。模型不一定精确但它说明了一个硬约束人的脑力有上限验证一个假设、排除一个干扰、发现一个错误都需要真实注意力LLM 无法替人承担这份责任。1.2 科研生产函数变了从“执行约束”转向“判断约束”过去一个科研想法到最终论文之间隔着大量琐碎劳动。你需要手动检索文献把几十篇 PDF 打开、复制、整理要写长脚本处理表格。这些工作让科研产出天然存在一个节流阀。节流阀不完全是坏事它迫使你在进入下一步之前慢下来。LLM 相当于把节流阀拆掉了新的瓶颈不再是执行能力而是你自己的判断带宽。可以做一个类比过去写一篇 related work你需要亲自读 30 篇论文这个过程的副产品是你对领域脉络的敏感度。现在 LLM 直接给你一段总结你省下了时间但也失去了对原始文献的体感。如果你不刻意去补读几篇你的判断力会逐渐依赖模型的二手摘要而这恰恰是质量下降的早期信号。当然“判断约束”也可以反过来理解如果科学家把省下来的时间用于更深度的问题拆解、实验设计、同行讨论那么 LLM 反而能提高质量。但建模预测默认的是人会把时间省下来再用于产出因为这符合最省力法则。所以这个预测其实在提醒我们不做人为干预默认路径就是质量下降。1.3 预测的边界它描述的是“无差别接入”下的默认结果不是必然结果这个预测不是宿命。它建立在“科学家会用 LLM 替代大量思考环节”的假设上。如果使用方式不同结果可以完全不同。例如一个研究团队规定“LLM 只能用来生成初稿和整理格式不得直接生成科研结论”那么质量风险就被限制在可控范围内。再比如如果科学家在每一个 LLM 输出后强制进行反例搜索LLM 造成误导的概率也会大幅下降。所以我在读这个标题时不会把它当成“AI 会毁掉科学”的警告而会把它当成“默认配置有风险需要覆盖默认配置”的提示。接下来的内容就沿着这条思路展开哪些环节最容易被“多”带偏哪些机制能把“好”留住。2. 从科研工作流拆解LLM 到底在哪里改变了质量天平2.1 被加速的环节也是质量最容易被“假阳性”侵蚀的环节LLM 对科研的渗透不是均匀的。现在最常见的使用场景集中在文献综述、代码生成、论文润色、假设生成。这四个环节的提速都很明显但质量风险完全不同。先说文献综述。LLM 生成的综述非常流畅甚至能自动分好类。但问题在于生成式模型不会真正区分“我读过这篇论文”和“我猜这里应该有篇论文”。它可能编造一个看起来合理的引用或者把两篇相近的工作合并成一篇。很多文献综述工具加了检索环节来缓解幻觉但只要最后一步是生成就依然存在概率性失真。对应到科研工作流里如果你的相关研究部分由 LLM 直接生成又没有逐条核对原文那等于把论文的学术诚信防线交给了概率。代码生成也有类似问题。初学者很容易被“能跑”迷惑但 LLM 生成的代码往往只覆盖了正常路径缺少对空值、缺行、编码格式、并发冲突这类边界条件的处理。一个函数在样例数据上输出正确不代表在真实数据上也能正确处理如果数据分布和训练时看到的不一样甚至可能出现静默错误。论文润色是风险相对低的一个环节因为原文事实已经确定LLM 只做语言改写。但低风险不等于零风险。有些科学家太相信润色后的句子更权威可能忽略了润色过程中引入的细微语义偏移比如把“可能”改成“表明”把“相关”改成“因果”。这种偏移会改变论文的科学含义。假设生成最微妙。LLM 确实能快速生成几十个候选假设但它的底层逻辑是“组合已有知识”而不是“推导新的因果机制”。如果你拿这些假设当灵感来源没有问题如果你直接相信某些假设比你自己想的更靠谱那是把检索到的常见组合误当成了科学发现。2.2 为什么“看起来正确”比“明确错误”更危险科研工作中明确错误通常能在审稿时被抓住。但 LLM 输出的错误往往是流畅的错误。它用专业术语、完整的逻辑链、可信的语气把错误包装起来让人的批判性大脑直接进入阅读模式而不是审查模式。我做过一个小试验给 LLM 一个涉及混淆变量的因果推断问题它给出了一个很标准的回归分析步骤每一步看起来都正确甚至告诉我要控制年龄和性别。但如果不在提示词里强调“这个变量实际上受处理变量影响”模型很容易忽略中介变量的角色。这个错误不是格式错误而是研究设计的核心瑕疵。如果审稿人没有发现错误就被固化在论文里后续引用会沿着这条错误链扩散。更麻烦的是这种“看起来正确”会让科学家减少质疑。心理学里有个概念叫“认知卸载”当你把任务交给一个可信的工具后你对任务本身的监控会下降。LLM 的语言流畅度恰好会进一步降低监控意愿。这就是为什么我强调“假阳性”比明显的错误更值得花时间追查表面正确的结果会直接绕过人的警报系统。2.3 效率提升反而可能降低探索深度另一个容易忽略的机制是LLM 可能让科学家少了挣扎的时间。如果你让 LLM 写一个复杂的数据处理脚本它几秒钟给你一个方案。你测试一下能用就继续下一件事了。但如果你自己写你可能在写的过程中意识到“原始数据里还有一个时间戳字段需要处理”“当地时区会影响日期对齐”。这些是在写代码的摩擦中自然浮现的问题。当 LLM 替你把路铺平这些问题也就不再浮出水面。当然你可以主动问 LLM“有没有遗漏什么边界条件”但提问质量取决于你自己的经验。经验不足的人根本不知道该问什么。这个恶性循环意味着过度依赖 LLM 的科研新手表面上产出速度很快但真正对科研规范的肌肉记忆可能比上一代人更弱。这不是智力问题而是训练路径变化导致的。所以“做得没那么好”不一定指单篇论文的质量大幅下降更可能指科研人员长期能力的隐性稀释。因为不自己写代码而不了解数据细节因为不自己总结文献而丧失领域脉络感因为不自己整理逻辑而失去对论文结构的掌控力。这些变化短期看不见但三五年后会出现明显分化。3. 质量下降不是必然关键在人为设置“认知检查点”3.1 给 LLM 的使用场景分层什么可以全委托什么必须半委托我一直反对“一刀切禁止 LLM”或“彻底放开”这两种极端。比较好的做法是根据任务的“可验证性”和“错误代价”来分层。使用环节建议委托程度原因质检点文献检索/初步筛选半委托模型可能漏掉关键反例引用可能不存在抽查原始摘要核对 DOI 或链接代码生成半委托“能跑”不等于“逻辑正确”单元测试、极端输入、代码审查论文润色全委托事实不变时风险较低逐段对比事实和逻辑关系假设生成低委托模型倾向组合已知概念容易忽略领域规则用实验设计反向验证数据分析/统计建模低委托统计方法选错会导致系统性偏差人工复核模型假设、残差、效应量从这张表可以看出委托程度越高越需要有一个“人在回路”的检查点。这不是不信任工具而是因为 LLM 的可靠性在复杂任务里并不稳定。你把它用在格式和润色上它几乎不会出错你让它设计实验或判断统计方法一旦出错就是方向性错误。3.2 一个可复用的“四步校准法”如果你不确定一个 LLM 输出能不能直接采用可以用下面这个流程过一遍。我把它叫“四步校准法”因为核心不是让模型自圆其说而是让模型帮忙暴露问题输入校准在提问前把任务背景、数据范围、已知约束都写进提示词。如果任务涉及数据把字段说明、缺失值处理策略尽量补充完整。输入越具体输出越容易校验。输出审查拿到输出后先问三个问题——它的结论能追溯到原始数据或文献吗有没有删掉限制条件有没有把相关性说成因果反向验证有意让 LLM “找出自己输出的漏洞”再自己找一个反例去测试。比如让代码生成器描述它没有处理哪些边界情况然后针对这些边界情况写测试。留存记录把原始提示词、LLM 版本、输出文本和你的修改记录存下来。将来如果论文出了问题至少能知道哪一步是工具生成的哪一步是你自己判断的。这个四步法不是为了增加工作量而是为了把“使用 LLM”从一次性的“我要答案”变成可追溯的“我获得了一个候选答案并完成了验证”。长期下来你会积累一套属于自己的 LLM 质检基准。注意四步校准法里的“反向验证”不是走过场而是把批判性思维化成显式动作。如果你发现自己每次都能问出同样的问题说明你的提示词和校验策略已经稳定可以开始批量处理了。3.3 在个人工作流里给“人肉质检”留出硬时间很多人使用 LLM 是为了省时间但如果省下来的时间没有分给质检最终还是会掉进“多而不精”的陷阱。我的建议是用 LLM 完成一项重要产出之后至少预留 20% 的时间来做验证和追问。这 20% 不是空想而是执行前面说的四步校准法。如果你发现连 20% 的时间都不够说明这个任务可能太复杂或者你对该领域不够熟需要进一步分解任务而不是硬用 LLM 一把梭。这里最关键的心态转变是LLM 省下来的是“打字时间”不是“思考时间”。思考时间如果也被压缩那么使用 LLM 的边际收益会迅速下降甚至变成负收益。4. 真正值得长期建设的不是“更快的产出线”而是“更强的人工审查网络”4.1 从个人到团队审查责任要重新分配当 LLM 进入团队工作流最大的变化不是每个人都变得更能写而是上游产出速度大增下游审查压力剧增。一个小组里过去一周可能收到两篇初稿现在能收到五篇甚至更多但能参与深度评审的人还是那几个。如果团队只统计“产出初稿数”不统计“通过评审数”和“发现问题数”质量就会持续下滑。所以如果团队决定全面使用 LLM我建议同步设计“双轨指标”一条轨统计产出数量比如生成的论文段落数、代码函数数、假设数另一条轨统计质量活动比如人工验证次数、发现错误数、被驳回返工数、独立复核次数。只有两条轨一起增长才说明工具真正提升了科研生产力。如果只看第一类很容易被表面的繁荣欺骗。4.2 设计一套“科研质量复盘框架”在团队协作中可以按下面四个层级来建立复盘模板。数据层数据来源能否追溯清洗规则是否可复现如果数据中有异常值是否有处理记录模型层LLM 在哪个环节被使用用了什么提示词和参数是否保存了输入和输出验证层有没有做反例测试有没有让独立的人复核关键结论审稿意见里有没有因为“生成式表述”产生的误导认知层这个结论是工具告诉你的还是你自己通过理解数据后得出的判断如果去掉 LLM这个结论还成立吗这四个层级不要求每次都走全套但每篇重要论文、每个重要实验结果至少应该过一遍。复盘的目的不是证明 LLM 没问题而是知道哪些地方可能有问题。这种“知道”恰恰是 LLM 时代科研工作者最稀缺的能力。4.3 长期价值LLM 提升的是“科学写作的民主化”不是“科学发现的自动化”我还是要强调一个容易被忽略的正面价值LLM 大大降低了科研表达的门槛。过去不擅长英文写作、不熟悉代码规范的科研人员现在可以借助 LLM 快速产出结构清晰的初稿。这对跨学科合作、对来自不同语言背景的研究者都是好事。但是写作门槛降低不等于科学门槛降低。科学发现仍然要经过实验、复现、同行评议和长期检验。LLM 更像是一个“写作和编程民主化”的工具而不是“科学发现的自动化”工具。如果把两者混为一谈就会出现一种怪象论文产出数量上去了但真正的知识增量没有对应上升。这就回到了标题里的预测——做得更多但做得没那么好。想要扭转这个趋势需要持续建设“人工审查网络”更多高质量评审、更严格的复现、更透明的数据披露。这些是 LLM 无法替代的也是科学共同体真正应该投入的地方。5. 回到实操我现在应该怎么做5.1 建立自己的 LLM 使用分层策略基于前面的分析这里给出一个简单可执行的分层策略。第一层低风险可以全委托。比如格式调整、代码注释、Markdown 排版、简单正则表达式。这些任务输出正确性容易验证即使错了也不会影响研究核心。第二层中风险必须半委托。比如文献总结、代码生成、数据分析第一步探索、实验步骤建议。这些任务要把 LLM 当“聪明实习生”不要当“权威专家”。你需要复核它的思路再决定是否采用。第三层高风险只允许辅助。比如统计方法选择、因果推断设计、实验结论解释、科研伦理判断。这些任务必须由有经验的研究者做主LLM 可以帮忙整理思路但不能直接给结论。这个分层不要一成不变。随着你对某个领域越来越熟一些原本高风险的任务可能降为中风险随着任务复杂度上升一些原本低风险的也可能升为中风险。关键是你要对自己每个阶段的能力边界有清醒认识。5.2 用“时间审计”替代“产量崇拜”给一个可复制的表格框架用来记录自己使用 LLM 的真实时间分配。日期用 LLM 完成的任务预计节省时间我在验证上花费的时间发现 LLM 错误的次数需要返工的次数周一文献综述初稿2 小时0.5 小时31周二代码生成数据处理脚本1 小时1 小时22坚持两周后你会看到自己的验证时间占比。如果这个数字持续低于 20%而且错误发现率很低说明你可能没有认真检查或者任务太简单。如果发现错误率很高说明你的提示词和任务拆分还有优化空间。无论哪种情况都比“只用不查”好得多。5.3 一个针对科研场景的“六步排查链路”最后是给排查问题用的标准顺序。无论是 LLM 生成的代码、文献综述还是统计结论出了问题都可以按这个链路走看现象输出是流畅但内容空洞还是报错、无法复现先在现象层面定义问题。查输入你的提示词是否包含了足够多的约束是否遗漏了关键字段、数据范围、必要的术语定义查输出LLM 给出的结论能否追溯到原始数据或文献里面有没有明显编造的引用代码有没有处理缺失值查验证你有没有跑最小样例有没有尝试极端输入如果还没有先补这一步大多数问题会在这里暴露。查环境Python 包版本、系统环境、模型版本、随机种子是否一致很多“换个机器结果不同”的问题出在这一层。查边界这个任务本身适合 LLM 吗如果它涉及需要领域知识硬约束的统计推断可能需要换成传统方法或者需要引入专业知识重新校验。注意不要一上来就怀疑 LLM “能力不够”。很多质量问题其实是输入和目标不匹配任务超出了 LLM 的可靠范围但你却以为它能胜任。先查边界再查执行。5.4 先跑通再扩展最后沉淀如果你刚开始把 LLM 引入科研工作流我建议不要同时铺开太多环节。先选择一个次要但完整的任务比如“用 LLM 辅助整理论文附录的代码注释”做完整个验证流程。记录你花了多少时间、发现了哪些问题、完善了哪些提示词。然后把这个流程沉淀成一个模板再扩展到文献综述、代码生成、假设生成。这个渐进策略的核心原则是先跑通小的闭环确认每个质检点有效再慢慢扩大边界。它和科研实验本身很像先做一个小规模预实验确认方法和指标可靠再放大样本。把 LLM 使用本身也当成一个需要验证的实验反而能帮你守住质量底线。如果有一天你在用 LLM 时最关心的问题不是“它能生成多少”而是“我是否真的理解它的产出”那你就已经避开了“做得更多但做得没那么好”的默认路径。真正决定 LLM 在科研中价值的不是模型参数规模而是科学家的判断力投入强度。把这个前提守住“做得更多”和“做得更好”就不是二选一。