1. 什么是GeneBench-ProOpenAI研究团队近日提出了GeneBench的更新版本GeneBench-Pro它覆盖产业与学术相关的更广泛领域不再局限于基因组学而扩展至分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等需要多阶段统计推理的场景。2. 科学研究的核心挑战是什么与大多数工程任务不同科学研究具有更强的迭代性、开放性与不确定性其核心挑战不在于分析流程的执行本身而在于科学直觉或「研究品味」所驱动的一系列判断例如数据能够支持什么问题、应纳入哪些数据、选择何种估计量或模型、诊断结果是否推翻初始假设以及在何种证据强度下可以得出结论。3. GeneBench的提出背景和目的是什么GeneBench正是在科学研究面临上述挑战的背景下提出的它试图评估的并不是单点算法能力而是模型在真实科学分析流程中能否完成完整的「推理闭环」包括数据理解、质量控制、方法选择、统计建模、诊断修正以及最终决策输出这种能力在现代生命科学中尤为关键。4. GeneBench-Pro有哪些更新OpenAI研究团队在GeneBench的基础上进一步提出了GeneBench-Pro相较GeneBenchGeneBench-Pro新增29个问题删除3个问题并对剩余100个重叠问题中的54个进行了显著重设计。在129个问题中有82个经过外部领域专家审查他们的反馈促成了对提示与数据的修改以及对目标不可识别问题的重构。5. 各模型在GeneBench-Pro评测中的表现如何在完整129题评测中GPT-5.6 Sol在最高推理强度下达到28.7%的通过率而GPT-5.6 Sol Pro在单独报告的GPT Pro运行中达到31.5%GPT-5.5为12.0%GPT-5.4为8.9%表现最强的非GPT基线模型Claude Opus 4.8为16.0%。6. GeneBench-Pro有哪些研究亮点GeneBench-Pro在此前发布的GeneBench基础上进行了更新引入了显著难度强化的原有问题版本以及新增领域的问题集不再局限于基因组学而是扩展至分子与定量生物学、药物基因组学、癌症生物学、微生物基因组学、临床转化等需要多阶段统计推理的场景引入了外部科学审查步骤在该流程中每个问题的完整设计、相关文件与分析设定都会提交给外部领域专家以验证其真实性与科学合理性。7. GeneBench-Pro的核心设计目标是什么GeneBench-Pro是一个包含129个问题的集合覆盖10个主要领域与21个子领域用于衡量智能体是否能够在最少引导下从可能存在错误的数据集中识别并执行所需的定量分析从而估计目标估计量estimand。其核心设计目标是智能体获得的是最小可行提示与明确的目标估计量。8. 开放式科学分析难以精确基准化的原因是什么开放式科学分析之所以难以被精确基准化是因为真实数据往往允许多种都具有合理性的分析选择。例如质量控制QC阈值、模型参数设定以及报告规范在不同分析者之间可能存在差异但这些差异并不意味着只有某一种方法是唯一正确的。如果一个基准的结果会因为某个智能体选择了一个合理但不同的cutoff或约定而变化那么这种差异可能反映的只是基准设计本身的任意性而不是科学推理能力的优劣。9. GeneBench-Pro如何确保「失败」代表科学错误为确保「失败」真正代表科学错误而非自然衰减研究人员在GeneBench-Pro中采用构造性模拟问题即完整的因果结构是已知的并显式模拟数据生成过程。研究人员通过「决策点数量」来量化级联结构即在分析过程中存在的关键推断分叉点在这些节点上合理但错误的选择会导致后续结果发生质变。10. GeneBench-Pro的问题是如何构建的每个问题从一个真实世界分析模式与一个目标估计量出发这些真实分析模式来自文献与领域专家经验旨在反映常见且高影响力的科学问题与工作流并刻意避免直接复现教科书或已发表论文中的标准案例以防模型通过记忆解题。随后通过模拟生成数据使得正确答案可以从分阶段数据中恢复接着构建最小可行提示仅包含使正确答案可被识别所需的最少信息。在完成初始问题草案后会进行大规模验证针对不同推理阶段中「看似合理但错误」的路径会通过消融实验进行检查并验证其结果是否与正确答案足够区分。同时还会进行独立科学审查以评估方法合理性、目标可识别性以及科学有效性。11. 以DRX1携带者筛查残余风险为例GeneBench-Pro的核心设计目标是如何体现的该问题模拟常染色体隐性遗传病的携带者筛查场景智能体被提供原始的携带者筛查数据需要估计在「筛查结果为阴性」之后仍然残留的携带者风险并将这一残余风险与潜在生殖伴侣的人群携带者频率进行结合。该问题的难点在于答案无法简单地由原始携带率直接估计得到正确分析必须依次完成多步推断如首先识别可报告的DRX1携带者类别并区分拷贝数变异伪影其次处理相位化的创始人标记并判断其是否应视为单一单倍型然后基于不同协变量估计检测的灵敏度与假阳性率接着根据各类别未检出携带概率计算在筛查阴性条件下的残余携带风险最后还需将伴侣携带者频率标准化到完整伴侣名单而非仅限于已检测子集。该示例体现了GeneBench-Pro的核心设计目标智能体获得的是最小可行提示与明确的目标估计量但成功最终取决于其是否能够从数据中恢复完整的多阶段定量分析路径而不是仅仅执行一个预设流程。12. 各模型在GeneBench-Pro上的评估结果如何研究人员在完整的129个问题套件上评估了GeneBench-Pro覆盖60种模型配置包括GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Luna/Terra/Sol及其对应的GPT Pro变体以及来自Claude、Gemini、Grok、GLM、Kimi、DeepSeek、MiMo、腾讯、MiniMax和Qwen等的非GPT基线模型。总体来看模型整体通过率仍然较低。在各GPT主线模型的最高报告推理强度下未加权平均通过率从GPT-5.2xhigh的4.9%提升至GPT-5.4xhigh的8.9%、GPT-5.5xhigh的12.0%、GPT-5.6 Lunamax的16.5%、GPT-5.6 Terramax的23.3%以及GPT-5.6 Solmax的28.7%单独报告的GPT Pro运行结果分别为GPT-5.2 Pro 8.5%、GPT-5.4 Pro 16.3%、GPT-5.5 Pro 20.5%、GPT-5.6 Luna Pro 23.6%、GPT-5.6 Terra Pro 28.5%、GPT-5.6 Sol Pro 31.5%非GPT模型的结果范围约为0.6%至16.0%其中Claude Opus 4.8是最强的非GPT基线模型在GPT系列内部提高推理强度带来显著影响如GPT-5.6 Sol从none的3.7%提升到low的14.4%、medium的22.5%、high的24.4%、xhigh的26.8%以及max的28.7%。同时仍然存在显著的未解问题在GPT主线最佳模型中「0%通过率问题」的比例从GPT-5.2的77.5%下降至GPT-5.4的67.4%、GPT-5.5的64.3%以及GPT-5.6 Sol的45.7%而「至少50%通过率问题」的比例则从1.6%上升至4.7%、8.5%和30.2%。因此即使在最强主线模型中基准仍主要由高难度问题构成但更强模型能够将更多问题从「完全失败」状态推向部分成功或稳定成功。13. GeneBench-Pro的核心贡献和应用价值是什么GeneBench-Pro的核心贡献并不仅在于构建一个新的生物学基准而在于它试图重新定义「科学智能体能力」的评价方式。从实验结果来看当前最先进模型已经具备一定程度的「局部科学能力」例如识别数据异常、理解统计信号或执行标准分析步骤。然而这种能力尚未稳定扩展为端到端的科学分析能力模型在「识别问题」与「采取行动」之间仍然存在明显断裂。从应用视角来看这一能力的突破具有显著潜在价值。在现代生命科学中从基因数据到靶点筛选、从统计信号到转化决策的过程高度依赖专家团队协作且成本高昂。论文指出一个GeneBench-Pro问题在无人工辅助情况下通常需要10到40小时完成这意味着即便部分自动化也可能在工业研究中产生显著经济价值。然而研究人员同时强调目前模型仍无法可靠替代这一流程原因在于其无法稳定完成完整推理链条。未来提升方向可能包括更强的规划能力、自我修正机制以及不确定性建模能力。那么模型何时才能真正具备稳定的端到端科学分析能力呢