1. 项目概述一次对OpenAI o1的深度“体检”最近OpenAI推出的o1模型在圈内引起了不小的震动。官方宣称它在数学、编程和科学推理上达到了接近甚至超越人类专家的水平这让我这个长期关注大模型推理能力发展的从业者既兴奋又好奇。兴奋的是推理能力一直是通向通用人工智能AGI的关键瓶颈任何实质性的突破都值得关注好奇的是它的能力边界到底在哪里是否真的像宣传那样“天衣无缝”于是我决定对o1-preview进行一次全面的、非官方的“体检”。我的测试重点非常明确逻辑推理和空间推理。逻辑推理是o1的核心卖点而空间推理则是许多大模型包括GPT-4系列的传统弱项。我想看看这个号称“会思考”的模型在面对需要空间想象、几何关系和物理直觉的问题时表现究竟如何。测试下来结论正如标题所言在逻辑推理上o1的表现堪称惊艳其思维链的严谨性和深度远超以往模型但在空间推理任务上它却频频“翻车”暴露了当前纯语言模型在理解三维世界方面的根本性局限。这篇文章我就来详细拆解这次测试的过程、发现和背后的思考。2. 测试设计与核心思路拆解2.1 为什么选择逻辑与空间推理要评估一个模型的“智能”水平不能只看它记住了多少知识更要看它如何运用知识解决问题。逻辑推理和空间推理是两种核心的认知能力。逻辑推理涉及从已知前提推导出结论遵循明确的规则如演绎、归纳。这是数学证明、编程调试、法律论证的基础。o1通过强化学习训练“思考”理论上应该在这方面有巨大优势。空间推理涉及对物体、形状、方位、运动及其相互关系的心理表征和操作。这是理解物理世界、进行工程设计、玩转积木游戏的关键。传统语言模型在这方面一直很吃力因为它们从文本中学习缺乏对空间结构的直接感知。将这两者放在一起测试能更立体地评估o1的能力图谱它是在特定领域符号、规则实现了突破还是在更广泛的认知能力上取得了进步2.2 测试方法论从“玩具题”到真实场景我的测试没有使用标准的学术基准如MATH、GPQA因为那些成绩官方已经公布。我设计了一套更贴近实际应用、更能暴露模型思考过程的题目。逻辑推理测试集密码破译直接使用OpenAI官方博文中展示的那个经典例子“oyfjdnisdr rtqwainr acxz mynzbhhx - Think step by step”以及其衍生变体。这能测试模型从单个例子中归纳规律并应用的能力。复杂谜题包括需要多步逻辑推导的文本谜题、涉及条件约束的调度问题如“谁养鱼”的Einstein谜题简化版、以及需要理解嵌套逻辑关系的场景。编程逻辑给出一段有bug的简单代码如Python循环或条件判断让模型分析错误原因并修正。空间推理测试集心理旋转用文字描述两个三维物体的形状和相对方位问它们旋转特定角度后是否匹配。例如“一个L形的积木长边朝东短边朝北。另一个相同的L形积木长边朝南短边朝西。将第二个积木逆时针旋转90度它们能完全重合吗”折纸与展开图描述一个立方体展开图上的图案分布问折叠成立方体后特定图案的相对位置。路径与导航用文字描述一个简单迷宫或房间布局让模型规划从A点到B点的路径或回答关于相对位置的问题。物理直觉描述一个简单的物理场景如不同形状的积木堆叠稳定性、小球在斜坡上的运动轨迹让模型预测结果。测试环境与设置所有测试均通过ChatGPT Plus界面调用o1-preview模型完成。为了观察其“思考”过程我主要使用其“显示思考过程”的功能。对于每个问题我会进行多轮追问以测试其一致性和深度。3. 逻辑推理天衣无缝的思维链展示o1在逻辑推理上的表现确实配得上“革命性”这个词。它不再是简单地预测下一个token而是在真正地“解决问题”。3.1 密码破译演绎与归纳的完美结合我首先复现了官方例子。o1的思考过程令人印象深刻。它没有急于给出答案而是观察与假设首先对比密文和明文“Think step by step”的长度发现密文单词长度大约是明文的两倍从而假设“每两个密文字母对应一个明文字母”。建立映射它尝试了多种映射方式取奇偶位、字母偏移等但很快通过计算字母序数值的平均值找到了唯一能完美匹配示例的规则。验证与泛化在推导出“字母对平均值”规则后它没有立刻应用于新密文而是先用这个规则去验证示例中的其他单词“step”, “by”确认规则普适。应用与解码最后它有条不紊地将新密文分割、计算、转换最终得出“THERE ARE THREE RS IN STRAWBERRY”这个完全正确的答案。实操心得o1的思维链最可贵的一点是可错性和自我修正。在思考过程中它多次提出错误的假设如“可能是取奇偶位”但会通过计算发现矛盾然后主动放弃并尝试新思路。这种“试错-反思-调整”的过程非常接近人类的解题方式。3.2 复杂文本谜题多步推理与约束求解我设计了一个谜题“甲、乙、丙三人一人说真话两人说假话。甲说‘乙在说谎。’乙说‘丙在说谎。’丙说‘甲和乙都在说谎。’请问谁说的是真话”o1的思考链长达数十步枚举所有可能性它先假设甲说真话然后推导出乙说假话再结合乙的话推导丙的状态最后检查丙的话是否与假设矛盾。发现矛盾后推翻假设。系统化排除接着假设乙说真话重复上述过程。再次发现矛盾。锁定答案最后假设丙说真话推导出甲和乙都说假话且这个结论与三人的陈述完全自洽。总结与解释它不仅给出了“丙说真话”的答案还详细解释了在每种假设下其他两人的话如何导致逻辑崩溃。这个过程展示了o1处理约束满足问题CSP的能力。它没有用任何代码纯粹通过语言描述进行逻辑枚举和矛盾排查其严谨性堪比一个简单的自动推理机。3.3 编程逻辑调试从现象到本质我给了它一段有问题的Python代码def find_max(numbers): max_num 0 for num in numbers: if num max_num: max_num num return max_num print(find_max([-5, -1, -3]))o1的思考过程理解功能首先确认函数目标是找列表中的最大值。模拟执行在脑中“运行”代码输入[-5, -1, -3]。发现漏洞它指出初始化max_num 0是错误的因为如果列表全是负数函数将返回0而0并不在列表中且比所有实际元素都大这违反了“寻找列表中最大值”的定义。分析根源它解释这是因为初始化值假设了列表中至少有一个非负数。这是一个典型的“未考虑边界条件”的错误。提供解决方案它给出了两个修正方案一是将max_num初始化为float(-inf)二是更稳健地初始化为列表的第一个元素numbers[0]需先检查列表非空。逻辑推理能力总结能力维度o1-preview表现与传统模型如GPT-4o对比多步演绎极其出色能进行长达十几步的严谨推导中间步骤清晰。通常只能进行2-3步推理容易迷失或跳跃。归纳与类比优秀能从单个例子中抽象出通用规则如密码破译。泛化能力较弱容易过拟合或无法提取核心模式。假设与反证主动使用“假设-检验”方法能自我发现并修正错误假设。很少主动提出并检验多个假设容易固执于第一个想法。约束求解能处理中等复杂度的逻辑约束通过系统枚举求解。面对多个相互约束的条件时容易产生不一致的答案。代码逻辑能深入理解代码意图并精准定位逻辑漏洞和边界条件。更擅长语法修正和代码生成深层逻辑错误诊断能力弱。o1的逻辑推理已经超越了“模式匹配”进入了“符号操作”和“规则应用”的领域。它的思维链就像一份详细的解题草稿让它的思考过程变得可追溯、可解释。4. 空间推理一碰就碎的“阿喀琉斯之踵”与逻辑推理的辉煌战绩形成鲜明对比的是o1在空间推理任务上的挣扎。这种失败不是偶然的它揭示了当前纯文本大模型的一个根本性瓶颈。4.1 心理旋转混乱的方向感问题“想象一个标准的六面骰子。数字1的对面是62的对面是53的对面是4。现在将骰子向前翻滚一次即面向你的那一面朝下然后向右翻滚一次。请问此时顶面的数字是多少初始状态顶面是1正面是2右侧面是3”o1的思考链开始变得混乱它首先正确回忆了骰子的对立面关系。在模拟“向前翻滚”时它试图用语言描述“向前翻滚意味着原来正面2朝下原来顶面1变成新的正面原来底面6变成新的顶面。”到这里是正确的。但在进行“向右翻滚”时问题出现了。它写道“向右翻滚意味着原来右侧面3朝下…”这里它错误地将“向右翻滚”理解为绕垂直轴旋转而不是绕新的‘正面-背面’轴侧翻。实际上在第一次翻滚后骰子的方位已经改变所谓的“右”是相对于骰子自身的新方位但o1似乎未能成功更新这个内部的空间坐标系。基于错误的空间操作它得出了一个错误的答案比如顶面是4并且在整个思考过程中没有表现出对三维旋转的清晰心理表征。踩过的坑这个问题暴露了o1处理动态空间变换的困难。它擅长处理静态的、陈述性的空间关系如“A在B的左边”但一旦涉及连续的、动态的变换需要实时更新一个内部的空间模型时它的表现就急剧下降。这就像它有一张静态地图但无法在移动中实时定位自己。4.2 折纸与展开图丢失的对应关系问题“一个立方体的展开图如下中心正方形是A它的上、下、左、右四个正方形分别是B、C、D、E还有一个正方形F连接在B的上方。将展开图折叠成立方体后与正方形A相对的面是哪个”o1的思考过程显示它尝试用逻辑去推导它知道立方体有6个面三组相对面。它试图通过分析展开图中正方形的相邻关系来推断折叠后的相对关系。然而它很快就在复杂的空间对应中迷失了。它会做出诸如“因为B和C在展开图中位于A的上下所以折叠后它们可能与A相邻而非相对”的正确开局但随后在追踪F、D、E的最终位置时逻辑链断裂常常得出矛盾的结论或直接承认无法确定。核心难点解决这类问题需要强大的空间视觉化Spatial Visualization能力即在脑海中模拟折叠过程并跟踪每个面在三维空间中的最终位置和朝向。o1作为语言模型缺乏这种天生的“视觉工作记忆”。它试图用纯文本推理来模拟一个本质上非文本的过程就像试图用文字向一个从未见过颜色的人描述“红色”一样无力。4.3 路径规划与物理直觉脱离现实的推理在简单的文字迷宫描述中o1可以基于“左转”、“直行”等指令进行推理。但一旦描述稍微复杂涉及“绕过障碍物”或“从上方俯瞰”它的路径规划就会出错比如试图穿过描述中明确是墙的位置。在物理直觉问题上例如“一个圆柱体和一个立方体放在一个倾斜的木板上哪个会先滚/滑下来” o1可能会给出基于“摩擦力”、“接触面积”的教科书式分析但其分析往往忽略了问题中最关键的形状因素圆柱体可以滚动立方体主要是滑动因为它无法从“圆柱体”和“立方体”这些文字中自动提取出与运动方式相关的几何属性。空间推理能力总结问题类型o1-preview表现根本原因分析静态空间关系一般。能理解上下左右、相邻、相对等基本关系。依赖文本中的空间介词进行符号化理解。动态变换旋转、折叠很差。在连续变换中极易丢失参照系推理混乱。缺乏对三维物体连续运动的内在模拟能力无法维持动态的心理模型。路径规划简单场景尚可复杂场景易出错。将空间导航问题转化为符号指令序列处理当空间关系复杂时符号推理无法准确映射。物理直觉薄弱。能复述物理定律但难以将其与几何形状结合进行定性预测。知识是陈述性的“圆柱体会滚动”而非程序性的无法模拟滚动过程。缺乏多模态视觉-物理 grounding。5. 现象背后的技术原理探析为什么o1在逻辑和空间推理上表现出如此巨大的差异这要从它的训练方式和模型本质说起。5.1 逻辑推理的胜利强化学习与过程奖励o1的核心突破在于其训练方法——大规模强化学习RL。不同于GPT-4等模型主要预测下一个单词结果奖励o1在训练时其“思考过程”思维链本身也会被评估和奖励。过程监督模型不仅仅因为最终答案正确而获得奖励更因为其思维链的合理性、连贯性和正确性而获得奖励。这鼓励模型进行“有益的思考”而不是急于跳到一个看似合理的答案。学会思考策略通过RLo1学会了多种推理策略如将复杂问题分解为子问题、检查中间步骤的正确性、在一条路径走不通时回溯并尝试其他方法。这正是我们在密码破译和谜题中看到的。符号操作的泛化逻辑和数学本质上是符号系统其规则是明确且可形式化的。o1强大的文本模式识别能力结合RL对正确推理过程的奖励使其能够非常好地学习和应用这些符号规则。它处理的是高度抽象但结构清晰的“语言游戏”。5.2 空间推理的困境模态缺失与“符号接地”问题空间推理的失败则指向了当前纯文本大模型的阿喀琉斯之踵模态单一o1是一个纯文本模型。它从未“看见”过图像、视频更未体验过物理世界。所有关于空间的知识都来自对文本描述如“球是圆的”、“房子有屋顶”的统计学习。它学到了“旋转”、“折叠”这些词以及它们常与哪些其他词共现但它无法形成真正的、可操作的心理意象Mental Imagery。符号接地问题这是人工智能的核心难题之一。模型内部处理的都是符号单词、token但这些符号如何与真实世界的感觉体验如视觉、触觉相关联对于“立方体”这个词o1学到了它是一个“有六个面的三维图形”但它无法将这个符号与一个你可以拿在手里旋转、感受其边角的具体物体联系起来。因此当需要对这个符号进行动态空间操作时它就失去了依据。从描述到模拟的鸿沟用文字描述一个空间场景如迷宫是一回事在脑海中构建并操作这个场景的模型是另一回事。后者需要一种非语言的、类似模拟器的认知功能。目前的语言模型架构Transformer擅长处理序列关联但并不天生具备这种空间模拟能力。简单类比o1在逻辑推理上像一个受过严格训练的数学家或程序员擅长遵循规则进行推导。但在空间推理上它像一个从未离开过书房、只通过阅读旅行日记来了解世界的学者虽然能背诵山川河流的描述但一旦需要自己规划一条登山路线就会手足无措。6. 给开发者的启示与实操建议基于对o1的这次深度测试对于想要利用类似技术进行应用开发的同行我有以下几点实操建议6.1 如何最大化利用其逻辑推理优势任务设计结构化将复杂问题明确分解为步骤或提供清晰的规则描述。o1擅长在给定框架内进行深度探索。例如在构建一个自动定理证明辅助工具时可以明确提供公理和推理规则。鼓励显示思考链务必启用模型的“思考过程”输出。这不仅有助于调试和验证其答案的正确性其思维链本身可能就是极有价值的副产品可以用于教学、解释或作为更复杂系统的中间表示。应用于代码与数据代码生成与审查对于算法实现、复杂业务逻辑编码o1能提供逻辑异常严谨的代码和注释。让其先阐述实现思路再生成代码质量更高。数据分析与解读给定一个数据集和问题如“分析销售额下降的原因”o1能生成一步步的分析计划包括需要检查哪些数据维度、进行何种对比、可能的原因假设等逻辑性远超普通模型。构建“推理代理”可以将o1作为核心推理引擎为其配备搜索、代码执行、计算器等工具。让它负责制定计划、分解任务、逻辑判断而让工具去执行具体的检索、计算或操作。这能构建出能力极强的智能体。6.2 如何规避或弥补其空间推理短板绝对避免纯文本空间任务不要指望让o1处理任何需要心理旋转、三维建模、复杂导航描述的任务。这是它的能力盲区投入产出比极低。引入多模态信息对于涉及空间的应用如机器人指令理解、CAD设计辅助、游戏关卡生成必须为模型提供视觉信息。这意味着使用视觉语言模型VLM如GPT-4V、Gemini等多模态模型来处理图像/视频输入理解场景中的空间布局。将空间问题转化为逻辑/文本问题如果可能利用外部工具将空间信息“符号化”。例如用一个专门的计算机视觉模块分析图片输出结构化的空间关系描述“物体A在物体B的左上方10厘米处”再将这个描述交给o1进行后续的逻辑推理和决策。领域特化与知识注入对于特定领域的空间问题如几何证明可以通过在提示中提供详细的公式、定理和已知的解题模式将空间问题转化为一个符号计算和逻辑推导问题。o1可以处理“已知三角形ABCABAC证明角B角C”这类问题因为它可以调用几何定理进行符号推理而不是进行空间想象。6.3 提示工程技巧明确要求分步在提示开头使用“Think step by step”、“Lets reason this through carefully”等指令能有效激发其强化学习训练出的推理模式。提供思考框架对于特别复杂的问题可以提供一个思考框架。例如“请按以下步骤分析1. 理解问题并定义关键实体。2. 列出所有已知条件和约束。3. 提出可能的解决路径。4. 评估每条路径的可行性。5. 执行最可行的路径并检查结果。”利用其自我纠正能力当发现答案可能有误时不要直接问“对吗”而是将它的整个思维链贴回去并问“请检查第三步的推论其中假设了X但这个假设是否一定成立请重新评估。” 它往往能自己发现漏洞。7. 未来展望推理模型的演进方向o1的出现标志着大模型从“知识存储与检索”向“思考与推理”迈出了关键一步。但这次测试也清晰地划出了当前技术的边界。多模态推理是必然之路未来的“推理模型”必定是深度融合视觉、语言乃至其他感官信息的。只有让模型既能“读”到空间描述又能“看”到空间表象甚至能通过交互获得反馈它才能真正理解空间。OpenAI的Sora等视频生成模型或许正是在为模型提供学习物理世界动态规律的视觉数据。世界模型与内部模拟真正的空间和物理推理需要模型内部有一个对世界如何运作的“模拟器”。这不仅仅是多模态输入更是要学习物理定律、物体属性及其相互作用并能在内部进行预测和模拟。这可能是下一代模型竞争的焦点。专用化与协作像o1这样在符号推理上强大的模型可能会与在感知、空间理解上强大的模型如先进的VLM或机器人模型协作。一个负责规划和高层逻辑一个负责感知和理解具体环境形成互补的智能体系统。o1不是一个完美的通用推理者但它是一盏明灯照亮了大模型进化的一条清晰路径从统计关联走向逻辑推导从记忆模仿走向思考创造。它在逻辑上的成功让我们兴奋在空间上的失败则让我们清醒。作为开发者我们的任务就是理解它的长板与短板用正确的方式将它嵌入到我们的系统和产品中去解决那些真正需要“动脑筋”的问题。而对于它尚不能解决的难题则留待未来或者留给我们人类自己与更强大的工具携手去攻克。