VibeMathed 的核心不是把数学题丢给大模型然后复制答案而是把“自然语言描述数学问题”变成一条可验证的求解链路。实际开发中大模型能稳定完成符号理解、步骤推导和代码验算但它给出的结论如果不经过校验很容易出现“过程看起来合理、结果却是错的”的情况。下面围绕 VibeMathed 这一工作流讲清楚如何用提示词约束模型输出解题步骤和可执行代码如何通过本地 Python 环境对结果做二次验算以及当模型答错、代码执行失败、输出截断时应该按什么顺序排查。适合读者正在做 AI 数学题应用、教育类产品、智能解题 API或者想用大模型辅助工程计算的开发者。学完后可以得到一个最小可运行项目输入一道数学题输出推理过程、Python 验算代码和执行结果并且有一份常见问题排查清单和参数调整方法。1. 先理解 VibeMathed为什么让 AI 解数学题没有想象中简单1.1 数学问题与普通文本生成的区别普通文本生成要求模型输出连贯、符合上下文的句子。数学问题则要求输出严格正确的结论每一行推导都要有可验证的中间状态。大模型在语言流畅度上很擅长但在数学执行上存在误差。原因是模型学到的更多是条件概率而不是真正的计算器运算。比如1234 * 5678这样的乘法模型虽然能模仿竖式的格式却可能在某一位进位时算错。这不是模型不聪明而是文本生成任务本身不保证数值精度。数学问题的另一层复杂度是符号和语义绑定。同一个公式在不同语境下含义不同x^2可能是变量平方也可能是单位平方米log可能以 10 为底也可能以 e 为底。模型需要先理解题目再表达成代码或符号计算才能避免语义漂移。也就是说解数学题不是“把题目翻译成一段话”而是“把题目翻译成一个可计算流程”。1.2 大模型解数学题的三个失效模式第一个失效模式是“自信错误”。模型会给出完整步骤甚至每一步都看起来合理但最终答案因为某一步的符号推导或数值运算出错而错误。比这更难排查的是错误隐藏得很深比如积分计算中常数项丢失或者几何题中辅助线选择错误导致后续过程连锁错误。第二个失效模式是“伪推理”。模型可能生成了一段很像推理的文字但实际上没有任何内部验证。它只是根据训练数据中的相似题目生成了当时出现过的解题模板。常见表现是套用公式但参数明显不匹配却仍然继续推导。这种输出对普通用户迷惑性很强因为格式很完整。第三个失效模式是“无法自我纠错”。如果你只让模型重新检查一遍它很可能在第二次回答中仍然保留相同的错误甚至因为随机采样产生新的错误。没有外部工具和校验机制单靠模型本身很难形成闭环。这也说明产品设计不能把“模型重新检查一遍”当作可靠的质量保障手段。1.3 VibeMathed 的工作流定位VibeMathed 把这些失效模式作为设计输入。它不要求模型必须每一步都自己算对而是让模型做三件事把题目拆成可验证的步骤把关键计算写成 Python 代码返回结构化结果。人类或程序再对代码执行结果进行校验。这样就绕开了模型在数值计算上的弱点同时保留它在语义理解和方案设计上的优势。最小工作流包含四个环节题目标准化用户输入自然语言题目加上必要的约束。模型生成通过提示词要求模型输出推理过程和验算代码。代码执行在隔离的 Python 环境中运行模型生成的代码。结果校验比对模型给出的答案与代码执行结果输出最终结论。这个工作流不是把模型当计算器而是把模型当“会写脚本的数学助手”。后面所有章节都围绕这四个环节展开。2. 环境准备模型接口、Python 依赖与项目结构2.1 选模型接口OpenAI 兼容 API 与本地 Ollama学习阶段最快的方式是使用 OpenAI 兼容的/v1/chat/completions接口。无论使用云端模型还是本地通过 Ollama、vLLM 启动的服务接口路径和请求格式基本相同。项目代码只依赖openai库通过base_url和api_key切换端点因此不需要在核心逻辑里绑定具体供应商。在实际项目中建议按题目类型选模型初等数学可以尝试轻量模型符号推导密集的题目尽量使用数学能力更强的模型或开启工具调用。如果项目没有锁定模型版本落地前要确认接口是否支持response_format设为json_object还是只能通过提示词约束。这会影响后面的 JSON 解析代码。学习环境可以用本地模型比如通过 Ollama 运行qwen2.5:7b然后用http://localhost:11434/v1作为 base_url。生产环境则要根据数据合规要求选择合规服务商或私有化部署。不要在高频请求中对公网 API 暴露学生或客户数据尤其是题目可能包含个人信息的情况。2.2 创建项目目录并安装依赖需要 Python 3.10 或更高版本。创建一个虚拟环境避免污染系统依赖。以 Linux/macOS 为例python3 -m venv .venv source .venv/bin/activateWindows 下激活命令是.venv\Scripts\activate。激活后安装依赖pip install --upgrade pip pip install openai python-dotenv这里只安装两个基础库。openai负责调用兼容接口python-dotenv负责读取环境变量。实际项目中如果要做服务化再补fastapi、uvicorn、pydantic等。创建项目目录结构math-solver/ ├── .env ├── .gitignore ├── config.py ├── solver.py ├── executor.py ├── validate.py └── main.py.env文件保存本地配置默认写入.gitignore不要提交到代码仓库。2.3 环境变量与核心参数在.env中配置模型名称、接口地址、密钥和超时时间API_KEYyour-api-key BASE_URLhttps://api.openai.com/v1 MODELgpt-4o-mini TIMEOUT60 MAX_TOKENS2048 TEMPERATURE0如果使用本地 Ollama可以改成API_KEYollama BASE_URLhttp://localhost:11434/v1 MODELqwen2.5:7bconfig.py读取这些配置import os from dotenv import load_dotenv load_dotenv() API_KEY os.getenv(API_KEY, ) BASE_URL os.getenv(BASE_URL, https://api.openai.com/v1) MODEL os.getenv(MODEL, gpt-4o-mini) TIMEOUT int(os.getenv(TIMEOUT, 60)) MAX_TOKENS int(os.getenv(MAX_TOKENS, 2048)) TEMPERATURE float(os.getenv(TEMPERATURE, 0))这里有几个值得注意的点。TEMPERATURE默认设为 0目的是让数学题目的输出尽量确定。如果温度过高同样的题目可能给出不同推导路径不利于后续自动校验。MAX_TOKENS要足够大否则模型输出推理过程加代码时容易被截断。TIMEOUT建议不要设得太短数学题推理有时需要多轮思考示例设置 60 秒。参数说明参数含义学习环境推荐值生产环境建议TEMPERATURE输出随机性00~0.2需要可复现时用 0MAX_TOKENS最大输出长度2048按题目复杂度调整建议最少 1024TIMEOUT请求超时时间6030~120配合重试和队列MODEL模型名称通用模型即可按数学题类型选择保留评估记录3. 实现核心流程从题目输入到带验证的答案输出3.1 用数据类描述数学题在main.py中先把题目表示成字典或数据类。最简单的方式是定义一个MathProblem数据类from dataclasses import dataclass dataclass class MathProblem: id: str text: str hint: str expected: str text是用户输入的自然语言题目hint可以携带额外约束expected用于测试集的期望答案。多轮会话对于数学题并不是必须的但复杂题目可能需要追问。为了保持流程简单本项目使用单轮请求把题目和约束拼进user消息。3.2 提示词设计要求模型输出推理、代码和答案提示词是整个 VibeMathed 的核心。它需要同时约束三个目标输出结构化内容、给出可执行代码、避免编造结果。在solver.py中定义系统提示词SYSTEM_PROMPT 你是一个数学解题助手。请按照以下规则处理题目 1. 先分析题目列出关键条件和未知量。 2. 写出完整的推理步骤不要跳过关键变换。 3. 需要使用数值计算或方程求解时生成可以直接运行的 Python 代码。 4. 代码只能使用标准库除非题目明确要求外部库。 5. 返回严格 JSON 格式字段为 { reasoning: 中文推理过程, code: 用于验算的 Python 代码, answer: 最终答案包含必要单位和符号 } 6. 不要把答案重复到 code 中code 必须从题目给定条件开始计算。 7. 如果无法确定字段里写 无法确定不要猜测。 用户消息示例def build_user_message(problem: MathProblem) - str: user_content f请解这道数学题{problem.text} if problem.hint: user_content f\n额外约束{problem.hint} user_content \n请严格按照系统提示的 JSON 格式返回。 return user_content为什么要求模型把答案也放进 JSON因为后续校验需要同时拿到“模型自认为的答案”和“代码执行得到的答案”二者一致才能提高置信度。另外要求模型从题目条件开始编码而不是直接输出一个答案字符串可以迫使模型把计算过程交给代码执行降低数值错误。3.3 调用兼容接口并容错解析 JSON核心请求代码from openai import OpenAI import json import re from config import API_KEY, BASE_URL, MODEL, TIMEOUT, MAX_TOKENS, TEMPERATURE from validate import MathResult client OpenAI(api_keyAPI_KEY, base_urlBASE_URL, timeoutTIMEOUT) def solve(problem_text: str, hint: str ) - MathResult: user_content f请解这道数学题{problem_text} if hint: user_content f\n额外约束{hint} user_content \n请严格按照系统提示的 JSON 格式返回。 response client.chat.completions.create( modelMODEL, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: user_content}, ], temperatureTEMPERATURE, max_tokensMAX_TOKENS, ) content response.choices[0].message.content return parse_content(content)模型输出后可能存在 markdown 代码块包裹。parse_content需要做容错处理。常见做法是先用正则提取 JSONdef extract_json(text: str) - dict: match re.search(r\{.*\}, text, re.S) if not match: raise ValueError(模型未返回 JSON 结构) try: return json.loads(match.group(0)) except json.JSONDecodeError: raise ValueError(JSON 解析失败请检查模型输出)更稳妥的方式是要求模型在代码块中输出然后把代码块展开后解析。但纯正则提取足够用于最小项目。如果模型支持response_format为json_object建议在请求中传入response client.chat.completions.create( modelMODEL, messages[...], response_format{type: json_object}, temperatureTEMPERATURE, max_tokensMAX_TOKENS, )这样模型会更稳定地输出合法 JSON。3.4 用独立进程执行模型生成的代码solver.py不直接执行代码而是把模型生成的code交给executor.py执行。这里要区分学习环境和生产环境。学习环境可以使用tempfile加subprocess执行import subprocess import tempfile import os def execute_code(code: str, timeout: int 5) - str: with tempfile.TemporaryDirectory() as tmpdir: script_path os.path.join(tmpdir, check.py) with open(script_path, w, encodingutf-8) as f: f.write(code) try: result subprocess.run( [python, script_path], capture_outputTrue, textTrue, timeouttimeout, cwdtmpdir, ) except subprocess.TimeoutExpired: return __TIMEOUT__ if result.returncode ! 0: return f__ERROR__\n{result.stderr.strip()} return result.stdout.strip()这段代码有几点设计意图。把模型生成的代码写到临时目录避免工作目录被无关文件污染。使用subprocess而不是exec可以限制在独立进程内运行超时后直接终止子进程避免长时间阻塞。只返回标准输出和错误信息后续解析时更容易判断。但要注意这只是在学习环境中的最小隔离。模型生成的代码仍然可能访问系统文件、网络或消耗大量资源。生产环境必须使用容器、gVisor 或云沙箱服务来执行不可信代码。即便在本地也不要直接运行不熟悉的模型输出建议先用低权限用户运行并限制内存和磁盘。3.5 答案校验与状态输出在validate.py里比较模型答案和代码执行结果import re from dataclasses import dataclass dataclass class MathResult: reasoning: str code: str model_answer: str exec_answer: str status: str def _normalize(text: str) - str: return re.sub(r\s, , text).lower().rstrip(.) def validate_result(parsed: dict, exec_answer: str) - MathResult: model_answer parsed.get(answer, ).strip() reasoning parsed.get(reasoning, ).strip() code parsed.get(code, ).strip() if not reasoning or not code or not model_answer: status missing_fields elif exec_answer __TIMEOUT__: status execution_timeout elif exec_answer.startswith(__ERROR__): status execution_error elif _normalize(model_answer) _normalize(exec_answer): status verified else: status mismatch return MathResult( reasoningreasoning, codecode, model_answermodel_answer, exec_answerexec_answer, statusstatus, )_normalize负责去掉多余空格、统一小数点、处理正负号差异。实际项目中还要考虑精度误差例如浮点数计算可能得到1.0000000002需要设置比较精度。符号表达式建议使用sympy做符号化简后比较。如果模型答案是“x2”代码输出是“2”字符串规范化后仍不相等。这里需要根据题目类型定义语义比较规则不能只靠字符串相等。一个简单做法是让模型在answer字段里也返回纯数值或标准格式并在系统提示词中明确“最终答案只写数值或标准数学表达式不要写额外的文字如果带单位单位写在数值之后用空格分隔。”4. 运行验证与结果分析4.1 用命令行入口跑通最小闭环创建main.py命令行入口让流程可以跑起来from solver import solve if __name__ __main__: problem input(请输入数学题) result solve(problem) print(推理过程, result.reasoning) print(模型答案, result.model_answer) print(代码执行结果, result.exec_answer) print(状态, result.status)然后运行python main.py输入一道二次方程请解方程 x^2 - 5x 6 0并给出 x 的取值。预期流程是模型输出推理、生成求解代码代码执行结果可能是[2.0, 3.0]模型答案也可能是x2 或 x3。经过语义比较后状态为verified。如果模型没有写代码只给了答案状态会变成missing_fields。再输入一道需要数值精度的题目比如计算 sqrt(2) 的前 20 位小数。如果模型没有调用代码很可能只给出近似值没有达到 20 位。而代码执行可以得到高精度结果。通过状态字段可以判断是否需要重试或使用工具。4.2 典型输出与状态含义运行一次成功的输出示例推理过程 首先将方程 x^2 - 5x 6 0 因式分解为 (x-2)(x-3)0因此解为 x2 或 x3。 模型答案 x2x3 代码执行结果 [2.0, 3.0] 状态 verified这样的输出表示模型推理和代码验算一致。如果状态是mismatch需要进一步检查。判定标准不应只依赖verified一种状态。missing_fields说明提示词没有生效execution_error说明模型生成的代码有问题execution_timeout说明代码复杂度过高mismatch说明模型答案和实际计算结果不一致极有可能是模型推理错误。状态速查状态含义下一步动作verified模型答案与代码执行结果一致返回结果可选记录日志missing_fields缺少推理、代码或答案改进提示词要求字段完整execution_error模型生成的代码运行失败查看 stderr修复代码或提示词execution_timeout代码执行超时限制代码复杂度或增加超时时间mismatch模型答案与执行结果不一致优先信任可执行代码的结果再定位模型推理偏差4.3 参数调整对照Temperature、Max Tokens 与超时在config.py中修改TEMPERATURE并跑同一道题会看到不同表现参数值现象建议0输出稳定适合自动评测生产默认0.2多数情况下仍稳定可能提供不同解法可接受但需要回归测试0.8同一题目多次输出差异很大甚至出现错误数学题不建议使用1.0高随机性可能导致推理不稳定不要用于数学解题MAX_TOKENS需要按题目长度调整。如果输出经常在 JSON 结束前被截断说明长度不够如果每次都很快返回可以适当缩小以节省成本。TIMEOUT过短可能导致模型还没来得及返回完整结果就被判定失败但过长会拖慢整个服务。在生产环境要结合超时重试和队列做更细的设计。参数实测数据不同模型差异很大这里只给方向。落地前建议用相同题目集做小规模对照记录正确率、超时率和错误类型再决定参数。5. 常见问题与排查链路5.1 推理正确但答案错误现象推理过程看起来步骤合理模型答案和代码执行结果不一致。可能原因模型在符号变换过程中出错。题目包含非标准符号模型理解错误。模型生成的代码和 VibeMathed工作流：提示词约束与Python二次验证的数学解题方案
VibeMathed 的核心不是把数学题丢给大模型然后复制答案而是把“自然语言描述数学问题”变成一条可验证的求解链路。实际开发中大模型能稳定完成符号理解、步骤推导和代码验算但它给出的结论如果不经过校验很容易出现“过程看起来合理、结果却是错的”的情况。下面围绕 VibeMathed 这一工作流讲清楚如何用提示词约束模型输出解题步骤和可执行代码如何通过本地 Python 环境对结果做二次验算以及当模型答错、代码执行失败、输出截断时应该按什么顺序排查。适合读者正在做 AI 数学题应用、教育类产品、智能解题 API或者想用大模型辅助工程计算的开发者。学完后可以得到一个最小可运行项目输入一道数学题输出推理过程、Python 验算代码和执行结果并且有一份常见问题排查清单和参数调整方法。1. 先理解 VibeMathed为什么让 AI 解数学题没有想象中简单1.1 数学问题与普通文本生成的区别普通文本生成要求模型输出连贯、符合上下文的句子。数学问题则要求输出严格正确的结论每一行推导都要有可验证的中间状态。大模型在语言流畅度上很擅长但在数学执行上存在误差。原因是模型学到的更多是条件概率而不是真正的计算器运算。比如1234 * 5678这样的乘法模型虽然能模仿竖式的格式却可能在某一位进位时算错。这不是模型不聪明而是文本生成任务本身不保证数值精度。数学问题的另一层复杂度是符号和语义绑定。同一个公式在不同语境下含义不同x^2可能是变量平方也可能是单位平方米log可能以 10 为底也可能以 e 为底。模型需要先理解题目再表达成代码或符号计算才能避免语义漂移。也就是说解数学题不是“把题目翻译成一段话”而是“把题目翻译成一个可计算流程”。1.2 大模型解数学题的三个失效模式第一个失效模式是“自信错误”。模型会给出完整步骤甚至每一步都看起来合理但最终答案因为某一步的符号推导或数值运算出错而错误。比这更难排查的是错误隐藏得很深比如积分计算中常数项丢失或者几何题中辅助线选择错误导致后续过程连锁错误。第二个失效模式是“伪推理”。模型可能生成了一段很像推理的文字但实际上没有任何内部验证。它只是根据训练数据中的相似题目生成了当时出现过的解题模板。常见表现是套用公式但参数明显不匹配却仍然继续推导。这种输出对普通用户迷惑性很强因为格式很完整。第三个失效模式是“无法自我纠错”。如果你只让模型重新检查一遍它很可能在第二次回答中仍然保留相同的错误甚至因为随机采样产生新的错误。没有外部工具和校验机制单靠模型本身很难形成闭环。这也说明产品设计不能把“模型重新检查一遍”当作可靠的质量保障手段。1.3 VibeMathed 的工作流定位VibeMathed 把这些失效模式作为设计输入。它不要求模型必须每一步都自己算对而是让模型做三件事把题目拆成可验证的步骤把关键计算写成 Python 代码返回结构化结果。人类或程序再对代码执行结果进行校验。这样就绕开了模型在数值计算上的弱点同时保留它在语义理解和方案设计上的优势。最小工作流包含四个环节题目标准化用户输入自然语言题目加上必要的约束。模型生成通过提示词要求模型输出推理过程和验算代码。代码执行在隔离的 Python 环境中运行模型生成的代码。结果校验比对模型给出的答案与代码执行结果输出最终结论。这个工作流不是把模型当计算器而是把模型当“会写脚本的数学助手”。后面所有章节都围绕这四个环节展开。2. 环境准备模型接口、Python 依赖与项目结构2.1 选模型接口OpenAI 兼容 API 与本地 Ollama学习阶段最快的方式是使用 OpenAI 兼容的/v1/chat/completions接口。无论使用云端模型还是本地通过 Ollama、vLLM 启动的服务接口路径和请求格式基本相同。项目代码只依赖openai库通过base_url和api_key切换端点因此不需要在核心逻辑里绑定具体供应商。在实际项目中建议按题目类型选模型初等数学可以尝试轻量模型符号推导密集的题目尽量使用数学能力更强的模型或开启工具调用。如果项目没有锁定模型版本落地前要确认接口是否支持response_format设为json_object还是只能通过提示词约束。这会影响后面的 JSON 解析代码。学习环境可以用本地模型比如通过 Ollama 运行qwen2.5:7b然后用http://localhost:11434/v1作为 base_url。生产环境则要根据数据合规要求选择合规服务商或私有化部署。不要在高频请求中对公网 API 暴露学生或客户数据尤其是题目可能包含个人信息的情况。2.2 创建项目目录并安装依赖需要 Python 3.10 或更高版本。创建一个虚拟环境避免污染系统依赖。以 Linux/macOS 为例python3 -m venv .venv source .venv/bin/activateWindows 下激活命令是.venv\Scripts\activate。激活后安装依赖pip install --upgrade pip pip install openai python-dotenv这里只安装两个基础库。openai负责调用兼容接口python-dotenv负责读取环境变量。实际项目中如果要做服务化再补fastapi、uvicorn、pydantic等。创建项目目录结构math-solver/ ├── .env ├── .gitignore ├── config.py ├── solver.py ├── executor.py ├── validate.py └── main.py.env文件保存本地配置默认写入.gitignore不要提交到代码仓库。2.3 环境变量与核心参数在.env中配置模型名称、接口地址、密钥和超时时间API_KEYyour-api-key BASE_URLhttps://api.openai.com/v1 MODELgpt-4o-mini TIMEOUT60 MAX_TOKENS2048 TEMPERATURE0如果使用本地 Ollama可以改成API_KEYollama BASE_URLhttp://localhost:11434/v1 MODELqwen2.5:7bconfig.py读取这些配置import os from dotenv import load_dotenv load_dotenv() API_KEY os.getenv(API_KEY, ) BASE_URL os.getenv(BASE_URL, https://api.openai.com/v1) MODEL os.getenv(MODEL, gpt-4o-mini) TIMEOUT int(os.getenv(TIMEOUT, 60)) MAX_TOKENS int(os.getenv(MAX_TOKENS, 2048)) TEMPERATURE float(os.getenv(TEMPERATURE, 0))这里有几个值得注意的点。TEMPERATURE默认设为 0目的是让数学题目的输出尽量确定。如果温度过高同样的题目可能给出不同推导路径不利于后续自动校验。MAX_TOKENS要足够大否则模型输出推理过程加代码时容易被截断。TIMEOUT建议不要设得太短数学题推理有时需要多轮思考示例设置 60 秒。参数说明参数含义学习环境推荐值生产环境建议TEMPERATURE输出随机性00~0.2需要可复现时用 0MAX_TOKENS最大输出长度2048按题目复杂度调整建议最少 1024TIMEOUT请求超时时间6030~120配合重试和队列MODEL模型名称通用模型即可按数学题类型选择保留评估记录3. 实现核心流程从题目输入到带验证的答案输出3.1 用数据类描述数学题在main.py中先把题目表示成字典或数据类。最简单的方式是定义一个MathProblem数据类from dataclasses import dataclass dataclass class MathProblem: id: str text: str hint: str expected: str text是用户输入的自然语言题目hint可以携带额外约束expected用于测试集的期望答案。多轮会话对于数学题并不是必须的但复杂题目可能需要追问。为了保持流程简单本项目使用单轮请求把题目和约束拼进user消息。3.2 提示词设计要求模型输出推理、代码和答案提示词是整个 VibeMathed 的核心。它需要同时约束三个目标输出结构化内容、给出可执行代码、避免编造结果。在solver.py中定义系统提示词SYSTEM_PROMPT 你是一个数学解题助手。请按照以下规则处理题目 1. 先分析题目列出关键条件和未知量。 2. 写出完整的推理步骤不要跳过关键变换。 3. 需要使用数值计算或方程求解时生成可以直接运行的 Python 代码。 4. 代码只能使用标准库除非题目明确要求外部库。 5. 返回严格 JSON 格式字段为 { reasoning: 中文推理过程, code: 用于验算的 Python 代码, answer: 最终答案包含必要单位和符号 } 6. 不要把答案重复到 code 中code 必须从题目给定条件开始计算。 7. 如果无法确定字段里写 无法确定不要猜测。 用户消息示例def build_user_message(problem: MathProblem) - str: user_content f请解这道数学题{problem.text} if problem.hint: user_content f\n额外约束{problem.hint} user_content \n请严格按照系统提示的 JSON 格式返回。 return user_content为什么要求模型把答案也放进 JSON因为后续校验需要同时拿到“模型自认为的答案”和“代码执行得到的答案”二者一致才能提高置信度。另外要求模型从题目条件开始编码而不是直接输出一个答案字符串可以迫使模型把计算过程交给代码执行降低数值错误。3.3 调用兼容接口并容错解析 JSON核心请求代码from openai import OpenAI import json import re from config import API_KEY, BASE_URL, MODEL, TIMEOUT, MAX_TOKENS, TEMPERATURE from validate import MathResult client OpenAI(api_keyAPI_KEY, base_urlBASE_URL, timeoutTIMEOUT) def solve(problem_text: str, hint: str ) - MathResult: user_content f请解这道数学题{problem_text} if hint: user_content f\n额外约束{hint} user_content \n请严格按照系统提示的 JSON 格式返回。 response client.chat.completions.create( modelMODEL, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: user_content}, ], temperatureTEMPERATURE, max_tokensMAX_TOKENS, ) content response.choices[0].message.content return parse_content(content)模型输出后可能存在 markdown 代码块包裹。parse_content需要做容错处理。常见做法是先用正则提取 JSONdef extract_json(text: str) - dict: match re.search(r\{.*\}, text, re.S) if not match: raise ValueError(模型未返回 JSON 结构) try: return json.loads(match.group(0)) except json.JSONDecodeError: raise ValueError(JSON 解析失败请检查模型输出)更稳妥的方式是要求模型在代码块中输出然后把代码块展开后解析。但纯正则提取足够用于最小项目。如果模型支持response_format为json_object建议在请求中传入response client.chat.completions.create( modelMODEL, messages[...], response_format{type: json_object}, temperatureTEMPERATURE, max_tokensMAX_TOKENS, )这样模型会更稳定地输出合法 JSON。3.4 用独立进程执行模型生成的代码solver.py不直接执行代码而是把模型生成的code交给executor.py执行。这里要区分学习环境和生产环境。学习环境可以使用tempfile加subprocess执行import subprocess import tempfile import os def execute_code(code: str, timeout: int 5) - str: with tempfile.TemporaryDirectory() as tmpdir: script_path os.path.join(tmpdir, check.py) with open(script_path, w, encodingutf-8) as f: f.write(code) try: result subprocess.run( [python, script_path], capture_outputTrue, textTrue, timeouttimeout, cwdtmpdir, ) except subprocess.TimeoutExpired: return __TIMEOUT__ if result.returncode ! 0: return f__ERROR__\n{result.stderr.strip()} return result.stdout.strip()这段代码有几点设计意图。把模型生成的代码写到临时目录避免工作目录被无关文件污染。使用subprocess而不是exec可以限制在独立进程内运行超时后直接终止子进程避免长时间阻塞。只返回标准输出和错误信息后续解析时更容易判断。但要注意这只是在学习环境中的最小隔离。模型生成的代码仍然可能访问系统文件、网络或消耗大量资源。生产环境必须使用容器、gVisor 或云沙箱服务来执行不可信代码。即便在本地也不要直接运行不熟悉的模型输出建议先用低权限用户运行并限制内存和磁盘。3.5 答案校验与状态输出在validate.py里比较模型答案和代码执行结果import re from dataclasses import dataclass dataclass class MathResult: reasoning: str code: str model_answer: str exec_answer: str status: str def _normalize(text: str) - str: return re.sub(r\s, , text).lower().rstrip(.) def validate_result(parsed: dict, exec_answer: str) - MathResult: model_answer parsed.get(answer, ).strip() reasoning parsed.get(reasoning, ).strip() code parsed.get(code, ).strip() if not reasoning or not code or not model_answer: status missing_fields elif exec_answer __TIMEOUT__: status execution_timeout elif exec_answer.startswith(__ERROR__): status execution_error elif _normalize(model_answer) _normalize(exec_answer): status verified else: status mismatch return MathResult( reasoningreasoning, codecode, model_answermodel_answer, exec_answerexec_answer, statusstatus, )_normalize负责去掉多余空格、统一小数点、处理正负号差异。实际项目中还要考虑精度误差例如浮点数计算可能得到1.0000000002需要设置比较精度。符号表达式建议使用sympy做符号化简后比较。如果模型答案是“x2”代码输出是“2”字符串规范化后仍不相等。这里需要根据题目类型定义语义比较规则不能只靠字符串相等。一个简单做法是让模型在answer字段里也返回纯数值或标准格式并在系统提示词中明确“最终答案只写数值或标准数学表达式不要写额外的文字如果带单位单位写在数值之后用空格分隔。”4. 运行验证与结果分析4.1 用命令行入口跑通最小闭环创建main.py命令行入口让流程可以跑起来from solver import solve if __name__ __main__: problem input(请输入数学题) result solve(problem) print(推理过程, result.reasoning) print(模型答案, result.model_answer) print(代码执行结果, result.exec_answer) print(状态, result.status)然后运行python main.py输入一道二次方程请解方程 x^2 - 5x 6 0并给出 x 的取值。预期流程是模型输出推理、生成求解代码代码执行结果可能是[2.0, 3.0]模型答案也可能是x2 或 x3。经过语义比较后状态为verified。如果模型没有写代码只给了答案状态会变成missing_fields。再输入一道需要数值精度的题目比如计算 sqrt(2) 的前 20 位小数。如果模型没有调用代码很可能只给出近似值没有达到 20 位。而代码执行可以得到高精度结果。通过状态字段可以判断是否需要重试或使用工具。4.2 典型输出与状态含义运行一次成功的输出示例推理过程 首先将方程 x^2 - 5x 6 0 因式分解为 (x-2)(x-3)0因此解为 x2 或 x3。 模型答案 x2x3 代码执行结果 [2.0, 3.0] 状态 verified这样的输出表示模型推理和代码验算一致。如果状态是mismatch需要进一步检查。判定标准不应只依赖verified一种状态。missing_fields说明提示词没有生效execution_error说明模型生成的代码有问题execution_timeout说明代码复杂度过高mismatch说明模型答案和实际计算结果不一致极有可能是模型推理错误。状态速查状态含义下一步动作verified模型答案与代码执行结果一致返回结果可选记录日志missing_fields缺少推理、代码或答案改进提示词要求字段完整execution_error模型生成的代码运行失败查看 stderr修复代码或提示词execution_timeout代码执行超时限制代码复杂度或增加超时时间mismatch模型答案与执行结果不一致优先信任可执行代码的结果再定位模型推理偏差4.3 参数调整对照Temperature、Max Tokens 与超时在config.py中修改TEMPERATURE并跑同一道题会看到不同表现参数值现象建议0输出稳定适合自动评测生产默认0.2多数情况下仍稳定可能提供不同解法可接受但需要回归测试0.8同一题目多次输出差异很大甚至出现错误数学题不建议使用1.0高随机性可能导致推理不稳定不要用于数学解题MAX_TOKENS需要按题目长度调整。如果输出经常在 JSON 结束前被截断说明长度不够如果每次都很快返回可以适当缩小以节省成本。TIMEOUT过短可能导致模型还没来得及返回完整结果就被判定失败但过长会拖慢整个服务。在生产环境要结合超时重试和队列做更细的设计。参数实测数据不同模型差异很大这里只给方向。落地前建议用相同题目集做小规模对照记录正确率、超时率和错误类型再决定参数。5. 常见问题与排查链路5.1 推理正确但答案错误现象推理过程看起来步骤合理模型答案和代码执行结果不一致。可能原因模型在符号变换过程中出错。题目包含非标准符号模型理解错误。模型生成的代码和