Day 002:动手前,先搞懂 API、Token 与上下文
系列100 天系统学习 AI Agent 开发当前阶段Agent 基础与环境搭建今日目标认清模型能力的物理边界完成模型选型与最小闭环设计。标签AI Agent大模型API开发Agent工程实践昨天我们开了个头今天正式进入打地基的阶段。很多新手写 Agent 容易犯一个毛病上来就怼最强、最贵的模型。但实际上模型只是 Agent 的大脑在真正的工程落地中我们绝不能只看“智商”。费用的燃烧速度、接口的延迟、输出格式的稳定性以及工具调用的精准度才是决定你的 Agent 能不能上生产环境的关键。如果连 API、Token 和上下文窗口这些基础约束都没摸透后面做工具链、长短记忆全都是凭感觉盲人摸象。今天不求贪多我们只把这件事讲透并留下一份可以复用的工程资产。一、 核心概念拒绝废话用 3 句话大白话解释别把所有的“大模型能力”都套上 Agent 的壳子。在 Agent 的语境下我们需要这样理解这三个核心词API接口它是你和模型沟通的“传达室”你按规矩递纸条Prompt它按格式回信。工程代码只负责收发请求、校验权限和处理异常绝不越俎代庖去干涉模型的思考过程。Token词元大模型吞吐信息的最小单位1000个 Token 约等于 700 个汉字它是你大脑运转的“电费”更是你在设计循环 Prompt 时必须死死盯住的成本线。上下文窗口Context Window模型能“同框”记住的内容上限。一旦对话或日志超载它就会“断片儿”这就倒逼我们在工程上必须引入向量检索或记忆压缩机制来兜底。二、 核心产出Agent 场景下的「模型选型表」今天的主任务是梳理一张开发时可以直接拿来对照的选型表。不同的节点要用不同的脑子业务场景 (任务类型)上下文长度需求输出格式要求成本/延迟考量是否需工具调用 (Function Calling)选型策略建议意图路由 / 分发短 2K严格的 JSON / 枚举值极低延迟低成本否选小而快的模型如 GPT-4o-mini、Claude 3.5 Haiku注重响应速度。复杂逻辑推理与规划中长4K - 16K灵活需包含思考过程 (CoT)允许一定延迟成本中高否选高智商推理模型如 GPT-4o、Claude 3.5 Sonnet负责做计划。外部工具执行 (Action)短 2K必须严格遵守工具 Schema延迟敏感中低成本强烈依赖必须选经过 Function Calling 微调的模型确保参数提取不翻车。长文档 / 记忆总结极长32K - 128K摘要 / Markdown 文本不敏感但计算成本高否选长文本优化模型通常放在后台异步处理降低前台等待焦虑。** 避坑警告**不要永远只按“最聪明”来选模型。很多工具型任务比如从一句话里提取时间地点发给日历API更需要的是稳定格式、低延迟和可控成本。杀鸡用牛刀换来的是极差的用户体验和昂贵的账单。三、 最小闭环模型与代码的责任划分写 Agent 不是在写无脑的 Prompt 拼图。一个健壮的 Agent 必须跑通输入 - 决策 - 工具 - 观察 - 输出这五步。在这个闭环里模型负责理解与生成代码负责状态与兜底。用 5 行伪代码看透这个本质# 典型的 Agent 单步闭环模型与代码的交锋defagent_step(user_input):# 1. 模型负责理解意图决定调用什么工具及参数action_intent,tool_argsllm.think(user_input)# 2. 代码负责格式校验与权限兜底 (极其重要)ifnotcode_env.validate_schema(tool_args):return代码兜底模型输出格式错误准备重试。# 3. 代码负责实际执行工具获取真实世界的反馈observationcode_env.execute_tool(action_intent,tool_args)# 4. 模型负责根据执行结果组织人类能看懂的最终回答final_answerllm.summarize(observation)returnfinal_answer你看模型只是那个做决定的“大拿”脏活累活全是我们手写的代码在干。四、 今天的学习记录片段可复用产物为了保证每天的积累都能在后续代码中直接用我把今天的核心认知结构化保存了下来# filepath: notes/day_002_learning.pylearning_note{day:2,topic:开发 Agent 前先把模型 API、Token 和上下文窗口讲明白,why_it_matters:模型是 Agent 的大脑但工程里还要关注上下文、费用、延迟、结构化能力和工具调用能力。不搞懂这些后面做出来的都是玩具。,today_deliverable:建立了一份基于任务类型的《模型选择基准表》明确了什么时候用小模型什么时候用大模型。,pitfall_of_the_day:误区迷信最强模型。真相很多中间件级别的任务稳定格式低延迟便宜 远比 聪明 更重要。,next_question:这些API和Token的理论接到真实 Agent 的 Prompt 和工具设计里代码层面到底会怎么报错}print(fDay{learning_note[day]}打卡完成)