真正可落地的 agent 通常是 4 层① Model LayerLLMGPT / Qwen / Claude / LLaMA LoRA② Agent Orchestration Layer核心逻辑planner / router / memory / tool loop③ Tool Layer能力接口search / db / code / workflow / API④ Data Layer企业数据knowledge base / vector DB / CRM / ERP企业级tool集合1️⃣ 数据类工具连接企业数据query_customer_db(sql)get_order_status(order_id)fetch_user_profile(user_id)2️⃣ 知识类工具vector_search(query)document_retrieval(query)3️⃣ 执行类工具必须加权限控制run_python(code)trigger_workflow(name)4️⃣ 外部系统工具沙盒需隔离call_crm_api()call_erp_api()send_email()构建步骤✅ Step 1需求拆解最关键明确agent 要解决什么问题是客服数据分析自动化办公需要哪些系统能力✅ Step 2设计 Tool Layer核心定义工具 APIdefquery_db(sql:str)-dictdefsearch_docs(query:str)-listdefcall_crm(user_id:str)-dict并统一 schema{name:query_db,parameters:{sql:string}}✅ Step 3搭建 Agent Runtime核心 loopLLM → tool selection → execute → observe → repeat通常用LangGraphAutoGenOpenAI tool calling自研 loop✅ Step 4选择基础模型例如GPT-4.1 / GPT-4oClaude 3.5Qwen2.5 / Qwen3LLaMA 3✅ Step 5LoRA 微调可选但很有用训练数据通常包括① tool call 数据User: 查订单 123Assistant:{tool:query_db,arguments:{sql:...}}② reasoning tool chainstep1: search step2: analyze step3: summarize③ error correction 数据wrong tool → retry correct tool✅ Step 6Memory RAG 系统加入vector DBFAISS / Milvus / pgvectordocument ingestionembedding pipeline✅ Step 7Tool Execution Layer安全关键必须做参数校验权限控制timeoutsandbox (python / sql)audit log审计日志✅ Step 8Agent Control Logic包括tool routingretry strategymax loop limitfallback model✅ Step 9Evaluation system很多人忽略需要评估tool selection accuracyanswer correctnesslatencyhallucination rate✅ Step 10部署 监控API gatewayloggingtracingLangSmith / OpenTelemetrycost control┌──────────────┐ │ User Input │ └──────┬───────┘ ↓ ┌────────────────────┐ │ LLM(LoRA)│ │ planner caller│ └────────┬───────────┘ ↓ ┌────────────────────┐ │ Tool Router │ └────────┬───────────┘ ↓ ┌─────────────┼──────────────┐ ↓ ↓ ↓ DB Tool Search Tool Python Tool ↓ ↓ ↓ └────────┬───────────┘ ↓ Tool Result Validator ↓ ┌────────────────────┐ │ LLM Final Answer │ └────────────────────┘Tool 与 LLM 的交互流程完整User Query ↓ LLM(decide tool)↓ JSON Tool Call ↓ Validator(schema check)↓ Executor(API / DB / code)↓ Result JSON ↓ LLM(reason verify)↓ Final Answerharness 评测框架OpenAI Evals 是一个用于评估大型语言模型LLM及基于 LLM 构建系统的开源评测框架。它帮助开发者以可重复、可量化的方式比较模型、提示词prompt和应用版本从而发现性能变化并减少回归问题。核心能力OpenAI Evals 的设计目标是将 LLM 评测 变成类似传统软件测试的工程流程。它支持使用标准数据集或自定义测试集针对不同模型运行相同测试并根据预定义规则或 LLM-as-a-judge 等方法自动评分。开发者还可以构建仅在本地或私有环境使用的评测数据集而无需公开业务数据。agent_system/ │ ├── agent/ │ ├── planner.py │ ├── router.py │ ├── memory.py │ └── llm.py │ ├── tools/ │ ├── db_tools.py │ ├── search_tools.py │ └── action_tools.py │ ├── runtime/ │ ├── executor.py │ ├── validator.py │ └── sandbox.py │ ├── harness/ │ ├── runner.py │ ├── loader.py │ ├── evaluator.py │ └── metrics.py │ ├── datasets/ │ └── logs/一个真实企业流程用 lm-eval-harness 选基础模型→ GPT-4 vs Qwen vs Claude用 OpenAI Evals 测 agent 能力→ tool-use correctness上线后用 LangSmith→ debug failure cases