1. AI办公入口战这究竟在争什么过去两年大模型的能力持续升级从“能聊天”进步到“能干活”。于是大家开始关注一个更实际的问题用户到底会在哪里使用 AI是在聊天框里还是在文档里、表格里、会议里、代码编辑器里答案并不唯一但一个趋势已经非常明显——办公场景正在成为 AI 最重要的落地阵地之一。钉钉、飞书、企业微信、WPS、Microsoft 365 等产品都在快速集成 AI 能力各种“AI 助手”“AI 助理”“智能工作台”纷纷登场。这场围绕“AI 办公入口”的竞争本质上是想抢占用户日常工作流中的第一个入口。从技术角度看这场竞争并不是简单的“谁的大模型更强”而是以下三个层面的综合比拼层面核心内容典型技术模型层基础大模型的推理、理解、生成能力GPT-4 类模型、国产开源大模型、领域微调模型工程层如何把大模型安全可靠地接入业务系统RAG、Agent、Function Calling、权限控制、可观测性产品层用户以什么形态与 AI 交互对话助手、文档助手、会议纪要、自动化工作流本文会用相对“底层”的视角拆解 AI 办公入口战。文章前半部分讲清楚架构和核心能力后半部分带大家从零搭建一个轻量级的 AI 办公助手 Demo最后总结一下在这个战场上真正的赢家需要具备哪些工程能力与产品判断。无论你是后端开发者、AI 应用开发者还是对 AI Agent 感兴趣的技术产品经理这篇文章都能提供一套可复用的思考框架和代码示例。2. AI办公入口的三层技术底座2.1 模型层基础能力决定体验下限模型层是 AI 办公入口的地基。没有足够强的语义理解、逻辑推理和生成能力上层产品做得再好也会露馅。但这里有一个容易被忽略的事实在通用能力之外办公场景对模型有两个特殊要求。第一是结构化输出。办公场景经常需要模型输出 JSON、表格、摘要、待办事项等结构化内容而不是一段自由文本。如果模型只能输出长篇大论产品就很难把它嵌入到现有流程中。第二是指令遵循能力。比如用户说“把今天会议纪要按照三段式整理结论、问题、下一步”模型必须能准确理解并执行这个格式约束。在工程实现上模型层通常会采用“多模型路由”策略简单意图问候、通用问答 - 小模型 / 快速模型 复杂任务长文档分析、代码生成 - 大模型 / 高质量模型 垂直领域财务、法务、HR - 领域微调模型 / 专业Agent这样做的好处是控制成本、降低延迟。实际项目中可以按用户身份、业务场景、请求复杂度分配不同的模型而不是所有请求都走同一个大模型。2.2 工程层从“能对话”到“能干活”模型层解决的是“大脑”问题工程层解决的是“手脚”问题。一个 AI 办公助手如果只是聊天价值非常有限。真正有价值的是它能调用公司系统的 API比如查询今天的会议安排创建一条审批流在知识库中检索制度文档帮用户生成日报并发送给主管汇总多个报表数据并生成结论要做到这些工程层至少需要以下组件Agent 编排引擎负责拆解用户意图、规划任务步骤、调用工具、汇总结果。RAG 检索增强生成把企业私有知识库制度、手册、FAQ接入模型解决模型不知道企业内部信息的问题。Function Calling / 工具调用让模型可以生成结构化的工具调用指令由后端执行真实业务操作。权限与审计系统AI 能调用的 API 必须受权限约束与现有组织架构和权限体系打通。目前社区里有 LangChain、LangGraph、Spring AI、Dify、Coze 等框架可以加快开发但在生产环境中团队往往需要根据自己的业务场景做大量定制。2.3 产品层入口形态决定用户心智“入口”在技术上没有标准定义但在产品层面非常明确用户是在聊天框里发起指令在文档里唤起 AI还是在侧边栏里使用 AI这决定了产品的使用频率和用户心智。目前主流的入口形态有三种入口形态代表场景优势劣势对话机器人IM 中的 AI 助手使用成本低、自然语言交互任务完成链路长上下文受限内容内嵌文档、表格、邮件中的 AI 按钮贴近工作现场体验顺滑功能垂直难以跨场景协同工作台入口独立 AI 办公应用可聚合多种能力、可定制工作流需要用户主动打开获客成本高目前主流办公软件的做法是“组合拳”在 IM 中做 AI 助手在文档中做 AI 编辑在工作台上做 AI 工作流编排。这也是为什么这场战争被称作“入口战”——谁同时占据多个高频场景谁就更有可能成为用户日常办公的默认入口。3. 拆解AI办公入口的核心能力3.1 Agent从被动应答到主动执行AI 办公助手区别于普通问答系统最大的地方是 Agent 能力。所谓 Agent就是让 AI 根据目标自主规划并执行任务。一个典型的办公场景是这样的用户输入帮我整理一下上周的项目周报发给项目组并提醒大家下午三点前反馈。一个完整的 Agent 流程可能分成四步任务拆解整理周报 - 查找上周工作记录 - 生成周报 - 发送 - 设置提醒工具选择调用“获取工作记录”工具、“生成文档”工具、“发送消息”工具执行与校验依次执行工具每次执行后检查结果是否正常结果汇总如果某一步失败比如权限不足向用户说明原因在技术实现上Agent 通常采用“循环执行”模式用户输入 - 模型生成下一步动作 - 执行动作 - 把结果返回给模型 - 模型判断是否结束这也是为什么 Agent 开发对工程能力要求很高。你需要处理模型幻觉、工具调用失败、循环次数上限、用户中断确认等问题。3.2 RAG让 AI 了解企业内部知识企业办公场景中用户经常问这类问题“请假流程是什么”“新的报销标准是多少”“去年 Q3 的销售数据在哪里看”这些信息不在模型的训练数据里属于企业私有知识。RAG 是解决这个问题的主流方案核心思想是先检索再生成。基本流程如下离线阶段把企业文档切分、向量化存入向量数据库在线阶段用户提问时先向量化用户问题在向量库中检索最相关的文档片段TopK将检索结果和用户问题一起拼入 Prompt模型基于检索到的内容生成回答工程上需要注意的坑很多文档切分策略会影响检索效果纯按字符切分容易切断语义向量模型的选择会影响匹配精度检索结果的重排序Rerank能显著提升质量知识库需要定时同步更新3.3 Function Calling连接模型与真实业务系统RAG 解决的是“知识的获取”Function Calling 解决的是“操作的执行”。大模型本身不能直接操作企业系统但它可以从用户指令中提取出结构化参数并生成工具调用请求。例如用户说“帮我约明天下午 3 点和李四的会议”模型可以生成{ function: create_meeting, parameters: { title: 与李四的会议, time: 2025-06-10 15:00, attendees: [李四] } }后端拿到这个 JSON 后调用真实系统创建会议再把结果返回给模型由模型组织语言回复用户。这种模式下业务系统不需要理解自然语言只需要提供标准 API。AI 办公入口的价值在于把用户与所有业务系统之间的交互抽象成了一个对话式的“万能接口”。3.4 权限与安全入口战不可逾越的红线AI 办公入口本质上是企业数据的集中入口权限与安全必须优先设计而不是事后补救。至少要考虑以下几点身份认证AI 助手必须知道“当前说话的人是谁”数据隔离不同部门、不同职级的员工能检索到的知识库范围不同操作审计AI 调用了哪些工具、修改了哪些数据必须可追溯确认机制删除、发送、审批等高风险操作必须二次确认Prompt 注入防护恶意用户可能通过输入内容诱导 AI 执行越权操作这些能力往往比模型本身的强弱更能决定一个 AI 办公产品能否进入企业市场。4. 实战从零搭建一个轻量AI办公助手下面进入实操环节。我们会做一个简化但完整的 AI 办公助手骨架演示入口设计、Agent 编排、知识库检索和工具调用四个核心环节。4.1 技术选型与项目结构Demo 使用 Java 17 Spring Boot 构建大模型接口采用 OpenAI 兼容格式方便替换为任意兼容服务。前端用原生 HTML JavaScript减少构建步骤。项目结构如下office-ai-assistant/ ├── pom.xml └── src/main/ ├── java/com/example/officeai/ │ ├── OfficeAiApplication.java │ ├── controller/ChatController.java │ ├── model/ChatRequest.java │ ├── model/ChatResponse.java │ ├── service/AgentService.java │ ├── service/LlmClient.java │ ├── service/KnowledgeBaseService.java │ └── tool/ToolExecutor.java └── resources/ ├── application.yml └── static/index.html示例代码重点展示工程结构实际生产环境可按团队技术栈替换组件。4.2 创建 Maven 工程与依赖配置文件pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.2.5/version relativePath/ /parent groupIdcom.example/groupId artifactIdoffice-ai-assistant/artifactId version1.0.0/version nameoffice-ai-assistant/name descriptionAI办公助手 Demo/description properties java.version17/java.version /properties dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-webflux/artifactId /dependency /dependencies build plugins plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId /plugin /plugins /build /project注意spring-boot-starter-webflux用于调用大模型接口因为大模型响应可能比较慢使用异步非阻塞客户端更合适。4.3 配置文件文件src/main/resources/application.ymlserver: port: 8080 llm: # 兼容 OpenAI 接口的服务地址可按实际模型服务调整 base-url: https://your-llm-endpoint.example.com/v1 api-key: your-api-key model: gpt-4o-mini temperature: 0.3 max-tokens: 1024 office: # 模拟企业用户身份生产环境应从认证上下文获取 current-user: zhangsan这里把大模型服务做成可配置项部署时可以替换为内部模型服务地址。4.4 模型与 DTO 定义文件src/main/java/com/example/officeai/OfficeAiApplication.javapackage com.example.officeai; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; SpringBootApplication public class OfficeAiApplication { public static void main(String[] args) { SpringApplication.run(OfficeAiApplication.class, args); } }文件src/main/java/com/example/officeai/model/ChatRequest.javapackage com.example.officeai.model; public class ChatRequest { private String message; public ChatRequest() { } public ChatRequest(String message) { this.message message; } public String getMessage() { return message; } public void setMessage(String message) { this.message message; } }文件src/main/java/com/example/officeai/model/ChatResponse.javapackage com.example.officeai.model; public class ChatResponse { private String reply; public ChatResponse() { } public ChatResponse(String reply) { this.reply reply; } public String getReply() { return reply; } public void setReply(String reply) { this.reply reply; } }4.5 大模型客户端文件src/main/java/com/example/officeai/service/LlmClient.java这个类负责调用兼容 OpenAI 的/chat/completions接口。为了简化示例我们使用WebClient以流式或阻塞方式发送请求。package com.example.officeai.service; import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.node.ArrayNode; import com.fasterxml.jackson.databind.node.ObjectNode; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import org.springframework.web.reactive.function.client.WebClient; import java.time.Duration; import java.util.List; import java.util.Map; Service public class LlmClient { private final WebClient webClient; private final ObjectMapper objectMapper; private final String apiKey; private final String model; private final double temperature; private final int maxTokens; public LlmClient( Value(${llm.base-url}) String baseUrl, Value(${llm.api-key}) String apiKey, Value(${llm.model}) String model, Value(${llm.temperature}) double temperature, Value(${llm.max-tokens}) int maxTokens) { this.apiKey apiKey; this.model model; this.temperature temperature; this.maxTokens maxTokens; this.webClient WebClient.builder() .baseUrl(baseUrl) .defaultHeader(Authorization, Bearer apiKey) .build(); this.objectMapper new ObjectMapper(); } public String chat(ListMapString, String messages) { ObjectNode requestBody objectMapper.createObjectNode(); requestBody.put(model, model); requestBody.put(temperature, temperature); requestBody.put(max_tokens, maxTokens); ArrayNode messagesNode requestBody.putArray(messages); for (MapString, String message : messages) { ObjectNode msgNode objectMapper.createObjectNode(); msgNode.put(role, message.get(role)); msgNode.put(content, message.get(content)); messagesNode.add(msgNode); } String responseBody webClient.post() .uri(/chat/completions) .bodyValue(requestBody) .retrieve() .bodyToMono(String.class) .block(Duration.ofSeconds(60)); try { JsonNode root objectMapper.readTree(responseBody); return root.path(choices).get(0).path(message).path(content).asText(); } catch (Exception e) { throw new RuntimeException(解析大模型响应失败, e); } } }这个客户端封装了大模型的通用调用逻辑。真实项目中可以根据业务需要增加超时控制、重试机制、降级策略和流式输出。4.6 知识库服务文件src/main/java/com/example/officeai/service/KnowledgeBaseService.java为了演示 RAG 的核心思想这里用一个内存 Map 模拟向量数据库做简单的关键词匹配。生产环境可以替换为 Elasticsearch、Milvus、pgvector 等。package com.example.officeai.service; import org.springframework.stereotype.Service; import java.util.*; import java.util.stream.Collectors; Service public class KnowledgeBaseService { private final MapString, String knowledgeMap new LinkedHashMap(); public KnowledgeBaseService() { // 模拟企业知识库 knowledgeMap.put(请假流程, 请假流程员工通过 OA 系统提交请假申请选择请假类型、起止时间和事由审批人审批通过后生效。请假超过3天需要部门负责人和人事部门双重审批。); knowledgeMap.put(报销标准, 差旅报销标准一线城市住宿标准为500元/晚其他城市400元/晚。餐饮补贴每天100元。报销需在差旅结束后7个工作日内提交附发票原件。); knowledgeMap.put(周报模板, 周报模板要求本周工作进展、遇到的问题与解决方案、下周工作计划。建议按项目维度拆分每个项目列出交付物和当前状态。); knowledgeMap.put(会议纪律, 会议纪律会议默认 25 分钟所有参会人需提前阅读会议材料会后 24 小时内发布会议纪要并确认待办事项。); } public ListString search(String query, int topK) { // 极简实现按关键词覆盖度排序 SetString words new HashSet(Arrays.asList(query.split(\\s))); return knowledgeMap.entrySet().stream() .sorted((e1, e2) - { int score1 countHits(e1.getKey(), e1.getValue(), words); int score2 countHits(e2.getKey(), e2.getValue(), words); return Integer.compare(score2, score1); }) .limit(topK) .map(Map.Entry::getValue) .collect(Collectors.toList()); } private int countHits(String key, String value, SetString words) { int count 0; for (String word : words) { if (key.contains(word) || value.contains(word)) { count; } } return count; } }上面的实现只用于演示“检索 - 拼装 - 生成”的链路。真实场景中需要对文档做分块处理使用 Embedding 模型做向量化使用向量数据库存储和相似度检索增加 Rerank 重排序环节但核心逻辑是一致的把检索结果作为上下文塞给大模型。4.7 工具执行器文件src/main/java/com/example/officeai/tool/ToolExecutor.java工具层负责连接真实业务系统。Demo 中用模拟数据演示。package com.example.officeai.tool; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.node.ArrayNode; import com.fasterxml.jackson.databind.node.ObjectNode; import org.springframework.stereotype.Component; import java.time.LocalDate; import java.util.Map; Component public class ToolExecutor { private final ObjectMapper objectMapper new ObjectMapper(); public String execute(String toolName, MapString, Object args) { switch (toolName) { case getTodoList: return getTodoList(); case getTodayMeetings: return getTodayMeetings(); case getLeaveBalance: return getLeaveBalance(args); default: return {\error\: \未知工具: toolName \}; } } private String getTodoList() { ArrayNode array objectMapper.createArrayNode(); ObjectNode todo1 objectMapper.createObjectNode(); todo1.put(title, 完成Q3产品需求评审); todo1.put(deadline, 2025-06-11); todo1.put(status, 进行中); ObjectNode todo2 objectMapper.createObjectNode(); todo2.put(title, 准备周报); todo2.put(deadline, 2025-06-13); todo2.put(status, 未开始); array.add(todo1); array.add(todo2); return array.toString(); } private String getTodayMeetings() { ArrayNode array objectMapper.createArrayNode(); ObjectNode meeting1 objectMapper.createObjectNode(); meeting1.put(time, 10:00-11:00); meeting1.put(title, 产品迭代评审会); meeting1.put(participants, 8); ObjectNode meeting2 objectMapper.createObjectNode(); meeting2.put(time, 15:00-16:00); meeting2.put(title, 技术方案评审); meeting2.put(participants, 5); array.add(meeting1); array.add(meeting2); return array.toString(); } private String getLeaveBalance(MapString, Object args) { Object user args.get(user); String username user null ? 当前用户 : user.toString(); ObjectNode result objectMapper.createObjectNode(); result.put(user, username); result.put(annual_leave_balance, 7.5); result.put(sick_leave_balance, 3.0); result.put(personal_leave_balance, 2.0); return result.toString(); } }生产环境中这些工具方法应该通过 HTTP 或 RPC 调用真实的业务系统并且必须在服务端校验用户权限不能只依赖前端传入的user参数。4.8 Agent 编排服务文件src/main/java/com/example/officeai/service/AgentService.java这是整个 Demo 的核心。它模拟了 Agent 的“识别意图 - 调用工具/检索知识库 - 生成回答”流程。package com.example.officeai.service; import com.example.officeai.tool.ToolExecutor; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; Service public class AgentService { private final LlmClient llmClient; private final KnowledgeBaseService knowledgeBaseService; private final ToolExecutor toolExecutor; private final String currentUser; public AgentService(LlmClient llmClient, KnowledgeBaseService knowledgeBaseService, ToolExecutor toolExecutor, Value(${office.current-user}) String currentUser) { this.llmClient llmClient; this.knowledgeBaseService knowledgeBaseService; this.toolExecutor toolExecutor; this.currentUser currentUser; } public String handleMessage(String userMessage) { // 第1步识别用户意图决定需要哪些工具或知识库 String lowerMessage userMessage.toLowerCase(); ListMapString, String messages new ArrayList(); messages.add(createMessage(system, 你是一个AI办公助手请根据提供的上下文和工具结果用简洁、专业的中文回答用户问题。 当前用户是 currentUser)); // 第2步根据意图路由到工具或知识库 if (lowerMessage.contains(待办) || lowerMessage.contains(todo)) { String toolResult toolExecutor.execute(getTodoList, Map.of()); messages.add(createMessage(system, 工具执行结果 toolResult)); } else if (lowerMessage.contains(会议) || lowerMessage.contains(日程)) { String toolResult toolExecutor.execute(getTodayMeetings, Map.of()); messages.add(createMessage(system, 工具执行结果 toolResult)); } else if (lowerMessage.contains(请假) || lowerMessage.contains(假期) || lowerMessage.contains(年假)) { MapString, Object args new HashMap(); args.put(user, currentUser); String toolResult toolExecutor.execute(getLeaveBalance, args); messages.add(createMessage(system, 工具执行结果 toolResult)); } else { // 默认走知识库检索 ListString docs knowledgeBaseService.search(lowerMessage, 2); if (!docs.isEmpty()) { StringBuilder context new StringBuilder(以下是企业知识库中检索到的相关资料\n); for (int i 0; i docs.size(); i) { context.append(i 1).append(. ).append(docs.get(i)).append(\n); } messages.add(createMessage(system, context.toString())); } } // 第3步加入用户消息 messages.add(createMessage(user, userMessage)); // 第4步调用大模型生成最终回复 return llmClient.chat(messages); } private MapString, String createMessage(String role, String content) { MapString, String message new HashMap(); message.put(role, role); message.put(content, content); return message; } }这个实现是为了演示 Agent 的骨架思路。真实场景中意图识别会更复杂通常借助模型自身的能力做路由或者使用更完善的 Agent 框架如 LangGraph、Spring AI来实现。4.9 控制器文件src/main/java/com/example/officeai/controller/ChatController.javapackage com.example.officeai.controller; import com.example.officeai.model.ChatRequest; import com.example.officeai.model.ChatResponse; import com.example.officeai.service.AgentService; import org.springframework.web.bind.annotation.*; RestController RequestMapping(/api/office) CrossOrigin(origins *) public class ChatController { private final AgentService agentService; public ChatController(AgentService agentService) { this.agentService agentService; } PostMapping(/chat) public ChatResponse chat(RequestBody ChatRequest request) { String reply agentService.handleMessage(request.getMessage()); return new ChatResponse(reply); } GetMapping(/health) public String health() { return ok; } }4.10 前端聊天页面文件src/main/resources/static/index.html一个简洁的对话界面不依赖任何前端框架。!DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 titleAI办公助手 Demo/title style * { margin: 0; padding: 0; box-sizing: border-box; } body { font-family: PingFang SC, Microsoft YaHei, sans-serif; background: #f5f7fa; } .container { max-width: 720px; margin: 40px auto; background: #fff; border-radius: 12px; box-shadow: 0 4px 20px rgba(0,0,0,0.08); } .header { padding: 24px 32px; border-bottom: 1px solid #f0f0f0; } .header h1 { font-size: 22px; color: #333; } .header p { margin-top: 6px; font-size: 14px; color: #999; } .chat-box { height: 480px; overflow-y: auto; padding: 24px 32px; } .message { margin-bottom: 16px; display: flex; } .message.user { justify-content: flex-end; } .message .bubble { max-width: 75%; padding: 12px 16px; border-radius: 10px; font-size: 15px; line-height: 1.7; white-space: pre-wrap; } .message.user .bubble { background: #1a73e8; color: #fff; } .message.assistant .bubble { background: #f1f3f4; color: #333; } .input-box { padding: 20px 32px; border-top: 1px solid #f0f0f0; display: flex; gap: 12px; } .input-box input { flex: 1; height: 44px; border: 1px solid #ddd; border-radius: 8px; padding: 0 14px; font-size: 15px; outline: none; } .input-box button { height: 44px; padding: 0 24px; background: #1a73e8; color: #fff; border: none; border-radius: 8px; font-size: 15px; cursor: pointer; } .input-box button:disabled { background: #ccc; cursor: not-allowed; } .loading { color: #999; font-size: 14px; padding: 8px 0; } /style /head body div classcontainer div classheader h1AI 办公助手/h1 p可以试试这些指令我的待办、今天的会议、年假余额、请假流程是什么/p /div div classchat-box idchatBox/div div classinput-box input typetext idmessageInput placeholder输入你的问题... / button idsendBtn发送/button /div /div script const chatBox document.getElementById(chatBox); const messageInput document.getElementById(messageInput); const sendBtn document.getElementById(sendBtn); function appendMessage(role, content) { const messageDiv document.createElement(div); messageDiv.className message role; const bubble document.createElement(div); bubble.className bubble; bubble.textContent content; messageDiv.appendChild(bubble); chatBox.appendChild(messageDiv); chatBox.scrollTop chatBox.scrollHeight; } async function sendMessage() { const text messageInput.value.trim(); if (!text) return; appendMessage(user, text); messageInput.value ; sendBtn.disabled true; const loadingDiv document.createElement(div); loadingDiv.className loading; loadingDiv.textContent AI 思考中...; chatBox.appendChild(loadingDiv); chatBox.scrollTop chatBox.scrollHeight; try { const response await fetch(/api/office/chat, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ message: text }) }); const data await response.json(); loadingDiv.remove(); appendMessage(assistant, data.reply); } catch (error) { loadingDiv.remove(); appendMessage(assistant, 抱歉服务出了点问题请稍后再试。); } finally { sendBtn.disabled false; messageInput.focus(); } } sendBtn.addEventListener(click, sendMessage); messageInput.addEventListener(keydown, function (e) { if (e.key Enter) { sendMessage(); } }); /script /body /html4.11 运行与验证启动应用mvn spring-boot:run打开浏览器访问http://localhost:8080/在输入框中分别测试以下指令用户输入预期行为我的待办有什么调用 getTodoList 工具返回待办事项列表今天有什么会议调用 getTodayMeetings 工具返回今日会议我的年假还剩几天调用 getLeaveBalance 工具返回假期余额请假流程是什么触发知识库检索返回请假流程说明你好无工具调用直接生成问候回复这里故意用“规则匹配”实现意图识别是为了降低 Demo 的依赖。实际产品中最好让大模型来做意图识别和工具选择可参考 Function Calling 协议。5. 决定胜负的关键工程策略5.1 数据壁垒与知识资产AI 办公入口最重要的壁垒不是模型本身而是企业内的数据积累。同样的模型能力接入的知识库越丰富、用户行为数据越完整助手越“懂”业务。比如一个HR助手如果能看到离职率趋势、薪酬数据、组织架构调整记录它的回答质量会远超一个只靠通用知识的助手。但数据壁垒也意味着更大责任企业数据隐私、合规、脱敏必须放到最高优先级。5.2 插件生态与开放平台任何一个办公入口都不可能覆盖所有业务场景。真正要成为入口必须允许第三方开发者接入。这就需要具备标准化的工具协议类似 MCP 等开放协议或成熟的开放 API插件市场与审核机制开发者文档与沙箱环境清晰的流量分成或收益模式AI 办公入口最终会从“一个产品”演变成一个“平台”。谁能吸引更多开发者谁的工具生态就更丰富用户体验也就更好。5.3 企业级权限与审计个人消费级 AI 助手和企业级 AI 办公助手最大的差别就在权限体系。个人产品只需要保证“用户与 AI 之间”的安全。企业产品则必须保证“用户与 AI 与业务系统三者之间”的权限一致性。工程上建议统一身份认证AI 请求必须携带用户身份按角色过滤工具不同角色能调用不同工具按部门隔离知识库检索范围要受数据权限约束全链路审计记录每一个 AI 调用、工具调用、数据返回结果如果权限设计不到位AI 入口做得越好数据泄露风险反而越大。6. 常见问题与排查思路AI 办公项目在开发和落地过程中问题集中出现在以下几个方面问题现象常见原因排查与解决思路大模型接口调用超时网络不通、接口地址配置错误、超时时间设置过短先用 curl 直接测试接口连通性确认 base-url 和 api-key 正确再调大超时参数AI 回答内容不准确Prompt 上下文不足、知识库检索到无关内容检查检索 TopK 结果引入 Rerank优化文档分块策略在 Prompt 中限定回答范围Agent 反复调用同一个工具工具返回结果不足以让模型推断出下一步增加工具返回结果的字段说明设置最大循环次数在 Prompt 中明确“如果无法完成直接告知用户”工具调用参数错误Function Calling 的 JSON Schema 描述不清晰在 Schema 中增加字段描述、枚举值和必填项对参数做服务端校验权限绕过风险工具执行时直接信任模型生成的参数服务端必须校验用户身份与资源权限高风险操作必须二次确认延迟太高模型单次调用太慢、链路串行引入模型路由简单问题走小模型并行调用多个独立工具采用流式输出提升首字延迟体验知识库内容更新后不生效向量化任务未执行或缓存未清理检查数据同步任务日志确认向量化任务完成后刷新检索索引下面重点展开两个最常见的问题。6.1 问题一AI 回答没有引用企业知识现象用户问“报销标准是多少”AI 的回答是通用常识不是企业内部的真实标准。排查步骤在服务端打印知识库检索结果确认关键词是否命中检查文档是否已经完成切分和向量化检查检索 TopK 值是否过小检查 Prompt 中是否真的把检索结果传给了模型常见原因是分词策略不合理。比如用户输入“报销标准”文档标题是“差旅报销标准说明”如果按空格分词“报销标准”和字段中多个关键词都能命中但实际得分排序可能并不理想。建议在真实项目中用向量检索 关键词检索混合方案。6.2 问题二Agent 无法正确决定调用哪个工具现象用户说“帮我订明天下午的会议室”AI 却回答说“我可以帮您提交申请但需要您先填写会议室编号”。排查步骤检查优化后的 Function Calling Schema参数是否描述清楚是否有示例检查工具列表是否过多导致模型选择困难在 Prompt 中提供工具选择示例帮助模型理解使用场景观察模型返回的 tool_call 内容确认参数提取是否完整这个问题的本质是“工具的路由靠模型猜测”。生产环境中建议先用规则或小模型做一次粗分类降低大模型的决策压力。7. AI办公入口的最佳实践与工程建议7.1 入口设计原则离用户工作场景越近越好优先在用户正在使用的文档、IM、表格中嵌入 AI把高频任务做成“一键式”用户最常用的是简单的查询、汇总、提醒不要把简单任务复杂化允许用户介入确认AI 执行删除、发送等不可逆操作前必须让用户确认渐进式披露能力首次见面只展示两三个核心指令不要一上来就列几十个能力7.2 模型调用与成本控制大模型 API 调用成本在规模放大后会非常可观。建议做好以下工作缓存相同或相似提问命中后直接返回使用小模型处理简单请求只把复杂请求分配给大模型设置单用户频控与每日调用上限对长文本使用摘要模型做前置压缩减少 Token 消耗预留降级方案模型服务不可用时切换到规则问答或人工客服7.3 可观测性AI 应用的可观测性和传统后端不一样除了监控接口延迟、错误率还需要关注每轮对话的 Token 消耗工具调用的成功率和失败原因知识库检索结果的命中分布用户对 AI 回答的反馈点赞/点踩上下文重放能够还原某一轮对话的完整 Prompt 和工具调用链路建议从项目第一天就记录这些日志否则后期优化无从下手。7.4 安全与权限落地建议不要信任模型输出的任何参数所有工具调用都要做服务端参数校验不要把 API Key 放在前端代码中知识库检索要注意“越权检索”问题检索前先过滤数据权限对高风险操作发送消息、删除数据、提交审批增加二次确认流程定期进行 Prompt 注入测试确保恶意输入不能绕过系统指令8. 结语最终赢家的底层逻辑AI 办公入口战还在早期远没到终局。但从技术演进规律来看最终赢家大概率同时具备以下能力拥有高质量的企业数据资产而不只是通用模型能力能把 Agent、RAG、工具调用做成稳定可靠的工程体系而不是 Demo 级演示能处理好企业级权限、安全和审计要求让客户放心把核心业务数据交给 AI能构建开放的插件生态让更多场景在平台上自然生长能控制好模型调用成本避免规模越大亏损越严重对开发者来说与其纠结“哪家模型更强”不如先把工程骨架搭建起来从本文的 Demo 出发逐步替换真实业务系统、引入向量数据库、完善权限模型。AI 办公入口的竞争最终不是模型参数的比拼而是工程能力、数据积累和对企业用户真实场景理解程度的综合较量。模型会不断升级架构会持续演化但“入口”的底层逻辑始终成立谁能安全、可靠、高效地连接用户与 AI 及企业业务系统谁就能在这场长期竞争里占据有利位置。 AI办公入口战拆解：Agent、RAG与Function Calling实战
1. AI办公入口战这究竟在争什么过去两年大模型的能力持续升级从“能聊天”进步到“能干活”。于是大家开始关注一个更实际的问题用户到底会在哪里使用 AI是在聊天框里还是在文档里、表格里、会议里、代码编辑器里答案并不唯一但一个趋势已经非常明显——办公场景正在成为 AI 最重要的落地阵地之一。钉钉、飞书、企业微信、WPS、Microsoft 365 等产品都在快速集成 AI 能力各种“AI 助手”“AI 助理”“智能工作台”纷纷登场。这场围绕“AI 办公入口”的竞争本质上是想抢占用户日常工作流中的第一个入口。从技术角度看这场竞争并不是简单的“谁的大模型更强”而是以下三个层面的综合比拼层面核心内容典型技术模型层基础大模型的推理、理解、生成能力GPT-4 类模型、国产开源大模型、领域微调模型工程层如何把大模型安全可靠地接入业务系统RAG、Agent、Function Calling、权限控制、可观测性产品层用户以什么形态与 AI 交互对话助手、文档助手、会议纪要、自动化工作流本文会用相对“底层”的视角拆解 AI 办公入口战。文章前半部分讲清楚架构和核心能力后半部分带大家从零搭建一个轻量级的 AI 办公助手 Demo最后总结一下在这个战场上真正的赢家需要具备哪些工程能力与产品判断。无论你是后端开发者、AI 应用开发者还是对 AI Agent 感兴趣的技术产品经理这篇文章都能提供一套可复用的思考框架和代码示例。2. AI办公入口的三层技术底座2.1 模型层基础能力决定体验下限模型层是 AI 办公入口的地基。没有足够强的语义理解、逻辑推理和生成能力上层产品做得再好也会露馅。但这里有一个容易被忽略的事实在通用能力之外办公场景对模型有两个特殊要求。第一是结构化输出。办公场景经常需要模型输出 JSON、表格、摘要、待办事项等结构化内容而不是一段自由文本。如果模型只能输出长篇大论产品就很难把它嵌入到现有流程中。第二是指令遵循能力。比如用户说“把今天会议纪要按照三段式整理结论、问题、下一步”模型必须能准确理解并执行这个格式约束。在工程实现上模型层通常会采用“多模型路由”策略简单意图问候、通用问答 - 小模型 / 快速模型 复杂任务长文档分析、代码生成 - 大模型 / 高质量模型 垂直领域财务、法务、HR - 领域微调模型 / 专业Agent这样做的好处是控制成本、降低延迟。实际项目中可以按用户身份、业务场景、请求复杂度分配不同的模型而不是所有请求都走同一个大模型。2.2 工程层从“能对话”到“能干活”模型层解决的是“大脑”问题工程层解决的是“手脚”问题。一个 AI 办公助手如果只是聊天价值非常有限。真正有价值的是它能调用公司系统的 API比如查询今天的会议安排创建一条审批流在知识库中检索制度文档帮用户生成日报并发送给主管汇总多个报表数据并生成结论要做到这些工程层至少需要以下组件Agent 编排引擎负责拆解用户意图、规划任务步骤、调用工具、汇总结果。RAG 检索增强生成把企业私有知识库制度、手册、FAQ接入模型解决模型不知道企业内部信息的问题。Function Calling / 工具调用让模型可以生成结构化的工具调用指令由后端执行真实业务操作。权限与审计系统AI 能调用的 API 必须受权限约束与现有组织架构和权限体系打通。目前社区里有 LangChain、LangGraph、Spring AI、Dify、Coze 等框架可以加快开发但在生产环境中团队往往需要根据自己的业务场景做大量定制。2.3 产品层入口形态决定用户心智“入口”在技术上没有标准定义但在产品层面非常明确用户是在聊天框里发起指令在文档里唤起 AI还是在侧边栏里使用 AI这决定了产品的使用频率和用户心智。目前主流的入口形态有三种入口形态代表场景优势劣势对话机器人IM 中的 AI 助手使用成本低、自然语言交互任务完成链路长上下文受限内容内嵌文档、表格、邮件中的 AI 按钮贴近工作现场体验顺滑功能垂直难以跨场景协同工作台入口独立 AI 办公应用可聚合多种能力、可定制工作流需要用户主动打开获客成本高目前主流办公软件的做法是“组合拳”在 IM 中做 AI 助手在文档中做 AI 编辑在工作台上做 AI 工作流编排。这也是为什么这场战争被称作“入口战”——谁同时占据多个高频场景谁就更有可能成为用户日常办公的默认入口。3. 拆解AI办公入口的核心能力3.1 Agent从被动应答到主动执行AI 办公助手区别于普通问答系统最大的地方是 Agent 能力。所谓 Agent就是让 AI 根据目标自主规划并执行任务。一个典型的办公场景是这样的用户输入帮我整理一下上周的项目周报发给项目组并提醒大家下午三点前反馈。一个完整的 Agent 流程可能分成四步任务拆解整理周报 - 查找上周工作记录 - 生成周报 - 发送 - 设置提醒工具选择调用“获取工作记录”工具、“生成文档”工具、“发送消息”工具执行与校验依次执行工具每次执行后检查结果是否正常结果汇总如果某一步失败比如权限不足向用户说明原因在技术实现上Agent 通常采用“循环执行”模式用户输入 - 模型生成下一步动作 - 执行动作 - 把结果返回给模型 - 模型判断是否结束这也是为什么 Agent 开发对工程能力要求很高。你需要处理模型幻觉、工具调用失败、循环次数上限、用户中断确认等问题。3.2 RAG让 AI 了解企业内部知识企业办公场景中用户经常问这类问题“请假流程是什么”“新的报销标准是多少”“去年 Q3 的销售数据在哪里看”这些信息不在模型的训练数据里属于企业私有知识。RAG 是解决这个问题的主流方案核心思想是先检索再生成。基本流程如下离线阶段把企业文档切分、向量化存入向量数据库在线阶段用户提问时先向量化用户问题在向量库中检索最相关的文档片段TopK将检索结果和用户问题一起拼入 Prompt模型基于检索到的内容生成回答工程上需要注意的坑很多文档切分策略会影响检索效果纯按字符切分容易切断语义向量模型的选择会影响匹配精度检索结果的重排序Rerank能显著提升质量知识库需要定时同步更新3.3 Function Calling连接模型与真实业务系统RAG 解决的是“知识的获取”Function Calling 解决的是“操作的执行”。大模型本身不能直接操作企业系统但它可以从用户指令中提取出结构化参数并生成工具调用请求。例如用户说“帮我约明天下午 3 点和李四的会议”模型可以生成{ function: create_meeting, parameters: { title: 与李四的会议, time: 2025-06-10 15:00, attendees: [李四] } }后端拿到这个 JSON 后调用真实系统创建会议再把结果返回给模型由模型组织语言回复用户。这种模式下业务系统不需要理解自然语言只需要提供标准 API。AI 办公入口的价值在于把用户与所有业务系统之间的交互抽象成了一个对话式的“万能接口”。3.4 权限与安全入口战不可逾越的红线AI 办公入口本质上是企业数据的集中入口权限与安全必须优先设计而不是事后补救。至少要考虑以下几点身份认证AI 助手必须知道“当前说话的人是谁”数据隔离不同部门、不同职级的员工能检索到的知识库范围不同操作审计AI 调用了哪些工具、修改了哪些数据必须可追溯确认机制删除、发送、审批等高风险操作必须二次确认Prompt 注入防护恶意用户可能通过输入内容诱导 AI 执行越权操作这些能力往往比模型本身的强弱更能决定一个 AI 办公产品能否进入企业市场。4. 实战从零搭建一个轻量AI办公助手下面进入实操环节。我们会做一个简化但完整的 AI 办公助手骨架演示入口设计、Agent 编排、知识库检索和工具调用四个核心环节。4.1 技术选型与项目结构Demo 使用 Java 17 Spring Boot 构建大模型接口采用 OpenAI 兼容格式方便替换为任意兼容服务。前端用原生 HTML JavaScript减少构建步骤。项目结构如下office-ai-assistant/ ├── pom.xml └── src/main/ ├── java/com/example/officeai/ │ ├── OfficeAiApplication.java │ ├── controller/ChatController.java │ ├── model/ChatRequest.java │ ├── model/ChatResponse.java │ ├── service/AgentService.java │ ├── service/LlmClient.java │ ├── service/KnowledgeBaseService.java │ └── tool/ToolExecutor.java └── resources/ ├── application.yml └── static/index.html示例代码重点展示工程结构实际生产环境可按团队技术栈替换组件。4.2 创建 Maven 工程与依赖配置文件pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version3.2.5/version relativePath/ /parent groupIdcom.example/groupId artifactIdoffice-ai-assistant/artifactId version1.0.0/version nameoffice-ai-assistant/name descriptionAI办公助手 Demo/description properties java.version17/java.version /properties dependencies dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-webflux/artifactId /dependency /dependencies build plugins plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId /plugin /plugins /build /project注意spring-boot-starter-webflux用于调用大模型接口因为大模型响应可能比较慢使用异步非阻塞客户端更合适。4.3 配置文件文件src/main/resources/application.ymlserver: port: 8080 llm: # 兼容 OpenAI 接口的服务地址可按实际模型服务调整 base-url: https://your-llm-endpoint.example.com/v1 api-key: your-api-key model: gpt-4o-mini temperature: 0.3 max-tokens: 1024 office: # 模拟企业用户身份生产环境应从认证上下文获取 current-user: zhangsan这里把大模型服务做成可配置项部署时可以替换为内部模型服务地址。4.4 模型与 DTO 定义文件src/main/java/com/example/officeai/OfficeAiApplication.javapackage com.example.officeai; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; SpringBootApplication public class OfficeAiApplication { public static void main(String[] args) { SpringApplication.run(OfficeAiApplication.class, args); } }文件src/main/java/com/example/officeai/model/ChatRequest.javapackage com.example.officeai.model; public class ChatRequest { private String message; public ChatRequest() { } public ChatRequest(String message) { this.message message; } public String getMessage() { return message; } public void setMessage(String message) { this.message message; } }文件src/main/java/com/example/officeai/model/ChatResponse.javapackage com.example.officeai.model; public class ChatResponse { private String reply; public ChatResponse() { } public ChatResponse(String reply) { this.reply reply; } public String getReply() { return reply; } public void setReply(String reply) { this.reply reply; } }4.5 大模型客户端文件src/main/java/com/example/officeai/service/LlmClient.java这个类负责调用兼容 OpenAI 的/chat/completions接口。为了简化示例我们使用WebClient以流式或阻塞方式发送请求。package com.example.officeai.service; import com.fasterxml.jackson.databind.JsonNode; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.node.ArrayNode; import com.fasterxml.jackson.databind.node.ObjectNode; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import org.springframework.web.reactive.function.client.WebClient; import java.time.Duration; import java.util.List; import java.util.Map; Service public class LlmClient { private final WebClient webClient; private final ObjectMapper objectMapper; private final String apiKey; private final String model; private final double temperature; private final int maxTokens; public LlmClient( Value(${llm.base-url}) String baseUrl, Value(${llm.api-key}) String apiKey, Value(${llm.model}) String model, Value(${llm.temperature}) double temperature, Value(${llm.max-tokens}) int maxTokens) { this.apiKey apiKey; this.model model; this.temperature temperature; this.maxTokens maxTokens; this.webClient WebClient.builder() .baseUrl(baseUrl) .defaultHeader(Authorization, Bearer apiKey) .build(); this.objectMapper new ObjectMapper(); } public String chat(ListMapString, String messages) { ObjectNode requestBody objectMapper.createObjectNode(); requestBody.put(model, model); requestBody.put(temperature, temperature); requestBody.put(max_tokens, maxTokens); ArrayNode messagesNode requestBody.putArray(messages); for (MapString, String message : messages) { ObjectNode msgNode objectMapper.createObjectNode(); msgNode.put(role, message.get(role)); msgNode.put(content, message.get(content)); messagesNode.add(msgNode); } String responseBody webClient.post() .uri(/chat/completions) .bodyValue(requestBody) .retrieve() .bodyToMono(String.class) .block(Duration.ofSeconds(60)); try { JsonNode root objectMapper.readTree(responseBody); return root.path(choices).get(0).path(message).path(content).asText(); } catch (Exception e) { throw new RuntimeException(解析大模型响应失败, e); } } }这个客户端封装了大模型的通用调用逻辑。真实项目中可以根据业务需要增加超时控制、重试机制、降级策略和流式输出。4.6 知识库服务文件src/main/java/com/example/officeai/service/KnowledgeBaseService.java为了演示 RAG 的核心思想这里用一个内存 Map 模拟向量数据库做简单的关键词匹配。生产环境可以替换为 Elasticsearch、Milvus、pgvector 等。package com.example.officeai.service; import org.springframework.stereotype.Service; import java.util.*; import java.util.stream.Collectors; Service public class KnowledgeBaseService { private final MapString, String knowledgeMap new LinkedHashMap(); public KnowledgeBaseService() { // 模拟企业知识库 knowledgeMap.put(请假流程, 请假流程员工通过 OA 系统提交请假申请选择请假类型、起止时间和事由审批人审批通过后生效。请假超过3天需要部门负责人和人事部门双重审批。); knowledgeMap.put(报销标准, 差旅报销标准一线城市住宿标准为500元/晚其他城市400元/晚。餐饮补贴每天100元。报销需在差旅结束后7个工作日内提交附发票原件。); knowledgeMap.put(周报模板, 周报模板要求本周工作进展、遇到的问题与解决方案、下周工作计划。建议按项目维度拆分每个项目列出交付物和当前状态。); knowledgeMap.put(会议纪律, 会议纪律会议默认 25 分钟所有参会人需提前阅读会议材料会后 24 小时内发布会议纪要并确认待办事项。); } public ListString search(String query, int topK) { // 极简实现按关键词覆盖度排序 SetString words new HashSet(Arrays.asList(query.split(\\s))); return knowledgeMap.entrySet().stream() .sorted((e1, e2) - { int score1 countHits(e1.getKey(), e1.getValue(), words); int score2 countHits(e2.getKey(), e2.getValue(), words); return Integer.compare(score2, score1); }) .limit(topK) .map(Map.Entry::getValue) .collect(Collectors.toList()); } private int countHits(String key, String value, SetString words) { int count 0; for (String word : words) { if (key.contains(word) || value.contains(word)) { count; } } return count; } }上面的实现只用于演示“检索 - 拼装 - 生成”的链路。真实场景中需要对文档做分块处理使用 Embedding 模型做向量化使用向量数据库存储和相似度检索增加 Rerank 重排序环节但核心逻辑是一致的把检索结果作为上下文塞给大模型。4.7 工具执行器文件src/main/java/com/example/officeai/tool/ToolExecutor.java工具层负责连接真实业务系统。Demo 中用模拟数据演示。package com.example.officeai.tool; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.node.ArrayNode; import com.fasterxml.jackson.databind.node.ObjectNode; import org.springframework.stereotype.Component; import java.time.LocalDate; import java.util.Map; Component public class ToolExecutor { private final ObjectMapper objectMapper new ObjectMapper(); public String execute(String toolName, MapString, Object args) { switch (toolName) { case getTodoList: return getTodoList(); case getTodayMeetings: return getTodayMeetings(); case getLeaveBalance: return getLeaveBalance(args); default: return {\error\: \未知工具: toolName \}; } } private String getTodoList() { ArrayNode array objectMapper.createArrayNode(); ObjectNode todo1 objectMapper.createObjectNode(); todo1.put(title, 完成Q3产品需求评审); todo1.put(deadline, 2025-06-11); todo1.put(status, 进行中); ObjectNode todo2 objectMapper.createObjectNode(); todo2.put(title, 准备周报); todo2.put(deadline, 2025-06-13); todo2.put(status, 未开始); array.add(todo1); array.add(todo2); return array.toString(); } private String getTodayMeetings() { ArrayNode array objectMapper.createArrayNode(); ObjectNode meeting1 objectMapper.createObjectNode(); meeting1.put(time, 10:00-11:00); meeting1.put(title, 产品迭代评审会); meeting1.put(participants, 8); ObjectNode meeting2 objectMapper.createObjectNode(); meeting2.put(time, 15:00-16:00); meeting2.put(title, 技术方案评审); meeting2.put(participants, 5); array.add(meeting1); array.add(meeting2); return array.toString(); } private String getLeaveBalance(MapString, Object args) { Object user args.get(user); String username user null ? 当前用户 : user.toString(); ObjectNode result objectMapper.createObjectNode(); result.put(user, username); result.put(annual_leave_balance, 7.5); result.put(sick_leave_balance, 3.0); result.put(personal_leave_balance, 2.0); return result.toString(); } }生产环境中这些工具方法应该通过 HTTP 或 RPC 调用真实的业务系统并且必须在服务端校验用户权限不能只依赖前端传入的user参数。4.8 Agent 编排服务文件src/main/java/com/example/officeai/service/AgentService.java这是整个 Demo 的核心。它模拟了 Agent 的“识别意图 - 调用工具/检索知识库 - 生成回答”流程。package com.example.officeai.service; import com.example.officeai.tool.ToolExecutor; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Service; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; Service public class AgentService { private final LlmClient llmClient; private final KnowledgeBaseService knowledgeBaseService; private final ToolExecutor toolExecutor; private final String currentUser; public AgentService(LlmClient llmClient, KnowledgeBaseService knowledgeBaseService, ToolExecutor toolExecutor, Value(${office.current-user}) String currentUser) { this.llmClient llmClient; this.knowledgeBaseService knowledgeBaseService; this.toolExecutor toolExecutor; this.currentUser currentUser; } public String handleMessage(String userMessage) { // 第1步识别用户意图决定需要哪些工具或知识库 String lowerMessage userMessage.toLowerCase(); ListMapString, String messages new ArrayList(); messages.add(createMessage(system, 你是一个AI办公助手请根据提供的上下文和工具结果用简洁、专业的中文回答用户问题。 当前用户是 currentUser)); // 第2步根据意图路由到工具或知识库 if (lowerMessage.contains(待办) || lowerMessage.contains(todo)) { String toolResult toolExecutor.execute(getTodoList, Map.of()); messages.add(createMessage(system, 工具执行结果 toolResult)); } else if (lowerMessage.contains(会议) || lowerMessage.contains(日程)) { String toolResult toolExecutor.execute(getTodayMeetings, Map.of()); messages.add(createMessage(system, 工具执行结果 toolResult)); } else if (lowerMessage.contains(请假) || lowerMessage.contains(假期) || lowerMessage.contains(年假)) { MapString, Object args new HashMap(); args.put(user, currentUser); String toolResult toolExecutor.execute(getLeaveBalance, args); messages.add(createMessage(system, 工具执行结果 toolResult)); } else { // 默认走知识库检索 ListString docs knowledgeBaseService.search(lowerMessage, 2); if (!docs.isEmpty()) { StringBuilder context new StringBuilder(以下是企业知识库中检索到的相关资料\n); for (int i 0; i docs.size(); i) { context.append(i 1).append(. ).append(docs.get(i)).append(\n); } messages.add(createMessage(system, context.toString())); } } // 第3步加入用户消息 messages.add(createMessage(user, userMessage)); // 第4步调用大模型生成最终回复 return llmClient.chat(messages); } private MapString, String createMessage(String role, String content) { MapString, String message new HashMap(); message.put(role, role); message.put(content, content); return message; } }这个实现是为了演示 Agent 的骨架思路。真实场景中意图识别会更复杂通常借助模型自身的能力做路由或者使用更完善的 Agent 框架如 LangGraph、Spring AI来实现。4.9 控制器文件src/main/java/com/example/officeai/controller/ChatController.javapackage com.example.officeai.controller; import com.example.officeai.model.ChatRequest; import com.example.officeai.model.ChatResponse; import com.example.officeai.service.AgentService; import org.springframework.web.bind.annotation.*; RestController RequestMapping(/api/office) CrossOrigin(origins *) public class ChatController { private final AgentService agentService; public ChatController(AgentService agentService) { this.agentService agentService; } PostMapping(/chat) public ChatResponse chat(RequestBody ChatRequest request) { String reply agentService.handleMessage(request.getMessage()); return new ChatResponse(reply); } GetMapping(/health) public String health() { return ok; } }4.10 前端聊天页面文件src/main/resources/static/index.html一个简洁的对话界面不依赖任何前端框架。!DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 titleAI办公助手 Demo/title style * { margin: 0; padding: 0; box-sizing: border-box; } body { font-family: PingFang SC, Microsoft YaHei, sans-serif; background: #f5f7fa; } .container { max-width: 720px; margin: 40px auto; background: #fff; border-radius: 12px; box-shadow: 0 4px 20px rgba(0,0,0,0.08); } .header { padding: 24px 32px; border-bottom: 1px solid #f0f0f0; } .header h1 { font-size: 22px; color: #333; } .header p { margin-top: 6px; font-size: 14px; color: #999; } .chat-box { height: 480px; overflow-y: auto; padding: 24px 32px; } .message { margin-bottom: 16px; display: flex; } .message.user { justify-content: flex-end; } .message .bubble { max-width: 75%; padding: 12px 16px; border-radius: 10px; font-size: 15px; line-height: 1.7; white-space: pre-wrap; } .message.user .bubble { background: #1a73e8; color: #fff; } .message.assistant .bubble { background: #f1f3f4; color: #333; } .input-box { padding: 20px 32px; border-top: 1px solid #f0f0f0; display: flex; gap: 12px; } .input-box input { flex: 1; height: 44px; border: 1px solid #ddd; border-radius: 8px; padding: 0 14px; font-size: 15px; outline: none; } .input-box button { height: 44px; padding: 0 24px; background: #1a73e8; color: #fff; border: none; border-radius: 8px; font-size: 15px; cursor: pointer; } .input-box button:disabled { background: #ccc; cursor: not-allowed; } .loading { color: #999; font-size: 14px; padding: 8px 0; } /style /head body div classcontainer div classheader h1AI 办公助手/h1 p可以试试这些指令我的待办、今天的会议、年假余额、请假流程是什么/p /div div classchat-box idchatBox/div div classinput-box input typetext idmessageInput placeholder输入你的问题... / button idsendBtn发送/button /div /div script const chatBox document.getElementById(chatBox); const messageInput document.getElementById(messageInput); const sendBtn document.getElementById(sendBtn); function appendMessage(role, content) { const messageDiv document.createElement(div); messageDiv.className message role; const bubble document.createElement(div); bubble.className bubble; bubble.textContent content; messageDiv.appendChild(bubble); chatBox.appendChild(messageDiv); chatBox.scrollTop chatBox.scrollHeight; } async function sendMessage() { const text messageInput.value.trim(); if (!text) return; appendMessage(user, text); messageInput.value ; sendBtn.disabled true; const loadingDiv document.createElement(div); loadingDiv.className loading; loadingDiv.textContent AI 思考中...; chatBox.appendChild(loadingDiv); chatBox.scrollTop chatBox.scrollHeight; try { const response await fetch(/api/office/chat, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ message: text }) }); const data await response.json(); loadingDiv.remove(); appendMessage(assistant, data.reply); } catch (error) { loadingDiv.remove(); appendMessage(assistant, 抱歉服务出了点问题请稍后再试。); } finally { sendBtn.disabled false; messageInput.focus(); } } sendBtn.addEventListener(click, sendMessage); messageInput.addEventListener(keydown, function (e) { if (e.key Enter) { sendMessage(); } }); /script /body /html4.11 运行与验证启动应用mvn spring-boot:run打开浏览器访问http://localhost:8080/在输入框中分别测试以下指令用户输入预期行为我的待办有什么调用 getTodoList 工具返回待办事项列表今天有什么会议调用 getTodayMeetings 工具返回今日会议我的年假还剩几天调用 getLeaveBalance 工具返回假期余额请假流程是什么触发知识库检索返回请假流程说明你好无工具调用直接生成问候回复这里故意用“规则匹配”实现意图识别是为了降低 Demo 的依赖。实际产品中最好让大模型来做意图识别和工具选择可参考 Function Calling 协议。5. 决定胜负的关键工程策略5.1 数据壁垒与知识资产AI 办公入口最重要的壁垒不是模型本身而是企业内的数据积累。同样的模型能力接入的知识库越丰富、用户行为数据越完整助手越“懂”业务。比如一个HR助手如果能看到离职率趋势、薪酬数据、组织架构调整记录它的回答质量会远超一个只靠通用知识的助手。但数据壁垒也意味着更大责任企业数据隐私、合规、脱敏必须放到最高优先级。5.2 插件生态与开放平台任何一个办公入口都不可能覆盖所有业务场景。真正要成为入口必须允许第三方开发者接入。这就需要具备标准化的工具协议类似 MCP 等开放协议或成熟的开放 API插件市场与审核机制开发者文档与沙箱环境清晰的流量分成或收益模式AI 办公入口最终会从“一个产品”演变成一个“平台”。谁能吸引更多开发者谁的工具生态就更丰富用户体验也就更好。5.3 企业级权限与审计个人消费级 AI 助手和企业级 AI 办公助手最大的差别就在权限体系。个人产品只需要保证“用户与 AI 之间”的安全。企业产品则必须保证“用户与 AI 与业务系统三者之间”的权限一致性。工程上建议统一身份认证AI 请求必须携带用户身份按角色过滤工具不同角色能调用不同工具按部门隔离知识库检索范围要受数据权限约束全链路审计记录每一个 AI 调用、工具调用、数据返回结果如果权限设计不到位AI 入口做得越好数据泄露风险反而越大。6. 常见问题与排查思路AI 办公项目在开发和落地过程中问题集中出现在以下几个方面问题现象常见原因排查与解决思路大模型接口调用超时网络不通、接口地址配置错误、超时时间设置过短先用 curl 直接测试接口连通性确认 base-url 和 api-key 正确再调大超时参数AI 回答内容不准确Prompt 上下文不足、知识库检索到无关内容检查检索 TopK 结果引入 Rerank优化文档分块策略在 Prompt 中限定回答范围Agent 反复调用同一个工具工具返回结果不足以让模型推断出下一步增加工具返回结果的字段说明设置最大循环次数在 Prompt 中明确“如果无法完成直接告知用户”工具调用参数错误Function Calling 的 JSON Schema 描述不清晰在 Schema 中增加字段描述、枚举值和必填项对参数做服务端校验权限绕过风险工具执行时直接信任模型生成的参数服务端必须校验用户身份与资源权限高风险操作必须二次确认延迟太高模型单次调用太慢、链路串行引入模型路由简单问题走小模型并行调用多个独立工具采用流式输出提升首字延迟体验知识库内容更新后不生效向量化任务未执行或缓存未清理检查数据同步任务日志确认向量化任务完成后刷新检索索引下面重点展开两个最常见的问题。6.1 问题一AI 回答没有引用企业知识现象用户问“报销标准是多少”AI 的回答是通用常识不是企业内部的真实标准。排查步骤在服务端打印知识库检索结果确认关键词是否命中检查文档是否已经完成切分和向量化检查检索 TopK 值是否过小检查 Prompt 中是否真的把检索结果传给了模型常见原因是分词策略不合理。比如用户输入“报销标准”文档标题是“差旅报销标准说明”如果按空格分词“报销标准”和字段中多个关键词都能命中但实际得分排序可能并不理想。建议在真实项目中用向量检索 关键词检索混合方案。6.2 问题二Agent 无法正确决定调用哪个工具现象用户说“帮我订明天下午的会议室”AI 却回答说“我可以帮您提交申请但需要您先填写会议室编号”。排查步骤检查优化后的 Function Calling Schema参数是否描述清楚是否有示例检查工具列表是否过多导致模型选择困难在 Prompt 中提供工具选择示例帮助模型理解使用场景观察模型返回的 tool_call 内容确认参数提取是否完整这个问题的本质是“工具的路由靠模型猜测”。生产环境中建议先用规则或小模型做一次粗分类降低大模型的决策压力。7. AI办公入口的最佳实践与工程建议7.1 入口设计原则离用户工作场景越近越好优先在用户正在使用的文档、IM、表格中嵌入 AI把高频任务做成“一键式”用户最常用的是简单的查询、汇总、提醒不要把简单任务复杂化允许用户介入确认AI 执行删除、发送等不可逆操作前必须让用户确认渐进式披露能力首次见面只展示两三个核心指令不要一上来就列几十个能力7.2 模型调用与成本控制大模型 API 调用成本在规模放大后会非常可观。建议做好以下工作缓存相同或相似提问命中后直接返回使用小模型处理简单请求只把复杂请求分配给大模型设置单用户频控与每日调用上限对长文本使用摘要模型做前置压缩减少 Token 消耗预留降级方案模型服务不可用时切换到规则问答或人工客服7.3 可观测性AI 应用的可观测性和传统后端不一样除了监控接口延迟、错误率还需要关注每轮对话的 Token 消耗工具调用的成功率和失败原因知识库检索结果的命中分布用户对 AI 回答的反馈点赞/点踩上下文重放能够还原某一轮对话的完整 Prompt 和工具调用链路建议从项目第一天就记录这些日志否则后期优化无从下手。7.4 安全与权限落地建议不要信任模型输出的任何参数所有工具调用都要做服务端参数校验不要把 API Key 放在前端代码中知识库检索要注意“越权检索”问题检索前先过滤数据权限对高风险操作发送消息、删除数据、提交审批增加二次确认流程定期进行 Prompt 注入测试确保恶意输入不能绕过系统指令8. 结语最终赢家的底层逻辑AI 办公入口战还在早期远没到终局。但从技术演进规律来看最终赢家大概率同时具备以下能力拥有高质量的企业数据资产而不只是通用模型能力能把 Agent、RAG、工具调用做成稳定可靠的工程体系而不是 Demo 级演示能处理好企业级权限、安全和审计要求让客户放心把核心业务数据交给 AI能构建开放的插件生态让更多场景在平台上自然生长能控制好模型调用成本避免规模越大亏损越严重对开发者来说与其纠结“哪家模型更强”不如先把工程骨架搭建起来从本文的 Demo 出发逐步替换真实业务系统、引入向量数据库、完善权限模型。AI 办公入口的竞争最终不是模型参数的比拼而是工程能力、数据积累和对企业用户真实场景理解程度的综合较量。模型会不断升级架构会持续演化但“入口”的底层逻辑始终成立谁能安全、可靠、高效地连接用户与 AI 及企业业务系统谁就能在这场长期竞争里占据有利位置。