1. 项目缘起当AI客服不只是“您好有什么可以帮您”在AI技术飞速发展的今天我们早已习惯了与各种智能客服对话。但大多数时候这种体验并不愉快要么是机械地重复预设话术要么在复杂问题面前直接“宕机”留下一句“抱歉我无法理解您的问题请转接人工”。对于真正处于困境、情绪可能已经濒临崩溃的客户来说这种体验无异于雪上加霜。我最近参与并主导了一个项目目标就是打破这种僵局。我们不再满足于让AI仅仅扮演一个“关键词匹配”或“FAQ检索器”的角色。我们想构建一个真正能“理解”客户困境、能“共情”地引导对话、并能“智能决策”将问题精准路由到最合适处理方的智能体。这个项目的核心标题正是“Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes”——一个能够对话、探询和路由的LLM驱动智能体。这不仅仅是一个技术Demo而是一个旨在解决真实业务痛点的系统。想象一下这样的场景一位用户因为账户被盗、资金损失而焦急万分地联系客服。传统的流程可能是用户输入“账户被盗”机器人回复“请提供您的账号和身份证号”用户情绪更糟。而我们的智能体则需要像一位训练有素的危机干预专家它首先要识别出用户的“Distress”困境/痛苦状态然后通过温和、有策略的对话Converses来安抚情绪、获取关键信息Probes最后基于对问题性质和紧急程度的判断将对话无缝、精准地引导Routes给人工客服、风控专家或自动处理流程。这个项目涉及的核心技术点非常密集大语言模型LLM的理解与生成能力、智能体Agent的决策与工具调用框架、对话状态管理、意图与情感分类、以及复杂的工作流编排。接下来我将从零开始拆解我们是如何一步步构建这个“困境客户助手”的分享其中的架构设计、核心实现、以及那些在教科书和论文里找不到的“踩坑”经验。2. 核心架构设计从“单轮问答”到“有状态的对话智能体”构建这样一个系统首要任务是跳出“一问一答”的思维定式。一个只会回复单轮消息的模型无论其参数多大都无法胜任“探询”和“路由”这种需要上下文记忆、状态追踪和策略规划的任务。因此我们选择了“智能体Agent”作为核心架构范式。2.1 为什么是Agent框架简单来说Agent LLM 记忆Memory 工具Tools 规划Planning。LLM是它的大脑负责理解和生成语言记忆让它能记住对话历史理解上下文工具让它能“动手”查询信息、执行操作规划则让它能为了一个目标如“弄清问题并路由”制定一系列行动步骤。市面上有很多优秀的Agent框架如LangChain、LlamaIndex、Semantic Kernel以及一些更轻量或特定领域的方案。我们的选型基于几个核心考量对复杂对话流的支持需要能方便地管理多轮对话、维护对话状态Dialog State。工具调用的灵活性与可靠性智能体需要调用内部API查询用户订单、验证信息甚至发起一个自动化的处理流程。易于集成与部署需要能与我们现有的客服系统、用户数据库、工单系统无缝对接。开发与调试效率框架需要有清晰的逻辑和良好的可观测性方便我们追踪智能体的“思考过程”。经过对比我们最终选择了一个以“对话流Conversation Flow”和“技能Skills/Hooks”为核心概念的框架类似LangChain的Agent Executor或自定义链。它的核心思想是将一次客户服务对话抽象为一个有向图每个节点代表一个“状态”或“技能”LLM根据当前状态和对话历史决定下一步执行哪个技能或者如何回复。2.2 系统组件拆解我们的智能体系统主要由以下模块构成它们协同工作完成了“对话-探询-路由”的闭环对话理解与生成引擎LLM Core这是系统的心脏。我们并没有盲目追求最大的通用模型而是根据场景做了权衡。对于需要极低延迟的初次意图分类和简单回复我们使用了一个经过精调Fine-tuned的中等规模模型如Qwen-7B-Chat。对于需要复杂推理、策略规划的“探询”和“路由决策”环节则调用更强大的云端或本地大模型如GPT-4、DeepSeek-V2或GLM-4。这里的一个关键技巧是“模型分层”不是所有任务都需要最贵的模型。技能Skills与工具Tools库这是智能体的“双手”。我们将智能体能做的事情模块化信息收集技能例如get_user_order_history调用内部API获取用户最近订单verify_identity通过询问预设问题或对接验证系统来确认用户身份。情感安抚技能当检测到用户情绪为“愤怒”或“焦虑”时触发特定的安抚话术模板并由LLM进行个性化填充。问题诊断技能例如diagnose_payment_issue通过一系列预设的逻辑问题是否收到短信支付页面报错码是什么引导用户提供关键信息逐步缩小问题范围。路由决策技能这是终极技能decide_routing。它综合当前收集到的所有信息问题类型、紧急程度、用户情绪、是否有处理预案决定是将对话移交给“人工客服组A”、“风控专家组B”还是触发“自动退款流程C”。对话状态管理Dialog State Management这是智能体的“短期记忆”。我们维护一个结构化的状态对象实时更新以下信息{ user_intent: 账户被盗, // 识别出的用户意图 user_sentiment: angry, // 用户情感分类 collected_info: { // 已收集的关键信息 account_id: 123456, last_transaction_time: 2023-10-27 14:30, issue_category: security }, conversation_stage: probing_details, // 当前对话阶段 confidence_score: 0.85, // 当前状态置信度 suggested_route: fraud_department // 初步路由建议 }这个状态是LLM做决策、技能被选择的核心依据。分类与评估模块Classification Evaluation这是系统的“感知器官”。它并不总是依赖大模型。对于“情感分类”和“初步意图分类”我们训练了轻量级的文本分类模型如基于BERT的微调模型因为它们更快、更稳定、成本更低。只有当轻量级模型置信度低于阈值时才fallback到大模型进行判断。这有效平衡了效果与成本。3. 核心流程实现一次完整的“困境救助”对话是如何发生的让我们跟随一个真实的“账户异常”案例看看智能体内部是如何运转的。用户输入“我的账号好像被别人登录了刚收到一笔不是我操作的扣款信息”3.1 阶段一意图识别与情感安抚Converses初始分类用户的发言首先进入分类模块。轻量级意图模型快速判断为“security_breach”安全漏洞情感模型判断为“anxious”焦虑。置信度均超过0.9直接采用。状态初始化系统创建对话状态填入初始意图和情感。LLM生成安抚性回应系统将当前状态和用户发言提示给LLM要求其生成一个“共情控制局面”的回复。提示词Prompt精心设计过“用户遇到了账户安全问题情绪焦虑。你是一名专业的客户服务助理。请首先对用户的遭遇表示理解和关切安抚其情绪并表明你将全力协助解决。然后以专业、清晰的方式引导用户提供第一项关键信息例如请告诉我您的注册手机号或账号以便我先为您锁定账户防止进一步损失。注意不要一次性询问所有信息。” LLM可能生成“非常理解您现在的担忧账户安全出现问题确实会让人很着急。请您先别慌我在这里会全力协助您处理。为了第一时间保护您的账户安全请先提供一下您的注册手机号或账号名我可以立即为您启动账户保护程序。”实操心得提示词工程是关键。直接让LLM“回复用户”会导致结果不可控。必须通过提示词明确其角色专业客服、任务安抚并引导、以及回复的格式和边界一次只问一个信息点。我们为不同意图-情感组合编写了不同的“系统提示”模板这是稳定输出质量的生命线。3.2 阶段二多轮探询与信息收集Probes用户提供了账号后对话进入探询阶段。智能体不再是随机提问而是根据一个内置的“问题诊断树”进行有逻辑的探询。调用工具智能体首先调用get_account_status工具查询该账号最近的登录IP、设备信息。规划下一步LLM根据工具返回的结果例如“发现一个来自陌生地区的登录”和当前状态决定下一步动作。它可能判断需要确认账户控制权于是选择执行verify_identity技能通过询问注册邮箱、最近交易详情等预设问题。迭代循环“LLM决策 - 执行技能/工具 - 更新状态 - LLM决策”这个循环持续进行。每次循环状态中的collected_info都会更丰富conversation_stage会从initial_contact推进到verifying_ownership再到diagnosing_issue。动态调整策略如果用户在探询过程中表现出不耐烦情感分类变为“irritated”LLM会收到状态提示并可能触发“安抚技能”插入一句“感谢您的耐心配合我们正在加快处理速度已经快定位到问题了”然后再继续询问。踩坑记录避免“无限探询”循环。早期版本中智能体有时会陷入不断询问细节的死循环。我们在状态中增加了“探询轮次计数器”和“信息收集完整性评分”。当轮次超过阈值或评分增长停滞时强制触发路由决策技能避免用户体验恶化。3.3 阶段三综合评估与精准路由Routes当收集的信息足够多或触发了强制路由条件时系统进入最终决策阶段。调用路由决策技能decide_routing技能被激活。它接收完整的对话状态作为输入。LLM进行综合推理我们给LLM一个结构化的决策提示要求它基于以下维度评估问题分类属于欺诈、盗号、误操作、还是技术故障紧急程度是否涉及资金正在流失是否需要立即冻结账户解决复杂度是否需要人工审核材料是否需要技术专家介入用户情绪用户是否急需人工安抚生成路由指令LLM输出一个结构化的路由建议例如{ route_to: urgent_fraud_team, priority: high, summary: 用户账户疑似被盗发生非本人扣款情绪焦虑。已核实账户异常登录需人工立即介入冻结账户并启动调查。, transfer_message: 您的情况已初步明确涉及账户安全与资金风险我已为您直接联系我们的紧急风控专员他们将立即为您处理。请稍候。 }无缝转接系统根据路由指令将对话线程、完整的对话历史以及结构化的状态摘要一并推送给目标人工客服坐席或特定工作流系统。坐席打开对话界面时对之前发生了什么一目了然。核心技巧路由的依据是“状态”而非最后一句用户消息。这是与传统基于关键词转人工的本质区别。我们路由的是整个“故事”和“诊断结果”而不仅仅是一个“查询”。这极大地提升了人工客服的接起效率和解决速度。4. 模型训练与评估让AI更懂“困境”与“分类”要让智能体有效工作底层的LLM和分类模型必须理解客服领域的特定语言和场景。4.1 领域适应与精调数据收集与清洗我们从脱敏的历史客服日志中抽取了数万条包含“困境”场景的对话如投诉、紧急求助、复杂问题咨询。这些数据被用于意图分类模型训练标注“催单”、“理赔”、“账号问题”、“投诉”等几十个意图标签。情感分类模型训练标注“平静”、“困惑”、“焦虑”、“愤怒”等情感标签。LLM的SFT监督微调我们构建了高质量的指令输出对。例如指令是“用户说‘我的货还没到都超时三天了’情绪为愤怒意图为催单。请生成一句安抚并承诺跟进的话。”输出则是优秀的客服实际回复。精调策略对于分类模型我们采用标准的BERT分类头进行微调。对于对话LLM我们采用了“混合任务精调”不仅微调其对话生成能力还微调其“任务规划”能力即给定状态输出下一步该执行哪个技能ID。这能让模型更好地理解我们的智能体框架。4.2 评估体系不止看准确率评估这样一个系统是复杂的我们建立了多层评估体系评估层面评估指标说明组件级意图分类准确率/召回率确保问题识别准确情感分类准确率确保情绪判断准确工具调用成功率确保API调用可靠流程级问题解决率PSR智能体独立或在协助下闭环问题的比例平均对话轮次解决一个问题所需的平均交互次数越少越好无效转人工率不该转人工而转了的比例衡量路由精度用户体验级用户满意度CSAT对话结束后的人工评分情感曲线变化对话过程中用户情感从“焦虑”是否向“平静”转化经验之谈人工评估至关重要。我们定期抽样对话记录由资深客服专家从“同理心”、“专业性”、“效率”等多个维度进行评分。这些主观评分与客观指标结合才能全面衡量智能体是否真的在“帮助”客户而不是在“应付”客户。5. 实战中的挑战与优化策略在项目落地过程中我们遇到了无数挑战以下是几个最具代表性的问题及我们的解决方案。5.1 挑战一LLM的“幻觉”与信息安全在探询过程中LLM有时会“捏造”内部流程或承诺不存在的能力例如对用户说“我马上为您退款”而实际上无权这样做。解决方案严格的输出约束通过提示词和后期处理强制LLM的回复必须基于已知事实来自工具返回的数据和预设的话术范围。例如在提示词中强调“你只能根据已知信息回复对于流程类问题请引导用户至官方渠道或表示将代为查询切勿自行编造。”技能权限隔离将敏感操作如退款、改价封装成工具但不对智能体开放调用权限。智能体只能调用信息查询类和流程触发类工具。关键信息确认对于用户提供的账号、手机号等信息在用于查询前设计一个“复述确认”环节“您提供的手机号是138xxxxxxx对吗”避免因ASR或用户输入错误导致查询他人信息。5.2 挑战二对话流的僵化与灵活性平衡如果完全按照预设的“诊断树”走对话会显得机械。如果完全放任LLM自由发挥又可能偏离目标。解决方案采用“目标导向的有限自由”策略。我们为每个对话阶段定义明确的“子目标”如“确认账户所有权”并给出若干推荐的技能或问题模板。LLM的任务是根据当前对话的细微变化决定使用哪个模板并对模板内容进行个性化的语言润色而不是从头生成所有内容。这既保证了流程不跑偏又保留了对话的自然度。5.3 挑战三复杂场景下的路由决策困难有些问题边界模糊例如用户同时反馈“商品质量差”属售后和“客服态度不好”属投诉应该路由给哪个团队解决方案多标签路由路由决策不再是非此即彼支持添加多个标签并设置主次。例如主路由到“售后组”同时打上“投诉”标签提醒售后人员注意沟通方式。置信度阈值与人工兜底为路由决策设置置信度阈值如0.8。当LLM对路由决策的置信度低于阈值时不再自动路由而是生成一个摘要交由一个专门的“调度员”人工判断后再分配。这平衡了自动化效率和风险。5.4 挑战四性能与成本全程使用超大模型成本高昂响应速度也慢。解决方案如前所述采用“分层模型”架构。同时对对话历史进行“智能摘要”。不是将全部历史对话都塞给LLM而是每经过几轮就用一个小模型将之前的对话浓缩成一段结构化的摘要放入对话状态。这样后续的LLM调用只需要基于最新的用户消息和这个摘要进行决策大大减少了Token消耗提升了速度。6. 未来展望从“智能路由”到“主动服务”目前这个智能体已经成功上线并显著降低了人工客服处理简单咨询的压力同时提升了复杂紧急案件的流转效率。但它的进化不会停止。我们正在探索的方向包括多模态感知未来如果客服渠道支持可以接入语音情感分析更精准地判断用户情绪甚至分析用户上传的截图自动识别问题如破损商品照片。预测性路由基于用户的历史行为和当前对话在问题完全暴露前就预测其最终可能需要的服务方实现“预测路由”进一步缩短路径。从“解决”到“预防”分析智能体处理的大量“困境”对话提炼出共性问题和产品弱点反向推动产品优化从源头上减少客户陷入困境的可能。构建一个能真正“帮助困境中客户”的AI智能体是一项融合了技术深度、产品思维和人性化考量的复杂工程。它不仅仅是接入了一个大模型更是设计了一套完整的、以用户为中心的服务逻辑。技术是手段共情和理解才是目的。这条路还很长但每一次看到系统成功安抚了一位焦急的用户并将他精准地引向解决问题的彼岸时我们都觉得这一切的努力都是值得的。