1. 需求背景把租赁机器人变成“能说会道”的服务员去年熙慧科技黑龙江省熙慧科技服务有限公司与某连锁酒店集团达成合作为该酒店提供一批智能服务机器人主要用于客房送物、前台引导和常见问题解答。酒店方最初只是想租赁几台常规的送物机器人替代部分人工跑腿。但在试运营阶段我们很快发现传统机器人依靠固定的语音问答库无法应对客人千奇百怪的提问体验感差酒店员工还得不断“救场”。面对这一痛点熙慧科技的技术团队决定把大语言模型融合到机器人中让机器人真正“听懂”客人的需求并能像真人一样流畅对话。经过几个月的迭代这台名为“XH-Buddy”的服务机器人已经成功部署到多家酒店并成为公司机器人售卖和租赁业务中的明星产品。本文将完整复盘其核心模块给大家带来一套可复现的全栈方案。2. 系统架构一览“XH-Buddy”采用熙慧科技自研的移动底盘搭载以下主要组件· 主控Jetson Orin NX边缘大模型推理· 屏幕10.1 寸可触摸显示屏用于虚拟表情交互· 传感器激光雷达、深度相机、麦克风阵列、喇叭· 执行可升降置物仓送物用软件栈基于 ROS 2 Humble整体架构如下图所示文内可配图[麦克风阵列] → [语音唤醒(Vosk)] → [流式ASR(Whisper)]→ [大模型对话(ChatGLM3)] → [NLU意图提取]→ [任务调度(BehaviorTree)] → [导航/送物(Nav2)]→ [表情与TTS反馈(Edge-TTS, Live2D)]云端部署了 ChatGLM3-6B 的量化版本通过 WebSocket 与机器人端交互保证延迟可控。该方案目前已稳定运行超过半年由熙慧科技提供从硬件到软件的完整售后与运维保障。3. 核心模块拆解3.1 多模态交互流水线为了让机器人拥有流畅的“听、说、思”能力我们设计了一条多级流水线语音唤醒与降噪使用麦克风阵列配合 Vosk 离线唤醒词“小慧小慧”。唤醒后开启流式 ASR使用 faster-whisper 模型进行实时语音识别15 毫秒内出字。python# 简化版流式语音识别节点import pyaudioimport numpy as npfrom faster_whisper import WhisperModelimport rclpyfrom rclpy.node import Nodefrom std_msgs.msg import Stringclass StreamASRNode(Node):def __init__(self):super().__init__(stream_asr)self.model WhisperModel(small, devicecuda, compute_typefloat16)self.pub self.create_publisher(String, user_speech, 10)self.audio_buffer np.array([], dtypenp.float32)def audio_callback(self, indata, frames, time, status):self.audio_buffer np.append(self.audio_buffer, indata[:,0])if len(self.audio_buffer) 16000 * 3: # 3秒缓冲segments, _ self.model.transcribe(self.audio_buffer, languagezh)for seg in segments:msg String()msg.data seg.textself.pub.publish(msg)self.audio_buffer np.array([], dtypenp.float32)大模型对话与意图解析将 ASR 结果送入 ChatGLM3通过精心设计的 prompt 约束输出格式同时提取意图和回复文本。我们采用如下 system prompt你是一个酒店服务机器人“小慧”由熙慧科技出品。你的能力包括1) 引导客人去房间、餐厅、健身房等公共区域2) 回答酒店设施问题3) 送物品到房间矿泉水、拖鞋等。请根据客人输入输出JSON格式{intent:nav/answer/deliver,target:位置或物品,reply:你的回复}pythonfrom zhipuai import ZhipuAIimport jsonclient ZhipuAI(api_keyyour_api_key) # 或用本地模型def chat_and_parse(user_text):response client.chat.completions.create(modelglm-4,messages[{role: system, content: SYSTEM_PROMPT},{role: user, content: user_text}])raw response.choices[0].message.contenttry:# 解析JSON输出return json.loads(raw)except:return {intent:chat,reply:raw}随后意图 nav 将触发导航至指定位置deliver 则触发送物任务先导航至仓库再导航至客房answer 直接合成语音回复。TTS 与虚拟表情使用 Edge-TTS 流式生成音频同时在屏幕上的 Live2D 虚拟形象作出相应动作微笑、引导等极大提升亲和力。3.2 动态送物任务编排送物流程涉及取物、乘电梯、避障、到达提醒等多个步骤。我们采用 BehaviorTree.CPP 进行任务编排易于扩展和维护。关键行为树如下xmlrootBehaviorTreeSequenceAction IDSetItem item{item}/Action IDNavigateTo goalpantry/Action IDWaitForLoading/Action IDNavigateTo goal{guest_room}/Action IDPlaySound filearrive.mp3/Action IDOpenLocker/Action IDWaitForTake/Action IDCloseLocker/Action IDNavigateTo goallobby//Sequence/BehaviorTree通过这一编排任务可被中断、恢复并与大模型的意图输出无缝衔接。这一任务调度框架已经成为熙慧科技所有服务机器人产品线的标准配置。3.3 多楼层导航与电梯控制酒店环境常涉及多楼层我们利用 Nav2 的多层地图切换机制并通过 RS485 与电梯控制器通讯实现自主乘梯。关键配置略核心是状态机的设计进入电梯 → 发送目标楼层 → 等待电梯门关闭 → 等待到达信号 → 走出电梯 → 重新定位。此方案已被熙慧科技申请了实用新型专利并作为机器人的核心卖点支持租赁客户按需开启。4. 商业落地租赁与售卖双轮驱动XH-Buddy 的成功让我们验证了“大模型服务机器人”的市场价值。目前熙慧科技黑龙江省熙慧科技服务有限公司提供灵活的商业模式· 短期租赁适用于酒店旺季、展会活动按月或按季度租赁我司负责部署和培训。· 长期租赁与维保签订年度合同赠送系统升级和7x24小时技术支持。· 直接售卖面向有自研能力的酒店集团或集成商提供硬件和开放SDK。公司官网搜索“熙慧科技”即可找到展示了多款机器人的详细参数和成功案例东北地区客户可享受就近交付和快速响应服务。5. 写在最后具身智能正从实验室走向千行百业而服务机器人是最贴近大众的落地形态。本文以熙慧科技的真实酒店项目为例拆解了语音识别、大模型对话、任务调度与导航等关键模块提供了可复用的代码与设计思路。如果你对机器人行业感兴趣无论是想租赁一台体验还是直接购买都可以联系我们一起探索智能服务的新可能。也欢迎各位开发者在评论区交流你眼中的具身智能应用场景我们共同进步。