FDE Vision基于GPASS AI眼镜的门店实时导购助手看见商品即刻生成导购话术。一、项目简介FDE Vision是一款面向眼镜门店导购员尤其是新员工的实时导购教练。员工佩戴GPASS AI眼镜看向一副商品镜架只需说出“怎么向顾客介绍它”系统就会拍摄一次当前视野识别商品外观检索门店商品知识库并通过眼镜语音播报一段可立即转述给顾客的销售话术。项目只聚焦一件事让门店员工在接待现场快速、准确、自然地介绍商品。最终话术包含品牌、商品名称、价格、核心卖点、适合人群和自然的成交提问控制在60—120个汉字语音时长约15—25秒。二、项目背景与用户痛点眼镜门店商品数量多不同镜框在颜色、轮廓和边框粗细上又经常十分相似。新员工很难在短时间内记住每款商品的编号、品牌、价格、风格定位、核心卖点和适合人群接待顾客时往往需要查看标签、翻找资料或询问其他同事。传统培训资料与真实销售现场之间存在明显断层。员工虽然知道资料放在哪里却无法在面对顾客的几秒钟内找到资料并组织成自然的话术。一旦认错商品、漏报价格或说错卖点不仅会打断接待节奏还会影响顾客对门店专业度的判断。因此FDE Vision将AI能力放入员工的第一视角让“看商品、查资料、组织话术”在一次交互中完成。三、总体技术架构系统采用“眼镜端采集与交互云端识别与生成”的架构。员工语音输入 ↓ 对话轮次判断与意图识别 ↓ GPASS眼镜设备拍照采集 ↓ 视觉大模型提取商品特征 ↓ 商品知识库检索与匹配 ↓ 文本大模型生成销售话术 ↓ 眼镜语音播报和信息流卡片展示系统主要包含对话控制、意图识别、眼镜拍照、视觉理解、知识库检索和话术生成六个模块。各模块通过工作流节点连接每个环节的输入、输出和异常分支都可以独立配置和调试。四、工作流设计1. 首次欢迎工作流从“开始”节点读取当前对话信息、历史对话信息和当前对话轮次随后通过分支判断当前对话轮次等于1时只播放一次欢迎语其他轮次直接进入意图识别不再重复自我介绍。欢迎语设置为你好我是FDE Vision实时导购教练。看向需要介绍的商品然后问我怎么向顾客介绍它。这样可以让第一次使用的员工迅速理解操作方式同时避免每次提问都重复欢迎语。2. 意图识别意图识别节点设置三个方向介绍商品覆盖“怎么介绍”“如何介绍”“卖点是什么”“看一下这个”等表达退出只匹配“退出”“结束”“关闭导购”等明确指令其他处理环境噪声、无关内容和未听清的输入。“介绍商品”进入拍照识别主流程“退出”连接GPASS退出指令卡片“其他”只提示员工重新提问不连接退出节点避免环境噪声导致Agent意外关闭。3. 商品介绍主流程商品介绍主流程按照以下顺序执行通过直接回复节点播报“正在识别当前商品……”调用眼镜设备拍照采集插件获取当前视野图片视觉模型分析画面中央最大的一副眼镜将视觉识别结果作为关键词检索商品知识库文本大模型综合视觉结果和知识库结果生成导购话术结束节点只输出最终话术并通过眼镜语音和信息流卡片呈现。视觉分析、知识库检索片段和模型判断过程全部作为中间变量隐藏。员工只能听到识别状态和最终导购话术减少无关信息干扰。五、端侧与云端能力运用眼镜端能力麦克风接收员工的自然语言提问摄像头在识别到商品介绍意图后拍摄一次当前视野扬声器向员工播报最终销售话术信息流卡片显示文字版结果方便员工快速查看。云端能力意图识别区分介绍商品、退出和其他输入Qwen-VL视觉模型提取商品颜色、轮廓、边框粗细和关键区分点商品知识库返回商品品牌、价格、卖点、风格定位和适合人群Qwen文本大模型将商品资料压缩成可立即转述的自然销售话术工作流编排控制首次欢迎、单次拍照、异常分支和最终输出。这种架构充分利用了AI眼镜第一视角和免手持交互的优势同时将计算量较大的视觉理解、知识库检索和文本生成放在云端完成便于快速更新商品资料和模型能力。六、视觉识别方案直接让视觉模型根据图片猜测商品容易受到拍摄角度、灯光反射和背景商品的影响。因此FDE Vision先让视觉模型提取稳定的外观特征再通过特征检索知识库。视觉识别优先级为商品编号商品颜色镜框轮廓边框粗细镜腿、装饰和一体式镜片等关键区分点。视觉模型只分析画面中央最大的一副眼镜忽略货架和背景中的其他商品输出内容包括商品类别、颜色、镜框轮廓、边框粗细、关键区分点和最可能的商品编号。五款演示商品的主要识别规则如下YJ001亮黑粗板材、大尺寸方圆独立镜圈YJ002酒红透明框、镜框略微上扬、镜腿带金色圆环链饰YJ003浅金色细金属、半框、透明鼻托、矩形圆角YJ004深灰或黑色一体式大镜片、盾形包覆运动外观YJ005黑色细圆框或椭圆框、银色细镜腿。其中YJ001和YJ004外观颜色接近因此增加了“是否存在独立镜圈”和“是否为一体式大镜片”两个高优先级判断条件提高相似商品的区分能力。七、商品知识库设计知识库采用“每款商品一条完整商品卡”的组织方式。每条资料包含商品编号商品名称和价格商品类别与材质视觉识别特征与其他商品的关键区分点风格定位核心卖点适合人群可直接使用的销售话术不得编造价格、品牌和镜片功能等限制。知识库节点的搜索关键词引用视觉模型输出采用智能检索并返回少量高相关结果。商品编号和关键区分点放在资料前部使相似镜框之间的匹配更加稳定。本项目使用的品牌、价格和商品名称属于比赛演示数据。实际门店部署时可以替换为真实商品资料也可以进一步与门店POS、ERP或商品管理系统同步。八、销售话术生成文本大模型同时接收视觉识别结果和知识库检索结果。提示词主要规则如下你是FDE Vision新员工实时导购教练。 你的回答通过AI眼镜说给门店员工听再由员工向顾客介绍商品。 第一句话必须包含品牌、商品名称和价格。 根据知识库提供核心卖点、风格定位和适合人群。 最后补充一个自然的成交提问。 全文控制在60—120个汉字只输出一个自然段。 不要输出表格、编号、Markdown、视觉分析、检索过程或内部判断。 品牌、价格、材质和镜片功能只能使用知识库明确提供的信息。 无法准确匹配时只描述可见外观不得虚构参数。示例输出这是VIZORA曜黑大框方圆镜售价498元。亮黑粗框轮廓感强能够突出五官适合喜欢复古都市风或希望眼镜成为穿搭重点的顾客。您更想修饰脸型还是偏好日常百搭这种回答长度适合通过眼镜实时播报也方便员工记忆和立即转述。九、稳定性与异常处理1. 只拍摄一次眼镜设备拍照插件的最大重试次数设置为1工作流中不设置从模型返回拍照节点的循环。只有识别到“介绍商品”意图后才调用相机避免连续拍照和重复介绍。2. 避免语音自触发欢迎语、识别状态和未听清提示中不重复完整的商品介绍触发句。系统只在员工主动提问后进入介绍分支避免眼镜播报内容再次被麦克风识别为新指令。3. 区分退出和未听清只有明确的退出意图才连接GPASS退出指令卡片。未听清时返回我没听清请看向商品后重新提问。该分支只结束当前对话轮次不发送关闭Agent的指令。平台的连续对话功能随后重新开启监听降低环境噪声造成误退出的概率。4. 知识库兜底如果无法准确匹配具体商品大模型不会直接说“知识库没有资料”而是根据可见颜色、轮廓和边框粗细生成保守的导购建议。系统禁止根据图片自行编造品牌、价格、材质、镜片功能或验光结论。十、实机测试与优化实机测试主要覆盖第一次启动、正常介绍、相似商品识别、未听清输入和明确退出五类情况。测试过程中完成了以下优化首次欢迎只播放一次在拍照前增加“正在识别当前商品”状态反馈拍照最大重试次数由3次调整为1次视觉提示词加入五款商品的强区分规则最终节点只引用文本大模型结果隐藏视觉分析和知识库检索中间结果将“其他”输入与“退出”意图彻底分开强制最终话术第一句包含品牌、商品名称和价格将话术控制在适合眼镜语音播报的长度。优化后工作流实现了“一次提问、一次拍照、一次回答”的完整体验。十一、项目创新点场景具体只解决门店员工“眼前这件商品怎么介绍”的高频问题第一视角交互无需手机扫码、手动搜索或离开顾客查看资料视觉与知识库结合图片负责识别商品知识库负责约束事实降低模型编造面向转述设计输出不是长篇商品说明而是可以直接说给顾客听的销售话术工作流可复制替换商品知识库后可扩展到珠宝、服装、美妆和家电等零售场景。十二、应用价值与后续规划FDE Vision可以缩短新员工熟悉商品和组织话术的时间统一门店介绍口径减少认错商品和漏报价格等问题。对顾客而言商品之间的差异能够被更快、更清楚地说明有助于提升试戴和成交体验。后续可以继续增加库存与促销信息同步、顾客偏好记录、多语言导购、销售复盘和门店数据看板等功能。但当前版本仍坚持“小而完整”的产品原则先把一次看商品、一次提问、一次准确回答做好。结语FDE Vision不是让AI替代导购而是让AI眼镜成为新员工随身的实时教练。它将视觉识别、商品知识和销售表达连接成一条短链路让员工看见商品时就能获得准确、自然、可执行的介绍建议。作品名称FDE Vision AI眼镜门店导购助手作品Slogan看见商品即刻生成导购话术