Cherry Studio 语音交互一文搞定语音输入与语音输出的 3 层实现思路【免费下载链接】cherry-studioAI productivity studio with smart chat, autonomous agents, and 300 assistants. Unified access to frontier LLMs项目地址: https://gitcode.com/GitHub_Trending/ch/cherry-studio在 Cherry Studio 的语音交互中语音输入负责把你说的话变成文本喂给大模型语音输出负责把模型回复念出来——整条链路就是麦克风 → ASR → LLM → TTS → 扬声器。本文用分层拆解的方式讲清楚每一层做什么、选型依据是什么、以及低延迟场景下该调哪里帮你在 10 分钟内建立对桌面端语音交互的完整认知。先给结论再逐层展开输入层用浏览器原生 ASRWeb Speech API起步够快且零依赖推理层复用 Cherry Studio 已有的流式消息管道语音只是另一种输入形态输出层用 TTS 引擎 队列管理核心是打断、分段与音色一致性。️ 语音输入层如何把麦克风声音变成可用文本语音识别ASRAutomatic Speech Recognition是把音频流转成文字的技术。桌面客户端里最常见的两条路方案原理优点代价Web Speech API调用浏览器/Chromium 内置识别引擎零依赖、流式返回中间结果依赖系统语言包离线能力弱云端 ASR如 Whisper 类 API音频上传到服务端识别准确率高、支持中英混合增加延迟与费用涉及隐私本地模型DeepSpeech / faster-whisper进程内跑推理完全离线模型体积大需要算力评估Cherry Studio 这类 Electron 应用天然跑在 Chromium 里webkitSpeechRecognition开箱即用。关键只有一段配置const rec new (window.SpeechRecognition || window.webkitSpeechRecognition)(); rec.continuous false; // 单轮识别说完即止 rec.interimResults true; // 边说边出中间文本UI 可以实时上屏 rec.lang zh-CN; // 语言要跟随用户设置别写死 rec.start();三个容易踩的坑权限提示首次调用getUserMedia/ 启动识别会弹系统麦克风授权必须在 UI 上准备好未授权的降级文案而不是让用户对着一个没反应的按钮发呆。中间结果与最终结果interimResults给出的是草稿文本只有isFinal的那条才适合直接发往模型否则会把半句话提交出去。识别中断onerror的no-speech用户没说话和onend识别自然结束语义不同前者应静默重试或给轻提示后者才切换 UI 状态。如果目标是对话效率而非打字替代推流push-to-talk比持续监听更稳按住说话 → 松开触发识别天然规避了模型说话时麦克风把 TTS 声音也录进去的回环问题。⚡ 推理层语音文本如何走 Cherry Studio 既有管道识别出的文本并不特殊——它就是用户消息。Cherry Studio 的消息链路是渲染进程useChat()发起请求经 Electron IPC 的 MessagePort 传送到主进程由 AI Completion Service 调度到 AI Core / Agent SDK再流式回推 UI 消息块并落库 SQLite这对语音交互的含义是你不需要为语音单开一条推理通道。ASR 文本进入输入框后和键盘输入共用同一套重试、流式、持久化逻辑。唯一要做的适配把语音输入标记在消息元数据里来源字段方便后续做仅语音模式自动发送或统计Cherry Studio 的 provider-registry 中已定义了 speech 类模型枚举见 src/shared 与 packages/provider-registry选语音相关供应商时可直接按类型过滤。 语音输出层TTS 音色与语速怎么选语音合成TTSText-to-Speech把模型回复转成音频。方案分两档系统 TTSspeechSynthesis零成本、零网络音色取决于操作系统安装的声音包。适合能不能响起来的验证阶段。云端 TTS / 本地模型Azure、Edge、CosyVoice 等音色自然度和一致性显著更好支持按音色 ID 固定说话人——长对话里用户能认出同一个声音体验差距就来自这里。配置上的关键点只有三行const u new SpeechSynthesisUtterance(chunk); u.voice pickVoice(voices, zh-CN); // 音色按会话固定别每次随机 u.rate 1.05; // 长文本略快于自然语速读起来更紧凑 u.volume 0.95;三个选型经验音色按会话持久化。用户选了某个声音后整轮对话乃至整个应用会话都应复用跳变的声音会直接劝退。语速 1.0~1.15 区间。纯代码/长列表回复用 1.1 以上情绪向内容用 1.0。先剥离再念。Markdown 里的代码块、链接、表格直接读出来是灾难送进 TTS 前先做一次朗读版转换去代码块、表格转句子、公式跳过。 两个最容易翻车的交互细节打断barge-in用户说话时 TTS 还在播正确行为是立即停播rec.onstart () speechSynthesis.cancel(); // 识别一启动就掐掉播放反过来的时序也要处理好TTS 播报期间麦克风要么静音、要么用 VAD语音活动检测判定否则模型会被自己的声音唤醒形成自问自答的死循环。队列与分段一条 2000 字的回复直接丢给 TTSspeechSynthesis在 Chrome 系实现里超过 ~15 秒会截断。所以长回复要按句子或段落切块入队逐段speak段间留 50~150ms 间隙。队列上再挂两个动作cancel()用户点停止/发新消息时全清新消息高优先级插队用户追问时先念完当前句再切新回复比生硬中断体面得多。 低延迟的三个优化手段手段作用点说明流式送读TTS 触发时机不等整条回复完成LLM 每产出一个句子就切块入队首音延迟从整条生成完降到第一句生成完预热 AudioContext / 识别引擎启动阶段AudioContext在页面加载后即new并resume()避免首句因懒初始化多等几百毫秒识别引擎同理提前构造识别语言与系统语言对齐ASR 配置rec.lang跟用户界面语言走跨语言中文界面识别英文准确率会明显下降必要时提供手动覆盖项 收尾能力边界与下一步把能力边界想清楚能省掉一半 bug权限麦克风是系统级授权被拒后只能引导用户去系统设置应用内重试没意义隐私语音数据出不出本机决定了你选 Web Speech API、云端还是本地模型这应当是产品决策而不是技术细节降级任何一环失败无识别引擎、TTS 无可用音色都应有静默转纯文本的兜底路径语音是增强不是前置条件。延伸阅读Cherry Studio 的架构与消息生命周期文档在 docs/references/architecture/provider 模型分类定义在 packages/provider-registry/src/可以对照本文的分层去看源码落点。【免费下载链接】cherry-studioAI productivity studio with smart chat, autonomous agents, and 300 assistants. Unified access to frontier LLMs项目地址: https://gitcode.com/GitHub_Trending/ch/cherry-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Cherry Studio 语音交互一文搞定：语音输入与语音输出的 3 层实现思路
Cherry Studio 语音交互一文搞定语音输入与语音输出的 3 层实现思路【免费下载链接】cherry-studioAI productivity studio with smart chat, autonomous agents, and 300 assistants. Unified access to frontier LLMs项目地址: https://gitcode.com/GitHub_Trending/ch/cherry-studio在 Cherry Studio 的语音交互中语音输入负责把你说的话变成文本喂给大模型语音输出负责把模型回复念出来——整条链路就是麦克风 → ASR → LLM → TTS → 扬声器。本文用分层拆解的方式讲清楚每一层做什么、选型依据是什么、以及低延迟场景下该调哪里帮你在 10 分钟内建立对桌面端语音交互的完整认知。先给结论再逐层展开输入层用浏览器原生 ASRWeb Speech API起步够快且零依赖推理层复用 Cherry Studio 已有的流式消息管道语音只是另一种输入形态输出层用 TTS 引擎 队列管理核心是打断、分段与音色一致性。️ 语音输入层如何把麦克风声音变成可用文本语音识别ASRAutomatic Speech Recognition是把音频流转成文字的技术。桌面客户端里最常见的两条路方案原理优点代价Web Speech API调用浏览器/Chromium 内置识别引擎零依赖、流式返回中间结果依赖系统语言包离线能力弱云端 ASR如 Whisper 类 API音频上传到服务端识别准确率高、支持中英混合增加延迟与费用涉及隐私本地模型DeepSpeech / faster-whisper进程内跑推理完全离线模型体积大需要算力评估Cherry Studio 这类 Electron 应用天然跑在 Chromium 里webkitSpeechRecognition开箱即用。关键只有一段配置const rec new (window.SpeechRecognition || window.webkitSpeechRecognition)(); rec.continuous false; // 单轮识别说完即止 rec.interimResults true; // 边说边出中间文本UI 可以实时上屏 rec.lang zh-CN; // 语言要跟随用户设置别写死 rec.start();三个容易踩的坑权限提示首次调用getUserMedia/ 启动识别会弹系统麦克风授权必须在 UI 上准备好未授权的降级文案而不是让用户对着一个没反应的按钮发呆。中间结果与最终结果interimResults给出的是草稿文本只有isFinal的那条才适合直接发往模型否则会把半句话提交出去。识别中断onerror的no-speech用户没说话和onend识别自然结束语义不同前者应静默重试或给轻提示后者才切换 UI 状态。如果目标是对话效率而非打字替代推流push-to-talk比持续监听更稳按住说话 → 松开触发识别天然规避了模型说话时麦克风把 TTS 声音也录进去的回环问题。⚡ 推理层语音文本如何走 Cherry Studio 既有管道识别出的文本并不特殊——它就是用户消息。Cherry Studio 的消息链路是渲染进程useChat()发起请求经 Electron IPC 的 MessagePort 传送到主进程由 AI Completion Service 调度到 AI Core / Agent SDK再流式回推 UI 消息块并落库 SQLite这对语音交互的含义是你不需要为语音单开一条推理通道。ASR 文本进入输入框后和键盘输入共用同一套重试、流式、持久化逻辑。唯一要做的适配把语音输入标记在消息元数据里来源字段方便后续做仅语音模式自动发送或统计Cherry Studio 的 provider-registry 中已定义了 speech 类模型枚举见 src/shared 与 packages/provider-registry选语音相关供应商时可直接按类型过滤。 语音输出层TTS 音色与语速怎么选语音合成TTSText-to-Speech把模型回复转成音频。方案分两档系统 TTSspeechSynthesis零成本、零网络音色取决于操作系统安装的声音包。适合能不能响起来的验证阶段。云端 TTS / 本地模型Azure、Edge、CosyVoice 等音色自然度和一致性显著更好支持按音色 ID 固定说话人——长对话里用户能认出同一个声音体验差距就来自这里。配置上的关键点只有三行const u new SpeechSynthesisUtterance(chunk); u.voice pickVoice(voices, zh-CN); // 音色按会话固定别每次随机 u.rate 1.05; // 长文本略快于自然语速读起来更紧凑 u.volume 0.95;三个选型经验音色按会话持久化。用户选了某个声音后整轮对话乃至整个应用会话都应复用跳变的声音会直接劝退。语速 1.0~1.15 区间。纯代码/长列表回复用 1.1 以上情绪向内容用 1.0。先剥离再念。Markdown 里的代码块、链接、表格直接读出来是灾难送进 TTS 前先做一次朗读版转换去代码块、表格转句子、公式跳过。 两个最容易翻车的交互细节打断barge-in用户说话时 TTS 还在播正确行为是立即停播rec.onstart () speechSynthesis.cancel(); // 识别一启动就掐掉播放反过来的时序也要处理好TTS 播报期间麦克风要么静音、要么用 VAD语音活动检测判定否则模型会被自己的声音唤醒形成自问自答的死循环。队列与分段一条 2000 字的回复直接丢给 TTSspeechSynthesis在 Chrome 系实现里超过 ~15 秒会截断。所以长回复要按句子或段落切块入队逐段speak段间留 50~150ms 间隙。队列上再挂两个动作cancel()用户点停止/发新消息时全清新消息高优先级插队用户追问时先念完当前句再切新回复比生硬中断体面得多。 低延迟的三个优化手段手段作用点说明流式送读TTS 触发时机不等整条回复完成LLM 每产出一个句子就切块入队首音延迟从整条生成完降到第一句生成完预热 AudioContext / 识别引擎启动阶段AudioContext在页面加载后即new并resume()避免首句因懒初始化多等几百毫秒识别引擎同理提前构造识别语言与系统语言对齐ASR 配置rec.lang跟用户界面语言走跨语言中文界面识别英文准确率会明显下降必要时提供手动覆盖项 收尾能力边界与下一步把能力边界想清楚能省掉一半 bug权限麦克风是系统级授权被拒后只能引导用户去系统设置应用内重试没意义隐私语音数据出不出本机决定了你选 Web Speech API、云端还是本地模型这应当是产品决策而不是技术细节降级任何一环失败无识别引擎、TTS 无可用音色都应有静默转纯文本的兜底路径语音是增强不是前置条件。延伸阅读Cherry Studio 的架构与消息生命周期文档在 docs/references/architecture/provider 模型分类定义在 packages/provider-registry/src/可以对照本文的分层去看源码落点。【免费下载链接】cherry-studioAI productivity studio with smart chat, autonomous agents, and 300 assistants. Unified access to frontier LLMs项目地址: https://gitcode.com/GitHub_Trending/ch/cherry-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考