Python开发者必看NemotronLabs-VoiceChat-11B-8bit在线推理API全攻略【免费下载链接】NemotronLabs-VoiceChat-11B-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-8bitNemotronLabs-VoiceChat-11B-8bit是一款基于MLX框架的全双工语音模型支持实时语音交互、转录和合成功能。本文将为Python开发者提供完整的在线推理API使用指南帮助你快速集成这一强大的语音交互能力到自己的应用中。核心功能与优势NemotronLabs-VoiceChat-11B-8bit作为NVIDIA NemotronLabs VoiceChat系列的8位量化版本具备以下核心特性全双工交互能够在连续音频时间线上同时进行监听、转录、文本响应和语音合成多模态支持结合语音识别、自然语言处理和语音合成于一体高效推理8位量化设计平衡了性能与资源占用适合在消费级硬件上部署灵活接口提供WebSocket实时API和Python状态化API两种交互方式环境准备与安装快速安装步骤通过pip即可完成核心依赖安装pip install -U mlx-vlm如需使用麦克风实时交互功能还需安装PortAudio依赖pip install -U sounddevice模型获取克隆官方仓库获取完整模型文件git clone https://gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-8bitWebSocket实时API使用指南启动服务首先启动mlx-vlm服务器mlx_vlm.server --host 127.0.0.1 --port 8080服务启动后客户端可通过以下WebSocket端点连接ws://127.0.0.1:8080/v1/realtime会话配置连接建立后服务器会发送session.created事件。在发送音频前需要先配置会话参数{ type: session.update, session: { model: mlx-community/NemotronLabs-VoiceChat-11B-8bit, system_prompt: Be concise and answer in one sentence., seed: 0 } }音频数据传输收到session.updated确认后即可发送base64编码的PCM16音频块16kHz采样率{ type: input_audio_buffer.append, audio: base64 PCM16, sample_rate: 16000 }完成音频输入后提交会话{ type: input_audio_buffer.commit, pad_partial: true }事件处理服务器会实时返回多种事件类型主要包括事件类型内容描述response.text.delta助手回复的增量文本conversation.item.input_audio_transcription.delta用户语音转录的增量文本response.audio.delta合成语音的base64 PCM16数据response.done会话处理完成Python API开发指南在线推理实现Python API提供了更灵活的状态化交互方式以下是在线推理的完整示例import numpy as np from mlx_audio.audio_io import write as write_audio from mlx_audio.stt.utils import load_audio from mlx_vlm import load # 加载模型和处理器 model, processor load(mlx-community/NemotronLabs-VoiceChat-11B-8bit) voicechat model.create_session(processor) # 创建流式会话 stream voicechat.create_streaming_session( system_promptBe concise and answer in one sentence., seed0, ) # 加载输入音频 input_audio load_audio(input.wav, sr16_000).squeeze() audio_chunks [] # 事件处理函数 def handle(events): for event in events: if event.kind assistant_text_delta: print(event.delta or , end, flushTrue) elif event.kind user_transcript_delta: print(f\n[user] {event.text}) elif event.kind audio: audio_chunks.append(np.asarray(event.samples, dtypenp.float32)) # 分块处理音频 for offset in range(0, input_audio.shape[0], 1_280): handle( stream.push_audio( input_audio[offset : offset 1_280], sample_rate16_000, ) ) # 完成处理并保存结果 handle(stream.flush(pad_partialTrue)) response_audio np.concatenate(audio_chunks) if audio_chunks else np.zeros(0, dtypenp.float32) write_audio(response.wav, response_audio, 22_050)会话参数优化可通过以下参数优化会话性能stream voicechat.create_streaming_session( use_language_cacheFalse, # 禁用语言缓存 use_perception_cacheFalse, # 禁用感知缓存 )麦克风实时交互使用官方提供的麦克风示例可快速实现实时语音交互python examples/nemotron_voicechat_microphone.py \ mlx-community/NemotronLabs-VoiceChat-11B-8bit使用--list-devices参数查看可用音频设备--input-device和--output-device指定设备编号。常见问题解决音频格式要求输入音频必须是16kHz mono PCM格式输出音频为22,050 Hz mono格式推荐使用headphones避免回声干扰性能优化建议对于资源受限设备可尝试4位量化版本mlx-community/NemotronLabs-VoiceChat-11B-4bit调整音频块大小平衡延迟与性能生产环境中建议添加声学回声消除API调用注意事项WebSocket当前仅支持单会话连接音频块边界可任意设置服务器会自动处理完整帧调用session.cancel可随时取消当前会话总结NemotronLabs-VoiceChat-11B-8bit为Python开发者提供了强大而灵活的语音交互API无论是构建实时聊天机器人、语音助手还是其他语音交互应用都能通过本文介绍的方法快速实现。通过WebSocket API可轻松构建网络应用而Python状态化API则适合更复杂的本地应用场景。开始探索这一模型的强大功能为你的应用添加自然流畅的语音交互体验吧【免费下载链接】NemotronLabs-VoiceChat-11B-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-8bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考