MOSS-Transcribe-Diarize终极开源语音转写与说话人分离解决方案【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize想要快速准确地处理会议录音、采访音频、播客内容吗MOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型它采用统一建模技术能够对长音频、多说话人音频进行智能分析支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。 为什么选择 MOSS-Transcribe-Diarize传统的语音处理流程通常需要多个独立模块语音识别、说话人分离、时间戳标注等。MOSS-Transcribe-Diarize 的革命性突破在于将这些功能整合到一个统一的模型中实现端到端的处理流程。核心功能亮点智能语音识别准确转录音频内容支持多种语言和方言识别说话人分离技术自动识别不同说话人为每个语音片段标注说话人标识精确时间戳为每个语音片段提供精确的开始和结束时间长音频处理专门优化长音频处理能力支持长达数小时的录音多格式支持支持常见音频文件MP3、WAV和视频容器MP4、MOV、MKV 模型架构详解MOSS-Transcribe-Diarize 采用模块化的音频-语言设计包含三个核心组件音频编码器、模态适配器和因果语言模型。音频编码器基于 Whisper 风格的编码器配置将原始音频转换为对数梅尔特征模态适配器4倍时间合并 MLP 适配器将音频特征投影到语言模型嵌入空间文本骨干Qwen3-0.6B 风格的因果解码器生成带时间戳和说话人标签的转录文本 快速入门指南环境配置首先克隆仓库并设置环境git clone https://gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize cd MOSS-Transcribe-Diarize conda create -n moss-transcribe-diarize python3.12 -y conda activate moss-transcribe-diarize conda install -c conda-forge ffmpeg7 -y pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e .[torch-runtime]命令行推理使用简单命令即可开始转录python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/your_audio.mp4 \ --decoding greedy \ --max-new-tokens 2048Python 代码示例在 Python 中直接调用模型import torch from transformers import AutoModelForCausalLM, AutoProcessor from moss_transcribe_diarize.inference_utils import ( build_transcription_messages, generate_transcription, resolve_device, ) model_id OpenMOSS-Team/MOSS-Transcribe-Diarize audio_path /path/to/audio_or_video.mp4 device resolve_device(auto) dtype torch.bfloat16 if device.type cuda else torch.float32 model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, dtypeauto, ).to(dtypedtype).to(device).eval() processor AutoProcessor.from_pretrained( model_id, trust_remote_codeTrue, fix_mistral_regexTrue, ) messages build_transcription_messages(audio_path) result generate_transcription( model, processor, messages, max_new_tokens2048, do_sampleFalse, devicedevice, dtypedtype, ) print(result[text]) 输出格式说明模型生成的标准输出格式简洁明了[start_time][Sxx]transcribed speech[end_time]实际示例[0.48][S01]Welcome everyone[1.66][12.26][S02]The new transcription pipeline is ready for evaluation[13.81][14.36][S01]Great, include the diarization results in the report[18.76]格式解析start_time和end_time以秒为单位的时间戳[S01]、[S02]模型生成的匿名说话人标签文本内容转录的语音内容 性能评估对比MOSS-Transcribe-Diarize 在多个基准测试中表现出色数据集指标MOSS-Transcribe-Diarize其他竞品AISHELL-4CER14.1918.18-42.70cpCER14.9824.99-53.42PodcastCER4.467.38-27.94MoviesCER6.588.62-15.46注CER字符错误率越低越好cpCER连接最小排列字符错误率越低越好 高级功能配置自定义提示词您可以根据需求自定义转录指令messages build_transcription_messages( audio_path, prompt请用中文转录这段音频包含时间戳和说话人标签。, )JSON 格式输出获取结构化数据便于程序处理python infer.py \ --model OpenMOSS-Team/MOSS-Transcribe-Diarize \ --audio /path/to/audio_or_video.mp4 \ --json 应用场景会议记录自动生成带说话人标识的会议纪要支持多人讨论场景播客制作快速转录播客内容便于后期编辑和字幕制作学术研究处理访谈录音自动分离不同受访者的发言视频字幕为视频内容生成带时间戳的字幕文件客服质检分析客服通话录音识别不同参与者的发言内容️ 技术优势统一建模架构告别繁琐的多模块拼接实现端到端处理开源免费基于 Apache 2.0 许可证完全免费使用易于集成提供 Python API 和命令行工具方便集成到现有系统持续优化OpenMOSS 团队持续更新和改进模型性能社区支持活跃的开源社区提供技术支持和问题解答 深入学习资源想要深入了解模型的技术细节建议阅读以下核心文件configuration_moss_transcribe_diarize.py - 模型配置文件modeling_moss_transcribe_diarize.py - 核心模型实现processing_moss_transcribe_diarize.py - 数据处理模块 开始使用吧无论您是开发者、研究人员还是普通用户MOSS-Transcribe-Diarize 都为您提供了强大而简单的语音处理解决方案。立即开始您的语音转录之旅体验开源语音技术的魅力小贴士对于长音频处理建议使用 GPU 加速以获得更好的性能体验。如果遇到任何问题欢迎查阅项目文档或参与社区讨论。【免费下载链接】MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是 OpenMOSS 团队推出的开源语音转写与说话人分离模型。它对长音频、多说话人音频进行统一建模支持自动语音识别、带说话人标识的转写、说话人分离、时间戳预测以及简洁转录文本生成。项目地址: https://ai.gitcode.com/OpenMOSS/MOSS-Transcribe-Diarize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考