终极语音识别解决方案nvidia/parakeet-unified-en-0.6b如何实现离线与流式双模式完美融合【免费下载链接】parakeet-unified-en-0.6b项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/parakeet-unified-en-0.6bnvidia/parakeet-unified-en-0.6b是一款基于Transducer架构RNN-T的英语自动语音识别ASR模型创新性地将离线和流式推理最低延迟160ms融合在单一模型中。该模型主要基于Granary数据集的英语部分训练包含约25万小时的美式英语语音能将语音转录为带标点和大小写的英文文本是语音识别领域的突破性解决方案。 为什么选择这款语音识别模型双模式合一的强大优势一站式解决方案一个模型即可同时满足离线和流式推理需求最低延迟仅160ms无需为不同场景部署多个模型卓越识别精度在HF ASR Leaderboard数据集上该模型的识别准确率超过了以往基于Transducer的纯离线或纯流式模型灵活调整延迟支持从2080ms到160ms的多种流式延迟设置步长80ms可根据实际应用场景选择最优配置智能文本处理内置标点符号和大小写支持直接输出格式规范的文本结果技术架构解析该模型采用Unified-FastConformer-RNNT架构包含24层FastConformer编码器同时支持离线和流式模式训练和RNN-T解码器编码器Unified FastConformer24层解码器RNNT循环神经网络转换器参数规模6亿参数离线模式下使用标准全上下文自注意力和非因果卷积流式模式则应用分块自注意力掩码和动态分块卷积通过创新的模式一致性正则化损失进一步减小离线与流式性能差距。 快速开始使用指南环境准备确保已安装NVIDIA NeMo框架模型支持以下硬件架构NVIDIA AmpereNVIDIA BlackwellNVIDIA HopperNVIDIA Volta模型加载import nemo.collections.asr as nemo_asr asr_model nemo_asr.models.ASRModel.from_pretrained(model_namenvidia/parakeet-unified-en-0.6b)离线推理output asr_model.transcribe([wav_file_path]) print(output[0].text)流式推理使用NeMo提供的流式推理脚本git clone https://gitcode.com/hf_mirrors/nvidia/parakeet-unified-en-0.6b cd NeMo python examples/asr/asr_chunked_inference/rnnt/speech_to_text_streaming_infer_rnnt.py \ model_pathmodel_path \ dataset_manifestdataset_manifest \ output_filenameoutput_json_file \ left_context_secs5.6 \ chunk_secs0.56 \ right_context_secs0.56 \ att_context_size_as_chunktrue \ batch_sizebatch_size⚙️ 流式配置最佳实践延迟定义为分块大小中间部分和右上下文之和推荐以下配置参数以获得不同延迟性能Left (s)Chunk (s)Right (s)Latency (CR, s)5.61.041.042.085.60.560.561.125.60.160.400.565.60.080.240.325.60.080.160.245.60.080.080.16 模型性能表现在HuggingFace OpenASR排行榜数据集上的词错误率WER表现如下模型设置Offline2.08s1.12s0.56s0.40s0.32s0.24s0.16s0.08snvidia/parakeet-tdt-0.6b-v26.047.9922.8369.5595.12————nvidia/nemotron-speech-streaming-en-0.6b6.927.466.927.099.527.648.017.848.70nvidia/parakeet-unified-en-0.6b5.916.146.296.526.706.927.358.4415.63parakeet-unified-en-0.6b模型在离线和流式延迟高达240ms推理模式下均优于以往NVIDIA基于Transducer的模型。对于80ms超低延迟场景建议使用nemotron-speech-streaming-en-0.6b模型。 训练数据与评估训练数据集模型主要训练数据来自Granary数据集的英语部分约25万小时音频包括YouTube-Commons (YTC) (109.5k小时)YODAS2 (102k小时)Mosel (14k小时)LibriLight (49.5k小时)同时还使用了Librispeech、Fisher Corpus、Switchboard-1、WSJ、National Speech Corpus等辅助数据集。评估数据集模型在以下数据集上进行了评估AMIEarnings22GigaspeechLibriSpeech test-cleanLibriSpeech test-otherSPGI SpeechTEDLIUMVoxPopuli 许可证与使用条款使用本模型受NVIDIA Open Model License Agreement管辖适用于全球范围的商业和非商业用途。️ 伦理考量NVIDIA致力于值得信赖的AI发展开发者在使用本模型时应确保符合相关行业和用例要求。如发现模型质量、风险或安全漏洞请通过NVIDIA官方渠道报告。 相关资源模型权重文件parakeet-unified-en-0.6b.nemo偏见说明bias.md可解释性文档explainability.md隐私政策privacy.md安全信息safety.md通过nvidia/parakeet-unified-en-0.6b开发者可以轻松构建高性能的语音识别应用无论是需要处理大量预录音频的离线场景还是对实时性要求极高的流式应用都能获得出色的识别效果和用户体验。【免费下载链接】parakeet-unified-en-0.6b项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/parakeet-unified-en-0.6b创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考