尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

5分钟跑通维吾尔语TTS:零配置部署维吾尔语语音合成

5分钟跑通维吾尔语TTS:零配置部署维吾尔语语音合成 5分钟跑通维吾尔语TTS零配置部署维吾尔语语音合成【免费下载链接】mms-tts-uig-script_arabic-UQSpeech项目地址: https://ai.gitcode.com/hf_mirrors/ixxan/mms-tts-uig-script_arabic-UQSpeech你如果要做维吾尔语TTS大概率不想自己搭语音合成管线。mms-tts-uig-script_arabic-UQSpeech 是在 Facebook MMS-TTS 基础上微调出来的维吾尔语语音合成模型喂一句阿拉伯文写的维吾尔语文本进去拿出来的就是能播放的音频文件。读完这篇你手里会有一套跑通的合成环境外加一张能照着调的参数表。跑通之后你得到的是装得上依赖只有 transformers、torch、soundfile 三个包跑得起权重是单文件 model.safetensors普通 CPU 就能推理调得好语速、韵律随机性、时长随机性三个参数都能单独调 先听效果输入输出长什么样输入一段阿拉伯文字母的维吾尔语文本输出是当前目录下的一个 wav 文件采样率 16kHz。config.json 里 sampling_rate 固定为 16000所以写文件时采样率要跟它一致否则播放速度会不对。环境准备维吾尔语TTS安装命令前置条件只有 Python 3.8 和 pip。克隆模型目录再装依赖git clone https://gitcode.com/hf_mirrors/ixxan/mms-tts-uig-script_arabic-UQSpeech cd mms-tts-uig-script_arabic-UQSpeech pip install transformers torch soundfile跑通第一次合成的最小代码把下面的脚本放在仓库根目录运行成功后当前目录会多出 output.wavfrom transformers import VitsModel, AutoTokenizer import soundfile as sf model VitsModel.from_pretrained(./) tokenizer AutoTokenizer.from_pretrained(./) text ياخشىمۇسىز؟ بۇ مېنىڭ ئەسلىيەك ئۇچۇرۇم inputs tokenizer(text, return_tensorspt) outputs model(**inputs) sf.write(output.wav, outputs.audio[0].numpy(), samplerate16000)这几行做的事加载 VITS 模型VITS 即 Variational Inference with adversarial learning for end-to-end Text-to-Speech和配套的维吾尔语分词器把文本转成输入特征跑一次推理最后以 16kHz 把波形写进 wav。效果调节三个参数的建议值默认效果不满意时推理时直接传参覆盖即可比如把语速提到 1.2 倍outputs model(**inputs, speaking_rate1.2)参数作用建议值speaking_rate合成语速默认 1.0从 1.0 起步区间 0.5–2.0略快选 1.2noise_scale韵律细节的随机性默认 0.667保持默认声音发平再上调noise_scale_duration片段时长的随机性默认 0.8保持默认节奏跳动过大就下调许可与来源模型按 CC-BY-NC-4.0 发布非商业用途免费商用需要另行取得授权。权重由 facebook/mms-tts 在作者自己的维吾尔语语料上微调而来微调代码在作者的 ug-speech 项目中开源。⚠️ 踩坑速查现象→原因→解法现象原因解法发音错误或输出像乱码输入不是阿拉伯文字母文本或文件编码不是 UTF-8换成 UTF-8 的维吾尔语阿拉伯文文本词表 vocab.json 只覆盖维吾尔语字母、少量数字和标点加载慢、CPU 占用高纯 CPU 运行from_pretrained 加 device_mapauto自动利用 GPU音频播放偏快或偏慢写文件时采样率与模型的 16000 不一致samplerate 固定传 16000下一步如果你有自己采集的维吾尔语录音可以照 ug-speech 里的做法继续微调把音色和说话风格换成自己的数据决定的样子。【免费下载链接】mms-tts-uig-script_arabic-UQSpeech项目地址: https://ai.gitcode.com/hf_mirrors/ixxan/mms-tts-uig-script_arabic-UQSpeech创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表