F5 TTS 支持 ZeroShot 音频克隆,只有将需要音频传给模型,模型既可以生成以对应声音生成的音频,F5 最强大的地方就是可以使用定制的人声。F5 使用了 DIT 架构进行训练,结构如下:
TTS_3">本地使用 F5 TTS
F5 使用很简单,本地进行安装,我使用 ModelScope 的镜像,免去了一些环境的配置与安装。通过命令行生成音频,这里使用了默认的系统的人声,如果需要使用定制人声添加两个参数即可 --ref_audio "ref_audio.wav" \ --ref_text "The content, subtitle or transcription of reference audio." \
, ref_text 不是必须的。
## 安装 F5
pip install git+https://github.com/SWivid/F5-TTS.git## 运行
f5-tts_infer-cli --model "F5-TTS" --gen_text "新疆阿尔金山作为中国四大无人区之一,平均海拔四千五百八十米,那里人烟稀少,却有一群维护着格库铁路通信畅通的年轻通信工。二十四岁的辛晓雨常年工作在浩渺无垠的戈壁上,用认真负责 的态度悉心维护着通信基站的设施设备,保障着铁路安全运行。"
总结
F5 TTS 效果还不错,可以使用定制的人声,不需要进行训练,中文无法识别数字,可以先通过LLM 进行转换将数字转为中文。