使用 F5 TTS 文字转音频

devtools/2024/11/26 13:59:28/

F5 TTS 支持 ZeroShot 音频克隆,只有将需要音频传给模型,模型既可以生成以对应声音生成的音频,F5 最强大的地方就是可以使用定制的人声。F5 使用了 DIT 架构进行训练,结构如下:

在这里插入图片描述

TTS_3">本地使用 F5 TTS

F5 使用很简单,本地进行安装,我使用 ModelScope 的镜像,免去了一些环境的配置与安装。通过命令行生成音频,这里使用了默认的系统的人声,如果需要使用定制人声添加两个参数即可 --ref_audio "ref_audio.wav" \ --ref_text "The content, subtitle or transcription of reference audio." \, ref_text 不是必须的。

## 安装 F5
pip install git+https://github.com/SWivid/F5-TTS.git## 运行
f5-tts_infer-cli --model "F5-TTS"   --gen_text "新疆阿尔金山作为中国四大无人区之一,平均海拔四千五百八十米,那里人烟稀少,却有一群维护着格库铁路通信畅通的年轻通信工。二十四岁的辛晓雨常年工作在浩渺无垠的戈壁上,用认真负责 的态度悉心维护着通信基站的设施设备,保障着铁路安全运行。"

总结

F5 TTS 效果还不错,可以使用定制的人声,不需要进行训练,中文无法识别数字,可以先通过LLM 进行转换将数字转为中文。


http://www.ppmy.cn/devtools/137132.html

相关文章

BCSD_SOTA

1. BINARY 实验用到的二进制代码保存在,"BCSD_SOTA\Binaries\Dataset-1" 路径下。这些二进制代码主要来自 bzip2 与 brotli 两个开源项目,两个项目分别被编译为 x86、x86、arm 三种不同指令集架构,同时以O0、O1、O2、O3 四种编译优…

【JS】String、Object、Array常用方法

String const str1 Hello; const str2 World; 方法名字方法使用返回参数返回concat 连接一(多)个字符串str2.concat(, , str1)"World, Hello"列举要连接的字符串返回新字符串startsWith判断是否以指定字符串开头 str1.startsWith(H) str1.…

uni-app初学笔记:文件路径与作用

components:可复用的组件pages:页面(可见/不可见)static:静态资源,存放图片视频等 (相当于vue项目的 assets)mainjs:Vue初始化入口文件App.vue:应用配置,用来配置App全局样式以及监听pages.json :配置页面路…

skywalking es查询整理

索引介绍 sw_records-all 这个索引用于存储所有的采样记录,包括但不限于慢SQL查询、Agent分析得到的数据等。这些记录数据包括Traces、Logs、TopN采样语句和告警信息。它们被用于性能分析和故障排查,帮助开发者和运维团队理解服务的行为和性能特点。 …

生成式AI在教育技术中的应用:变革与创新

引言 在过去的几十年中,人工智能技术在教育领域的应用引发了显著的变革,从早期的简单自动化评估系统到现在的个性化学习助手。生成式AI(AIGC)作为AI领域的重要分支,正在快速进入教育技术的主流,为教育带来…

ABAP OOALV模板

自用模板,可能存在问题 一、主程序 *&---------------------------------------------------------------------* *& Report ZVIA_OO_ALV *&---------------------------------------------------------------------* REPORT ZVIA_OO_ALV.INCLUDE ZVI…

【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么?

博客主页: [青松] 本文专栏: NLP 大模型百面百过 【淘汰9成NLP面试者的高频面题】LSTM中的tanh和sigmoid分别用在什么地方?为什么? 重要性:★★★ 💯 本题主要考察面试者对以下问题的理解: ① 数据特征和模…

计算机网络socket编程(3)_UDP网络编程实现简单聊天室

个人主页:C忠实粉丝 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝 原创 计算机网络socket编程(3)_UDP网络编程实现简单聊天室 收录于专栏【计算机网络】 本专栏旨在分享学习计算机网络的一点学习笔记,欢迎大家在评论区交流…