【实操GPT-SoVits】声音克隆模型图文版教程

news/2024/12/12 13:46:51/

  1. 项目github地址:https://github.com/RVC-Boss/GPT-SoVITS.git
  2. 官方教程:https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/tkemqe8vzhadfpeu
  3. 本文旨在迅速实操GPT-SoVits项目,不阐述技术原理(后期如果有时间研究,争取写个学习笔记)。
  4. windows用户可直接使用整合包。
  5. 感谢书生·浦语提供的服务器资源。

一、准备工作

下载源项目 

git clone https://github.com/RVC-Boss/GPT-SoVITS.git

安装依赖 

conda create -n GPTSoVits python=3.9
conda activate GPTSoVits
pip install -r requirements.txt

下载预训练模型 

https://huggingface.co/lj1995/GPT-SoVITS/tree/main 

或者 

iCloud Drive - Apple iCloud 

启动webUI页面 

python webui.py

二、实操-克隆林黛玉

我使用的语音素材是干声,这里就不使用UVR5分离背景音处理。直接进行语音切片,下次有时间写个补充(急着下班回家)。 

关于原素材的来源:剪映剪辑后导出音频。 

2.1 素材切片

在源码目录内新建文件夹,分别用于存放原素材和切片后的素材。 

配置文件夹后,点击音频切割 

切割结束,我们看下文件夹 

 

2.2 切片素材降噪

对切片的素材进行语音降噪。直接点击"启动语音降噪器"进行处理。

 

提示降噪完成。我们去output目录下看下输出。 

2.3 批量ASR

启动批量ASR,目录设置为刚刚批量片段降噪处理后的文件夹。 

任务完成,我们去目录里看下生成了什么 

生成了一个.list文件,精确度还是蛮高的。 

2.4 语音转文本校对

启动在9871端口,我们点击过去。 

对左侧的text进行大致的校对,保证语音和文本对应(删除明显乱码等)。太短的音频可以选择删除,或者与其他音频片段合并。最终保存文件。

 

 

2.5 训练数据格式化

设置model name,以及两个文件夹后依次点击3个按钮,或者点击"一键"三连按钮。 

提示进程结束无报错后,我们看下logs文件夹,如果某个文件夹是空的,说明格式化失败了,需要重新调整素材再次处理。 

2.6 微调

我的原素材时长较短,这里就使用默认参数。素材较长可以增加训练轮次。 

依次进行"SoVITS traning"和"GPT training",等待完成。

 

训练完成后,我们可以在以下2个文件夹(之前选择的v2版本:SoVITS_weights_v2、GPT_weights_v2)内看到保存的模型。

 

2.7 推理

切换到"inference",先刷新模型列表,2个模型都选择数字最大的那个。勾选"启用并行"。最后点击"open tts inference webUI"。 

服务启动后我们会看到如下页面。

 

辅助参考音频可以不上传。调整"推理设置"至趋近于自己想要的角色语音效果。

 

三、推理结果展示

这花盆之中,置有一株青菜,倒也别致。你瞧它,叶片儿青翠欲滴,宛若碧玉雕琢,倒有一丝不染尘埃之清逸。那菜茎亭亭玉立,于这方寸之地,亦能展现出勃勃生机,恰如那闺阁中的女子,虽身处深宅,却难掩其清新脱俗之气。只是不知,它在这花盆之中,是否也会如我一般在夜深人静之时,暗自神伤,思念起那广袤田野的自由来呢? 

随机掉落卡片+语音播放

 

四、api调用

运行api_v2.py成功后,接口文档如下图所示。/tts方法就是我们需要调用。 

 

 


http://www.ppmy.cn/news/1554208.html

相关文章

算法(三)——贪心算法

文章目录 定义基本原理基本思路优缺点优点缺点 经典案例及解析找零问题问题描述贪心思路算法解析java代码示例 活动选择问题问题描述贪心思路算法解析java代码示例 车辆路径问题问题描述贪心思路算法分析java代码示例 定义 贪心算法是指在求解问题时,总是做出在当前…

Java版-图论-最小生成树-Kruskal算法

实现描述 为了造出一棵最小生成树,我们从最小边权的边开始,按边权从小到大依次加入,如果某次加边产生了环,就扔掉这条边,直到加入了 n-1 条边,即形成了一棵树。 实现代码 首选我们对所有的边&#xff0c…

游戏交易系统设计与实现

文末获取源码和万字论文,制作不易,感谢点赞支持。 题目:游戏交易系统设计与实现 摘 要 在如今社会上,关于信息上面的处理,没有任何一个企业或者个人会忽视,如何让信息急速传递,并且归档储存查询…

小皮面板(PHPSTUDY)配置多个域名或IP

问题描述 小皮面板默认采用nginx的静态部署,按照使用nginx的习惯只需要额外添加一个server即可,但是会发现直接往配置文件里添加新的server是不生效的,小皮的官网论坛几乎已经停止维护,因此资料较少,原本也没有仔细使…

深入探索 JVM:原理、机制与实战

一、JVM 概述 JVM(Java Virtual Machine)是 Java 程序运行的核心组件,它提供了一个独立于硬件和操作系统的执行环境,使得 Java 程序能够在不同平台上具有跨平台的特性。 JVM 主要由以下几部分组成: 类装载器&#xf…

微信小程序 AI 智能名片 2+1 链动模式商城系统中的社群电商构建与价值挖掘

摘要:本文聚焦于微信小程序 AI 智能名片 21 链动模式商城系统,深入探讨社群电商在其中的构建方式与所蕴含的价值。通过剖析社群概念的内涵与发展历程,揭示其在当今电商领域备受瞩目的原因,并详细阐述如何在特定的商城系统架构下&a…

【已解决】windows下安装Git

文章目录 1. 下载Git2. 安装3. 测试安装是否成功 1. 下载Git https://git-scm.com/downloads/win 进入到官网后如下如图,并选择自己需要的版本,点击即可下载 2. 安装 2.1 下载完成后双击打开,点击Next 2.2 选择安装路径 2.3 选择必要组件…

linux之vim

一、模式转换命令 vim主要有三种模式:命令模式(Normal Mode)、输入模式(Insert Mode)和底线命令模式(Command-Line Mode)。 从命令模式切换到输入模式:i:在当前光标所在…