只需3步，使用Stable Diffusion无限生成AI数字人视频

embedded/2024/12/21 14:36:45/

效果演示

先看效果，感兴趣的可以继续读下去。

没有找到可以上传视频的地方，大家打开这个链接可以看到：www.aliyundrive.com/s/CRBm5NL3x…

基本方法

搞一张照片，搞一段语音，合成照片和语音，同时让照片中的人物动起来，特别是头、眼睛和嘴。

### 语音合成

语音合成的方法很多，也比较成熟了，大家可以选择自己方便的，直接录音也可以，只要能生成一个语音文件就行了。

这里分享一个文字转语音的工具：ttsmaker.cn/，不用注册不用花钱，使用起来很简单。（广告时间：目前国内的AI资源也很丰富了，我做了一个汇总：萤火AI大全，不用特殊网络设置，快速找到想用的AI工具）

如下图所示 ：输入你的文字，选择播音员，填写验证码，点击转换按钮。

生成速度挺快的，然后在左边这里可以试听和下载。

照片生成

这里介绍的方法需要使用比较真实的照片，如果太二次元了，视频人脸的效果会比较差。大家可以使用自己真实的照片，也可以使用Stable Diffusion生成一张，也可以使用图生图稍微改造下自己的照片，总之要尽量真实一些。

另外这张照片尽量正面一些，侧脸生成的视频可能会出现头和身体拼接不太好的情况，所以如果有证件照是最好的。

我这里演示生成一张真实照片，看AI生成的美女都有些厌倦了，今天我们生成个帅哥。

（1）生成工具使用 Stable Diffusion WebUI，模型选择 realisticVisionV20，这个模型生成的图片看起来比较真实。

提示词：best quality, front photo of a young man, chinese, portrait,black t-shirt, short hair, (looking at viewer), Sense of technology, in an office, computers, screen, books, upper body,

反向提示词： easy_negative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

（2）采样器这里选择DPM++ 2M SDE Karras，选择别的也没问题，只要生成一张人物照片就可以了。

采样步数根据采样器选择，这里是40，建议20-40，以实际出图效果为准。

尺寸这里选择竖版，放到手机里会比较合适。

生成次数：建议先把提示词写好了，然后一次多生成几张，从里边选择最好的，节省时间。

（3）这里我选择一张自认为看起来还不错的图片，把这张图下载下来备用。

视频合成

这是最关键的一步，这里还是使用Stable Diffusion WebUI，不过只是使用其中的一个插件，这个插件的名字就是SadTalker。

SadTalker是Github上开源的，主要成员也都是国内的技术大佬，地址：github.com/OpenTalker/…

这里默认大家都安装好Stable Diffusion WebUI了，如果还没安装过的朋友，建议去AutoDL上租一个服务器体验下，方便不贵，选择A5000规格的就差不多了，安装教程网上应该挺多的，这里就不啰嗦了，还不会的可以联系我。

关于SadTalker插件的安装方法我这里介绍两种。

安装方法一

适合访问Github或者外网比较顺畅的用户，因为需要自动下载很多东西。

在SD WebUI中通过扩展插件页面安装，如下图所示：

这个插件需要下载的文件很多，有的文件还比较大，请耐心等待。如果不确定是不是出问题了，可以看看控制台输出的内容，有没有错误。

安装完了，不要忘了重启Stable Diffusion，要整个重启，不要只重启WebUI。

安装方法二

适合访问外网不太方便的用户，把这个插件需要的文件通过别的方式提前下载好，比如迅雷下载，只要上传到指定的目录就行了。

  • 主程序：

放到 stable-diffusion-webui/extensions/SadTalker

github.com/OpenTalker/…

  • 视频模型：

放到 stable-diffusion-webui/extensions/SadTalker/checkpoints

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

  • 修脸模型：

放到 stable-diffusion-webui/extensions/SadTalker/gfpgan/weights 和 stable- diffusion-webui/models/GFPGAN

github.com/xinntao/fac…

github.com/xinntao/fac…

github.com/TencentARC/…

github.com/xinntao/fac…

为了方便使用这种方式部署，我也把相关的文件做了一个打包，大家不用一个一个下载。关注/公/众/号：萤火遛AI，发消息：数字人，即可获得下载地址。

（1）首先把文件下载到本地或者你的云环境，这里以AutoDL为例，我把它放到 /root 目录中。

（2）然后解压文件到 stable diffusion webui的扩展目录，并拷贝几个文件到SD模型目录：

tar -xvf /root/SadTalker.tar -C /root/stable-diffusion-webui/extensions
cp -r /root/stable-diffusion-webui/extensions/SadTalker/gfpgan/weights/* /root/stable-diffusion-webui/models/GFPGAN/

  * 1* 2* 3

看到下边的结果，就基本上差不多了。

扩展目录下边有这个文件夹：

SD models 目录下有这几个文件：

部署完毕，不要忘了重启。

使用方法

在SD WebUI的Tab菜单中找到SadTalker，按照下边的顺序进行设置。

1、上传人物照片。

2、上传语音文件。

3、选择视频人物的姿势：实际就是人说话时头部的动作，个人感觉有点摇头晃脑，可以使用不同的数字看看。

4、分辨率：512的视频分辨率比256大。

5、图片处理方法：corp是从图片截取头部做视频，resize适合大头照或者证件照，full就是全身照做视频，extcorp和extfull没做细致研究，大家自己对比下。

6、Still Model：让头部不要动作太大，以致偏离身体，负面效果是头不怎么动了。

7、GFPGAN：修脸，说话时嘴和眼的动作可能让脸有些变形，选上他让脸部好看一些。

最后点击“生成”，根据硬件的运行速度和你的勾选设置，可能需要几分钟的时间，耐心等待。

我这里生成的视频（视频太占地，截个图算了)：

图片

可能遇到的问题

(1) 启动的时候报错：SadTalker will not support download…

这个错误就是模型下载不下来，告诉我们要去手动下载。

这里有两个方法：

  • 执行下边的命令触发下载，注意 cd 之后的路径替换成你自己的SadTalker安装路径：

    cd stable-diffusion-webui/extensions/SadTalker chmod 755 scripts/download_models.sh scripts/download_models.sh

    • 1

    • 2

    • 3

    • 4

  • 下载所有的模版，然后手工上传到相关目录，上边安装方法二中已经介绍过，可以使用我打包好的文件包。

(2) 合成视频时报错：No module named ‘xxx’

使用 pip install xxx 就可以了，注意如果使用了python虚拟环境，需要先激活它，比如这里要先执行source xxx。

source /root/stable-diffusion-webui/venv/bin/activate
pip install librosa

  * 1* 2* 3

（3）合成视频时报错：No such file or directory: ‘/tmp/gradio/xxx’，创建目录就可以了：

mkdir -p /tmp/gradio

  * 1* 2

（4）如果提示找不到 ffmpeg，我这里没遇到，如果出现请先下载安装：ffmpeg.org/download.ht…

以上就是本文的主要内容了，使用这种方法就可以无限制作自己的AI专属数字人，想要什么样的风格都可以，想做多少个都可以，有兴趣的快去试试吧。

注意要遵纪守法，不要搞出事情来。

AI除了可以无限制作自己的AI专属数字人，还有很多你想的到的想不到的功能

最后，如果大家对SD绘画感兴趣，可以了解一下我们的课程，顺便白嫖一些AI绘画的资料！！！


http://www.ppmy.cn/embedded/147550.html

相关文章

leetcode 3285 找到稳定山的下标

leetcode 3285 找到稳定山的下标

3285. 找到稳定山的下标 已解答 简单 相关标签 相关企业 有 n 座山排成一列，每座山都有一个高度。给你一个整数数组 height ，其中 height[i] 表示第 i 座山的高度，再给你一个整数 threshold 。 对于下标不为 0 的一座山，如果…
阅读更多...
Redisson实现分布式锁

Redisson实现分布式锁

Redisson 是一个在Redis的基础上实现的Java驻内存数据网格（In-Memory Data Grid）。它不仅提供了一系列的分布式的Java常用对象，还提供了许多分布式服务。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque…
阅读更多...
在线免费公共DNS解析服务器列表

在线免费公共DNS解析服务器列表

在线免费公共DNS解析服务器列表：推荐阿里DNS、百度DNS、Google免费DNS地址、OpenDNS地址库、114 DNS、DNSPod等 公共DNS各地区公共DNS各地电信DNS各地联通DNS各地移动DNS各地铁通DNS教育网DNS美国DNS如果配置了不合理的 DNS 服务器，可能会导致网速缓慢、…
阅读更多...
虚拟现实辅助工程技术在航空领域的应用

虚拟现实辅助工程技术在航空领域的应用

虚拟现实辅助工程技术应用于航空领域是当前和未来的重要发展趋势。虚拟现实辅助工程技术通过虚拟环境模拟航空结构在不同工作状态下的行为和性能演化，为结构的优化设计、高效率制造和低成本维护提供了全方位支持。 虚拟现实辅助工程技术在航空领域的应用 1.飞机结构…
阅读更多...
OpenCV基本图像处理操作（三）——图像轮廓

OpenCV基本图像处理操作（三）——图像轮廓

轮廓 cv2.findContours(img,mode,method) mode:轮廓检索模式 RETR_EXTERNAL ：只检索最外面的轮廓；RETR_LIST：检索所有的轮廓，并将其保存到一条链表当中；RETR_CCOMP：检索所有的轮廓，并将他们组…
阅读更多...
Restaurants WebAPI（一）—— clean architecture

Restaurants WebAPI（一）—— clean architecture

文章目录 项目地址一、Restaurants.Domain 核心业务层1.1 Entities实体层1.2 Repositories 数据操作EF的接口二、Restaurants.Infrastructure 基础设施层2.1 Persistence 数据EF CORE配置2.2 Repositories 数据查询实现2.3 Extensions 服务注册三、Restaurants.Application用例…
阅读更多...
构建MacOS应用小白教程（打包 签名 公证 上架）

构建MacOS应用小白教程（打包 签名 公证 上架）

打包 在package.json中，dependencies会被打进 Electron 应用的包里，而devDependencies则不会，所以必要的依赖需要放到dependencies中。files中定义自己需要被打进 Electron 包里的文件。以下是一个完整的 mac electron-builder的配置文件。 …
阅读更多...
STM32单片机芯片与内部33 ADC 单通道连续DMA

STM32单片机芯片与内部33 ADC 单通道连续DMA

目录 一、ADC DMA配置——标准库 1、ADC配置 2、DMA配置 二、ADC DMA配置——HAL库 1、ADC配置 2、DMA配置 三、用户侧 1、DMA开关 （1）、标准库 （2）、HAL库 2、DMA乒乓 （1）、标准库 &#xff…
阅读更多...
最新文章

Copyright @ 2022~2023