一、Sonic更新介绍
大家还记得我前分享过腾讯开源的Sonic这个项目吧,通过照片+声音就可以生成非常不错的数字人开口说话的视频。
当时我就挺满意的,不过那时候输出还只能输出正方形的视频,这点就让我留有遗憾。
今天我再去翻作者的项目官网,我发现作者给力,把这块给更新了,现在支持非正方形的输出了,爱了爱了。
今天给大家说一下修改的地方,参数有了一些小调整。
二、详细说明
工作流稍微改了一点,主要是里面的参数,大家直接看我这个最新工作流截图:
我把变动点说一下:
SONICTLoader 节点变简单了,不需要自己配置路径
参数默认按我截图设置即可。
SONIC_PreData:这个节点核心参数多了一个duration,这个就是截取视频时长的意思,单位为秒。我这里直接把视频里面的时长传递过来了。
然后最重要的是现在min_resolution这个参数就对应最短边了,不会全部裁剪成正方形输出了。
最后,主模型要选择svd_xt_1_1.safetensors了,这个模型之前也需要,把它拷过来放到 ComfyUI/models/checkpoints
另外sonic这个模型还要
三、云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。
目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。
今天这个数字人案例已经弄到镜像上了,欢迎体验。
镜像名称:嘟嘟AI绘画趣味学
云平台镜像地址:
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。
四、总结
这就是Sonic的更新介绍了,效果我还是很满意的,感觉可以用来搞东西玩了。
后面给大家介绍一些声音克隆的软件,结合起来效果就很好。
上个用CosyVoice V2克隆声音的画面。
技术的迭代是飞快的,要关注最新的消息才不会掉队。
嘟嘟每天分享最新的ComfyUI技术前沿。
本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/dd5da20b5287
我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。
如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~