数字人技术再超越,TANGO 可生成与音频匹配的全身手势视频

server/2025/3/1 6:35:54/

TANGO 是由东京大学与 CyberAgent AI Lab 于 2024 年共同研发的开源框架,专注于声音驱动的全身数字人生成。该技术能够根据目标语音音频生成与之同步的全身手势视频,突破了传统数字人技术仅支持面部或上半身动作的局限性。TANGO 的工作原理利用隐式分层音频运动嵌入空间来检索与目标语音匹配的参考视频,并通过扩散插值网络生成平滑的过渡帧,从而实现高保真度和动作同步的视频制作。
教程链接:https://go.openbayes.com/mbPm1

使用云平台:OpenBayes
http://openbayes.com/console/signup?r=sony_0m6v

登录 http://OpenBayes.chttp://OpenBayes.c,在「公共教程」页面,选择「TANGO 数字人生成 Demo」教程。

页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像,OpenBayes 平台上线了新的计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。可以使用文章开头的邀请链接,获得 RTX 4090 使用时长!

稍等片刻,待系统分配好资源,当状态变为「运行中」后,点击「API 地址」边上的跳转箭头,即可跳转至 Demo 页面。

进入 Demo 界面后,在「Upload your audio」处上传音频,在「Your Character」处上传视频,「Seed」可设置随机种子数。最后点击「Generate Video」生成。
注意事项:

  • 视频背景需干净、无多余元素,最好为纯色背景。如果背景元素过多或杂乱,可能导致背景提取失败。
  • 视频脸部需清晰,人脸应占据画面主题部分。

 


http://www.ppmy.cn/server/171485.html

相关文章

Debian安装C语言环境

参考链接 gcc:https://my.oschina.net/emacs_8766486/blog/17213484 make:https://blog.csdn.net/m0_48096446/article/details/139989347 gdb:https://blog.csdn.net/kaixian2003/article/details/114642610 gcc 确保系统包列表是最新的…

力扣hot100刷题——11~20

文章目录 11.滑动窗口最大值题目描述思路:滑动窗口单调队列code 12.最小覆盖子串题目描述思路:双指针/滑动窗口哈希code Ⅰcode Ⅱ 13.最大子数组和题目描述思路:dp/贪心code 14.合并区间题目描述思路:贪心code 15.轮转数组题目描…

rust学习~tokio的io

await Suspend execution until the result of a Future is ready. 暂停执行,直到一个 Future 的结果就绪。 .awaiting a future will suspend the current function’s execution until the executor has run the future to completion. 对一个 Future 使用 .awa…

【大模型实战篇】DeepSeek-R1面临的DDOS攻击以及与O系列的差距

1. 问题 虽然不可否认DeepSeek-R1作为一款大模型表现出色,其开源也推动了技术的进步。然而,在这份热闹的背后,我们仍需保持冷静。该推理模型在某些特殊场景下存在问题:其think过程可能会持续不断地输出,直到达到token…

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_list_t

ngx_list_t 定义在 src/core/ngx_list.h typedef struct {ngx_list_part_t *last;ngx_list_part_t part;size_t size;ngx_uint_t nalloc;ngx_pool_t *pool; } ngx_list_t;ngx_list_t 是 Nginx 中用于管理动态数组链表的核心数据结构,结…

kotlin的lateinit声明 的变量可能为null吗?

kotlin的lateinit声明 的变量可能为null吗? DeepSeek R1 思考 26 秒 思考过程 嗯,用户问的是Kotlin中的lateinit变量是否可能为null。首先,我需要回顾一下lateinit的作用和特性。lateinit用于延迟初始化一个非空类型的变量,这样…

6.6.3 SQL数据查询(一)

文章目录 SELECT语句简单查询连接查询子查询聚集函数 SELECT语句 SELECT是用于查询的动词,基本格式为SELECT-FROM-WHERE,其中WHERE可选。SELECT对应投影运算,FROM对应笛卡尔积运算,WHERE对应选择运算。选择使用的条件表达式p可包含…

Python入门 — 类

面向对象编程中,编写表示现实世界中的事物和情景的类(class),并基于这些类来创建对象(object)。根据类来创建对象称为实例化,这样就可以使用类的实例(instance) 一、创建…