视频外绘技术总结:Be-Your-Outpainter、Follow-Your-Canvas、M3DDM

ops/2025/2/2 6:41:03/

Diffusion Models专栏文章汇总:入门与实战

前言:视频Inpaint的技术很火,但是OutPaint却热度不高,这篇博客总结比较经典的几篇视频Outpaint技术。其实Outpaint在runway等工具上很火,可是学术界对此关注比较少,博主从这三年的顶会中找到了最具代表性的三篇论文解读。

目录

【ACM-MM 2023】M3DDM:Hierarchical Masked 3D Diffusion Model for Video Outpainting

Mask训练策略

全局帧嵌入

数据集清晰策略

混合由粗到细的推理

​编辑

实验分析

【ECCV 2024】Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation

之前方法的局限性

方法简述

推理过程中的噪声值

Mask Video Controlnet

训练参数

空间感知插入

Noise regret

【AAAI 2025】Follow-Your-Canvas: Higher-Resolution Video Outpainting with Extensive Content Generation

之前任务失败的原因

方法概述

空间窗口

Layout Alignment

布局编码器 (LE)

相对区域嵌入(RRE)



http://www.ppmy.cn/ops/154972.html

相关文章

简洁、方便是医疗控制设计的原则,背后的设计学和心理学依据

医疗控制设计遵循简洁、方便原则,具有深厚的设计学和心理学依据,具体如下: 设计学依据 易用性原则:设计的核心目标之一是确保产品易于使用。简洁、方便的医疗控制设计能降低用户的操作难度,减少操作步骤和复杂的界面元…

【零拷贝】

目录 一:了解IO基础概念 二:数据流动的层次结构 三:零拷贝 1.传统IO文件读写 2.mmap 零拷贝技术 3.sendFile 零拷贝技术 一:了解IO基础概念 理解CPU拷贝和DMA拷贝 ​ 我们知道,操作系统对于内存空间&…

ASP.NET Core 启动并提供静态文件

ASP.NET Core 启动并提供静态文件 即是单个可执行文件,它既运行 API 项目,也托管 前端项目(通常是前端的发布文件)。 这种方式一般是通过将 前端项目 的发布文件(例如 HTML、CSS、JavaScript)放入 Web AP…

caddy2配置http_basic用于验证用户名密码才允许访问页面

参考: basicauth (Caddyfile指令) — Caddy v2中文文档 1,查看caddy是否已经包含了Basic Auth插件 命令:caddy list-modules | grep http_basic 如果显示: http.authentication.providers.http_basic 则代表包含 Basic Auth 模…

爱快 IK-X9 吸顶AP 简单开箱评测和拆解,三频WiFi7,BE5000,2.5G网口

爱快(iKuai) IK-X9 三频高密度吸顶AP 简单开箱评测和拆解,三频Wi-Fi7(2.4GHz:688Mbps、5.1GHz:2882Mbps、5.8GHz:1441Mbps),BE5000,2.5G网口 用的爱快系统做…

clean code阅读笔记——如何命名?

命名的原则 1. “小处诚实非小事“ 有个词叫做”以小见大“。以建筑作喻,宏大建筑中最细小的部分,比如关不紧的门、未铺平的地板,甚至时凌乱的桌面,都会将整个大局的魅力毁灭殆尽,这就是整洁代码之所系。 2. 有意义…

自定义Bean Validation异常处理器实现与应用

在Java的JAX-RS框架中,Bean Validation是一个非常强大的功能,它可以用于验证输入数据是否符合预期的规则。然而,默认情况下,当验证失败时,Jersey会抛出ConstraintViolationException,并返回一个“Bad Reque…

数据结构与算法之位运算: LeetCode 2166. 设计位集 (Ts版)

设计位集 https://leetcode.cn/problems/design-bitset/description/ 描述 位集 Bitset 是一种能以紧凑形式存储位的数据结构。请你实现 Bitset 类。 Bitset(int size) 用 size 个位初始化 Bitset ,所有位都是 0void fix(int idx) 将下标为 idx 的位上的值更新为…