3D 生成重建020-Gaussian Grouping在场景中分割并编辑一切

news/2024/12/12 9:57:35/

3D 生成重建020-Gaussian Grouping在场景中分割并编辑一切


文章目录

    • 0 论文工作
    • 1 方法
    • 2 实验结果

0 论文工作

最近提出的高斯Splatting方法实现了高质量的实时三维场景新视角合成。然而,它仅仅关注外观和几何建模,缺乏细粒度的物体级场景理解。为了解决这个问题,论文提出了Gaussian Grouping,它将高斯Splatting扩展到联合重建和分割开放世界三维场景中的任意内容。为每个高斯函数添加了一个紧凑的标识编码,允许根据其在三维场景中的物体实例或物质成员关系对高斯函数进行分组。论文没有使用代价高昂的三维标签,而是利用分割任何事物模型(SAM)的二维掩码预测以及引入的三维空间一致性正则化,在可微渲染过程中监督标识编码。基于Gaussian Grouping,进一步提出了一种局部高斯编辑方案,该方案展示了其在各种三维场景编辑应用中的有效性,包括三维物体移除、着色、风格迁移和场景重组。
在复杂场景中对不同视角中的物体的语义信息进行统一。
paper
github

1 方法

请添加图片描述
Gaussian Grouping 的主要创新体现在以下几个方面:

将高斯Splatting扩展到场景理解和编辑: Gaussian Grouping并非仅仅停留在三维场景重建,而是将其扩展到场景理解和编辑领域。通过引入身份编码,它实现了对场景中物体的细粒度分割,并支持各种编辑操作。
利用SAM模型进行三维分割: 该方法巧妙地利用了SAM模型生成的二维分割掩码,并通过可微渲染过程将其监督信息传递到三维高斯函数的学习中,避免了对昂贵的三维标注数据的依赖。这是一种高效且有效的解决三维场景分割问题的思路。
提出局部高斯编辑方案: Gaussian Grouping 提出了局部高斯编辑方案,该方案能够对三维场景进行高效且细粒度的编辑,例如物体移除、着色、风格迁移和场景重组。这使得该方法更易于应用于实际的应用场景。
离散且可分组的三维表示: 与隐式NeRF表示相比,Gaussian Grouping采用离散且可分组的三维高斯表示,这种表示使得三维场景的各个组成部分可以被独立地处理和编辑,从而提高了编辑的效率和灵活性。
Gaussian Grouping 提出了一种新颖高效的三维场景理解和编辑方法,它结合了高斯Splatting、SAM模型和局部高斯编辑等多种技术,在开放世界场景理解和各种下游三维场景编辑任务中取得了显著的效果,具有很高的创新性和实用价值。

2 实验结果

请添加图片描述


http://www.ppmy.cn/news/1554464.html

相关文章

aippt:AI 智能生成 PPT 的开源项目

aippt:AI 智能生成 PPT 的开源项目 在现代办公和学习中,PPT(PowerPoint Presentation)是一种非常重要的展示工具。然而,制作一份高质量的PPT往往需要花费大量的时间和精力。为了解决这一问题,aippt项目应运…

nmap详解

Nmap(Network Mapper)是一个开放源代码的网络探测和安全审核的工具。由于它的功能强大,被广泛应用于网络安全领域。以下是Nmap的一些主要功能及其在实战中的应用举例。 Nmap的主要功能: 端口扫描:检测目标主机上开放…

【golang】 WaitGroup使用注意事项

注意1:使用指针 当把WaitGroup作为参数传递给函数时,如果传递的是变量本身(值传递),会发生复制。在 Go 语言中,这种复制可能会导致意外的行为。因为每个WaitGroup副本都有自己独立的计数器。下面的代码如果…

初识Linux · 线程池

目录 前言: thread pool成员变量分析 接口编写 前言: 前文我们介绍了基于线程同步和互斥两种关系的一种模型->生产消费模型,那么之前在学习进程的时候我们已经编写过了进程池,同理,学习线程的时候我们也要编写线…

Educator头歌:计算机系统基础-缓冲区溢出攻击 - 访问过程参数

第1关:访问过程参数 实验任务概述 本实验中缓冲区溢出攻击的目标是一个名为bufbomb二进制可执行程序,实验的任务是设计、构造合适的攻击字符串(“exploit string”),当输入攻击字符串至目标程序bufbomb后,…

【WRF-Urban】SLUCM新增空间分布城市冠层参数及人为热排放AHF代码详解(下)

目录 详细解释更改文件内容4 运行模块(run):README.namelist5 输出模块(share):share/module_check_a_mundo.Fshare/output_wrf.F参考SLUCM新增空间分布城市冠层参数及人为热排放AHF代码详解的前两部分内容可参见-【WRF-Urban】SLUCM新增空间分布城市冠层参数及人为热排放A…

Jmeter直连数据库,jar包下载

运行报错信息:jmeter连接mysql异常:Cannot load JDBC driver class ‘com.mysql.jdbc.Driver‘ 1、下载地址: https://mvnrepository.com/artifact/mysql/mysql-connector-java/ 2、将下载好的jar包 (我的是:mysql-con…

把视频文件作为流返回给客户端

1.页面浏览器请求: 2. 读取文件: GetMapping("/read") ApiOperation(value "视频读取", httpMethod "GET", response ResponseMessage.class, notes "tst") public void test(HttpServletRequest request,…