3D 生成重建037-GAUSSIANANYTHING通过点云与外观的混合策略进行3dgs生成

---

0 论文工作

虽然现有的三维内容生成方法取得了显著进展，但它们在生成高质量、易编辑且可控的三维模型方面仍然面临着挑战。现有的方法通常依赖于代价高昂的优化过程或对三维结构的限制性表示。为了解决这些挑战，l作者提出了一种新颖的框架GAUSSIANANYTHING，该框架结合了交互式点云隐式表示和三维扩散模型。GAUSSIANANYTHING利用基于高斯混合模型的点云表示，能够高效地进行三维建模，并支持多视角渲染和编辑。该框架采用了一种级联式的三维变分自编码器（3D VAE）结构，能够学习到三维数据的潜在表示，并通过扩散模型生成高质量的三维点云。此外，GAUSSIANANYTHING还支持图像和文本条件下的三维生成，以及对生成结果的交互式编辑。在多个数据集上的实验结果表明，GAUSSIANANYTHING在生成质量、编辑能力和效率方面均优于现有方法。
paper
这个方法是借助点云结构直接生成3dGS跟GRM的三平面特征转3dgs还有LGM的聚合信息不一样。
相关论文
nerfdiff
diffnef
hyperdiffusion
GRM
LGM

1 论文方法

**整体流程先生成点云几何部分，再生成外观相关部分，这两部分一起作为输入进行降噪生产3dgs。点的数量为10224.**关注详细训练策略的话可以关注论文。
GAUSSIANANYTHING 致力于解决现有三维内容生成方法在质量、可编辑性和效率方面的不足。它提出了一种新颖的框架，该框架结合了以下几个关键技术：
基于高斯混合模型的点云表示: 采用高斯混合模型来表示三维点云，这种表示方法比传统的点云表示方法更紧凑、更有效，并且易于进行渲染和编辑。
级联式三维变分自编码器 (3D VAE): 使用级联式的 3D VAE 结构来学习三维数据的潜在表示，这使得模型能够更好地捕捉三维形状的复杂特征。
三维扩散模型: 利用三维扩散模型来生成高质量的三维点云，扩散模型的强大生成能力能够生成更精细、更逼真的三维模型。

2 实验结果