3D Gaussian Splatting 学习笔记

news/2024/12/21 22:05:36/

突破3DGS泛化和实用壁垒！GS-Net：首个具有跨场景泛化能力的即插即用3DGS模块

升级版 SGD

一问读懂3D Gaussian Splatting

3DGS高斯泼溅技术

系统首先对 SfM 点云进行初始化

代码概要

突破3DGS泛化和实用壁垒！GS-Net：首个具有跨场景泛化能力的即插即用3DGS模块

升级版 SGD

Street View Synthesis with GaussianSplatting and Diffusion Prior

GitHub - Leeiieeo/AG-Pose: CVPR2024: Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation

一问读懂3D Gaussian Splatting

https://zhuanlan.zhihu.com/p/680669616

3DGS高斯泼溅技术

https://zhuanlan.zhihu.com/p/704286968

系统首先对 SfM 点云进行初始化

得到 3D 高斯球们，然后借助相机外参将点投影到图像平面上（即Splatting），接着用可微光栅化，渲染得到图像。得到渲染图像Image后，将其与Ground Truth图像比较求loss，并沿蓝色箭头反向传播。蓝色箭头向上，更新3D高斯中的参数，向下送入自适应密度控制中，更新点云。

我们从与以前类似nerf的方法相同的输入开始，即使用运动结构(SfM)校准的相机，并使用作为SfM过程的一部分免费生成的稀疏点云初始化3D高斯集。与大多数需要多视图立体(MVS)数据的基于点的解决方案相反，我们仅使用SfM点作为输入就获得了高质量的结果。请注意，对于nerf合成数据集，我们的方法即使在随机初始化的情况下也能达到高质量。我们证明了3D高斯图像是一个很好的选择，因为它们是一个可微的体积表示，但它们也可以通过将它们投影到2D并应用标准𝛼-blending来非常有效地栅格化，使用等效的图像形成模型作为NeRF。

我们方法的第二个组成部分是优化3D高斯函数的属性- 3D位置，不透明度，各向异性协方差和球面谐波(SH)系数-与自适应密度控制步骤交错，我们在优化过程中添加和偶尔删除3D高斯函数。优化过程产生了一个相当紧凑、非结构化和精确的场景表示(所有测试场景的1-5百万高斯)。

我们方法的第三个也是最后一个元素是我们的实时渲染解决方案，它使用快速GPU排序算法，并受到基于瓷砖的光栅化 tile-based rasterization的启发，遵循最近的工作。然而，由于我们的3D高斯表示，我们可以执行尊重可见性排序的各向异性飞溅(多亏了排序和𝛼blending)，并通过跟踪尽可能多的排序飞溅的遍历来实现快速准确的向后传递。

综上所述，我们提供了以下贡献:
•引入各向异性3D高斯作为高质量，非结构化的辐射场表示。

•3D高斯属性的优化方法，与自适应密度控制交错，为捕获的场景创建高质量的表示。

•GPU的快速、可微分渲染方法，具有可视性感知，允许各向异性飞溅和快速反向传播，以实现高质量的新视图合成。

原文链接：https://blog.csdn.net/weixin_47228643/article/details/140638010