3D 生成重建036-HyperDiffusion直接生成nerf几何

---

0 论文工作

作者提出了一种名为HyperDiffusion的新型方法，用于直接生成隐式神经辐射场，方法是预测其权重空间中的参数。与以往需要对神经网络的单个实例进行优化的隐式神经表示方法不同，我们利用了一个基于Transformer的神经网络架构，该架构能够对隐式神经辐射场的权重参数进行高效的扩散过程。通过这种方式，HyperDiffusion能够直接从噪声中生成高质量的三维模型，无需任何耗时的优化步骤。
pointE跟shapE都是采用了traosformer架构但是他们并不是采用扩散模型架构
diffnef跟这个论文差别大吗？不大，整体的优化策略不一样，hyperdiffusion实际上只有3d级别的监督，diffrf是2d+3d。而且hyperdiffusion更关注的几何部分。
paper
github
相关论文
nerfdiff
diffnef

1 论文方法

HyperDiffusion 旨在解决现有隐式神经辐射场表示方法（例如，使用多层感知机MLP表示）需要对模型参数进行逐个优化，导致生成速度慢且效率低下的问题。 它采用了一种全新的范式，直接在权重空间中进行扩散，从而生成隐式神经辐射场。具体来说，HyperDiffusion 首先利用一个基于Transformer的网络架构来表示隐式神经辐射场的权重参数；然后，通过一个扩散过程，从噪声中生成这些权重参数；最后，利用生成的权重参数构建实际的三维模型，例如通过Marching Cubes算法提取网格。 整个过程无需任何迭代优化，显著提高了生成速度。
权重空间扩散: 这是HyperDiffusion最主要的创新点。它直接在神经网络的权重空间中进行扩散，而不是在模型输出空间或潜在空间中进行。这种方法避免了在高维空间中进行优化，极大地提高了生成效率。 以往方法通常需要迭代优化MLP的参数，效率低下。
基于Transformer的架构: HyperDiffusion采用基于Transformer的架构来表示和处理神经网络的权重参数。Transformer的强大表达能力和并行计算能力，使得该方法能够高效地处理高维数据，并生成高质量的三维模型。
无需迭代优化: HyperDiffusion 直接从噪声中生成神经网络的权重参数，无需任何耗时的迭代优化过程。这使得该方法能够以极快的速度生成高质量的三维模型。

2 实验结果