3D 生成重建033-对3D-head进行风格化编辑

---

0 论文工作

今天想分享的是跟我们之前在做的一个任务比较像的工作，对avatar生成不同风格的外观。
三维头部风格化将逼真的面部特征转换成艺术化的表达形式，从而提升了游戏和虚拟现实等应用的用户参与度。虽然三维感知生成器取得了显著进展，但许多三维风格化方法主要提供近正面视图，并且难以保留原始人物的独特身份特征，常常导致输出缺乏多样性和个性。本文通过利用PanoHead模型（该模型能够从360度视角合成图像）来解决这些挑战。改论文出了一种新颖的框架，该框架采用负对数似然蒸馏（LD）来增强身份特征的保持并提高风格化的质量。通过在三维GAN架构中整合多视图网格分数和镜像梯度，并引入一种分数等级加权技术。尝试推动了三维头部风格化的发展，也为扩散模型和GAN之间的有效蒸馏过程提供了宝贵的见解，重点关注身份特征的保持问题。
paper
github

1 论文方法

3dc425b7a7354519a4969cc0dfb041f8.png" alt="请添加图片描述" />
简单来说就是用不同结构的sds来优化PanoHead模型。
该论文提出了一种基于PanoHead模型的多视图分数蒸馏方法，来解决这一问题。PanoHead模型能够生成360度视角的图像，为实现高质量的三维风格化提供了良好的基础。
这篇论文的主要工作在于以下几个方面：
多视图分数蒸馏: 论文的核心创新在于利用多视图分数蒸馏技术来进行风格化。以往的方法通常只使用单一视图或近正面视图进行风格化训练，这导致生成图像缺乏多样性和个性，并且难以保持身份特征。该论文利用PanoHead模型生成的360度视角图像，并通过分数蒸馏技术将扩散模型的风格化能力迁移到GAN模型中，从而实现了高质量的多角度风格化，同时保留了原始身份特征。
分数等级加权和镜像梯度: 为了进一步提升风格化效果和身份保持能力，论文提出了分数等级加权技术和镜像梯度技术。分数等级加权技术对不同维度上的分数进行加权，从而更好地保留重要特征，例如发型、眼镜等。镜像梯度技术则利用了人脸的镜像对称性，从而进一步提高了风格化效果和身份保持能力。
结合扩散模型和GAN: 论文巧妙地结合了扩散模型和GAN模型的优点。扩散模型擅长生成多样化的图像，而GAN模型擅长生成高质量的图像并保持身份特征。论文提出的多视图分数蒸馏方法将扩散模型的风格化能力迁移到GAN模型中，从而实现了在保证图像质量的同时，提升图像多样性和身份保持能力。

2 实验结果