标题:DF2Net: A Dense-Fine-Finer Network for Detailed 3D Face Reconstruction
链接:https://openaccess.thecvf.com/content_ICCV_2019/papers/Zeng_DF2Net_A_Dense-Fine-Finer_Network_for_Detailed_3D_Face_Reconstruction_ICCV_2019_paper.pdf
这篇文章讲的是如何从单张图片中获得更为精细的3D建模。作者采用的是从粗糙到细腻的不断优化结构。包含了一个生成器(D-Net)和两个优化器(F-Net和Fr-Net)。
为了训练模型,作者收集了三套数据:
1.3D合成数据:就是通过3DMM调节参数后做渲染得到的2D和3D标签的配对。用于训练D-Net
2.2D重建数据:就是自己收集一些2D图片,然后用别人的模型生成3D标签。用于训练D-Net和F-Net
3.真实数据:是直接用的CACD里的真实数据,用于Fr-Net的训练
上面的结构图已经很好地反映了模型的结构,也就是分为三部分:
1. D-Net:就是一个U-Net结构,输入2D图片,输出深度图。用的loss是基于像素的深度和法线l1损失。
2.F-Net:用的基于shape-from-shading的精炼方案,说是可以恢复高频细节。输入是深度图和2D图像,输出是精炼过的深度图。loss就是基于像素的阴影误差(l2)和深度损失(l1)
3.Fr-Net:用的是一套可以学习多分辨率输入的结构,目的是从不同清晰度的图像中恢复细节。输入就是图像和深度图,输出就是最终深度图。loss和F-Net一样,只是给阴影损失加了更大的权重。