真人版动漫电影，还是AI生成的角色靠谱。 ”
作者 | 贝爽
从“换脸”到“生成漫画脸”，AI在图像合成方面的技术已经非常成熟了。
因为支持一键切换，而且效果逼真，之前抖音的一款「变身漫画」特效还登上微博了热搜，从明星到路人，近千万用户参与。国外也有一款「秒变迪士尼公主」工具网站，上线当天就因为访问量过大而被迫下线。
它的火爆程度可以从这张效果图来感受下。
从发型、面部轮廓到五官，妥妥地定制化动漫脸，感觉都不用后期处理就可以直接出演电影了。
不过，这件事也引起了一位AI艺术家Nathan Shipley的好奇心，AI生成漫画脸如此逼真，那么反过来，将动漫角色转化为「真人」效果会怎么样？刚好最近国外研究团队推出了一款通用版AI模型——Pixel2Style2Pixel(pSp)。
因此，Shipley便利用这款AI模型，尝试将《超级总动员》《飞屋环游记》等电影中的经典动漫角色进行了转换，结果也因效果太赞登上了Reddit热榜。
这张《超级总动员》中的“飞毛腿”巴小飞，「真人版」形象也太有喜感了。
仔细看，它的头发丝、眉毛等细节可以说转化的相当不错了。
还有弹力女超人—巴荷莉，超能先生—巴鲍伯，除了鲍伯夸张的动漫脸型，这些角色似乎可以在现实世界中找到替代演员了。
不过，到了《飞屋环游记》的小罗这里是不是出现了什么差错？？五官是没毛病了，但这个发型......
其实是AI把小罗的帽子当做头发识别了，结果就出现了这个亚子。有网友们调侃称，这个"猫王发型”也是很酷了！
另外，不仅是动漫角色的真人化，这款通用AI模型还可以用在画作上。如果说动漫角色真人化还有些卡通风，那么迭戈·里维拉(Diego Rivera)这两幅画像的还原效果，可以说是非常高质量了。
那么，这项技术是如何实现的呢？
1
pSp：通用版图像合成模型
Pixel2Style2Pixel (pSp)，是一个图像到图像的转换框架，由Penta-AI 和以色列特拉维夫大学的Elad Richardson、Yuval Alaluf等人在一篇名为《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》的论文中提出的。
具体来说， pSp 框架基于一种新的编码器网络，该网络可直接生成一系列样式矢量，这些矢量被送入预训练的 StyleGAN 生成器中，从而形成可扩展的W+潜在空间。
pSp 是一个简单的架构，它通过特征金字塔扩展了三个级别的特征映射，中间网络map2style负责从输入端提取样式，然后将样式按照一定比例传送到生成器(SttyleGAN Generator)中，最后生成输出图像。值得注意的是，这个过程中完成像素转换的“中间样式表示”带来了不依赖局部像素到像素对应的全局方法，而且该方法通过风格重采样支持多模态合成。
总的来说，相较于传统的StyleGAN模型，pSp新型编码器架构在图像合成方面取得了两项进步，一是它能够将真实面部图像直接编码到 W + 潜在域中；二是它能够解决端到端的通用任务。
为了评估 pSp 框架在图像到图像转换任务中的有效性，研究人员对常见的图像处理任务，如面部正面化、条件面合成和超分辨率进行了测试。
2
实验测试及结果
StyleGAN Inversion
该任务的目标是在潜在域中查找真实图像的潜在代码。研究人员将pSp与 ALAE 和 IDInvert 架构中的编码器进行比较。其中，ALAE 基于 StyleGAN 的自动编码器，与生成器一起训练以生成潜在代码。IDInvert 是将真实图像嵌入到预先训练的 StyleGAN 的潜在域中，然后将图像编码为 W+，再对生成的潜在图像进行优化。
从实验结果来看，ALAE 在 W 域中的操作无法准确重建输入图像，而 IDInvert虽然稍好保留了图像的原始属性，但显然它在更细节的处理上步入PsP模型。
面部正面化(Face Frontalization)
由于缺少高质量且完整的人脸数据集，人脸正面化对图像转换框架来说是一项艰难的挑战。在确保训练和编码器一致的情况下，pSp在处理这项任务时，从两个方面进行了优化。一是目标增强，而削弱背景。
目标增强：pSp会随机翻转目标图像，并生成一个与输入图像不一致的姿态。如果没有这个图像增强过程，模型将只会简单地学习输入图像的编码来匹配其姿态。
削弱背景：为了降低背景图像对人脸的干扰，pSp降低了损失目标中的权值(如降低LPIPS和L2损失函数)
实验结果如下：
在使用相同数据进行训练时，pix2pixHD方法不能收敛到令人满意的结果，因为它更多地依赖于输入和输出对之间的对应关系。相反，PsP能够成功地在保持身份的同时生成逼真的正面脸。另外，在转化过程中采用 3D 对齐的方法也有不错的表现。
这表明，即使在无数据标记的情况下，基于风格的转换机制能够克服人脸正面化的挑战。
条件图像合成(Face From Sketch)
它的目标是在指定输入图像下生成具真实感的图像。比如从简笔草图中生成高质量人脸，条件图像合成是一个单体映射，而理想的映射框架应该能够为给定输入生成多个不同的输出，因此，pSp在其中采用了一种多模态的综合方法。
另外，在草图生成人脸的实验中，常用方法要求输入草图与生成图像之间的像素一一对应，以产生与输入对齐的输出。如果输入不完整时，可能无法有效地完成草图到图像的转化任务，如pix2pixHD。
从实验结果来看，pix2pixHD处理抽象草图的视角效果很差。对此，Psp提供一个专门的映射网络。
与pix2pixHD相比，FaceDrawing绘制获得了更满意的效果，但它的多样性仍然受到限制，相反Psp具有不同输出的能力，而且更好地保留了细节(如毛发)。
超分辨率(Super Resolution)
该任务的目标是基于低分辨率(LR)输入图像转化为高分辨率人脸图像。常用方法是采用脉冲(PULSE)无监督的方式。具体而言，对于给定的LR输入图像，脉冲遍历HR图像流，以搜索缩小到原始LR图像的HR图像。
但不同的是，在这里研究人员重点研究了有监督方式下，应用pSp的解决效果。从实验对比结果来看，pix2pixHD在16 X16的向下采样，以及PULSE在8 X 8采样时，在视觉上均存在明显失真。而PsP均能在原始图像的基础上，获得更有真实感的图像。
另外，研究人员在论文中还展示了pSp模型在局部编辑、图像修复和人脸图像插值等应用中的效果。关于更多论文中的内容可参见：
https://arxiv.org/pdf/2008.00951.pdf
最后这款AI模型已经在Github对外开源。
Github地址：https://github.com/eladrich/pixel2style2pixel
感兴趣的朋友可以速戳链接体验一下，看看你喜欢的动漫角色真人化后会是什么亚子~
引用链接：
https://www.reddit.com/r/MachineLearning/comments/jcuch4/p_creating_real_versions_of_pixar_characters/
https://twitter.com/CitizenPlain
往期推荐
▎中央选定！为国家探路，深圳将建粤港澳大湾区数据平台，数据流通成为大势 ▎智慧城市之战，武汉输不起 ▎九号机器人上市科创板的514天 ▎iPhone12不支持双卡5G，美国运营商确认；100亿美元！曝英特尔内存芯片业务将卖给SK海力士；出口管制法三审通过
