AI突破次元壁又火了！《飞屋环游记》动漫角色一秒变真人，网友：小罗的“猫王发型”有点酷(4)

总的来说，相较于传统的StyleGAN模型，pSp新型编码器架构在图像合成方面取得了两项进步，一是它能够将真实面部图像直接编码到 W 潜在域中；二是它能够解决端到端的通用任务。
为了评估 pSp 框架在图像到图像转换任务中的有效性，研究人员对常见的图像处理任务，如面部正面化、条件面合成和超分辨率进行了测试。
实验测试及结果
StyleGAN Inversion
该任务的目标是在潜在域中查找真实图像的潜在代码。研究人员将pSp与 ALAE 和 IDInvert 架构中的编码器进行比较。其中，ALAE 基于 StyleGAN 的自动编码器，与生成器一起训练以生成潜在代码。 IDInvert 是将真实图像嵌入到预先训练的 StyleGAN 的潜在域中，然后将图像编码为 W ，再对生成的潜在图像进行优化。
从实验结果来看，ALAE 在 W 域中的操作无法准确重建输入图像，而 IDInvert虽然稍好保留了图像的原始属性，但显然它在更细节的处理上步入PsP模型。

面部正面化（Face Frontalization）
由于缺少高质量且完整的人脸数据集，人脸正面化对图像转换框架来说是一项艰难的挑战。在确保训练和编码器一致的情况下，pSp在处理这项任务时，从两个方面进行了优化。一是目标增强，而削弱背景。
目标增强：pSp会随机翻转目标图像，并生成一个与输入图像不一致的姿态。如果没有这个图像增强过程，模型将只会简单地学习输入图像的编码来匹配其姿态。
削弱背景：为了降低背景图像对人脸的干扰，pSp降低了损失目标中的权值（如降低LPIPS和L2损失函数）
实验结果如下：