AI突破次元壁又火了！《飞屋环游记》动漫角色一秒变真人，网友：小罗的“猫王发型”有点酷(5)

在使用相同数据进行训练时，pix2pixHD方法不能收敛到令人满意的结果，因为它更多地依赖于输入和输出对之间的对应关系。相反，PsP能够成功地在保持身份的同时生成逼真的正面脸。另外，在转化过程中采用 3D 对齐的方法也有不错的表现。
这表明，即使在无数据标记的情况下，基于风格的转换机制能够克服人脸正面化的挑战。
条件图像合成（Face From Sketch）
它的目标是在指定输入图像下生成具真实感的图像。比如从简笔草图中生成高质量人脸，条件图像合成是一个单体映射，而理想的映射框架应该能够为给定输入生成多个不同的输出，因此，pSp在其中采用了一种多模态的综合方法。
另外，在草图生成人脸的实验中，常用方法要求输入草图与生成图像之间的像素一一对应，以产生与输入对齐的输出。如果输入不完整时，可能无法有效地完成草图到图像的转化任务，如pix2pixHD。
从实验结果来看，pix2pixHD处理抽象草图的视角效果很差。对此，Psp提供一个专门的映射网络。

与pix2pixHD相比，FaceDrawing绘制获得了更满意的效果，但它的多样性仍然受到限制，相反Psp具有不同输出的能力，而且更好地保留了细节（如毛发）。
超分辨率（Super Resolution）
该任务的目标是基于低分辨率（LR）输入图像转化为高分辨率人脸图像。常用方法是采用脉冲（PULSE）无监督的方式。具体而言，对于给定的LR输入图像，脉冲遍历HR图像流，以搜索缩小到原始LR图像的HR图像。
但不同的是，在这里研究人员重点研究了有监督方式下，应用pSp的解决效果。从实验对比结果来看，pix2pixHD在16 X16的向下采样，以及PULSE在8 X 8采样时，在视觉上均存在明显失真。而PsP均能在原始图像的基础上，获得更有真实感的图像。