AI突破次元壁又火了!《飞屋环游记》动漫角色一秒变真人,网友:小罗的“猫王发型”有点酷(3)
2022-11-03 来源:旧番剧
那么,这项技术是如何实现的呢?
pSp:通用版图像合成模型
Pixel2Style2Pixel (pSp),是一个图像到图像的转换框架,由Penta-AI 和以色列特拉维夫大学的Elad Richardson、Yuval Alaluf等人在一篇名为《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》的论文中提出的。
具体来说, pSp 框架基于一种新的编码器网络,该网络可直接生成一系列样式矢量,这些矢量被送入预训练的 StyleGAN 生成器中,从而形成可扩展的W 潜在空间。
pSp 是一个简单的架构,它通过特征金字塔扩展了三个级别的特征映射,中间网络map2style负责从输入端提取样式,然后将样式按照一定比例传送到生成器(SttyleGAN Generator)中,最后生成输出图像。值得注意的是,这个过程中完成像素转换的“中间样式表示”带来了不依赖局部像素到像素对应的全局方法,而且该方法通过风格重采样支持多模态合成。