无条件图像生成技术的新标准：解决奇怪的不明物体生成问题

整理 | 简

出品 | AI科技大本营

2018年底，英伟达借鉴了风格迁移的思想，提出了当时最先进的无条件生成模型——StyleGAN，引起了广泛关注。 随后完美世界代码生成器怎么用，代码被开源，一位优步工程师用这个模型设计了网站“”，轰动一时。 此后，关于虚假信息生成技术的研究和讨论一直持续至今。

近日，英伟达再次发布最新论文《Analyzing and Improving the Image Quality of StyleGAN》。 通过对StyleGAN生成效果的分析，针对不完善的工作设计了改进优化方法，提出了新一代StyleGAN。 效果更高。 结果图像的质量是完美的。

虚假信息产生，耸人听闻

不仅是这些从来不存在的人脸图片，还有动漫人物、猫狗、汽车、卧室……这些类别的图片都可以生成，主要看你给模型喂什么。

自从有了这个神奇的技术，人们左手可以抱老婆，右手可以抱宠物，还有车库。

但从上一代的结果来看，StyleGAN神奇但并不完美，生成的图像往往存在瑕疵和瑕疵。 在最新模型 StyleGAN 2 中，团队对缺陷进行了深入研究。 通过改进模型架构和实例归一化方法，在提升图像质量和优化细节的同时，还能检测图像是否有模型生成，加速训练。 .

此次StyleGAN2的提出，不仅提升了生成效果，也在一定程度上为无条件图像生成技术提供了新的标准。

先来看一波完整的介绍视频：

新一代完美升级

1.模型架构改进：解决奇怪的未知物体生成问题

首先，上图是这项工作中解决的第一个问题——去除奇怪和未知的斑点。 我们经常在generation生成结果中看到这个问题。 为了解决这个问题，研究人员重新设计了生成器的架构，从之前的自适应实例归一化→生成器的实例归一化。

上一代StyleGAN的模型架构设计和细节以及新一代StyleGAN的模型架构设计和细节如图（a）、（b）和图（c）、（d）所示：

新方法在生成的图像和特征图上都解决了这个问题。

2.改进训练方法生成细节

查看生成图像的细节，研究人员指出，之前的图像会有不协调的面部特征，并且组合不匹配。 有些细节乍一看可能并不显眼。 出现这个问题的原因是上一代StyleGAN采用了Progressive Growing训练方式，细节对位置有很强的偏好。 当特征移动时，位置不能相应改变。

这次，研究人员借用了MSG-GAN模型架构的layer-skip connection（下图a），并在此基础上对生成器和判别器进行了优化完美世界代码生成器怎么用，分别使用了上采样和下采样（下图b），最后使用了残差网络（ c) 改进了判别器。

这样一来，生成的人脸的五官可以同时发生变化，不得不说没有错。

3.模型玩法新

除了上面对图像合成效果和质量的改进和优化之外，这个StyleGAN2还有一个新的方法：可以将图像输入到模型中。 如果能完美复现，就说明这东西是“Made in StyleGAN”。 世界上并不真正存在。

作者指出，与以前的逆合成网络方法不同，他们使用斜降噪声并优化了生成器的随机噪声输入。

4.不仅性能更好，而且训练速度更快

上一代StyleGAN在1024*1024分辨率下使用NVIDIA DGX-1和8个Tesla V100 GPU每秒可以训练37张图片，而配置E的训练速度可以达到61img/s，快了40%。 配置F（更大的网络）以31img/s的速度训练，所以训练成本只比最原始的StyleGAN略高，同时训练时间大大减少，FFHQ的总训练时间为9天，总训练时间LSUN CAR的时间是13天。

算法代码开源

它非常易于使用，如果您不亲自尝试，您不会失望的。 目前，STyleGAN2已在GitHub上开源，获得近1.2k Stars，位列Github Trending排行榜Top 1。

不仅大家Star活跃，还有更多网友活跃，比如@manicman1999在TF2.0中复现了STyleGAN2，并开源了项目代码。 以下是他的混合风格的结果。

你在等什么？ 我们在下面分享论文地址和TensorFlow官方复现地址，今晚又要搞事情了！

纸：

TensorFlow 官方复刻

网友非官方转载TF2.0

【结尾】

热点文章推荐

惊了，Java 字符串拼接的玩法竟然这么多！ | CSDN原力项目

Julia 向 Python 宣战！

你真的了解Java的类加载机制吗？ | 原力计划

☞

☞