cGAN二次元头像自动生成工具MakeGirls是一款能够通过选择人物属性来自动生成动漫人物头像的工具,利用ai可以随机生成各种风格的二次元妹子头像,大多数较为精美毫无违和感,喜欢的用户千万不要错过。
下图左侧为通过属性blonde hair, twin tails, blush, smile, ribbon, red eyes生成的人物,右侧是通过属性silver hair, long hair, blush, smile, open mouth, blue eyes生成的人物,都表现得非常自然,完全看不出是机器自动生成的:
模型生成的随机样本:
固定cGAN噪声部分生成的样本,此时人物具有不同的属性,但是面部细节和面朝的角度基本一致:
更加令人兴奋的是,作者搭建了一个网站,任何人都能随时利用训练好的模型生成图像,进行实验!
打开网站后需要等待进度条加载完毕,这个时候是在下载模型:
这里的按钮的含义都比较简单,总的来说我们要先选定一些属性(完全随机也是可以的),然后点击左侧的generate按钮生成:
完全随机生成的结果,看起来非常好:
选择发色(Hair Color)为金色(Blonde),发型(Hair Style)为双马尾(Twin Tail),点击生成,效果同样很赞!如下图:
改进一:更高质量的图像库
之前使用的训练数据集大多数是使用爬虫从Danbooru或Safebooru这类网站爬下来的,这类网站的图片大多由用户自行上传,因此质量、画风参差不齐,同时还有不同的背景。这篇文章的数据来源于getchu,这本身是一个游戏网站,但是在网站上有大量的人物立绘,图像质量高,基本出于专业画师之手,同时背景统一:
除了图像外,为了训练cGAN,还需要图像的属性,如头发颜色、眼睛的颜色等。作者使用Illustration2Vec,一个预训练的CNN模型来产生这些标签。
改进二:GAN结构
此外,作者采取了和原始的GAN不同的结构和训练方法。总的训练框架来自于DRAGAN,经过实验发现这种训练方法收敛更快并且能产生更稳定的结果。
生成器G的结构类似于SRResNet
判别器也要做一点改动,因为人物的属性相当于是一种多分类问题,所以要把最后的Softmax改成多个Sigmoid:
详细的训练和参数设定可以参照原论文。
虽然大多数的图像样本都比较好,但作者也提出了该模型的一些缺点。由于训练数据中各个属性的分布不均匀,通过某些罕见的属性组合生成出的图片会发生模式崩坏。比如属性帽子(hat)、眼镜(glasses),不仅比较复杂,而且在训练样本中比较少见,如果把这些属性组合到一起,生成的图片的质量就比较差。
如下图,左侧为aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes对应的样本,右侧为orange hair, ponytail, hat, glasses, red eyes, orange eyes对应的样本,相比使用常见属性生成的图片,这些图片的质量略差:
131.7M / 11-29
媒体制作
下载13M / 09-29
视频处理
下载5.6M / 02-29
转换翻译
下载140.5M / 09-05
76.4M / 03-25
55M / 06-05
237.9M / 04-13
900.9M / 03-02
96.2M / 07-06
311.2M / 07-06
335M / 07-06
200M / 07-06
413.8M / 07-06
484.7M / 09-27
165.4M / 09-05
353.9M / 06-05
131.8M / 04-13
195.6M / 03-03
45.6M / 09-08
665.2M / 07-06
2.84G / 07-06
93M / 07-06
338.3M / 07-06
1.38G / 07-26
488.3M / 07-16
109.8M / 06-03
142M / 01-08
1.2M / 11-23
548.8M / 04-13
1.6M / 04-13
1.48G / 03-18
646.6M / 03-03
133.7M / 03-03
110.5M / 09-05
33.4M / 09-05
325.8M / 08-12
60M / 04-29
254M / 04-25
659M / 04-23
1M / 12-26
253.4M / 12-08
253M / 12-08
1.19G / 11-16
369M / 09-22
181.5M / 09-22
201.2M / 09-05
488.3M / 07-16
248.9M / 12-08
248.9M / 12-08
100.6M / 03-06
148.9M / 03-06
1.12G / 07-06
1.25G / 07-06
1.76G / 09-22
1.92G / 04-17
116.2M / 04-10
201.5M / 04-13
7.31G / 07-01
94.3M / 07-06
2.48G / 07-06
7.63G / 07-06
1M / 07-06
778.1M / 07-06
561.8M / 07-11
72M / 07-06
548.7M / 07-06
1.00G / 07-06
9.13G / 07-06
126.2M / 07-06
72M / 07-06
105.1M / 07-06
132M / 07-06
132M / 07-06