文章目录

本周学习了生成对抗网络GAN与风格迁移技术在图像生成中的应用。

首先介绍了GAN模型中生成器与判别器通过对抗训练使随机噪声逐步转换为逼真图像展示了其在动漫人物生成中的潜力。

其次阐述了风格迁移方法通过预训练卷积网络提取图像内容和风格特征并构建内容、风格及总变差损失实现艺术风格转换。

abstract

Discriminator的作用是将一张图片输出一个Scalar其数值越大表示这张图片越像真实的二次元人物的额图像。

Generator

上述枯叶蝶为更好的生存不断地进化(相当于generator)而天敌波波鸟为了捕获食物也需要进化相当于discriminator

generator生成一张图discriminator通过对比真实图片来判断生成的图片是否真实generator为“欺骗”discriminator不断地调整参数使得更加其生成地图片接近真实图片类型上述过程也就是两者对抗过程。

1.1

其学习sample中人物特征对于初始随机化参数地generator进行判别其是否符合真实地漫画人物形象。

将第一步训练好的discriminator和generator看成一个大网络输入一个向量输出一个分数discirminator里面的参数是固定的不断调整generator的参数使其输出的scaler值越大越好。

重复上述12两个步骤直到generator产生的图片和真实图片很接近停止迭代。

min

nn.Sequential(nn.Linear(latent_dim,

128),nn.ReLU(inplaceTrue),nn.Linear(128,

momentum0.8),nn.ReLU(inplaceTrue),nn.Linear(256,

momentum0.8),nn.ReLU(inplaceTrue),nn.Linear(512,

int(torch.prod(torch.tensor(img_shape)))),nn.Tanh()

输出范围在

Generator(latent_dimlatent_dim)

generator.eval()

generator(z).detach().numpy().squeeze()#

Tanh

风格迁移时一种计算机视觉技术其核心思想将一幅图片的内容物体的结构、布局、形状等信息与另一幅图像的风格如颜色、纹理、笔触等艺术特征分离并将两者重新组合生成一幅既保留内容图像主体又具有风格图像艺术效果的新图像。

2.1

torch.square(Y_hat-Y.detach()).mean()

二阶协方差

X.reshape(num_channels,n)return

torch.matmul(X,X.T)

style_loss(Y_hat,gram_Y):return

torch.square((gram(Y_hat)-gram_Y.detach())).mean()##

总变差损失函数

(diff_v.sum()diff_h.sum())/(Y_hat.size(0)

Y_hat.size(1))

content_weight,style_weight,tv_weight

1,1e3,10

computer_loss(X,content_Y_hat,styles_Y_hat,contents_Y,styles_Y_gram):contents_l

content_weightfor

zip(content_Y_hat,contents_Y)]styles_l

[style_loss(Y_hat,Y)*style_weightfor

Y_hat,Y

zip(styles_Y_hat,styles_Y_gram)]tv_l

tv_loss(X)

Super-Resolution》文章地址原始的风格迁移的速度非常慢在GPU上生成一张图片需要10分钟并且这个时间会随着图片尺度的增大而迅速增大。

这其中的原因在于把生成图片的过程当中一个训练的过程。

正是基于上面的原因提出一种方法不把图片当做一个训练过程而当成一个执行的过程。

2.2.2

本周所阅读的这篇文章把快速风格迁移网络结构包含两个部分。

一个是生成网络Transform

network。

生成网络接收一个图片当作输入然后输出也是一种图片风格迁移后的结果。

如下图左侧是生成网络右侧是损失网络

训练阶段

首先选定一张风格图片。

训练的目标是让生成网络可以有效生成图片。

目标是由损失网络定义。

执行阶段

上述过程模型在执行阶段可以完成风格图片的生成。

因此生成一张图片的速度非常快在GPU上一般小于1秒。

2.2.3

进行风格迁移的结果相比于Gatys等人的实验结果相似但是生成的速度要快的多。

2.2.4

通过训练具有感知损失函数的前馈变换网络结合了前馈图像变换任务和基于优化的图像生成方法的优点。

将这种方法应用于风格转移与Gatys等人提出的方法相比获得了相当的性能和大幅提高的速度。

3.总结

本周系统学习了生成对抗网络与风格迁移技术在图像生成中的表现。

GAN通过生成器和判别器的对抗训练使随机噪声转化为真实感图像展现出在动漫人物生成方面的优势其缺点就是不好训练风格迁移则利用卷积网络提取内容与风格特征通过损失函数实现艺术风格转换。