基于VAE和GAN融合网络的mnist手写体数字图像生成方法

2019年6月

第19卷第2期

廊坊师范学院学报(自然科学版)

Journal of Langfang Normal University(Natural Science Edition)

Jun.2019

Vol.19No.2

基于VAE和GAN融合网络的mnist手写体

数字图像生成方法

陈丽芳，芦国军

(河北地质大学，河北石家庄050000)

【摘要】为解决现有特定图像数据集因采集困难等因素导致缺乏充足图片的问题，提出了一种基于VAE和GAN融合网络的mnist手写体数字图像生成方法。该方法结合了VAE和GAN的优点，同时具备VAE生成图像的准确性和GAN生成图像的清晰性。实验表明，该方法能生成质量较高的手写体数字图像。

【关键词】VAE;GAN;融合网络;mnist手写体数字图像;图像生成

Mnist Handwritten Digital Image Generation Method Based

on VAE and GAN Fusion Network

CHEN Li-fang,LU Guo-jun

(Hebei GEO University,Shijiazhuang050000,China)

[Abstract]In order to solve the problem that the existing special image data sets lack sufficient images due to difficulties in collecting and other factors,a mnist handwritten digital image generation method based on VAE and GAN fusion network was proposed.This method combined with the advantages of VAE and GAN,ensures the accuracy ofVAE generated images and the clarity of GAN generated image at the same time.Experimental results show that this method can generate high quality handwritten digital images.

[Keywords]VAE;GAN;fusion network;mnist handwritten digital image;image generation

〔中图分类号〕TP391〔文献标识码〕A〔文章编号〕1674-3229(20⑼02-0025-05

0引言

虽然现今已经进入了大数据时代，但在一些领域拥有较大研究价值的图像数据由于采集困难等各种原因而缺少研究数据，比如医疗图像、军事图像等。人们为了人工增加这些领域的图像数据，展开了对计算机模拟生成图像方法的研究。

目前具有潜力的图像生成模型主要有两大类,分别是变分自编码器(Variational Autoencoders, VAE)和生成式对抗网络(Generative Adversarial Networks,GAN)o VAE使用变分推理联合学习图像和潜在代码之间的编码器和解码器映射;GAN联合学习一个合成图像的生成器和一个将图像分类为真实或伪造的鉴别器。VAE生成的图像更加准确，很少生成不受控制的图像，但由于其使用均方误差等作为损失函数，使得生成图像缺乏细节,画面模糊;TOGAN生成的图像更为清晰，但为了骗过判别器而自由发挥容易造成生成图像失真。基于这两种方法各自的优缺点,本文提出了一种基于VAE和GAN的融合网络的图像生成方法,避免了这两种生成方法单独使用时各自的缺点，使得生成的图像拥有更高的生成质量。

1生成模型

生成模型对数据的潜在分布进行学习。设有一批数据样本｛/，…疋｝,其整体用X来描述，目标是根据｛X1.-X｝得到X的分布p(x),此时根据p(x)进行采样，得到所有可能的x(包括｛&,•••, X"｝以外的数据)，但是这是一个理想的生成模型。

事实上，对于数据的潜在分布学习存在实践困

［收稿日期］2018-12-12

［作者简介］陈丽芳(1993-),女，河北地质大学硕士研究生，研究方向:智能计算及其应用。

•25•

2019年6月廊坊师范学院学报(自然科学版)第19卷•第2期

难。此时弓I 入隐变量Z,利用式⑴生成数据X 。(1)

Z

其中p(X\Z)表示一个由Z 来生成X 的模型， 假设Z 服从标准正态分布，即p(Z )~N (0,l)。首先

从标准正态分布中采样一个Z,然后根据Z 来不断 拟合X,达到生成X 的目的。这种思想被经常应用

于生成模型。

2变分自编码器VAE

变分自编码器(Encoder) V AE 由 Diederik P King-

ma 和 Danilo Jimenez Rezende 在2013 年提出，这是一■ 种基于变分贝叶斯推断的生成网络。在这之前,Ru- melhart 于1986年首次提出自编码器(AE )的概念,AE 是神经网络的一种，该网络由两部分组成:一个编码

器函数力=/(x)和一个生成重构的解码器r=g(H) o

AE 尝试学习一个方”』(x)“的函数。换句话说，它 尝试逼近一个恒等函数，从而使得输出接近于输入 Xo 恒等函数虽然看上去不太有学习的意义，但是 当为AE 加入某些限制，比如限定隐藏神经元的数

量,就可以学习到输入数据的压缩表示,如此就得 到一个编码器。之后对压缩表示进行解码,就得到 一个与输入图像尽量相似又不完全相同的输出图

像。训练AE 时需要设定一个损失函数，用以衡量 由于压缩而损失掉的信息,即输出图像与输入图像

之间的差别,编码器和解码器(Decoder)的参数可以

通过最小化损失函数而优化。AE 的网络结构如图 1所示。

input

code

图1 AE 网络结构图

当Z 处于一个高维度的连续空间时，p (叭彳卩吨⑵

⑵

生成过程变为：①随机一个X;②用P0X)计 算概率，若满足则结束，若不满足，则返回①。此

时生成过程不可控。因此，需要寻找一个变分函 数!2(z)去代替P0X),艮卩

盹(珈和=h (Z)log^^dZ = jg(Z)[logg(Z)-logp(GV)]dZ

=J q (Z)[logg(Z) - logp (眉Z ) - logp(Z) + logp3)]dZ

=J q (Z)\logq(Z) - logp (眉Z ) - logp(Z)]dZ + logp(X)

(3)

VAE 是在AE 的基础上,在编码过程中增加一

些限制，迫使网络生成的隐含向量能够粗略地遵循 一个标准正态分布。这时不再是每次产生一个隐 含向量，而是生成两个向量，一个表示均值,一个表

示标准差，然后通过这两个统计量来合成隐含向 量，即用一个标准正态分布先乘上标准差再加上均

值。VAE 的网络结构如图2所示。

图2 VAE 网络结构图

• 26

•