生成式对抗网络模型研究

损失
弱
能力
强
图1生成模型和判别模型的优化过程
图2 GAN的基本框架
GAN模型的目标函数如下，标准的对数似然函数
(.GC ')') min maxV (6 ,G) % Ex 〜pdata! ) [logD(!)) + Ez 〜pz(.z) [log(1 — D n )
(1)
G
D
生成器G要最小化目标函数，以生成可以更好迷惑判别器D的足以以假乱真的样本数据&鉴别器D
生成式对抗网络模型研究
Vol.32 No.3 Aug.2 0 19
姜玉宁，李劲华，赵俊莉
(青岛大学数据科学与软件工程学院，青岛266071)
摘要：在系统的总结GAN原始模型的提出背景、基本原理与基本框架的基础上，归纳总结
了基于距离度量与能量模型角度而提出的衍进模型卜GAN、WGAN、WGAN-GP、EBGAN；
第32卷第3期 2 0 19年8月
青岛大学学报(自然科学版) JOURNAL OF QINGDAO UNIVERSITY (Natural Science Edition)
文章编号 #006 - 1037(2019)03 - 0031 - 09 doi : 10.3969/j.issn1006 - 1037.2019.08.06
针对解决原始GAN模型的不稳定性而提出的衍进模型DCGAN, Improved GAN.PG-
GAN；基于模型结合角度而提出的GAN + LAP、GAN + LSTM、GAN+CVAE、GAN + AE
以及针对增强模型实用性而提出的衍进模型 SGAN、CGAN、InfoGAN。对GAN的一些具 体应用领域和场景进行了梳理和介绍&
32
青岛大学学报(自然科学版)
第32卷
表现D(G(z))和真实数据x在D上的表现D(x)—致，这两个相互对抗并迭代优化的过程使得D和G的 性能不断提升，当最终D的判别能力提升到一定程度，并且无法正确判别数据来源时，认为生成器G已经学 到了真实数据的分布，基本框架如图2所示&
生成模型:
判别模型:
判别模型D 假
1 GAN的基本原理与框架
1.1 GAN的基本原理 GAN的基本思想来源于博弈论的二人零和博弈，主框架由一个生成器G (Generator)和判别器6 (Dis­
criminator) 构成，根据极小极大博弈问题通过对抗学习的方式来训练优化模型，达到纳什平衡⑷，真正实现 估测数据样本的潜在分布并生成新的数据样本的目标 &生成器G用来捕获数据分布以生成足够真实的样 本，判别器D则是用来估计样本来自训练数据而不是G的概率&生成模型可以被认为是一个伪造团队，试 图产生假币并在不被发现的情况下使用它，而判别模型则是试图检测假币的警察&在这个游戏中的竞争驱 使两个团队不断改进各自方法 ，直到真假难分为止&
关键词：深度学习；生成式对抗网络；生成模型；对抗学习；数据生成
中图分类号：TP181
文献标志码:A
生成式对抗网络 GAN(Generative Adversarial Networks)是由 Ian Goodfellow 等(1)于 2014 年 10 月提 出的一个通过对抗过程估计深度学习中生成模型的新框架，该模型将生成任务推动到了新的高度，是近年来 复杂分布上无监督学习最具前景的方法之一。伴随着人工智能的浪潮，GAN作为一种新型深度学习技术革 命性地改变了解决生成任务的能力，已然成为人工智能学界的一个热门研究方向&目前，GAN除了应用到 图像、语音与视频的生成外，在图像翻译、图像着色、图像语义分割、图像增强与复原、对抗样本学习、领域自 适应及迁移学习、强化学习等方面也取得让人印象深刻的成就，获得广泛关注
GAN的生成器和判别器可由任意可微分的函数表示，输入分别为随机变量n和真实数据丄。G(n)则 为由G生成的尽量服从真实数据分布的样本&如果判别器的输入来自真实样本,标注为 1,如果输入样本为 G(n),标注为0,D实际上充当的是二分类器的角色&而G的目标是使自己生成的伪数据GN)在D上的
收稿日期#019-03-05 基金项目：国家自然科学基金(批准号：61702293)资助，中国博士后科学基金(批准号;2017M622137)资助& 通讯作者：李源自文库华，男，博士，教授，主要研究领域为计算机软件理论、算法，软件工程等&
GAN模型在训练过程中，采用了一种非常直接的交替优化方式，使用随机初始化和向后传递算法，交替 地更新鉴别网络和生成网络，即可以分为两个阶段:先固定生成模型G,然后优化判别模型D，使得D的准 确率最大化;然后固定判别模型D，优化生成器G,使得D的判别准确率最小化，最终达到二者之间的一个 纳什均衡&二者由弱到强的过程如图1所示& 1.2 GAN的基本框架
从第三方角度看待GAN的4个典型衍进模型：f-GAN、WGAN及WGAN的改进WGAN-GP与EBGAN,前三者从距离度量的角度出发，EBGAN则从能量模型的角度出发，分别对GAN进行阐释和改进，如 表1所示&
模型名称 -GAN WGAN
WGAN-GP EBGAN
角度 距离度量 距离度量 距离度量 能量模型
原始GAN模型中的判别器网络仅与JS(Jensen-Shannon)度量有关，fGAN()中扩展了 Nguyen等提出 的变分估计框架，以更一般的形式证明了 GAN的原理，提出可将GAN的训练目标推广到任意f-divergencef divergence包括许多常见的多种概率分布的距离度量 ，如KL散度.Pearson散度等，而GAN只是在 --divergence取某种特定度量时的特殊情况&假设P，Q为两个分布，p (x)和g(x)为样本x的概率,z为样
表1从第三方角度出发的典型GAN衍进模型
改变原始结构 否 否 否 是
突出改进点 判别器网络可跟任何的-divergence有关 Wassestein距离代替JS散度，解决GAN训练不稳定和模型崩溃的问题 在WGAN的基础上进一步完善判别器的目标函数，解决模型难收敛问题 可以用更多更宽泛的结构和损失函数来训练GAN
则想要最大化目标函数，使得D能更好地分辨样本数据的真伪&
2 GAN的模型衍进
本文从4个方面对基于模型GAN而做出创新性改进的模型进行介绍：从第三方的角度，来看待改进和 扩展的模型；从提升GAN模型框架的训练稳定性和训练效率的角度，使用训练技巧对其基本网络结构进行 改进的模型;从GAN与其他模型结合的角度，综合利用GAN模型与其他模型的优点来完成数据生成任务 的模型；从增强应用实用性的角度，对GAN的基本理论框架进行扩展的模型& 2.1基于距离度量与能量模型的角度