生成式对抗网络GAN PPT课件

生成器要近似地最小化Wasserstein距离，可 以最小化 L，由于Wasserstein距离的优良性 质，我们不需要担心生成器梯度消失的问题。 再考虑到 L 的第一项与生成器无关，就得到 了WGAN的两个loss
生成器损失函数： 判别器损失函数：
可以指示训练进程，其数值越小，表示真实分 布与生成分布的Wasserstein距离越小，GAN训 练得越好。
直白的想法是，根据训练集估计样本分布 p(x)。之后对p(x)进行采样，可以生成“和训 练集类似”的新样本。
对于低维样本，可以使用简单的，只有少量 参数的概率模型（例如高斯）拟合p(x)，但 高维样本（例如图像）就不好办了。
RBM(Restricted Boltzmann Machine)： 构造一个无向图，图的能量和节点取值 的概率有指数关系。利用训练集设定计图算复杂 中节点和边的系数，用来表述样本中单 个元素和相连元素的关系。
构造一个含参数 w、最后一层不是非线性激 活层的判别器网络，在限制 w 不超过某个范 围的条件下，使得
尽可能取到最大，此时 L 就会近似真实分布 与生成分布之间的Wasserstein距离（忽略常 数倍数 K）
原始GAN的判别器做的是真假二分类任务， 所以最后一层是sigmoid，但是现在WGAN 中的判别器 做的是近似拟合Wasserstein 距离，属于回归任务，所以要把最后一层 的sigmoid拿掉
DBN(Deep Belief Networks)：用单 个RBM和若干有 向层构成网络。
对抗网络：使用两个网络互相竞争，称之为 对抗式(adversarial)结构
随机 向量
随机 取样
生成器G：通过一个参数化概率生 成模型(通常用深度神经网络进行 参数化)进行概率分布的逆变换采 样，得到一个生成的概率分布。
衡量两个分部 的相似程度
2015年的DCGAN把类似的理念应用到人脸图
像上。通过对编码（输入的随机向量）进行 代数运算，控制生成人脸图像的Fra Baidu bibliotek性。
T S
Wasserstein距离又叫Earth-Mover（EM）距离， 定义如下：
Ⅱ反对直“(过于观沙Pr来每,上 土P说一g可”) ，个是以挪Ⅱ可把到Pr(能理P和Pr的,g解PP“联gg为位)组合中在置合分每”γ起布一这所来γ个个而需的分“言的所布路，“有的径可消可边规以耗能缘划从”的分”，中联布下而采合都把样W分是得(P布PrP到r,r的这和P一集堆g个)P合g。， 真就实是样“本最x优和路一径个规生划成”样下本的y“，最并小算消出耗这”对，样所本以的才距叫离 ||x yE|a|r，th所-M以ov可er以（计推算土该机联）合距分离布。γ下样本对距离的期望值 。 在所有可能的联合分布中能够对这个期望值取到的下界 ， 就W定as义se为rstWeainss距er离ste相in比距K离L散。度、JS散度的优越性在于，即 便两个分布没有重叠，Wasserstein距离仍然能够反映它 们的远近。
判别器D： 给定样本， 判断(通常 也是深度卷 积神经网络) 这个样本来 自真实数据 还是伪造数 据。
这个Loss其实就是交叉熵。对于判别器D，它的任务 是最小化 -L(G,D) ，即
如果采用零和博弈，生成器G的目标是最小化L(G,D)， 而实际操作发现零和博弈训练效果并不好，G的目标一 般采用最小化
或 一般来说，更新D是，G是固定的；更新G时，D是固 定的。
在原始GAN的（近似）最优判别器下，第一 种生成器loss面临梯度消失问题，第二种生 成器loss面临优化目标荒谬、梯度不稳定、 对多样性与准确性惩罚不平衡导致缺乏多样 性的问题。
原始GAN问题的根源可以归结为两点，一是 等价优化的距离衡量（JS散度、KL散度）不 合理，二是生成器随机初始化后的生成分布 很难与真实分布有不可忽略的重叠。
非监督学习：训练集没有标注，学习的结果 是数据的隐含规律，表现形式可以使数据按 相似性分组、数据的分布、数据分量间的关 联规则，最主要的是探讨非监督学习中的聚 类问题。
GAN 是Ian Goodfellow在2014年的经典之作， 在许多地方作为非监督深度学习的代表作给 予推广。 GAN解决了非监督学习中的著名问 题：给定一批样本，训练一个系统，能够生 成(generate)类似的新样本。
Wasserstein距离定义中的没法直接求解，用 了一个已有的定理把它变换为如下形式：
Lipschitz连续：对于连续函数f，存在常数K大 于等于0，使得：对于定义域内任意x1，x2满 足：
把 f 用一个带参数 w 的神经网络来表示，并
对w进行限制
，此时所有偏导
数也不会超过某个范围使得f Lipschitz连续。