生成式对抗网络GAN

生成器要近似地最小化Wasserstein距离，可 以最小化 L，由于Wasserstein距离的优良性 质，我们不需要担心生成器梯度消失的问题。 再考虑到 L 的第一项与生成器无关，就得到 了WGAN的两个loss 生成器损失函数： 判别器损失函数：
可以指示训练进程，其数值越小，表示真实分 布与生成分布的Wasserstein距离越小，GAN训 练得越好。
Wasserstein距离定义中的没法直接求解，用 了一个已有的定理把它变换为如下形式：
Lipschitz连续：对于连续函数f，存在常数K大 于等于0，使得：对于定义域内任意x1，x2满 足： 把 f 用一个带参数 w 的神经网络来表示，并 对w进行限制 ，此时所有偏导 数也不会超过某个范围使得f Lipschitz连续。
构造一个含参数 w、最后一层不是非线性激 活层的判别器网络，在限制 w 不超过某个范 围的条件下，使得 尽可能取到最大，此时 L 就会近似真实分布 与生成分布之间的Wasserstein距离（忽略常 数倍数 K）
原始GAN的判别器做的是真假二分类任务， 所以最后一层是sigmoid，但是现在WGAN 中的判别器 做的是近似拟合Wasserstein 距离，属于回归任务，所以要把最后一层 的sigmoid拿掉
对抗网络：使用两个网络互相竞争，称之为 对抗式(adversarial)结构
生成器G：通过一个参数化概率生 成模型(通常用深度神经网络进行 参数化)进行概率分布的逆变换采 样，得到一个生成的概率分布。
随机 向量
随机 取样
判别器D： 给定样本， 判断(通常 也是深度卷 积神经网络) 这个样本来 自真实数据 还是伪造数 据。
衡量两个分部 的相似程度
2015年的DCGAN把类似的理念应用到人脸图 像上。通过对编码（输入的随机向量）进行 代数运算，控制生成人脸图像的属性。
T
S
Wasserstein距离又叫Earth-Mover（EM）距离， 定义如下：
Ⅱ(Pr, Pg) 是 Pr 和 Pg 组合起来的所有可能的联合分布的集合， 直观上可以把理解为在 γ 这个“路径规划”下把 Pr 这堆 反过来说，Ⅱ (Pr, Pg) 中每一个分布的边缘分布都是 Pr 和 Pg。 “沙土”挪到 Pg “位置”所需的“消耗”，而 W(Pr, Pg) 对于每一个可能的联合分布 γ而言，可以从中采样得到一个 就是“最优路径规划”下的“最小消耗”，所以才叫 真实样本 x 和一个生成样本 y，并算出这对样本的距离 ||x Earth-Mover （推土机）距离。 y|| ，所以可以计算该联合分布 γ下样本对距离的期望值 。 在所有可能的联合分布中能够对这个期望值取到的下界 ， 就定义为 Wasserstein 距离。 Wasserstein 距离相比 KL散度、JS散度的优越性在于，即 便两个分布没有重叠，Wasserstein距离仍然能够反映它 们的远近。
这个Loss其实就是交叉熵。对于判别器D，它的任务 是最小化 -L(G,D) ，即 如果采用零和博弈，生成器G的目标是最小化L(G,D)， 而实际操作发现零和博弈训练效果并不好，G的目标一 般采用最小化 或
一般来说，更新D是，G是固定的；更新G时，D是固 定的。
ຫໍສະໝຸດ Baidu
在原始GAN的（近似）最优判别器下，第一 种生成器loss面临梯度消失问题，第二种生 成器loss面临优化目标荒谬、梯度不稳定、 对多样性与准确性惩罚不平衡导致缺乏多样 性的问题。 原始GAN问题的根源可以归结为两点，一是 等价优化的距离衡量（JS散度、KL散度）不 合理，二是生成器随机初始化后的生成分布 很难与真实分布有不可忽略的重叠。
非监督学习：训练集没有标注，学习的结果 是数据的隐含规律，表现形式可以使数据按 相似性分组、数据的分布、数据分量间的关 联规则，最主要的是探讨非监督学习中的聚 类问题。 GAN 是Ian Goodfellow在2014年的经典之作， 在许多地方作为非监督深度学习的代表作给 予推广。 GAN解决了非监督学习中的著名问 题：给定一批样本，训练一个系统，能够生 成(generate)类似的新样本。
直白的想法是，根据训练集估计样本分布 p(x)。之后对p(x)进行采样，可以生成“和训 练集类似”的新样本。 对于低维样本，可以使用简单的，只有少量 参数的概率模型（例如高斯）拟合p(x)，但 高维样本（例如图像）就不好办了。
RBM(Restricted Boltzmann Machine)： DBN(Deep Belief 构造一个无向图，图的能量和节点取值 Networks)：用单 计算复杂 的概率有指数关系。利用训练集设定图 个RBM和若干有 中节点和边的系数，用来表述样本中单 向层构成网络。 个元素和相连元素的关系。