生成学习算法

第四部分 生成学习算法到目前为止，我们主要讨论了建模);|(θx y p ——给定x 下的y 的条件分布——的学习算法。

例如，逻辑回归把);|(θx y p 建模成)()(x g x h T θθ=，这里g 是sigmoid 函数。

在这些讲义中，我们将讨论一种不同形式的学习算法。

考虑一个分类问题，在这个分类问题中，我们想基于一个动物的一些特征，来学习区分是大象（1=y ）还是小狗（0=y ）。

给定一个训练集，一个诸如逻辑回归或感知器的算法（基本上）试图找到一条直线—也就是一个分界线—来分离大象和狗。

然后，为了把一个新动物归类成大象或者小狗，要检查它落在了边界线的哪一侧，相应地做出预测。

这里有一个不同的方法。

首先，看大象，我们可以建立一个大象看起来像什么的模型。

然后，看小狗，我们可以建立一个不同的小狗看起来像什么的模型。

最后，为了把一个新动物分类，我们可以把它和大象模型相比配，而且把它和小狗模型相比配，来看那个新动物是看起来更像我们训练集中的大象，还是更像我们训练集中的小狗。

试图直接学习)|(x y p 的算法（例如逻辑回归）或试图学习从输入空间X 直接映射到标签}1,0{的算法（如感知器算法），被称作判别学习算法(discriminative learing algorithms)。

这里，我们反而将讨论试图建模)|(y x p （和)(y p ）的算法。

这些算法被称作生成学习算法(generative learing algorithms)。

比如，如果y 表示一个样例是一只小狗(0)或者一只大象（1），然后)0|(=y x p 是小狗特征分布的模型，)1|(=y x p 是大象特征分布的模型。

建完模型)(y p （称作类的先验(class priors)）和)|(y x p ，我们的算法然后可以使用贝叶斯公式来推导给定x 时的y 的后验分布：.)()()|()|(x p y p y x p x y p = 这里，分母由)0()0|()1()1|()(==+===y p y x p y p y x p x p 给出（你应该能够核实这是标准的概率性质），因此也可以根据我们学习的)|(y x p 和)(y p 项表示出来。

实际上，如果我们在为了做出预测而计算)|(x y p ，然后我们实际上不需要计算分母，因为).()|( arg )()()|( arg )|( arg max max max y p y x p x p y p y x p x y p yy y ==1 高斯判别分析我们将要看的第一个生成学习算法是高斯判别分析（GDA ）。

在这个模型中，我们将假定)|(y x p 服从多元正态分布。

在继续讨论GDA 模型本身之前，让我们简单的谈一下多元正态分布的特征。

1.1 多元正态分布n 维的多元正态分布，也称作多元高斯分布，是由一个均值向量(mean vector)n R ∈μ和一个协方差矩阵(covariancematrix)n n R ⨯∈∑参数化的，这里，0≥∑是对称的和半正定的。

也写作)",("∑μN ，它的密度由))()(21exp(||)2(1),;(1212/μμπμ-∑--∑=∑-x x x p T n 给出。

在上面的等式中，|"|"∑表示矩阵∑的行列式。

对于一个服从),(∑μN 的随机变量X ，（毫无令人意外）均值由μ给出：.),;(][μμ=∑=⎰xdx x xp X E 一个向量值随机变量Z 的协方差被定义为]])[])([[()(T Z E Z Z E Z E Z Cov --=。

这推广了一个实数值随机变量的方差的符号。

协方差也可以被定义成T T Z E Z E ZZ E Z Cov ))(])([(][)(-=。

（你应该能够向自己证明这两个定义是相等的。

）如果),(~∑μN X ，那么.)(∑=X Cov这里有一些高斯分布的密度看起来像什么的例子：最左边的图形显示了一个零均值（即，2 x 1的0-向量）和协方差矩阵I =∑（2 x 2的单位矩阵）的高斯分布（的密度）。

一个具有零均值和单位协方差（阵）的高斯分布也被称为标准正态分布(standard normal distribution)。

中间的图形显示了一个具有零均值和I 0.6=∑的高斯分布的密度；最右边的图形显示了一个零均值和I 2=∑的高斯分布的密度。

我们看到，随着∑变得更大，高斯分布变得更“分散”，当它变得更小，分布变得更“压紧”的。

让我们再看一些例子。

上面的图形显示了0均值和协方差矩阵分别为⎥⎦⎤⎢⎣⎡=∑⎥⎦⎤⎢⎣⎡=∑⎥⎦⎤⎢⎣⎡=∑1 8.08.0 1;1 5.05.0 1;1 00 1 的高斯分布。

最左边的图形显示了熟悉的标准正态分布，我们看到当我们增加∑中的非对角元素，沿45°直线（由21x x =给出的）密度变得更“压紧”。

当我们看相同三个密度的轮廓时，我们可以更清晰地看到这些：这里是最后一组通过变化∑产生的例子。

上边的图形分别使用了.1 8.08.0 3;1 8.08.0 1;1 5.05.0 1⎥⎦⎤⎢⎣⎡=∑⎥⎦⎤⎢⎣⎡--=∑⎥⎦⎤⎢⎣⎡--=∑ 从最左边和中间的图形，我们看到通过减小协方差矩阵的对角线元素，密度现在再次变得“压紧的”，但是是相反的方向。

最后，当我们改变参数，轮廓一般会形成椭圆形的（最右边的图形显示了这样一个例子）。

作为我们最后一组例子，固定I =∑，通过改变μ，我们也可以在周围移动密度的均值。

上面的图形由I =∑，均值向量分别为⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡=5.11;05.0;01μμμ 所生成的。

1.2 高斯判别分析模型当我们有一个输入特征x 是连续值随机变量的分类问题时，我们然后可以使用高斯判别分析（GDA ）模型,这个模型使用多元正态分布建模)|(y x p 。

模型为：),(~1|),(~0|)(~10∑=∑=μμφN y x N y x Bernoulli y写出这个分布，它是：)).()(21exp(||)2(1)1|())()(21exp(||)2(1)0|()1()(1112120102121μμπμμπφφφ-∑--∑==-∑--∑==-=---x x y x p x x y x p y p T n T n y 这里，我们模型的参数是10,,μμφ和∑。

（注意，尽管模型中有两个不同的均值10μμ和,但这个模型通常被使用时只使用一个协方差矩阵∑。

）数据的log-似然由 ∏∏==∑=∑=m i i i i mi i i y p y x p y x p l 1)(10)()(110)()();(),,;|(log ),,,;,(log )(φμμμμφθ给出。

通过关于参数来最大化l ，我们发现参数的最大似然估计为：∑∑∑∑∑∑======--=∑========m i T y i y i m i i m i i i m i i m i i i m i i i i x x m y x y y x y y m 1)()(1)(1)()(11)(1)()(01)(.)()(1}1{1}1{1}0{1}0{1}1{11)()(μμμμφ形象地，算法在做什么如下所示：图形中显示的是训练集，和两个已经拟合了两类数据的高斯分布的轮廓。

注意，两个高斯分布有相同形状和朝向的轮廓，因为他们共有一个协方差矩阵∑，但是他们有不同的均值10μμ和。

图形中也显示了一条给出决策边界的直线，在直线上5.0)|1(==x y p 。

在边界的一侧，我们预测1=y 是最有可能的结果，在另一侧，我们预测0=y （是最有可能的结果）。

1.3 讨论：GDA 和逻辑回归GDA 模型同逻辑回归有一个有趣的关系。

如果我们把),,,;|1(10∑=μμφx y p 看作x 的函数，我们将会发现它可以被表示成)exp(11),,,;|1(10x x y p T θμμφ-+=∑= 这样的形式，在这里θ是某个合适的10,,,μμφ∑的函数。

这恰好是逻辑回归——一个判别算法——用来建模)|1(x y p =的形式。

我们什么时候更喜欢哪个模型呢？一般而言，当训练相同的数据集时，GDA 和逻辑回归将给出不同的决策边界。

哪个更好？我们刚刚表明如果)|(y x p 服从（共有∑的）多元高斯分布，然后)|(x y p 必然是一个逻辑函数。

然而，逆命题是不对的；也就是说，)|(x y p 是一个逻辑函数不一定意味着)|(y x p 是多元高斯分布。

这表明，相比逻辑回归，GDA 关于数据做了更强的建模假设。

事实证明，当这些建模假设是正确的，GDA 将会更好的拟合数据，是一个更好的模型。

明确地说，当)|(y x p 确实是（共有∑的）高斯分布，然后GDA 是渐进有效(asymptotically efficient)的。

非正式地，这意味着在非常大的训练集中（大的m ），没有算法严格地比GDA 更好（就评估)|(x y p 的精确性而言）。

特别是，可以证明，在这个背景下，GDA 是一个比逻辑回归更好的算法；更一般地，即使对于小规模的训练集，我们一般认为GDA 会更好一些。

相比之下，通过做出明显较弱的假设，逻辑回归对不正确的建模假设也更是鲁棒和不敏感。

有很多不同的假设集可以致使)|(x y p 为一个逻辑函数的形式。

比如说，如果),(~1|),(~0|10λλPoisson y x Poisson y x ==然后)|(x y p 将是逻辑函数。

逻辑回归对于像这样的Poisson 数据也工作的不错。

但是如果我们使用GDA 在这样的数据上——在这样非高斯分布的数据上拟合高斯分布——那么结果将是难以预测的，GDA 可能（或可能不）工作的好。

总结：GDA 做了更强的建模假设，于是当建模假设是正确的或近似正确时，它是更加数据有效的（也就是需要更少的数据就可以学习“好”）。

逻辑回归做了弱一些的假设，因此对于建模假设中的偏差是明显更加鲁棒的。

具体地说，当数据确实不是高斯分布时，然后在大的数据集下，逻辑回归几乎总是比逻辑回归做的好。

由于这个原因，在实践中逻辑回归比GDA 使用的更多。

（尽管关于判别vs 生成模型的一些相关的考虑也适用于我们接下来要讨论的朴素贝叶斯算法，但是朴素贝叶斯算法仍被认为是一个好的，当然也是一个很受欢迎的，分类算法。

）2 朴素贝叶斯算法在GDA 中，特征向量x 是连续的实值向量。

现在让我们讨论一种不同的学习算法，在这个算法中，s x i '是离散值。

对于我们的激励的例子，考虑使用机器学习建立一个电子邮件的垃圾邮件过滤器。

这里，我们希望根据它们是未经请求的商业（垃圾）电子邮件还是非垃圾邮件进行分类。