高级数字图像处理：模式识别第4章

4 分类的线性模型在前面的章节中，我们研究了一类具有非常简单的解析和计算性能的回归模型，现在我们将讨论一个类似的分类模型来解决分类问题。

我们知道分类的目的是：取定一个输入向量x ，并把它指定到K 个离散类k C 中，这里K k ,,1 =。

在最常见的情况下，这些类是彼此不相交的，所以每一个输入向量被分配到一个且只一个类中。

因此可以把输入空间分割成许多决策区域，它们的边界被称为决策边界或决策表面。

在本章中，我们讨论分类的线性模型，这样意味着决策表面是输入向量x 的线性函数，因此，分类的线性模型是由D 维空间中的D-1维超平面确定的。

类可被线性决策表面精确分配的数据集称作线性可分的。

在回归问题中，目标变量t 就是实数组成的向量，而这些实数的值也是我们想要预测的。

在分类问题中，有很多种利用目标值来代表类标签的方法。

以概率模型为例，对于2类问题，最简单的方法是用二进制表示，这种方法是使用一个单一的目标变量{}1,0∈t ，当1t =的时候，它代表类1C ，当0t =时，它代表类2C 。

我们可以把t 的值解释为类是1C 的概率，且概率值只取极端值0和1。

对于2>K 的类，我们可以很方便地使用取K 中之一的编码机制进行分类，其中t 是一个长度为K 的向量，因此如果这个类是j C ，那么t 中除j t 外的所有元素都是0，j t 值取1。

例如，假设我们有K =5个类，对于类2C 中的一个模式，我们可以得出目标向量：()T 00,0,1,0,t = (4.1)同样地，我们也可以把k t 的值解释为类是k C 的概率。

对于非概率模型，目标变量表示的替代选择有时被证明是方便的。

在第一章中，我们知道了有三种不同方法可以求解分类问题。

最简单的方法是构建一个判别式函数，它直接把每一个向量x 分配到特定的类中。

而一个更有效的方法就是，在推理阶段建立条件概率分布()|k p C x 的模型，然后再用这个分布来做出最佳决策。

就像在1.5.4节讨论的那样，通过把推理和决策分开，我们受益颇多。

这里我们有两种不同的方法来确定条件概率()|k p C x ，一种是直接对它们建模，例如用参数模型来表示它们，然后用训练集来最优化这些参数。

另一种选择是，采取一种衍生的方法，对()|k p C x 给出的类条件密度进行建模，连同类的先验概率()k C p ，然后我们利用Bayes 理论来计算后验概率：()()()()||k k k p C p C p C p =x x x (4.2) 本章中，我们将讨论有关这三种方法的例子。

在第三章讨论的线性回归模型中，模型预测函数()w x ,y 是由参数w 的线性函数确定的。

在最简单的情况下，这个模型对输入变量也是线性的，所以可取()T 0y w =+x w x 的形式 ，这样y 是一个实数。

然而，对于分类问题，我们想要预测离散类标签，或者更一般的是在（0，1）区间内的后验概率。

为达到这个目标，我们需要研究该模型的推广形式，即用非线性函数()⋅f 来替代参数w 的线性函数，函数变为：()()T 0y f w =+x w x （4.3）在机器学习中，()⋅f 被称为是激活函数，而它的逆在统计学中被称为连接函数。

这些决策表面对应于()y =x 常量 ，所以T 0=w +w x 常量，因此决策表面是x 的线性函数，尽管函数()⋅f 是非线性的。

正是由于这个原因，(4.3)式描述的模型称为广义线性模型（McCullagh 和Nelder ，1989）。

然而，注意到与用于回归的模型相比，由于使用了非线性函数()⋅f ，它们的参数已经不再是线性的了。

这将导致比线性回归模型更复杂的解析和计算。

然而，这些模型仍然比我们在以后章节中学习的非线性模型要相对简单些。

如果像我们在第3章中讨论的回归模型一样，首先用基函数()x φ的向量对输入变量做一个固定的非线性变换，那么本章中讨论的算法将同样适用。

开始时，我们考虑在原始输入空间x 中直接分类，而在4.3节中，我们将会发现，选择一种与基函数有关的记法来与后续章节保持一致是很方便的。

4.1 判别式函数判别式是这样的一个函数：选定一个输入向量x ，并把它指定为K 个类中的一个，记为k C 。

本章中，我们仅关注线性判别式，即它们的决策表面是超平面。

为简化讨论，我们先考虑两个类的情况，然后再扩展到2K >个类的情况。

4.1.1 两个类一个线性判别式函数的最简单表示，是通过取输入向量的一个线性函数得到的，因此 ()T 0y w =+x w x （4.4）上式中w 被称为权值向量，0w 是一个偏差（不要与统计学中的偏差混淆），负的偏差是有时被称为阈值。

如果 ()0x >=y ，那么输入的向量x 被分配给类1C ，否则就被指定为类2C 。

因此，相应的决策边界由关系()0x =y 确定，关系()0x =y 对应D 维输入空间中的一个1D -维超平面。

现在考虑决策平面上的两个点A x 和B x 。

由于()()A B x x 0y y ==，我们有()T A B w x x 0-=，因此向量w 与决策平面上的每一个向量都正交，所以w 决定了决策平面的方向。

类似的，如果x 是决策平面上的一点，则()0x =y ，所以从原点到决策平面的距离是由下式计算出：T 0w =-w x w w(4.5) 因此，我们可以得出偏差参数0w 决定了这个决策平面的位置，图4.1显示了这些性质，其中2D =。

图4.1 二维空间中线性判别式函数的几何特性图示。

图中，决策表面用红线表示，它与w 垂直，它从原点的位移是由偏差参数0w 决定的。

同时，一个点x 到决策平面的垂直距离是由()w x y 决定的。

此外，我们注意到()x y 的值给出了点x 到决策平面的垂直距离r 的广义测度。

鉴于此，考虑任意一点x ，且设⊥x 为x 在决策平面上的正交投影，得到：r ⊥=+w x x w(4.6) 等式两边同时乘以T w ，再加上0w ，由式子()T 0y w =+x w x 和()T 00y w ⊥⊥=+=x w x ，我们得到：()y r =x w(4.7) 这个结果在图4.1中给出说明。

与第3章学习的线性回归模型一样，有时使用一种更紧凑的记法将显得更方便，它引入了一种附加的哑输入值10=x ，然后定义 0(,)w =w w 和 0(,)x =x x ，所以有： () T y =x w x （4.8）在这种情况下，决策表面是通过扩展的1D +维输入空间原点的D 维超平面。

4.1.2 多类现在将研究范围扩展到2K >个类的线性判别式。

我们可以视图对通过组合若干2-类判别式函数来构建一个K -类的判别式。

但是，这会导致一些严重的困难（Duda 和Hart ，1973），正如我们将要讨论到的。

现在考虑使用1K -个分类器，其中每一个分类器都包括一个2-类问题，即把属于特定类k C 的点与不在此类中的点分离开来，这种分类器被称作为一对余分类器。

图4.2中左图显示了涉及到三个类的一个例子，这种方法导致会输入空间的区域分类不明确。

图4.2 我们试图从一组2-类判别式中构造出一个K -类判别式，但这会导致分类不明确的区域，如图中绿色区域所示。

左边的例子是用两个判别式函数区分出哪些是类k C 的点，哪些不是类k C 的点。

右边的例子使用了三个判别式函数，每一个都能分离出一对类：k C 和j C 。

一个替代性方案是引入()21-K K 个二进制判别式函数，每一个都对应所有可能的类对，这就是通常所说的一对一分类器。

每个点根据判别式函数中“少数服从多数”的原则进行分类。

但是，这也会遇到不明确区域的问题，就像图4.2中右边图所显示的那样。

我们可以通过考虑一个包含有K 个线性函数的K -类判别式来避开这些困难，这里K 个线性函数的形式如下：()T0k k k y w =+x w x (4.9)然后对点x 进行分类：所有的k j ≠时，如果()()x x j k y y >，则x 属于类k C 。

因此， 类k C 和类j C 间的决策边界由()()x x j k y y =给出，且对应于由式 ()()T000k j k j w w -+-=w w x (4.10) 定义的一个1D -维超平面。

这与4.1.1节中讨论的2-类的决策边界有相同的形式，因此类似的几何性质也同样适用。

此类判别式的决策区域通常是单连通的，而且也是凸的。

鉴于此，考虑决策区域k R 内的两个点A x 和B x ，如图4.3所示。

在10≤≤λ 的情况下，A x 和B x 连线上的任意一点∧x 都能用下面的形式表示： ()A B1λλ=+-x x x (4.11) 其中01λ≤≤。

从判别式函数的线性性质可得如下式子：()()()A B()1k k k y y y λλ=+-x x x (4.12) 因为A x 和B x 都在k R 内，所以满足：对所有的k j ≠，()()A A k j y y >x x 和()()B B k j y y >x x 。

因此 ()()k j y y >x x ，故 x 也在k R 内。

由上可知kR 是单连通的，且是凸的。

图4.3 多类线性判别式的决策区域，红线代表的是决策边界。

如果两个点A x 和B x 都在相同的决策区域k R 内，那么这两点连线上的任意一点 x 也在kR 内，因此这个区域必定是单连通的，也是凸的。

注意，对于2类我们可以采用这里讨论的形式，即基于两个判别式函数()1y x 和()2y x ，也可以使用4.1.1讨论的比较简单但等价的形式，即基于单个判别式函数()y x 。

现在，我们探讨三种理解线性判别式方程的方法，即基于最小二乘，Fisher 线性判别式和感知算法的方法。

4.1.3 分类的最小二乘法在第三章中，我们讨论过参数的线性函数的模型，并且我们看到误差函数平方和的最小值会产生参数值的一个简单闭形式解。

因此，吸引我们考虑的是：对分类问题能否运用相同的形式。

考虑具有K 个类的一般分类问题，它对目标向量t 采用一个K 中取1的二进制编码机制。

在这种环境中使用最小二乘的一个理由是，它逼近了给定输入向量的目标值的条件期望E[|]t x 。

对于二进制编码方案，这个条件期望是由类的后验概率向量决定的。

但遗憾的是，这些概率逼近地相当差，事实上逼近值可能取到区间（0,1）之外的值，这是因为线性模型有限的灵活性，这些我们很快就将看到。

每一个类k C 都由其本身的线性模型描述，所以：T0()k k k y w =+x w x (4.13)其中1,,k K = 。

用向量的记法，我们可以很方便地把它们组合在一起，因此T ()y =x Wx (4.14)这里是一个矩阵，它的第k 列由1D +维向量 T T 0w ,k k k w =w （）组成，是带有哑输入10=x 的相应的增广输入矩阵T T 1x （，），这些表达已在3.1节详细讨论过。