5第五章 线性分类器(几何分类器)

3) 三个以上特征
每类模式有三个以上特征，判别边界为一超平面。 对于 n 维空间，用矢量 X ( x1 , x2 ,, xn )T 来表示模式， 一般的线性判别函数形式为：
d ( X ) w1x1 w2 x2 wn xn wn1 W X wn1
T 0
式中 W0 (w1, w2 ,
XW 0
其中
W
为权矢量 W (w , w ,
1 2
, wn )T
，X为各样品特征值的增1矩阵。
40
内容纲要
研究目的和意义
判别函数可写成一般方程形式
XW 0
其中
W
为权矢量 W (w , w ,
1 2
, wn )T
，X为各样品特征值的增1矩阵。
训练过程就是对判断好的样品集求解权矢量W，即 根据已知类别的样品求出权系数，形成判别界线（ 面），再对未知类别的样品求出其类别。
d ( X ) w1x1 w2 x2 w3 0
并已知训练集 对它们来说，
d(X ) 0
且 X A , X B 1
X C , X D 2 则对它们来说，d ( X ) 0
40
内容纲要 1研究目的和意义 ．理论基础 对于两类问题，设有判别函数
判别函数可写成一般方程形式
Classifiers based on Cost Function Optimization! 请思考：以下代表性线性分类器基于什么最佳准则？
38
内容纲要 第五章 几何分类器专题
研究目的和意义
5.4 感知器算法
39
内容纲要 1研究目的和意义 ．理论基础
1．理论基础
既然判别函数分类器的训练过程就是确定该函数的权集， 为叙述方便起见，从判别函数的一般形式着手。 对于两类问题，设有判别函数
41
内容纲要 1研究目的和意义 ．理论基础
1）将其作为典型的优化问题来讨论，因此需要采用一个适当 的代价函数和一个优化算法。 2）感知器代价（perceptron cost）：
感知器代价函数？？？？？？？？？？
40
内容纲要
研究目的和意义
以使错分类样本到分界面 距离之和最小为原则。
一般求解方法—梯度下降法
研究目的和意义
5.1 几何分类器的基本概念
03
内容纲要
研究目的和意义
一个模式通过某种变换映射成一个特征向量后， 该特征向量可以理解为特征空间的一个点。
O { f1, f 2 ,, f n }
06
内容纲要
研究目的和意义
在特征空间中，属于一个类的点集，在某种程 度上总是与属于另一个类的点集相分离，各个类之 间是确定可分的，
5.2 线性判别函数
16
内容纲要
研究目的和意义
判别函数分为线性判别函数和非线性判别函数。 最简单的判别函数是线性判别函数，它是由 所有特征量的线性组合构成的。
17
内容纲要
研究目的和意义
1. 两类别情况
两类别分类器框图如图所示，根据计算结果 的符号将X分类。
18
内容纲要
研究目的和意义
1) 两个特征
2
在各类之间要有一个边界，若能知道各类之 间的边界，那么就知道待测样品属于哪一类了。 所以，要进一步知道如何去找这个分界线。
09
内容纲要
研究目的和意义
找分界线的方法就是几何分类法！ 几何分类法的结果能提供一个确定的分界线方程， 这个分界线方程叫做判别函数！ 因此判别函数描述了各类之间的分界线是什么形式。
其中η (k)称为学习率，或称步长。
详细可以参考第二版书本第331页附录A.1梯度法，亦可参考希腊版参考书。
42
内容纲要 1研究目的和意义 ．理论基础
1）将其作为典型的优化问题来讨论，因此需要采用一个适当 的代价函数和一个优化算法。 2）感知器代价（perceptron cost）：
准则函数以使错分类样本到分界面距离之和最小 为原则。
内容纲要
研究目的和意义
第五章 几何分类器专题
0011 0010 1010 1101 0001 0100 1011
4
来自百度文库
1
2
01
内容纲要 第五章 几何分类器专题
第五章 内容纲要 研究目的和意义
5.1 几何分类器的基本概念
5.2 线性判别函数
5.3 线性判别函数的实现
5.4 感知器算法
5.5 最小平方误差算法(LMSE) 5.6 Fisher分类 5.7 非线性判别函数
02
内容纲要
研究目的和意义
还记得吗？
第二章到第四章在概率密度和概率函数的基础 上设计分类器。
04
内容纲要
研究目的和意义
直接使用Bayes决策首先需要知道有关样品总体 分布的知识，包括各类先验概率 P(1 ) 、
类条件概率密度函数和样品的后验概率 P(1 | X ) ， 并以此作为产生判别函数的必要依据，设计出相应 的判别函数与决策面，这种方法称为参数判别方法。
40
内容纲要
研究目的和意义
判别函数可写成一般方程形式
XW 0
其中
W
为权矢量 W (w , w ,
1 2
, wn )T
，X为各样品特征值的增1矩阵。
训练过程就是对判断好的样品集求解权矢量W，即根据已知 类别的样品求出权系数，形成判别界线（面），再对未知类 别的样品求出其类别。 这是一个线性联立不等式的求解问题， 只对线性可分问题方程才有解。 对这样的问题来说，如果有解，其解也不一定是单值的， 因而就有一个按不同条件取得最优解的问题， 因此出现了多种不同的算法，这里介绍梯度法。
04
内容纲要
研究目的和意义
它的前提是对特征空间中的各类样品的分布 已很清楚，一旦待测试分类样品的特征向量X已 知，就可以确定X对各类的后验概率，也就可按 相应的准则计算与分类。 所以判别函数等的确定取决于样品统计分布 的有关知识。 因此参数分类判别方法一般只能用1）在有统计 知识的场合，或2）能利用训练样品估计出参数的 场合。
W0*
35
内容纲要
研究目的和意义
线性分类器设计任务是在给定样品集条件下， 确定线性判别函数的各项系数， 对待测样品进行分类时，能满足相应的准则 函数J为最优。
36
内容纲要
研究目的和意义
在计算机上确定各权值时采用的是“训练” 或“学习”的方法，就是挑选一批已分类的样品， 把这批样品输入到计算机的“训练”程度中去。 通过多次迭代后，准则函数J达到极值， 得到正确的线性判别函数。
41
内容纲要
研究目的和意义
一般求解方法—梯度下降法
• 求解不等式组采用的最优化的方法：
有多个判别函数的值大于0，第一种情况下只有一个判
别函数的值大于0。
30
内容纲要
研究目的和意义
31
内容纲要 若可用以上几种情况中的任一种线性判别函数来进行分类， 则这些模式类称为线性可分的。总结如表所示。 研究目的和意义
32
内容纲要 第五章 几何分类器专题
研究目的和意义
5.3 线性判别函数的实现
07
内容纲要
研究目的和意义
假定样品X有两个特征，即
X ( x1 , x2 )T ,
每一个样品都对应二维空间中的一个点。 共分两类图像：
1
2
每一点属于一类图像。 那么待测X属于哪一类？
08
内容纲要
研究目的和意义
那么待测X属于哪一类？
对这个问题就要看它最接近哪一类，若最接近于
1
则为 1 类，若最接近于 2 则为 类。
28
内容纲要 没有一个类别可以用一个判别平面与其他类分开，如图所示， 研究目的和意义 每一个边界只能分割两类。
29
内容纲要
研究目的和意义
3) 第三种情况
存在M个判别函数，判别函数形式为
d i ( X ) WiT X d
把X代入M个判别函数中，判别函数最大的那个类就是 X所属类别。与第一种情况的区别在于此种情况下可以
d ( X ) w1x1 w2 x2 w3 0
19
内容纲要
研究目的和意义
d ( X ) w1x1 w2 x2 w3 0
20
内容纲要
研究目的和意义
21
内容纲要
研究目的和意义
2) 三个特征
每类模式有三个特征，样品是三维的，判别边界为一平面。
22
内容纲要
研究目的和意义
10
内容纲要
研究目的和意义
几何分类法按照分界函数的形式可以分为
线性判别函数 和 非线性判别函数 两大类。
11
1.若已知类的所有特征向量都可以用线性分类器正确 研究目的和意义 分类，我们将研究其相应的线性函数的计算方法。
内容纲要
线性可分情况
12
内容纲要 2.对于不能将所有向量正确分类的线性分类器，我们 研究目的和意义 将通过采用相应的优化规则来寻找设计最优线性分类 器的方法。
33
内容纲要
研究目的和意义
前面介绍了判别函数的形式，对于判别函数来 说，应该确定两个内容，一个是方程的形式，另一 个是方程的系数。
对于线性判别函数来说，方程的形式固定为线 性，维数和形式已定，则对判别函数的设计就是确 定函数的各系数，即线性方程的各个权值。
34
内容纲要
研究目的和意义
下面将讨论如何确定线性判别函数的系数。 1）首先按需要确定一准则函数J，如Fisher准 则、感知器算法、LMSE算法。 2）确定准则函数J达到极值时 W * 的具体数值； 3）确定判别函数，完成分类器设计。 及
•
求解不等式组采用的最优化的方法：
1. 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 2. 采用最优化方法求解标量函数J(a)的极小值。
•
最优化方法采用最多的是梯度下降法，设定初始 权值矢量a(1)，然后沿梯度的负方向迭代计算：
a k 1 a k k J a k
而且有些较为简单的非线性分类器对某些模式识别 问题的解决，既简单，效果又好。
14
内容纲要
研究目的和意义
本章将介绍线性判别函数和非线性判别函数，并介 绍它们的实现方法，其中实现线性判别函数分类的 方法有感知器算法、LMSE分类算法和Fisher分 类。
15
内容纲要 第五章 几何分类器专题
研究目的和意义
线性不可分情况
13
内容纲要
研究目的和意义
线性分类器由于涉及的数学方法较为简单，在计 算机上容易实现，故在模式识别中被广泛应用。 但是这并不意味着，在模式识别中只有线性分类器 就足够了。
11
内容纲要
研究目的和意义
在模式识别的许多问题中，由于线性分类器固有的 局限性，它并不能提供理想的识别效果，必须求助 于非线性分类器。
05
内容纲要
研究目的和意义
真的不容易！！！ 多数情况下，准确地估计概率密度函数并不 是一件容易的事，在特征空间维数高和样本较少的 情况下尤其如此。 怎样才能更简单，更具可计算性呢？ 在不涉及训练数据隐含的分布时，我们想到 更直观的几何分类器（线性分类器和非线性分类）！
05
内容纲要 第五章 几何分类器专题
因此如果能够找到一个分离函数（线性或非线 性函数），把不同类的点集分开，则分类任务就解 决了。
06
内容纲要
研究目的和意义
几何分类器不依赖于条件概率密度的知识， 可以理解为通过几何的方法，把特征空间分解为 对应于不同类型的子空间，而且呈线性的分离函数 将使计算简化。
回答了之前的问题： “怎样才能更简单，更具可计算性呢？”
内容纲要
27
内容纲要
研究目的和意义
2) 第二种情况
每两个类别之间可用判别平面分开，有 个判别函数，判别函数形式为
M ( M 1) / 2
d ij ( X ) WijT X 且
d ij ( X ) d ji ( X )
若对于 j i ，有 d ij ( X ) 0 ，则X属于 i 类。
25
内容纲要
研究目的和意义
1) 第一种情况
每一个类别可用单个判别平面分割，因此M类有M个判别函数， 具有下面的性质
0 X i d i ( X ) Wi ( x ) 0 其他
T
i 1,2, , M
26
如图所示，有3个模式类，每一类别可用单个判别边界与 研究目的和意义 其余的类别划分开。
内容纲要
对于多类别问题，假设有M类模式 1 , 2 , , M 。对于 维空间中的M个类别，就要给出M个判别函数：
d2 (X )
d1 ( X )
…
dM (X )
。分类器基本形式如图所示
若X属于第 i 类，则有
di ( X ) d j ( X )
j 1,2, , M ; i j
, wn )T
称为权矢量或参数矢量。
23
内容纲要
研究目的和意义
在两类别情况下，判别函数 d ( X ) 有下述性质，即
0 d(X ) W X 0
T
X 1 X 2
满足
d ( X ) W T X 0 的点为两类的判别边界。
24
2. 多类别情况 研究目的和意义
d