第2章 模式识别的基本理论(2)

17
样本在d维特征空间的一些描述量
(1) 各类样本均值向量mi (2) 样本类内离散度矩阵Si与总类内离散度矩阵Sw
(3) 样本类间离散度矩阵Sb
若考虑
先验概率，则：
18
在一维Y空间的描述量
(1) 各类样本均值
(2) 样本类内离散度 和总类内离散度
(3) 样本类间离散度
Sb m1 m2
~ ~ ~
2
19
Fisher准则的函数形式
Fisher选择投影方向W的原则： y=WTX 类间分布尽可能分开， 类内样本投影尽可能密集的要求 评价投影方向W的函数
上式并不是W的显函数，需化为W的显函数
20
进一步化为W的显函数
分子
k
yyk
确定向量a的问题变为求Jp(a)的极小值的问题。准则函数 Jp(a) 就是感知准则函数
31
感知准则函数方法的思路
1）随意找一个初始向量 a(0) 2）用训练样本集中的每个样本Y来计算aTY’ 若Y’使aTY’<0，则a不适合，需修正。 若对当前经k次叠代修正的广义权向量为a(k)修正
对第k次迭代值，求其梯度向量：
J p (a) J p (a) a [ (a T y)]
yyk
aLeabharlann yyk ( y) 可见：感知准则函数的梯度向量是所有被错分类的规范化 增广样本向量之和。 令迭代向量a沿此负梯度向量方向修正（迭代公式）
a(k 1) a(k) k J p a(k) k y，k 0 a T (k 1) yi a T (k) yi k ( y)T yi >a T (k) yi
线性分类器设计步骤
线性分类器设计任务
在给定样本集XX={X1,X2,…,XN}条件下， 确定线性判别 函数的各项系数,w1,w2,…,wd ，以期对待测样本进行分类时， 能满足相应的准则函数J为最优的要求。
关键问题:
1）确定所需的准则函数J 2）用最优化技术确定准则函数J达到极值的解w*及w0*， 或增广权向量 a*
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
12
线性判别函数的齐次简化
a:称为增广 权向量 (广 义权向量)
称为增广 样本向量 将g(x)中的W向量与w0统一表示成
它使特征空间增加了一维，但保持了样本间的欧氏距离不变， 对于分类效果也与原决策面相同，只是在Y空间中决策面是通过 坐标原点的，这在分析某些问题时具有优点，因此经常用到。
13
3
2.2 非参数判别分类法
贝叶斯决策理论：
需要知道先验概率，类条件概率密度函数等。
类条件概率密度函数的确定是通过确定其函数形式p(x|ωi) 并对其参数估计来完成的。因此，以贝叶斯决策方法为基础 的方法称为参数判别方法 问题：1）类条件概率密度函数形式p(x|ωi)很难确定 2）在样本数不足条件下获取准确的统计分布是困难的
yk yk
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
29
解区与解向量
满足aTY’>0的权向量a称为解向量。 解向量存在无穷多个，解向量组成的区域称为解区
30
分析：怎样确定准则函数
– 在给定一个规范化增广样本集Y1,„,YN的条件下，对于任 何一个增广权向量a ，可计算: aTyi – 显然如果该向量是一个能将此样本集正确分类的增广权 向量，则应有 : aTyi>0, i=1,2,….,N – 而对可导致错分类的增广权向量，则必有若干个yi ,使 aTyi<0。令被错分类的规范化增广样本组成的集用yk表示 ，并定义一准则函数Jp(a) J p (a) (a T y) 0 yy – 对线性可分情况，yk是空集。因此， J p (a) (a T y) 0; yk
3
2.2.1 线性分类器
判别函数是线性判别函数的分类器称为线性分类器 主要工作：用训练样本去估计线性判别函数的参数 1 线性判别函数 线性判别函数的一般形式 g(X)=WTX+w0
w0是一个常数，称 为阈值权
4
两类别线性判别函数的决策规则
若： g(X)>0 ， 则决策：X ∈ ω1 g(X)<0 ， 则决策：X ∈ ω2 g(X)=0 ， 可将其任意类或拒绝
g(x)=c0+c1+x+c2x2
采用映射x→Y: Y=[1 y1 y2]T=[1 x x2]T 则：判别函数g(x)又可表示成: g(x)=ATY, A=[c0 c1 c2]T g(x)被称为广义线性判别函数， a 称为广义权向量
11
– 按照这种原理，任何形式的高次判别函数都可转 化成线性判别函数来处理。 – 这种处理非线性分类器的方法，在支持向量机中 得到充分的研究。 – 产生问题: 维数会增加很多
a(k 1) a(k) J p
并使其满足： T
a (k 1)Y ' a (k)Y ' J p Y ' a (k)Y '
T T T
则，aTY’增加，有可能大于0。 即新的a(k+1)有可对Y’正确分类。 如何求 J p ？
32
求感知准则函数的极小值
--------梯度下降算法
g(X)＝0就是相应的决策面方程，在线性判别 函数条件下它对应d维空间的一个超平面H WTX+w0 = 0
5
向量W的意义
设在该决策平面H上有两个特征向量X1与X2，则 WTX1+w0 = WTX2+w0 = 0 所以： WT(X1-X2)=0 即：W与该平面上任两点组成的向量(X1-X2)正交 W是该超平面的法线向量
9
例如：欲设计这样一个一维样本的分类器，使其性能为： 若X<b或X>a，则X∈ ω1；若a<X<b，则X∈ ω2 （如下图） 1）此时，采用线性判别函数，则无法 将两类样本无错误的分开。 2）若设计非线性判别函数 g(x)＝(x-a)(x-b) 采用决策规则： 若：g(x)>0, 决策：X∈w1 g(x)<0, 决策：X∈w2 则可将所有样本正确分类。
2
非参数判别分类方法两个过程
1）确定使用什么典型的分类决策方法 即决定判别函数类型（如线性判别函数）及优化 准则（用于确定判别函数的参数）。 2）利用训练样本集提供的信息及优化准则（Fisher 准则、感知函数准则、最小错分样本数准则等）确 定这些函数中的参数（具体实现的算法）。 相对最小错误率及最小风险决策（最优分类器）而 言，非参数判别分类方法是次优方法，但在所提准 则下，是最好的。
a
28
样本规范化
在线性可分条件下，广义权向量a应有： 若 Y∈ω 1 ,则：aTY>0 Y∈ω 2 ,则：aTY<0 为了方便起见，令 ：
Y 若Y 1 Y' { -Y 若Y 2
Y’ 称为规范化的增广样本向量。则合适的a能使所有 的Y'满足aTY’>0. 需要解决的问题: 找到满足上式的a
分母
因此
21
最佳W的确定
最佳W值的确定: 求取使JF达极大值时的 w* 可以采用拉格朗日乘子算法解决 设计一拉格朗日函数 或 由于Sw非奇异，两边乘以Sw-1得
又：
22
Fisher准则及最小错误率的贝叶斯决策
使Fisher准则函数JF达极大值的解，也就是按Fisher准则将d 维X空间投影到一维Y空间的最佳投影线。 1）两类是正态分布且具有相同的协方差矩阵Σ时，按最小错 误率的贝叶斯决策： 2）按Fisher准则，Sw=Σ1+ Σ2=2Σ，Sb=(u1-u2)，
但是，非线性判别函数的计算复杂。 解决办法之一：广义线性判别函数
10
2、广义线性判别函数
选择一种映射X→Y，将原样本特征向量X映射成另一向量Y ，从而可以采用线性判别函数的方法。 – 希望采用这种方式将线性判别函数的处理方法扩展至原 本适宜非线性判别函数的领域。 例如，对于二次函数情况，其一般式可表示成：
14
4
Fisher线性判别
是研究线性判别函数中最有影响的方法之一 R.A.Fisher在1936年发表的论文
Fisher线性判别函数基本原理
– 设计线性分类器首先要确定准则函数，然后再利用训练 样本集确定该分类器的参数，以求使所确定的准则达到 最佳。 – 维数问题: 降低维数 – 线性判别函数把d维空间映射到1维空间 – g(X)可看作各样本向量X在向量W上的投影
结论：若两类样本的离散矩阵相近，也就是说两类分布的形 式很相近，按Fisher准则，错分率就应比较小（接近最小错 误率），Fisher准则的合理性可以在这里体现。
23
最佳W0的确定
若维数d足够大，样本数足够多，可估计各类样本 在1维上的方差和均值、先验概率等，然后，按最 小错误率Bayes决策确定阈值W0。
26
在两类别情况下，判别准则是
为简单起见，我们不考虑g(X)＝0的情况。
为了讨论原理方便，这一节在线性可分条件下 讨论问题，并且只谈两类识别问题。