模式识别第2章 模式识别的基本理论(2)

yk
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束；否则，转4） 或 ||a(k)-a(k-1)||<=θ, θ是预先设定的一个小的阈值 （线性可分， θ =0） ( y) a(k 1) a(k) k J p 4）计算：ρ k, J p (a) y y 令k=k+1 5）转2）
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
否则，按如下方法确定： 1、 2、 3、 m m ln[ P( ) / P( )]
~ ~
w0
1
2
2
1
2
N1 N 2 2
（P(W1)、P(W2) 已知时）
24
分类规则
25
5 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量
结论：若两类样本的离散矩阵相近，也就是说两类分布的形 式很相近，按Fisher准则，错分率就应比较小（接近最小错 误率），Fisher准则的合理性可以在这里体现。
23
最佳W0的确定
若维数d足够大，样本数足够多，可估计各类样本 在1维上的方差和均值、先验概率等，然后，按最 小错误率Bayes决策确定阈值W0。
a
28
样本规范化
在线性可分条件下，广义权向量a应有： 若 Y∈ω 1 ,则：aTY>0 Y∈ω 2 ,则：aTY<0 为了方便起见，令 ：
Y 若Y 1 Y' { -Y 若Y 2
Y’ 称为规范化的增广样本向量。则合适的a能使所有 的Y'满足aTY’>0. 需要解决的问题: 找到满足上式的a
Sb m1 m2
~ ~ ~
2
19
Fisher准则的函数形式
Fisher选择投影方向W的原则： y=WTX 类间分布尽可能分开， 类内样本投影尽可能密集的要求 评价投影方向W的函数
上式并不是W的显函数，需化为W的显函数
20
进一步化为W的显函数
分子
14
4
Fisher线性判别
是研究线性判别函数中最有影响的方法之一 R.A.Fisher在1936年发表的论文
Fisher线性判别函数基本原理
– 设计线性分类器首先要确定准则函数，然后再利用训练 样本集确定该分类器的参数，以求使所确定的准则达到 最佳。 – 维数问题: 降低维数 – 线性判别函数把d维空间映射到1维空间 – g(X)可看作各样本向量X在向量W上的投影
7
利用线性判别函数决策，就是用一超平面将特征空间分为两 个决策域。超平面的方向由W确定，位置由W0决定。 g(x)>0,X在H的正侧；X ∈ ω1 g(x)<0,X在H的负侧；X ∈ ω2 线性判别函数： 优点：具有形式简单；计算方便的优点；已被充分研究 确定：但局限较大，不适合非凸决策域和多连通区域的划分。
2
非参数判别分类方法两个过程
1）确定使用什么典型的分类决策方法 即决定判别函数类型（如线性判别函数）及优化 准则（用于确定判别函数的参数）。 2）利用训练样本集提供的信息及优化准则（Fisher 准则、感知函数准则、最小错分样本数准则等）确 定这些函数中的参数（具体实现的算法）。 相对最小错误率及最小风险决策（最优分类器）而 言，非参数判别分类方法是次优方法，但在所提准 则下，是最好的。
12
线性判别函数的齐次简化
a:称为增广 权向量 (广 义权向量)
称为增广 样本向量 将g(x)中的W向量与w0统一表示成
它使特征空间增加了一维，但保持了样本间的欧氏距离不变， 对于分类效果也与原决策面相同，只是在Y空间中决策面是通过 坐标原点的，这在分析某些问题时具有优点，因此经常用到。
13
3 线性分类器设计步骤
g(X)＝0就是相应的决策面方程，在线性判别 函数条件下它对应d维空间的一个超平面H WTX+w0 = 0
5
向量W的意义
设在该决策平面H上有两个特征向量X1与X2，则 WTX1+w0 = WTX2+w0 = 0 所以： WT(X1-X2)=0 即：W与该平面上任两点组成的向量(X1-X2)正交 W是该超平面的法线向量
分母
因此
21
最佳W的确定
最佳W值的确定: 求取使JF达极大值时的 w* 可以采用拉格朗日乘子算法解决 设计一拉格朗日函数 或 由于Sw非奇异，两边乘以Sw-1得
又：
22
Fisher准则及最小错误率的贝叶斯决策
使Fisher准则函数JF达极大值的解，也就是按Fisher准则将d 维X空间投影到一维Y空间的最佳投影线。 1）两类是正态分布且具有相同的协方差矩阵Σ时，按最小错 误率的贝叶斯决策： 2）按Fisher准则，Sw=Σ1+ Σ2=2Σ，Sb=(u1-u2)，
k
yyk
确定向量a的问题变为求Jp(a)的极小值的问题。准则函数 Jp(a) 就是感知准则函数
31
感知准则函数方法的思路
1）随意找一个初始向量 a(0) 2）用训练样本集中的每个样本Y来计算aTY’ 若Y’使aTY’<0，则a不适合，需修正。 若对当前经k次叠代修正的广义权向量为a(k)修正
2.2 非参数判别分类法
贝叶斯决策理论：
需要知道先验概率，类条件概率密度函数等。
类条件概率密度函数的确定是通过确定其函数形式p(x|ωi) 并对其参数估计来完成的。因此，以贝叶斯决策方法为基础 的方法称为参数判别方法 问题：1）类条件概率密度函数形式p(x|ωi)很难确定 2）在样本数不足条件下获取准确的统计分布是困难的
a(k 1) a(k) J p
并使其满足： T
a (k 1)Y ' a (k)Y ' J p Y ' a (k)0。 即新的a(k+1)有可对Y’正确分类。 如何求 J p ？
32
求感知准则函数的极小值
--------梯度下降算法
9
例如：欲设计这样一个一维样本的分类器，使其性能为： 若X<b或X>a，则X∈ ω1；若a<X<b，则X∈ ω2 （如下图） 1）此时，采用线性判别函数，则无法 将两类样本无错误的分开。 2）若设计非线性判别函数 g(x)＝(x-a)(x-b) 采用决策规则： 若：g(x)>0, 决策：X∈w1 g(x)<0, 决策：X∈w2 则可将所有样本正确分类。
对第k次迭代值，求其梯度向量：
J p (a) J p (a) a [ (a T y)]
yyk
a

yyk
( y)
可见：感知准则函数的梯度向量是所有被错分类的规范化 增广样本向量之和。 令迭代向量a沿此负梯度向量方向修正（迭代公式）
a(k 1) a(k) k J p a(k) k y，k 0
17
样本在d维特征空间的一些描述量
(1) 各类样本均值向量mi (2) 样本类内离散度矩阵Si与总类内离散度矩阵Sw
(3) 样本类间离散度矩阵Sb
若考虑
先验概率，则：
18
在一维Y空间的描述量
(1) 各类样本均值
(2) 样本类内离散度 和总类内离散度
(3) 样本类间离散度
g(x)=c0+c1+x+c2x2
采用映射x→Y: Y=[1 y1 y2]T=[1 x x2]T 则：判别函数g(x)又可表示成: g(x)=ATY, A=[c0 c1 c2]T g(x)被称为广义线性判别函数， a 称为广义权向量
11
– 按照这种原理，任何形式的高次判别函数都可转 化成线性判别函数来处理。 – 这种处理非线性分类器的方法，在支持向量机中 得到充分的研究。 – 产生问题: 维数会增加很多
15
（1） Fisher准则函数
Fisher的基本问题
在1维直线上不一定能够分开样本 希望在1维直线上不同类别的样本分得越开越好 如何找到这条最好的、最易于分类的投影线
16
如果在二维空间中一条直线能将两类样本分开，或者错分类 很少，则同一类别样本数据在该直线的单位法向量上的投影 的绝大多数都应该超过某一值。而另一类数据的投影都应该 小于(或绝大多数都小于)该值，则这条直线就有可能将两类分 开。 – Fisher准则就是要找到一个最合适的投影轴，使两类样本 在该轴上投影的交迭部分最少，从而使分类效果为最佳。 – 分析w1方向之所以比w2方向优越，可以归纳出这样一个准 则 向量W的方向选择应能使两类样本投影的均值之差尽可 能大些 而使类内样本的离散程度尽可能小
线性分类器设计任务
在给定样本集XX={X1,X2,…,XN}条件下， 确定线性判别 函数的各项系数,w1,w2,…,wd ，以期对待测样本进行分类时， 能满足相应的准则函数J为最优的要求。