模式识别导论第2章

2.1
模式识别系统的主要作用是判别各个模式的类别属性。
例如，一个两类问题就是将模式x划分为ω1和ω2两类。对于 一个二维的两类问题，模式样本可表示为x=(x1，x2)T，其中 x1、x2为坐标变量(即模式的特征值)。所有的样本分布在一 个二维平面上，如图2.1所示。如果在两类之间能找到一条
分界线将分属于ω1和ω2的样本分开，这样就可以知道每个 样本的类别。设分界线的方程为
g( x) w1x1 w2 x2 L wd xd w0 1
x1
x2
(w1,w2,L
wd
,
w0
)
M
aT
y
(2-3)
xd
1
式中:y=(x1，x2，…,xd，1)T称为增广样本向量，a=(w1， w2，…,wd，w0)T称为增广权向量。g[(x)]=aTy称为广义线性 判别函数。在这个新的特征空间中，决策超平面通过原点，
在二维欧氏空间中，由线性判别函数所确定的判别边界 为一条直线；在三维空间中,为一个平面；当维数超过三时, 判别边界称为超平面。通常由线性判别函数确定的判别界面
在式(2-2)表示的一般的线性判别函数中，由于w0非零， 决策超平面不通过空间原点，因此可以使用广义线性函数的 扩维方法实现齐次化问题。式(2-2)也可以写成增广向量的形 式：
例2.1 对于一个三类问题，假定三个判别函数分别为
g1(x)=－x1+x2－1， g2(x)=x1+x2－9， g3(x)=－x2+1 请画出各类判别区域，并判断x=(7，5)T
解 将x=(7，5)T代入三个判别函数中，有
g1(x)=－7+5－1=－3<0 g2(x)=7+5－9=3>0 g3(x)=－5+1=－4<0 因为g1(x)<0，g2(x)>0，g3(x)<0，所以x∈ω2
与其他类分开。例如样本x∈ω1，从图中的几何表示可知， 需同时满足下面三个条件：g1(x)>0，g2(x)<0，g3(x)<0。这 时不能只用g1(x)>0这一个条件判定x所属的类别，因为在模 式空间中还存在不确定的区域，它们不属于三类中的任何一
类，如图中g1(x)<0，g2(x)<0，g3(x)<0所确定的区域。因此 对m类问题，需要同时有m
g( x) w1x1 w2 x2 w3 0
这里w1、w2、w0是方程的参数或权值。
(2-1)
图2.1 两类二维样本的分布示意图
可以假设属于ω1类的模式位于g(x)>0的一侧，属于ω2类 的模式位于g(x)<0的一侧。反之，如果将一个未知类别的模 式x带入g(x)，则应该有下面的结果：若g(x)>0，则x属于ω1 类；若g(x)<0，则x属于ω2类；若g(x)=0，则x落在分界线上， 此时不能判定x的类别。因此，g(x)可以用来判断某一未知 模式所属的类别，鉴于此我们称g(x)
第2章 线性判别函数法
2.1 判别函数的基本概念 2.2 线性判别函数 2.3 感知器学习算法 2.4 最小均方误差算法 2.5 Fisher线性判别法 2.6 线性二分能力
在模式识别与分类中，可以根据训练样本集提供的信息， 直接进行分类器的设计。我们面临的最简单的是两类样本的 分类问题，这时人们自然会想到能否在特征空间(决策域)中 做一条直线(平面或超平面)将两类样本分开，需要解决的问 题是这条直线(平面或超平面)如何去做，这就是基本的线性 判别问题。至于更深一步的理论研究，例如,当样本集扩充 后该分类判决是否还有效(也就是泛化性能)？分类界面是否 还会是直线(平面或超平面)？样本的分布与统计特征的关系 如何?等等,
判别函数是直接用来对模式样本进行分类的准则函数， 也称为判决函数或决策函数。寻找类别之间分界线的方法称 为判别函数法，判别函数法的结果提供了一个确定的分界线 方程，这个分界线方程就是判别函数。因此，判别函数描述
判别函数可以是线性函数，也可以是非线性函数，这取 决于模式类在空间中的分布情况，以及我们对分布的先验信 息的了解程度。由于线性分类器涉及到的数学方法比较简单， 在计算机上容易实现，因此得到广泛的应用。但是在模式识 别的许多具体问题中，线性分类器固有的局限性使得它并不 能提供理想的识别效果，必须求助于非线性分类器。这里需 要强调指出的是，有些简单的非线性分类器对模式识别问题
2.2 线性判别函数
线性判别函数是一种最简单的判别函数，它是由所有特 征向量的
2.2.1
在一般的d维特征空间中，线性判别函数的表达式为
g(x)=wTx+w0
(2-2)
式中:x是d维特征向量，又称为样本向量；w0是常数且非零，
也称为阈值权；w是d维加权向量。x和w分别表示为
x=(x1，x2，…,xd)T，w=(w1，w2，…,wd)T
2.多类情况 对于m个线性可分的模式类ω1，ω2，…，ωm，有以下三
1)ωi / wi ωi / wi 两分法的基本原理是将每一个模式类用一个单 独的判别界面与其他模式类分开。ωi类的判别函数gi(x)可以 将属于ωi类的样本与不属于ωi类的样本分开。决策准则为
gi
(
x
)
wiT
x
0 0
x wi x wi
，i=1，…，m (2-5)
若仅存在gk(x)>0，k∈{1，2，…，m}，而其余gj(x)<0(j≠k， j∈{1，2，…，m})，则判定x∈ωk
图2.2是一个二维三类问题的ωi/ wi 两分法分类示意图。
图2.2 ωi/ wi 两分法示意图
图2.2中每一类都可用一个简单的直线判别界面将该类
由于特征空间(决策域)的分界面是由数学表达式来描述 的，如线性函数或各种非线性函数等，所以分界面方程的确 定主要包括函数类型的选择以及参数的确定。其中函数类型 是由设计者选择的，而参数的确定则是依据一定的准则函数 并通过学习过程来实现的。线性分类器的优点是简单，在计
本章主要讨论判别函数法和线性判别函数的基本概念，
且特征空间的维数由d维扩张为d+1
2.2.2 下面在模式类线性可分的情况下，讨论线性判别函数的
1.两类情况 已知两个模式类ω1、ω2，待识别样本x，则线性判别函 数具有如下性质；
0源自文库 则样本x w1类
0, 则样本x w2类
(2-4)
0, 则表示决策边界
此时g(x)=0为d维空间的一个分类超平面。