模式识别导论章 (2)

第2章 线性判别函数法
2.2 线性判别函数是一种最简单的判别函数，它是由所有特征 向量的
2.2.1
在一般的d维特征空间中，线性判别函数的表达式为
g(x)=wTx+w0
(2-2)
式中:x是d维特征向量，又称为样本向量；w0是常数且非零，
也称为阈值权；w是d维加权向量。x和w分别表示为
x=(x1，x2，…,xd)T，w=(w1，w2，…,wd)T
图2.2是一个二维三类问题的ωi/ i 两分法分类示意图。
第2章 线性判别函数法 图2.2 ωi/ i 两分法示意图
第2章 线性判别函数法
图2.2中每一类都可用一个简单的直线判别界面将该类与 其他类分开。例如样本x∈ω1，从图中的几何表示可知，需同 时满足下面三个条件：g1(x)>0，g2(x)<0，g3(x)<0。这时不能 只用g1(x)>0这一个条件判定x所属的类别，因为在模式空间中 还存在不确定的区域，它们不属于三类中的任何一类，如图中 g1(x)<0，g2(x)<0，g3(x)<0所确定的区域。因此对m类问题， 需要同时有m
第2章 线性判别函数法 2.2.2
下面在模式类线性可分的情况下，讨论线性判别函数的性
1. 已知两个模式类ω1、ω2，待识别样本x，则线性判别函 数具有如下性质；
0, 则样本x 1类 0, 则样本x 2类
0, 则表示决策边界
此时g(x)=0为d维空间的一个分类超平面。
(2-4)
第2章 线性判别函数法 2. 对于m个线性可分的模式类ω1，ω2，…，ωm，有以下三
1)ωi / i
ωi
/ i
两分法的基本原理是将每一个模式类用一个单
独的判别界面与其他模式类分开。ωi类的判别函数gi(x)可以
将属于ωi类的样本与不属于ωi类的样本分开。决策准则为
gi
(
x
)
wiT
x
0 0
x i x i
，i=1，…，m (2-5)
第2章 线性判别函数法
若仅存在gk(x)>0，k∈{1，2，…，m}，而其余gj(x)<0(j≠k， j∈{1，2，…，m})，则判定x∈ωk
第2章 线性判别函数法 在二维欧氏空间中，由线性判别函数所确定的判别边界为 一条直线；在三维空间中,为一个平面；当维数超过三时,判别 边界称为超平面。通常由线性判别函数确定的判别界面通ቤተ መጻሕፍቲ ባይዱ为
在式(2-2)表示的一般的线性判别函数中，由于w0非零， 决策超平面不通过空间原点，因此可以使用广义线性函数的扩 维方法实现齐次化问题。式(2-2)也可以写成增广向量的形式：
第2章 线性判别函数法
g( x) 1x1 2 x2 d xd 0 1
(1,2 ,
x1
x2
d
,
0
)
aT y
xd
1
(2-3)
第2章 线性判别函数法
式中:y=(x1，x2，…,xd，1)T称为增广样本向量，a=(w1， w2，…,wd，w0)T称为增广权向量。g[(x)]=aTy称为广义线性判 别函数。在这个新的特征空间中，决策超平面通过原点，且特 征空间的维数由d维扩张为d+1
本章主要讨论判别函数法和线性判别函数的基本概念，线
第2章 线性判别函数法
2.1
模式识别系统的主要作用是判别各个模式的类别属性。例
如，一个两类问题就是将模式x划分为ω1和ω2两类。对于一 个二维的两类问题，模式样本可表示为x=(x1，x2)T，其中x1、 x2为坐标变量(即模式的特征值)。所有的样本分布在一个二维 平面上，如图2.1所示。如果在两类之间能找到一条分界线将
第2章 线性判别函数法 由于特征空间(决策域)的分界面是由数学表达式来描述的， 如线性函数或各种非线性函数等，所以分界面方程的确定主要 包括函数类型的选择以及参数的确定。其中函数类型是由设计 者选择的，而参数的确定则是依据一定的准则函数并通过学习 过程来实现的。线性分类器的优点是简单，在计算机上容易实
第2章 线性判别函数法 第2章 线性判别函数法
2.1 判别函数的基本概念 2.2 线性判别函数 2.3 感知器学习算法 2.4 最小均方误差算法 2.5 Fisher线性判别法 2.6 线性二分能力
第2章 线性判别函数法
在模式识别与分类中，可以根据训练样本集提供的信息， 直接进行分类器的设计。我们面临的最简单的是两类样本的分 类问题，这时人们自然会想到能否在特征空间(决策域)中做一 条直线(平面或超平面)将两类样本分开，需要解决的问题是这 条直线(平面或超平面)如何去做，这就是基本的线性判别问题。 至于更深一步的理论研究，例如,当样本集扩充后该分类判决 是否还有效(也就是泛化性能)？分类界面是否还会是直线(平 面或超平面)？样本的分布与统计特征的关系如何?等等,也是
分属于ω1和ω2的样本分开，这样就可以知道每个样本的类别。 设分界线的方程为
这里w1、w2、w0g是( x方)程的1参x1数或权2 x值2 。3 0
(2-1)
第2章 线性判别函数法 图2.1 两类二维样本的分布示意图
第2章 线性判别函数法
可以假设属于ω1类的模式位于g(x)>0的一侧，属于ω2类 的模式位于g(x)<0的一侧。反之，如果将一个未知类别的模式 x带入g(x)，则应该有下面的结果：若g(x)>0，则x属于ω1类； 若g(x)<0，则x属于ω2类；若g(x)=0，则x落在分界线上，此 时不能判定x的类别。因此，g(x)可以用来判断某一未知模式 所属的类别，鉴于此我们称g(x)
判别函数是直接用来对模式样本进行分类的准则函数，也 称为判决函数或决策函数。寻找类别之间分界线的方法称为判 别函数法，判别函数法的结果提供了一个确定的分界线方程， 这个分界线方程就是判别函数。因此，判别函数描述了各类之
第2章 线性判别函数法
判别函数可以是线性函数，也可以是非线性函数，这取决 于模式类在空间中的分布情况，以及我们对分布的先验信息的 了解程度。由于线性分类器涉及到的数学方法比较简单，在计 算机上容易实现，因此得到广泛的应用。但是在模式识别的许 多具体问题中，线性分类器固有的局限性使得它并不能提供理 想的识别效果，必须求助于非线性分类器。这里需要强调指出 的是，有些简单的非线性分类器对模式识别问题的解决显得既