模式识别第二章(线性判别函数法)
合集下载
模式识别--第二讲 线性分类器
第 1 页第二讲 线性分类器一、 判别函数1、 决策论方法在模式识别中，如果根据模式特征信息，按照决策论的思路，以一定的数量规则来采取不同的分类决策，将待识别的模式划分到不同的类别中去，就称为模式识别的决策论方法。
在决策论方法中，特征空间被划分成不同的区域，每个区域对应一个模式类，称为决策区域（Decision Region ）。
当我们判定待识别的模式位于某个决策区域时，就判决它可以划归到对应的类别中。
图1 决策区域需要注意的是：决策区域包含模式类中样本的分布区域，但不等于模式类的真实分布范围。
2、 判别函数如果特征空间中的决策区域边界（Decision Boundary ）可以用一组方程0)( x i G来表示，则将一个模式对应的特征向量x 代入边界方程中的)(x i G ，确定其正负符号，就可以确定该模式位于决策区域边界的哪一边，从而可以判别其应当属于的类别，)(x i G 称为判别函数（Discriminant Function ）。
判别函数的形式可以是线性的（Linear ）或非线性（Non-linear）的。
第 2 页例如图2就显示了一个非线性判别函数，当G (x )>0时，可判别模式x ∈ω1；当G (x )<0时，可判别x ∈ω2。
图2 非线性判别函数非线性判别函数的处理比较复杂，如果决策区域边界可以用线性方程来表达，则决策区域可以用超平面（Hyperplane ）来划分，无论在分类器的学习还是分类决策时都比较方便。
例如图3中的特征空间可以用两个线性判别函数来进行分类决策：当G 21(x )>0且G 13(x )>0时，x ∈ω2； 当G 13(x )<0且G 21(x )<0时，x ∈ω3； 当G 21(x )<0 且 G 13(x )>0时，x ∈ω1；当G 21(x )>0且G 13(x )<0时，x 所属类别无法判别。
模式识别第二版答案完整版
模式识别第二版习题解答目录线性判别函数10非线性判别函数16近邻法16经验风险最小化和有序风险最小化方法18特征的选取和提取18基于kl展开式的特征提取2010非监督学习方法2221如果只知道各类的先验概率最小错误率贝叶斯决策规则应如何表示
模式识别(第二版)习题解答
目录
1 绪论
2
2 贝叶斯决策理论
2
j=1,...,c
类条件概率相联系的形式，即 如果 p(x|wi)P (wi) = max p(x|wj)P (wj)，则x ∈ wi。
j=1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若
p(x|w1) > (λ12 − λ22)P (w2) , p(x|w2) (λ21 − λ11)P (w1)
max P (wj|x)，则x ∈ wj∗。另外一种形式为j∗ = max p(x|wj)P (wj)，则x ∈ wj∗。
j=1,...,c
j=1,...,c
考虑两类问题的分类决策面为：P (w1|x) = P (w2|x)，与p(x|w1)P (w1) = p(x|w2)P (w2)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
λ11P (w1|x) + λ12P (w2|x) < λ21P (w1|x) + λ22P (w2|x) (λ21 − λ11)P (w1|x) > (λ12 − λ22)P (w2|x)
(λ21 − λ11)P (w1)p(x|w1) > (λ12 − λ22)P (w2)p(x|w2) p(x|w1) > (λ12 − λ22)P (w2) p(x|w2) (λ21 − λ11)P (w1)
模式识别(第二版)习题解答
目录
1 绪论
2
2 贝叶斯决策理论
2
j=1,...,c
类条件概率相联系的形式，即 如果 p(x|wi)P (wi) = max p(x|wj)P (wj)，则x ∈ wi。
j=1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若
p(x|w1) > (λ12 − λ22)P (w2) , p(x|w2) (λ21 − λ11)P (w1)
max P (wj|x)，则x ∈ wj∗。另外一种形式为j∗ = max p(x|wj)P (wj)，则x ∈ wj∗。
j=1,...,c
j=1,...,c
考虑两类问题的分类决策面为：P (w1|x) = P (w2|x)，与p(x|w1)P (w1) = p(x|w2)P (w2)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
λ11P (w1|x) + λ12P (w2|x) < λ21P (w1|x) + λ22P (w2|x) (λ21 − λ11)P (w1|x) > (λ12 − λ22)P (w2|x)
(λ21 − λ11)P (w1)p(x|w1) > (λ12 − λ22)P (w2)p(x|w2) p(x|w1) > (λ12 − λ22)P (w2) p(x|w2) (λ21 − λ11)P (w1)
模式识别第二章(线性判别函数法)
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2016/12/3
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2016/12/3
模式识别导论
1
d1 ( x ) d3 ( x )
2
3
d2 ( x) d3 ( x)
34
多类问题图例（第三种情况）
35
上述三种方法小结:
当c
但是
3 时，i j
法比
i i
法需要更多
模式识别第二章DiscriminantFunction资料
• NOTE:
（2）如前面所介绍，其正负标记完全是
由求解
d
(
x)
wt
x
0, 0,
如x 1 如x 2
得来的。对于二维情况，满足大于0的 （x1，x2）的区域标记为正，小于0的 （x1，x2）的区域标记为负。
2.1.2 模式空间和权空间
• [统一判别形式] 判别函数d(x)=wtx, 其中w,x为增广向量。
x1 x2 x1 x2 5
0
0
g3
(x)
x2
1
0
➢1. 第一种情况（续）
❖作图如下： 5
g1( x) 0
g
2
(
x)
0
g3 ( x) 0
1
IR4
x2
g1(x) 0
IR1
2 1 IR2
3
gg12((
x x
) )
0 0
g3( x ) 0
IR3
g3(x) 0
x1
g1(x) 0
• 模式空间
(a) 增广向量决定的平面 (b) 非增广向量决定的直线
• 权空间
– 若将方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为方程的系数。
– 若以x向量作为法线向量，则该线性方程所决定 的平面为通过原点且与法线向量垂直的平面，它 同样将权空间划分为正、负两边。
– 在系数x不变的条件下，
若w值落在法线向量离开平面的一 边，则wTx>0
若w值落在法线向量射向平面的一 边，则wTx <0
权空间中判别界面的平面示意图 在多维空间中，会围成一个锥形区域。
模式识别-线性判别函数
j
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
模式识别 线性判别函数
或 X >b，则决策 X∈ω1 ；若 a< X <b，则决策
X∈ω2 。
a
b
广义的线性判别函数
通过对上图的分析，可以建立如下的一个二次判别函 数： （X -a）（X -b）
决策规则为： 若该函数的值大于0，则决策X∈ω1 ；
若该函数的值小于0，则决策X∈ω2 。
广义的线性判别函数
上述的二次判别函数写成如下的一般形式，便有
.解线性不等式组的共轭梯度法
.解线性不等式组的搜索法
最小平方误差准则
对于规范化的增广样本向量，yi=1, „, N，要 找a，使得aTyi>0, i=1, „, N。这是求N个不等式 组解的问题。
若线性可分：线性不等式组是一致的，有解--能 求出a，使aTyi>0, i=1, „, N；
若线性不可分：线性不等式组不一致，无解--求 一个a，比如说使正确分类的样本数最多，使成立的 不等式的个数最多。
线性判别函数的基本概念
线性判别函数的一般形式为：Fra bibliotek其中X是一个d 维特征向量,W。是一个常数，称为阈 值权，W 称为权向量。
线性判别函数的基本概念
0 0 线性判别函数g(x)=0 定义了一个超平面H，称为决 策面，即分界面，它把特征空间分成了两个半空间。
广义的线性判别函数
若给定一个一维的模式空间，希望的划分是 X <a
感知准则函数
，当
即若令
，当
这时问题就化为找一个a，使对所有的yn，有aTyn>0， 上述的处理称为规范化，称为规范化的增广样本。
感知准则函数
3.解向量和解区 在线性可分的情况下，满足aTyi>0 ，i=1, 2, „, N 的a称为权向量，记为a*。
X∈ω2 。
a
b
广义的线性判别函数
通过对上图的分析，可以建立如下的一个二次判别函 数： （X -a）（X -b）
决策规则为： 若该函数的值大于0，则决策X∈ω1 ；
若该函数的值小于0，则决策X∈ω2 。
广义的线性判别函数
上述的二次判别函数写成如下的一般形式，便有
.解线性不等式组的共轭梯度法
.解线性不等式组的搜索法
最小平方误差准则
对于规范化的增广样本向量，yi=1, „, N，要 找a，使得aTyi>0, i=1, „, N。这是求N个不等式 组解的问题。
若线性可分：线性不等式组是一致的，有解--能 求出a，使aTyi>0, i=1, „, N；
若线性不可分：线性不等式组不一致，无解--求 一个a，比如说使正确分类的样本数最多，使成立的 不等式的个数最多。
线性判别函数的基本概念
线性判别函数的一般形式为：Fra bibliotek其中X是一个d 维特征向量,W。是一个常数，称为阈 值权，W 称为权向量。
线性判别函数的基本概念
0 0 线性判别函数g(x)=0 定义了一个超平面H，称为决 策面，即分界面，它把特征空间分成了两个半空间。
广义的线性判别函数
若给定一个一维的模式空间，希望的划分是 X <a
感知准则函数
，当
即若令
，当
这时问题就化为找一个a，使对所有的yn，有aTyn>0， 上述的处理称为规范化，称为规范化的增广样本。
感知准则函数
3.解向量和解区 在线性可分的情况下，满足aTyi>0 ，i=1, 2, „, N 的a称为权向量，记为a*。
模式识别(chapter2)资料
解： 三个判别边界分别为：
dd12((xx))
x1 x2 x1 x2 5
0
0
d3 (x) x2 1 0
13
➢1、第一种情况（续）
结论： 因为
d1(x) 0, d2 (x) 0, d3(x) 0
所以它属于ω2类。
14
➢1、第一种情况（续）
5
dd12((xx))
0 0
d3 ( x) 0
wn1
0
当 x 在 n 背向的半空间中时，w0 x wn1 0
这说明判别函数值的正负表示出特征点位于 哪个半空间中，或者换句话说，表示特征点位于 界面的哪一侧。
34
例2.3.1：利用判别函数的鉴别意义，试分析
d(x1,x2)＝x1+x2+1。
x2
d(x1,x2)＝0
×××××××××××××
n
开，而 i j法是将 i 类和 j类分开，显然 i j法使模式更容易线性可分，这是它的优点。
方法⑶判别函数的数目和方法⑴相同，但没有不 确定区，分析简单，是最常用的一种方法。
26
2.3 判别函数值的鉴别意义、权空间及解空间
27
.3 判别函数值的鉴别意义、权空间及解空间
此方程表示一超平面 π。它有以下三个性质:
1
x2
1
d1(x) 0
2 3
d1(x) 0
d2 (x) 0
d3 (x) 0
d3(x) 0
x1
d1(x) 0
d
2
(
x)
0
d3
(
x
)
0
d2(x) 0
5
15
16
➢2、第二种情况（续）
模式识别总结
13
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
【模式识别与机器学习】——3.1线性判别函数
【模式识别与机器学习】——3.1线性判别函数3.1线性判别函数3.1.1两类问题的判别函数（1）以⼆维模式样本为例（2）⽤判别函数进⾏模式分类依赖的两个因素①判别函数的⼏何性质：线性的和⾮线性的函数。
线性的是⼀条直线；⾮线性的可以是曲线、折线等；线性判别函数建⽴起来⽐较简单（实际应⽤较多）；⾮线性判别函数建⽴起来⽐较复杂。
②判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。
只要被研究的模式是可分的，就能⽤给定的模式样本集来确定判别函数的系数。
3.1.2 n维线性判别函数的⼀般形式（1）⼀个n维线性判别函数的⼀般形式：（3）多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分⽅法①多类情况1:问题描述：⽤线性判别函数将属于ωi类的模式与不属于ωi类的模式分开，其判别函数为：i = 1, 2, …, M这种情况称为两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为w i, i = 1, 2,…, M。
图例：对⼀个三类情况，每⼀类模式可⽤⼀个简单的直线判别界⾯将它与其它类模式分开。
例如，对的模式，应同时满⾜：d1(x)>0，d2(x)<0，d3(x)<0不确定区域：若对某⼀模式区域，d i(x)>0的条件超过⼀个，或全部d i(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。
⽰例1：设有⼀个三类问题，其判别式为： d1(x)= -x1 + x2，d2(x)= x1 + x2 - 5，d3(x)= -x2 + 1则对⼀个模式x=(6, 5)T，判断其属于哪⼀类。
将x=(6, 5)T代⼊上述判别函数，得： d1(x) = -1，故d1(x)<0 d2(x) = 6，故d2(x)>0 d3(x) = -4，故d3(x)<0从⽽⽰例2：假若x=(3, 5)T，则 d1(x) = 2>0 d3(x) = -2<0分类失败。
第2章线性判别函数
g(X)WTXw0
其中， W(w 1,w 2, ,w n)T称为权向量。
4. g(X)WTXw0 在向量空间的几何表示
取 g(X) 0 作为决策面。
如果两个向量 X 1 和 X 2 都在决策面上，则有：
W TX 1w 0W TX2w 0
或写成
WT(X1X2)0
由于 X 1 和 X 2 是决策面上的任意两点，所以 (X1 X2) 也是在决策面上的任意向量。
我们可以得到启发:
用已知类别的模式样本产生一个代数表示 的分界面 g(X)0，将特征空间分成两个互 不重叠的区域，使不同类别的模式样本位于不 同的区域，再用g(X)0 作为判别函数，对 待识别的模式进行分类。
g(X)0 在特征空间可看作一个决策面。
归纳解决问题的思路:
(1)分类问题 特征空间的分布 寻找 子区域的分界面 确定判别函数
如果我们规定：X在 R 1 中，g(X)0；在 R 2 中，g(X)0 ， 决策面的法向量的方向指向 R 1 。
x1
W
H
X
R 1 g(X)0
0
x2
R 2 g(X)0
g(X)0
x1
H
0
W
X
R 1 g(X)0
Xp
x2
R 2 g(X)0
g(X)0
我们可以把向量 X 表示为：
X
XP
把第 K 次的权向量加上被误分类的样本的和与 某个常数 k 的乘积，就得到第 ( K 1) 次的权向 量。
优点：只要二类样本线性可分的，这个算 法总可收敛。
缺点：每次迭代必须遍历全部样本，才能 得到当前权向量 A k 下的误分样本集 y A k ， 从而再对 A k 的值进行修正。
其中， W(w 1,w 2, ,w n)T称为权向量。
4. g(X)WTXw0 在向量空间的几何表示
取 g(X) 0 作为决策面。
如果两个向量 X 1 和 X 2 都在决策面上，则有：
W TX 1w 0W TX2w 0
或写成
WT(X1X2)0
由于 X 1 和 X 2 是决策面上的任意两点，所以 (X1 X2) 也是在决策面上的任意向量。
我们可以得到启发:
用已知类别的模式样本产生一个代数表示 的分界面 g(X)0，将特征空间分成两个互 不重叠的区域，使不同类别的模式样本位于不 同的区域，再用g(X)0 作为判别函数，对 待识别的模式进行分类。
g(X)0 在特征空间可看作一个决策面。
归纳解决问题的思路:
(1)分类问题 特征空间的分布 寻找 子区域的分界面 确定判别函数
如果我们规定：X在 R 1 中，g(X)0；在 R 2 中，g(X)0 ， 决策面的法向量的方向指向 R 1 。
x1
W
H
X
R 1 g(X)0
0
x2
R 2 g(X)0
g(X)0
x1
H
0
W
X
R 1 g(X)0
Xp
x2
R 2 g(X)0
g(X)0
我们可以把向量 X 表示为：
X
XP
把第 K 次的权向量加上被误分类的样本的和与 某个常数 k 的乘积，就得到第 ( K 1) 次的权向 量。
优点：只要二类样本线性可分的，这个算 法总可收敛。
缺点：每次迭代必须遍历全部样本，才能 得到当前权向量 A k 下的误分样本集 y A k ， 从而再对 A k 的值进行修正。
模式识别-2-线性判别函数与线性分类器设计
T
x2
2
X 是 n 维空间的一个向量
1
模式识别问题就是根据模式X的 n个特征来判别模式属于 ω1 ,ω2 , … , ωm类中的那一类。 例如右上图：三类的分类问题，它 们的边界线就是一个判别函数
x1
边界
3
用判别函数进行模式分类，取决两个因素：
判别函数的几何性质：线性与非线性 判别函数的参数确定：判别函数形式+参数
因此，三个判别边界为：
g 1 ( x ) x1 x 2 0 g 2 ( x ) x1 x 2 5 0 g (x) x 1 0 2 3
作图如下：
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
必须指出，如果某个X使二个以上的判别函数 gi(x) >0 。 则此模式X就无法作出确切的判决。如图中 IR1,IR3， IR4区域。
另一种情况是IR2区域，判别函数都为负值。IR1，IR2， IR3，IR4。都为不确 定区域。
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
第二章 线性判别函数与线性 分类器设计
• • • • 判别函数 线性判别函数 线性判别函数的性质 线性分类器设计
– – – – 梯度下降法—迭代法 感知器法 最小平方误差准则(MSE法)---非迭代法 Fisher分类准则
§ 2.1 判别函数
假设对一模式X已抽取n个特征， 表示为：
X ( x 1 , x 2 , x 3 ,..., x n )
12
2
1
g 23 ( x ) 0
判别函数： g ij ( x ) W ij 判别边界： g ij ( x ) o 判别条件：
x2
2
X 是 n 维空间的一个向量
1
模式识别问题就是根据模式X的 n个特征来判别模式属于 ω1 ,ω2 , … , ωm类中的那一类。 例如右上图：三类的分类问题，它 们的边界线就是一个判别函数
x1
边界
3
用判别函数进行模式分类，取决两个因素：
判别函数的几何性质：线性与非线性 判别函数的参数确定：判别函数形式+参数
因此，三个判别边界为：
g 1 ( x ) x1 x 2 0 g 2 ( x ) x1 x 2 5 0 g (x) x 1 0 2 3
作图如下：
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
必须指出，如果某个X使二个以上的判别函数 gi(x) >0 。 则此模式X就无法作出确切的判决。如图中 IR1,IR3， IR4区域。
另一种情况是IR2区域，判别函数都为负值。IR1，IR2， IR3，IR4。都为不确 定区域。
5
g1 ( x) 0 g 2 (x) 0 g (x) 0 3
第二章 线性判别函数与线性 分类器设计
• • • • 判别函数 线性判别函数 线性判别函数的性质 线性分类器设计
– – – – 梯度下降法—迭代法 感知器法 最小平方误差准则(MSE法)---非迭代法 Fisher分类准则
§ 2.1 判别函数
假设对一模式X已抽取n个特征， 表示为：
X ( x 1 , x 2 , x 3 ,..., x n )
12
2
1
g 23 ( x ) 0
判别函数： g ij ( x ) W ij 判别边界： g ij ( x ) o 判别条件：
模式识别第2章 模式识别的基本理论(2)
yk
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束；否则，转4） 或 ||a(k)-a(k-1)||<=θ, θ是预先设定的一个小的阈值 （线性可分， θ =0） ( y) a(k 1) a(k) k J p 4）计算：ρ k, J p (a) y y 令k=k+1 5）转2）
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
否则，按如下方法确定： 1、 2、 3、 m m ln[ P( ) / P( )]
~ ~
w0
1
2
2
1
2
N1 N 2 2
（P(W1)、P(W2) 已知时）
24
分类规则
25
5 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束；否则，转4） 或 ||a(k)-a(k-1)||<=θ, θ是预先设定的一个小的阈值 （线性可分， θ =0） ( y) a(k 1) a(k) k J p 4）计算：ρ k, J p (a) y y 令k=k+1 5）转2）
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
否则，按如下方法确定： 1、 2、 3、 m m ln[ P( ) / P( )]
~ ~
w0
1
2
2
1
2
N1 N 2 2
（P(W1)、P(W2) 已知时）
24
分类规则
25
5 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量
(模式识别)Fisher线性判别
Fisher 判别
各类样本均值
1
mi Ni yi y, i 1, 2
样本类内离散度和总类内离散度
Si ( y mi )2, i 1,2 yi
样本类间离散度
Sw S1 S2 Sb (m1 m2 )2
以上定义描述d维空间样本点到一向量投影的分 散情况，因此也就是对某向量w的投影在w上的 分布。样本离散度的定义与随机变量方差相类似
Sw1(m1 m2 )R
w*
R
Sw1(m1
m2 )
Sw1(m1 m2 )
10
8
判别函数的确定
Fisher 判别
前面讨论了使Fisher准则函数极大的d维向 量w*的计算方法，判别函数中的另一项w0 （阈值）可采用以下几种方法确定：
w0
m1
2
m2
w0
N1m1 N2m2 N1 N2
m
w0
m1
m2 2
lnP(1) / P( 1 y wT x w0 0 x 2
Fisher线性判别
线性判别函数y=g(x)=wTx:
• 样本向量x各分量的线性加权 • 样本向量x与权向量w的向量点积 • 如果|| w ||=1，则视作向量x在向量w上的投
影
Fisher准则的基本原理：找到一个最合适的 投影轴，使两类样本在该轴上投影之间的距 离尽可能远，而每一类样本的投影尽可能紧 凑，从而使分类效果为最佳。
Si (x mi )(x mi )T , i 1,2 xi
Sw S1 S2
样本类间离散度矩阵Sb：Sb (m1 m2 )(m1 m2 )T
离散矩阵在形式上与协方差矩阵很相似，但协方 差矩阵是一种期望值，而离散矩阵只是表示有限 个样本在空间分布的离散程度
模式识别第二版答案完整版
• 2.5
1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi|x) > P (wj|x) 对一切j ̸= i
成立时，x ∈ wi。
2
模式识别(第二版)习题解答
解：对于c类情况，最小错误率贝叶斯决策规则为： 如果 P (wi|x) = max P (wj|x)，则x ∈ wi。利用贝叶斯定理可以将其写成先验概率和
(2) Σ为半正定矩阵所以r(a, b) = (a − b)T Σ−1(a − b) ≥ 0，只有当a = b时，才有r(a, b) = 0。
(3) Σ−1可对角化，Σ−1 = P ΛP T
h11 h12 · · · h1d
• 2.17 若将Σ−1矩阵写为：Σ−1 = h...12
h22 ...
P (w1) P (w2)
= 0。所以判别规则为当(x−u1)T (x−u1) > (x−u2)T (x−u2)则x ∈ w1,反
之则s ∈ w2。即将x判给离它最近的ui的那个类。
[
• 2.24 在习题2.23中若Σ1 ̸= Σ2，Σ1 =
1
1
2
策规则。
1]
2
1
，Σ2
=
[ 1
−
1 2
−
1 2
] ，写出负对数似然比决
1
6
模式识别(第二版)习题解答
解：
h(x) = − ln [l(x)]
= − ln p(x|w1) + ln p(x|w2)
=
1 2 (x1
−
u1)T
Σ−1 1(x1
−
u1)
−
1 2 (x2
1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi|x) > P (wj|x) 对一切j ̸= i
成立时，x ∈ wi。
2
模式识别(第二版)习题解答
解：对于c类情况，最小错误率贝叶斯决策规则为： 如果 P (wi|x) = max P (wj|x)，则x ∈ wi。利用贝叶斯定理可以将其写成先验概率和
(2) Σ为半正定矩阵所以r(a, b) = (a − b)T Σ−1(a − b) ≥ 0，只有当a = b时，才有r(a, b) = 0。
(3) Σ−1可对角化，Σ−1 = P ΛP T
h11 h12 · · · h1d
• 2.17 若将Σ−1矩阵写为：Σ−1 = h...12
h22 ...
P (w1) P (w2)
= 0。所以判别规则为当(x−u1)T (x−u1) > (x−u2)T (x−u2)则x ∈ w1,反
之则s ∈ w2。即将x判给离它最近的ui的那个类。
[
• 2.24 在习题2.23中若Σ1 ̸= Σ2，Σ1 =
1
1
2
策规则。
1]
2
1
，Σ2
=
[ 1
−
1 2
−
1 2
] ，写出负对数似然比决
1
6
模式识别(第二版)习题解答
解：
h(x) = − ln [l(x)]
= − ln p(x|w1) + ln p(x|w2)
=
1 2 (x1
−
u1)T
Σ−1 1(x1
−
u1)
−
1 2 (x2
07 线性判别函数
J r ( w) || Xw b ||2 ( wt xi bi ) 2
i 1
n
这个误差最小的点就是它的梯度等于0的点。
J r 2 X t ( Xw b) 0 X t Xw X t b
w (X X ) X b X b 其中X+叫做X的伪逆。它通常是存在的，尤其 是如果将X+定义为如下形式：
说明wt与超平面上任意的向量都正交。
任意一点x到超平面的距离是：
| g ( x) | r || w ||
当x是原点的时候： | w0 | r || w ||
总结：线性判别函数对应着超平面。超平面的 方向由法向量w决定，超平面的位置由w0决定。
2. 多类问题
定义c个判别函数：
gi ( x) w x wi 0
t
此时，基本梯度下降训练算法中的更新 项变成了： w(k 1) w(k ) (k ) X t ( Xw b)
w(k 1) w(k ) (k )(b(k ) w (k ) x(k ))x(k )
t
LMS算法看似和松弛算法类似。但是松弛 算法是使用分类错误的样例进行训练； LMS是使用所有的样例训练。当样例不是 线性可分的时候，松弛算法是不收敛的。 MSE算法和LMS算法无论在样例是否线性 可分的时候都可以找到解。但是并不保 证正确的分割位置：
if w0 w1 x1 0 otherwise
其中x1>-w0/w1是一个点。
如果特征向量x仅仅包含两个特征x1和x2， 那么上面的判别就变成了：
1 x 2 if w0 w1 x1 w2 x2 0 otherwise
模式识别-第2章 线性判别函数_第二讲
i
2
ˆ a(k ) a ˆ a(k ) a
2
2
2
0
2
ˆt m in a y i 0
i
2
设 = /
2
2
ˆ 每次校正后，从 a ( k 1) 到 a 的平方距离减少了
感知器算法收敛定理
ˆ 每次校正后，从 a ( k 1) 到 a 的平方距离减少了
f (x) x x
t
对
2
x
的导数
2
f ( x ) x x x1 x 2 x n
t 2
df (x) dx
2 x1 , 2 x1 , , 2 x n
t
2x
矩阵微分——相对于向量变量的微分
2，函数向量的导数 t 例：a）行向量 x A 对 x 的导数 A B x 对 x t 的导数 B b）列向量 t t x A x 对 x 的导数 A A x c）二次型 t p A x 对 x 的导数 A t p d）数量函数
t
令 y ( x a B z ), 则 f y y
t
df da
dy df da dy
t
I(2y ) 2(x a B z )
矩阵微分——复合函数微分
2，向量函数的求导公式
例 ： 求 f ( A x b ) R ( A x b )对 x的 导 数
t
其 中 ， A, R为 常 数 矩 阵 ， b是 常 数 向 量
规范化平方（裕量）误差判据
J r (a )
y Y
(a y b )
t
2
y
2
ˆ a(k ) a ˆ a(k ) a
2
2
2
0
2
ˆt m in a y i 0
i
2
设 = /
2
2
ˆ 每次校正后，从 a ( k 1) 到 a 的平方距离减少了
感知器算法收敛定理
ˆ 每次校正后，从 a ( k 1) 到 a 的平方距离减少了
f (x) x x
t
对
2
x
的导数
2
f ( x ) x x x1 x 2 x n
t 2
df (x) dx
2 x1 , 2 x1 , , 2 x n
t
2x
矩阵微分——相对于向量变量的微分
2，函数向量的导数 t 例：a）行向量 x A 对 x 的导数 A B x 对 x t 的导数 B b）列向量 t t x A x 对 x 的导数 A A x c）二次型 t p A x 对 x 的导数 A t p d）数量函数
t
令 y ( x a B z ), 则 f y y
t
df da
dy df da dy
t
I(2y ) 2(x a B z )
矩阵微分——复合函数微分
2，向量函数的求导公式
例 ： 求 f ( A x b ) R ( A x b )对 x的 导 数
t
其 中 ， A, R为 常 数 矩 阵 ， b是 常 数 向 量
规范化平方（裕量）误差判据
J r (a )
y Y
(a y b )
t
2
y
线性判别函数
为了方便起见，如果我们令
则合适的A能使所有的Y’满足A TY’>0。（后面用Y表示Y’ ） 经过这样的规格化处理后，问题就转化为：求使每一个样本 Y满足A TY>0的权向量A的问题了。权向量A称为解权向量。
为了求解线性不等式组A TY>0，构造一个准则函数： 感知准则函数：
J P ( A)
Y A
w x xp r w 决策面H
w0 w
x2
x
w
g x w
xp
1 : g 0 2 : g 0
x1
g(X )=0
式中
Xp: 是 x 在H上的投影向量， r : 是 x 到H的垂直距离，
w ：是w方向上的单位向量。 w
将上式代入 g x wT x w0 ，可得：
w T ) w0 w T xp w0 r W w r w g(x)= w T ( x p r w w
讨论二类情况下的线性判别函数。 两个线性判别函数 T
T
g1( X ) W 1 X w10 g 2( X ) W 2 X w20
如果X属于 1 ，可得： (W
T 1
T W2 ) X (w 10 w 20 )>0
令 W T (W1T W2T ), w0 w10 w20得 g(X )=W T X + w0 则二类模式的线性分类器的决策法则是： 如果 g(X )>0 ，则决策 1 ，即把 X 归到 1 类去； 如果 g(X )<0 ，则决策 2 ，即把 X 归到 2 类去。
作为判别函数，它应具有如下的性质：假如一个模式X属于第 i类，则有： gi ( X )>g j (X), i, j 1, 2,, c, j i
则合适的A能使所有的Y’满足A TY’>0。（后面用Y表示Y’ ） 经过这样的规格化处理后，问题就转化为：求使每一个样本 Y满足A TY>0的权向量A的问题了。权向量A称为解权向量。
为了求解线性不等式组A TY>0，构造一个准则函数： 感知准则函数：
J P ( A)
Y A
w x xp r w 决策面H
w0 w
x2
x
w
g x w
xp
1 : g 0 2 : g 0
x1
g(X )=0
式中
Xp: 是 x 在H上的投影向量， r : 是 x 到H的垂直距离，
w ：是w方向上的单位向量。 w
将上式代入 g x wT x w0 ，可得：
w T ) w0 w T xp w0 r W w r w g(x)= w T ( x p r w w
讨论二类情况下的线性判别函数。 两个线性判别函数 T
T
g1( X ) W 1 X w10 g 2( X ) W 2 X w20
如果X属于 1 ，可得： (W
T 1
T W2 ) X (w 10 w 20 )>0
令 W T (W1T W2T ), w0 w10 w20得 g(X )=W T X + w0 则二类模式的线性分类器的决策法则是： 如果 g(X )>0 ，则决策 1 ，即把 X 归到 1 类去； 如果 g(X )<0 ，则决策 2 ，即把 X 归到 2 类去。
作为判别函数，它应具有如下的性质：假如一个模式X属于第 i类，则有： gi ( X )>g j (X), i, j 1, 2,, c, j i
模式识别-判别函数
d1 0, d2, d3 0
IR，可能
属于1 或3
d1, d2 0, d3 0
1
全部＜０ 不属任何类
3
d3 0,
确定区(indefinite
d2 0, d1, d3 0
2
region ，IR)。
-
IR，可能 + d3 ( X ) 0
属于3 或 2
x 1
d1, d2 0
数，则有利于模式分类的实现。
2.2 广义线性判别函数
• 基本思想 设有一个训练用的模式集{x}，在模式空间x中 线性不可分，但在模式空间x*中线性可分， 其中x*的各个分量是x的单值实函数，x*的维 数k高于x的维数n，即若取
x* = (f1(x), f2(x), …., fk(x)), k>n 则分类界面在x*中是线性的，在x中是非线性 的，此时只要将模式x进行非线性变换，使之 变换后得到维数更高的模式x*，就可以用线 性判别函数来进行分类。
2. 设 d面13为 和(x多 多)=类类d2情情(x)况况, d222，的3(x并区)=使域d：。3(xd)。12(绘x)=出d其1(x判),别界 3. 设d1(x), d2(x)和d3(x)是在多类情况3的条
件下确定的，绘出其判别界面和每类的区 域。
2.2 广义线性判别函数
• 出发点
– 线性判别函数简单，容易实现； – 非线性判别函数复杂，不容易实现； – 若能将非线性判别函数转换为线性判别函
（1）判别函数的几何性质：线性的和非线性的函数。
• 线性的是一条直线； • 非线性的可以是曲线、折线等； • 线性判别函数建立起来比较简单（实际应用较多）； • 非线性判别函数建立起来比较复杂。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
d ( x) 0
IR 3
x1
5
d2 ( x) 0
22
1、第一种情况（续）
解： 三个判别边界分别为：
d1 ( x ) x1 x2 0 d 2 ( x ) x1 x2 5 0 d ( x 3 ) x2 1 0
6
1有关模式识别的3个问题
• 相似性度量
• 同类物体之所以属于同一类，在于它们的某些
属性相似，因此可选择适当的度量方法检测出 它们之间的相似性。 • 在特征空间中用特征向量描述样本的属性，用 距离来表示相似性度量。 • 合适的特征空间情况下，同类样本应具有聚类 性，或紧致性好，而不同类别样本应在特征空 间中显示出具有较大的距离。
d12(x)为正
i j 两分法例题图示
d21(x)为正
29
x2
9 8 7 6 5 4 3 2 1
d23(x)= -d32(x)= –x1+x2= 0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
30
i j 两分法例题图示
(x)= -d31(x)= –x1+3 = 0 d13(x)为正 d31 为正 13(x)
别函数（即数学模型）
2016/12/3
模式识别导论
3
实例：统计模式识别（续）
• 从图中训练样本的分布情况，找出男、女
两类特征各自的聚类特点，从而求取一个 判别函数（直线或曲线）。 • 只要给出待分类的模式特征的数值，看它 在特征平面上落在判别函数的哪一侧，就 可以判别是男还是女了。
2016/12/3
2016/12/3
模式识别导论
39
2.3 感知器算法(Perceptron Approach)
流程:
任选一初始增广权矢量 用训练样本检验分类是否正确 No 对权值进行校正 Yes
No
对所有训练样本都正确分类？ Yes END 感知器算法流程图
40
2.2 感知器概念及其训练方法
• 设训练样本集X={x1,x2,…,xn}，其中xk属于wi或者 *
模式识别导论
11
2.2.1 线性判别函数的基本概念
• 在一个d维的特征空间中，线性判别函数的
一般表达式如下
g ( x ) w1 x1 w 2 x 2 w d x d w d 1
g ( x ) w x w d 1
T
w为 加 权 向 量
2016/12/3
模式识别导论
d i ( x ) 0 d j ( x ) 0
j i
x
则判
x i
比如对图的三类问题 , 如果对于任一模式 x 如 果它的
x2
d1 ( x ) 0 d 2 ( x) 0 d 3 ( x) 0
d3 ( x) 0
1
d1( x) 0
•
2016/12/3
模式识别导论
5
有关模式识别的3个问题
• 模式的紧致性
•
• 分类器设计难易程度与模式在特征空间的分布方式有
密切关系，例如图(a)、(b)与(c)分别表示了两类在空 间分布的三种状况。 两类事物分布的区域不要有相互混迭的情况，事物尽 管没有混迭，但交界线很复杂。
2016/12/3
模式识别导论
例：非线性判决函数
x2
x2
O
x1
O
x1
2）判决函数d(X)的系数。用所给的模式样本确定。
18
19
x2
不确定区域
?
d3 ( x) 0
1
d1 ( x) 0
2
3
x1
d2 ( x ) 0
多类问题图例（第一种情况）
20
x 、第一种情况（续） 1
判别规则为： 如果
2016/12/3
模式识别导论
9
2.1 引言
• 将模式识别的设计过程，主要是判别函数、
决策面方程的确定过程改成
2016/12/3
模式识别导论
10
2.1 引言
• 线性分类器以及作为设计依据的一些准则
函数，准则函数包括：感知准则，最小平 方误差准则，最小错分样本数准则，Fisher 准则。
2016/12/3
2016/12/3
模式识别导论
38
2.2.2 感知器概念及其训练方法
• 感知准则函数是五十年代由Rosenblatt提出
的一种自学习判别函数生成方法，由于 Rosenblatt企图将其用于脑模型感知器，因 此被称为感知准则函数。其特点是随意确 定的判别函数初始值，在对样本分类训练 过程中逐步修正直至最终确定。
方法⑶判别函数的数目和方法⑴相同，但没有
不确定区，分析简单，是最常用的一种方法。
36
3. 小结 (1) 明确概念：线性可分。 一旦线性判别函数的系数Wk被确定以后，这些函数就可以 作为模式分类的基础。 (2) i i 与i j 分法的比较： 对于M类模式的分类， i i 两分法共需要M个判别函数， 但 i j 两分法需要M(M-1)/2个。当时M>3时，后者需要更多个 判别式（缺点），但对模式的线性可分的可能性要更大一些 （优点）。 原因：
2
O
X 2 ，则
若 d(X ) 0
x1
X ω1或 X ω2 ，则 或拒绝
维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。
2．判别函数正负值的确定 判别界面的正负侧，是在训练判别函数的权值时确定的。
x2
2
－ ＋
d(X ) 0
1
O
x1
图3.3 判别函数正负的确定
2类判别区域 d21(x)>0 d23(x)>0 3类判别区域 d31(x)>0 d32(x)>0
0 1 2 3 4 5 6 7 8 9
x1
d23(x)为正
d32(x)为正
d12(x)为正
d21(x)为正
32
i j 两分法例题图示
33
3、第三种情况（续）
d1 ( x) d2 ( x)
1
d1 ( x ) d3 ( x )
2
3
d2 ( x) d3 ( x)
34
多类问题图例（第三种情况）
35
上述三种方法小结:
当c
但是
3 时，i j
法比
i i
法需要更多
的判别函数式，这是一个缺点。
i i 法是将 i 类与其余的c 1 类区分 开，而 i j法是将 i 类和 j类分开，显然 i 法使模式更容易线性可分，这是它的优点。 j
2016/12/3 模式识别导论 7
4.1 引言
分类器设计方法，是根据训练样本集提供的信息， 直接进行分类器设计。这种方法省去了统计分布状 况分析，直接对特征空间进行划分，也是当前的主 要方法之一。
2016/12/3
模式识别导论
8
2.1 引言
• 决策域的分界面是用数学表达式来描述的，
如线性函数和各种非线性函数等，所以分 界面的方程主要包括函数类型选择与最佳 参数确定。 • 一般来说，函数类型由设计者选择，其参 数的确定则是依据一定的准则函数，通过 一个学习过程来实现优化。
12
2.2.1 线性判别函数的基本概念
• 如果采用增广模式，可以表达如下
g ( x) w x
T
x ( x1 , x 2 , , x d ,1)
w ( w1 , w 2 , , w d , w d 1 ) T
T
增广加权向量
2016/12/3
模式识别导论
13
2.1 判别函数(discriminant function) 1．判别函数的定义 直接用来对模式进行分类的准则函数。
2
3
则该模式属于ω1类。
x1
d2 ( x ) 0
21
1、第一种情况（续）
>0 。则此 如果某个X使二个以上的判别函数 d i) 0 d1 ( x 模式X就无法作出确切的判决。如图 5
d1 ( x ) 0 d ( x 2 )0 d ( x 3 )0
x2
IR 1
1
IR 4
1
2
d1 ( x ) 0 d 2 ( x ) 0 d ( x 3 )0
3
IR 2
另一种情况是IR2区域， d ( x 1 )0 ， 判别函数都为负值。 IR1 d ( x 2 )0 IR2，IR3，IR4。都为不 d ( x 3 )0 确定区域。
x1
式中： x1 , x2 为坐标变量，
w1 , w2 , w3 为方程参数。
图3.2 两类二维模式的分布
x2
d(X ) 0 ＋ －
将某一未知模式 X 代入：
1
d ( X ) w1 x1 w2 x2 w3
X 1 若 d ( X ) 0 ，则
类； 类；
若 d(X ) 0
23
1、第一种情况（续）
结论：
所以它属于ω2类。
d1 ( x) 0, d2 ( x) 0, d3 ( x) 0
24
因为
1、第一种情况（续）
5
d1 ( x ) 0 d ( x )0 2 d ( x 3 )0
x2