武汉大学-模式识别-第三章-判别函数PPT课件
合集下载
模式识别线性判别函数.ppt
第五章线性判别函数分类器参数分类器51引言52fisher线性判别53感知准则函数perception54最小平方误差准则函数55多层感知的学习算法误差反向传播算法对于线性判别函数52fisher线性判别相当于把n维特征空间52fisher线性判别52fisher线性判别要找一个最好的投影方向b使下面的准则函数达到最大值
5.3 感知准则函数（Perceptron）
可以用梯度下降法求使Jp(a)最小的a*。
J (a)
J p (a)
p
a
( y) yYe
Ye 是被a所错分的样本集。
5.3 感知准则函数（Perceptron）
函数Jp(a)在某点ak的梯度▽Jp(ak)是一 个向量，其方向是Jp(a)增长最快的方向， 而负梯度是减小最快的方向。 ∴ 沿梯度方向→极大值
yi
5.3 感知准则函数（Perceptron）
二．感知准则函数及其梯度下降算法
设有一组样本y1, …, yN（规范的 增广样本向量）。目的是求一a*，使 得a*Tyi>0, i=1, 2, …, N。
5.3 感知准则函数（Perceptron）
构造一个准则函数，
J
(a)
p
(aT
y)
yYe
希望根据给出的已知类别的训练样 本，确定参数w和w0.
5.1 引言
对分类器的性能 提出要求
利用各种
准则函数 目标函数
表示
使所确定的w和w0尽可能 满足这些要求。
对应于准则函数的最优化 （方法），求准则函数的
极值问题。
5.1 引言
线性判别函数分类的错误率可能比 贝叶斯错误率大，但它简单，容易实 现，它是P.R.中最基本的方法之一，人 们对它进行了大量的研究工作。
5.3 感知准则函数（Perceptron）
可以用梯度下降法求使Jp(a)最小的a*。
J (a)
J p (a)
p
a
( y) yYe
Ye 是被a所错分的样本集。
5.3 感知准则函数（Perceptron）
函数Jp(a)在某点ak的梯度▽Jp(ak)是一 个向量，其方向是Jp(a)增长最快的方向， 而负梯度是减小最快的方向。 ∴ 沿梯度方向→极大值
yi
5.3 感知准则函数（Perceptron）
二．感知准则函数及其梯度下降算法
设有一组样本y1, …, yN（规范的 增广样本向量）。目的是求一a*，使 得a*Tyi>0, i=1, 2, …, N。
5.3 感知准则函数（Perceptron）
构造一个准则函数，
J
(a)
p
(aT
y)
yYe
希望根据给出的已知类别的训练样 本，确定参数w和w0.
5.1 引言
对分类器的性能 提出要求
利用各种
准则函数 目标函数
表示
使所确定的w和w0尽可能 满足这些要求。
对应于准则函数的最优化 （方法），求准则函数的
极值问题。
5.1 引言
线性判别函数分类的错误率可能比 贝叶斯错误率大，但它简单，容易实 现，它是P.R.中最基本的方法之一，人 们对它进行了大量的研究工作。
模式识别课件(总顺序 No6)(第三章 NO1)(张 凤)(071030)(线性判别函数)
向量X可以表示为：
X Xp Xp X
Xp r
W W
式中：XpX向量是超平面H的法线方向。
向量Xp是X在H上的投影向量。由于Xp是H上的一点，所以
g(XP) WT XP W0 0
W W
是W(权向量)方向上的单位向量，而
W W12 ... Wd2
r 是X到H的垂直距离。r是待求的距离，且r是一个代数量， r的正负反应了X位于H的正负侧（即当X在H的正侧时，r为正； 反之，r为负）。
说明：
⑴ 使用g(X)来进行模式分类，依赖于两个因素。 ① g(X)的形状(即几何性质)。它可是线性的或非线性的函数。 在g(X)是线性判别函数下，它是所有模式特性的线性组合。
g(X) = w1x1 + … + wdxd + w0 式中，每个特征对于判别函数g(X)作出不同的贡献，贡献的大 小就是它的权wi(i=1,…,d) 。 ② g(X)的参数：只要被研究的模式是可分的，就可确定g(X) 的参数。
(2) 应对与局限性：
▪ 因此，提出了利用样本集直接设计分类器。
▪ 这种方法是：若能找到一个分离函数，特别若是不依赖于 条件分布密度的，且呈线性或非线性的分离函数。它可理 解为通过几何的方法，将Ω分解为对应于不同类别的子空间。
▪ 这种方法所能处理的只是确定可分(线性/非线性可分)的问题， 当样本集聚的空间发生重叠现象时，寻找分离函数的迭代 过程将加长，甚至振荡。这就是这种方法的局限性。另外， 相对Bayes方法该方法得到的是“次优解”。
H是决策面，其方 程为g(X) =0。
W是权向量，其是 H的法线方向。
X是待识别的模式的特征向量(图中X落入R1区域中，即被分到 W1类中去)。 对待识模式X，若将X带入判别函数，则判别函数值g(X)是特 征空间中一/某点X到超平面H的距离的度量。
模式识别课件-线性函数
1
–
1. 二维情况 ：取两个特征向量
X ( x1 , x2 )T , n 2
这种情况下 判别函数:
g( x ) w1x1 w2 x2 w3
w为参数， 1 , x2为坐标向量 x
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 g i ( x) 0, X 2
g1 ( x) g3 ( x) 0
g 2 ( x) g3 ( x) 0 g 3 ( x) g 2 ( x) 3 g 3 ( x ) g1 ( x ) g1 ( x) g 2 ( x) 0
第三种情况（续）
问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g1 ( x), g2 ( x), g3 ( x). 得判别函数为：g1 ( x) 0, g2 ( x) 1, g3 ( x) 1 因为 g2 ( x) g3 ( x), g2 ( x) g1 ( x) g ( x) g ( x) T属于 类。0 .5 g ( x) g ( x) 所以模式x= (1,1) 2 1
3.3判别函数值的鉴别意义、权空间、解空 间
–
1、模式空间与加权空间
–
– –
模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定 模式的分界面H，W与H正交。 加权空间：以 w1 , w2 ,...,wn1 为变 X2 量构成的欧氏空间 模式空间与加权空间的几何表示 如下图：
IR 4
另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都
–
1. 二维情况 ：取两个特征向量
X ( x1 , x2 )T , n 2
这种情况下 判别函数:
g( x ) w1x1 w2 x2 w3
w为参数， 1 , x2为坐标向量 x
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 g i ( x) 0, X 2
g1 ( x) g3 ( x) 0
g 2 ( x) g3 ( x) 0 g 3 ( x) g 2 ( x) 3 g 3 ( x ) g1 ( x ) g1 ( x) g 2 ( x) 0
第三种情况（续）
问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g1 ( x), g2 ( x), g3 ( x). 得判别函数为：g1 ( x) 0, g2 ( x) 1, g3 ( x) 1 因为 g2 ( x) g3 ( x), g2 ( x) g1 ( x) g ( x) g ( x) T属于 类。0 .5 g ( x) g ( x) 所以模式x= (1,1) 2 1
3.3判别函数值的鉴别意义、权空间、解空 间
–
1、模式空间与加权空间
–
– –
模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定 模式的分界面H，W与H正交。 加权空间：以 w1 , w2 ,...,wn1 为变 X2 量构成的欧氏空间 模式空间与加权空间的几何表示 如下图：
IR 4
另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都
模式识别Chapter 3归纳.ppt
最新.课件
11
Discriminant functions
yk (x)
1 2
(x
k
)
t
k
1
(
x
k )
d 2
ln
2
1 2
ln
| k
| ln
p(ck )
Case 1 k 2I
yk
(x)
1
2
k t
x
kt k
ln
p(ck
)
yk (x) wkt x wk0
wk
1
2
k , wk 0
ktk
最新.课件
21
Introduction
we could design an optional classifier if we knew the priori probabilities and the class-conditional densities
Unfortunately, we rarely, if ever, have this kind of completely knowledge about the probabilistic structure
Feature space, feature point in space
Classification
-- Bayesian decision theory
-- Discriminant function
-- Decision region, Decision boundary
最新.课件
15
Example
Drawbacks -- the number of parameters grows with the size of the data -- slow
第三章 线性与非线性判别函数ppt课件
感知准则函数是五十年代由Rosenblatt提出的一 种自学习判别函数生成方法，由于Rosenblatt企 图将其用于脑模型感知器(Perceptron)，因此被称 为感知准则函数。其特点是随意确定的判别函数初 始值，在对样本分类训练过程中逐步修正直至最终 确定。
编辑版pppt
3
——
知识点
非 参 数 分有 类监 方督 法学 的习 基方 本法 原 理
MSE 准则
定义误差向量 e=Ya-b： 定义平方误差准则函数Js(a):
N
Js(a)e2Y ab2 (aTyib i)2
i 1
最小二乘近似解（MSE解）：
a*argminJs(a)
a
MSE方法的思想：对每个样本，设定一个“理想”的 判别函数输出值，以最小平方误差为准则求最优权向 量
编辑版pppt
Fisher准则
非线性分析器的扩
线
线性分析器
展——分段线性
性
分 析 器
感知准则函数 线性分析器
多层感知器
支持向量机 的基本原理
特性映射方法实现 非线性方法分析器
近邻法
改进的近邻法
编辑版pppt
4
基本概念
感知器 准则
感知器：Perceptron，Rosenblatt，50d/20thc 线性可分性：训练样本集中的两类样本在特征空间
w(k)
wT(k)x(k)0
w(k)x(k) 其它
批量样本修正法与单样本修正法 • 单样本修正法：样本集视为不 断重复出现的序列，逐个样本 检查，修正权向量
• 批量样本修正法：样本成批或 y3
全部检查后，修正权向量
编辑版pppt
感知器 准则
y1
19
编辑版pppt
3
——
知识点
非 参 数 分有 类监 方督 法学 的习 基方 本法 原 理
MSE 准则
定义误差向量 e=Ya-b： 定义平方误差准则函数Js(a):
N
Js(a)e2Y ab2 (aTyib i)2
i 1
最小二乘近似解（MSE解）：
a*argminJs(a)
a
MSE方法的思想：对每个样本，设定一个“理想”的 判别函数输出值，以最小平方误差为准则求最优权向 量
编辑版pppt
Fisher准则
非线性分析器的扩
线
线性分析器
展——分段线性
性
分 析 器
感知准则函数 线性分析器
多层感知器
支持向量机 的基本原理
特性映射方法实现 非线性方法分析器
近邻法
改进的近邻法
编辑版pppt
4
基本概念
感知器 准则
感知器：Perceptron，Rosenblatt，50d/20thc 线性可分性：训练样本集中的两类样本在特征空间
w(k)
wT(k)x(k)0
w(k)x(k) 其它
批量样本修正法与单样本修正法 • 单样本修正法：样本集视为不 断重复出现的序列，逐个样本 检查，修正权向量
• 批量样本修正法：样本成批或 y3
全部检查后，修正权向量
编辑版pppt
感知器 准则
y1
19
《模式识别导论》PPT课件
X
X
2
X
21
..... ...
... ...
... ...
...
...
每个样本有n个特征
XN
XN
1
XN 2
...
XNn
则有联立方程XW=b 这是矛盾方程组，方程数大于未知
数，所以没有精确解的存在。
2020/11/13
22
定义误差向量：e=XW-b≠0 把平方误差作为目标函数
N
▽J(W1)为W1处的目标函数的梯度矢量
2020/11/13
7
在第K步的时候
Wk+1 = Wk-ρk▽J(Wk) ρk为正比例因子 这就是梯度下降法的迭代公式。这样一步步迭代
就可以收敛于解矢量，ρk取值很重要。 ρk太大，迭代太快，引起振荡，甚至发散。 ρk太小，迭代太慢。 应该选最佳ρk。
2020/11/13
2020/11/13
1
§3-1 线性分类器的设计
上一章我们论讨了线性判别函数形式为:
g(x)=WTX +Wn+1
其中 X= (X1, X2…Xn) n维特征向量 W= (W1, W2 … Wn ) n维权向量
分类准则
x x
1, 2,
g(x) g(x)
0 0
通常通过特征抽取可以获得n维特征向量，因此n维 权向量是要求解的。
分类准则08122020利用已知类别学习样本来获得权向量的训练过程如下已知x检测已知类别利用方程组来求解权向量对二类判别函数gx为各模式增1矩阵为nn1矩阵n为样本数n为特征数训练过程就是对已知类别的样本集求解权向量w这是一个线性联立不等式方程组求解的过程
第三章 分类器的设计
模式识别-判别函数
或：
di (X ) maxdk X , k 1,, M , 若X i
x2
d1(X) - d2 X 0
+-
识别分类时：
1
d1 d2 d1 d3
d2 d1 d2 d3
d1(X) - d3X 0
+ -
判别界面需
2
要做差值。对ωi
类，应满足：
x1
+
1
CM2
M M -1
2!
例 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
2
O
+
- d12 ( X ) 0 x1
例 一个三类问题，三个判决函数为：
d12 ( X ) -x1 - x2 + 5 d13( X ) -x1 + 3 d23( X ) -x1 + x2 问模式 X [4,3]T 属于哪类？
di>其他所有d
0
d3 d1
3
d3 d2
+ -
d2 (X) - d3X 0
例 一个三类模式（M=3）分类器，其判决函数为：
d1( X ) -x1 + x2 d2 ( X ) x1 + x2 -1 d3( X ) -x2 试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。
- x2 +1 0
x2
4
d1(X ) -x1 + x2 +1
d2 (X ) x1 + x2 - 4
d3(X ) -x2 +1
+
d1 ( X )
-
0
(7, 5)
di (X ) maxdk X , k 1,, M , 若X i
x2
d1(X) - d2 X 0
+-
识别分类时：
1
d1 d2 d1 d3
d2 d1 d2 d3
d1(X) - d3X 0
+ -
判别界面需
2
要做差值。对ωi
类，应满足：
x1
+
1
CM2
M M -1
2!
例 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
2
O
+
- d12 ( X ) 0 x1
例 一个三类问题，三个判决函数为：
d12 ( X ) -x1 - x2 + 5 d13( X ) -x1 + 3 d23( X ) -x1 + x2 问模式 X [4,3]T 属于哪类？
di>其他所有d
0
d3 d1
3
d3 d2
+ -
d2 (X) - d3X 0
例 一个三类模式（M=3）分类器，其判决函数为：
d1( X ) -x1 + x2 d2 ( X ) x1 + x2 -1 d3( X ) -x2 试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。
- x2 +1 0
x2
4
d1(X ) -x1 + x2 +1
d2 (X ) x1 + x2 - 4
d3(X ) -x2 +1
+
d1 ( X )
-
0
(7, 5)
模式识别-判别函数54页PPT
模式识别-判别函数
16、人民应该为法律而战斗，就像为 了城墙 而战斗 一样。 ——赫 拉克利 特 17、人类对于不公正的行为加以指责 ，并非 因为他 们愿意 做出这 种行为 ，而是 惟恐自 己会成 为这种 行为的 牺牲者 。—— 柏拉图 18、制定法律法令，就是为了不让强 者做什 么事都 横行霸 道。— —奥维 德 19、法律是社会的习惯和思想的结晶 。—— 托·伍·威尔逊 20、人们嘴上挂着的法律，其真实含 义是财 富。— —爱献 生
谢谢！Leabharlann 61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
16、人民应该为法律而战斗，就像为 了城墙 而战斗 一样。 ——赫 拉克利 特 17、人类对于不公正的行为加以指责 ，并非 因为他 们愿意 做出这 种行为 ，而是 惟恐自 己会成 为这种 行为的 牺牲者 。—— 柏拉图 18、制定法律法令，就是为了不让强 者做什 么事都 横行霸 道。— —奥维 德 19、法律是社会的习惯和思想的结晶 。—— 托·伍·威尔逊 20、人们嘴上挂着的法律，其真实含 义是财 富。— —爱献 生
谢谢！Leabharlann 61、奢侈是舒适的，否则就不是奢侈 。——CocoCha nel 62、少而好学，如日出之阳；壮而好学 ，如日 中之光 ；志而 好学， 如炳烛 之光。 ——刘 向 63、三军可夺帅也，匹夫不可夺志也。 ——孔 丘 64、人生就是学校。在那里，与其说好 的教师 是幸福 ，不如 说好的 教师是 不幸。 ——海 贝尔 65、接受挑战，就可以享受胜利的喜悦 。——杰纳勒 尔·乔治·S·巴顿
模式识别理论 ppt课件
• 最小（大）生成树法—Minimun（Max） Spanning Tree Method
• K均值聚类法—K-means Clustering Method
• 模糊聚类法—Fuzzy clustering method • PCA投影分类法等等
60
主成分分析的数学 与几何意义示意图
61
16个脑组织试样进行分析，在色谱图中
uxy yt x 12
判别阈值可取两个类心在u方向上轴的投影连线的
中点作为阈值，即:
yt
m~1 m~2 2
49
50
（7） 计算m~ i。
m ~iN 1i j y(ji)N 1i j u x(ji)u m i
（8）
计算yt 。 yt
m~1 m~2 2
（9） 对未知模式x判定模式类。
uxy yt x 12
11
模式识别常用术语
• 特征抽提（Feature Extraction） • 训练集（Training Set） • 识别率（Recognition Rate） • 预测能力（Predictive Ability）
12
注意事项
训练集的数据一定要可靠。 训练集的样本数目要足够多，样本数m与模
式空间维数n 的比值至少应满足m/n≥3，最好 m/n≥10。 模式空间特征的选择是成败的关键，要选取与 样本分类有关的特征，如果不能包括与分类有 关的主要特征，模式识别就不会有好的效果。
4
什么是模式识别
• 模式识别包括两个阶段，即学习阶段和实现阶段， 前者是对样本进行特征选择，寻找分类的规律， 后者是根据分类规律对未知样本集进行分类和识 别。
• 广义的模式识别属计算机科学中智能模拟的研究 范畴，内容非常广泛，包括声音和语言识别、文 字识别、指纹识别、声纳信号和地震信号分析、 照片图片分析、化学模式识别等等。计算机模式 识别实现了部分脑力劳动自动化。
• K均值聚类法—K-means Clustering Method
• 模糊聚类法—Fuzzy clustering method • PCA投影分类法等等
60
主成分分析的数学 与几何意义示意图
61
16个脑组织试样进行分析，在色谱图中
uxy yt x 12
判别阈值可取两个类心在u方向上轴的投影连线的
中点作为阈值，即:
yt
m~1 m~2 2
49
50
（7） 计算m~ i。
m ~iN 1i j y(ji)N 1i j u x(ji)u m i
（8）
计算yt 。 yt
m~1 m~2 2
（9） 对未知模式x判定模式类。
uxy yt x 12
11
模式识别常用术语
• 特征抽提（Feature Extraction） • 训练集（Training Set） • 识别率（Recognition Rate） • 预测能力（Predictive Ability）
12
注意事项
训练集的数据一定要可靠。 训练集的样本数目要足够多，样本数m与模
式空间维数n 的比值至少应满足m/n≥3，最好 m/n≥10。 模式空间特征的选择是成败的关键，要选取与 样本分类有关的特征，如果不能包括与分类有 关的主要特征，模式识别就不会有好的效果。
4
什么是模式识别
• 模式识别包括两个阶段，即学习阶段和实现阶段， 前者是对样本进行特征选择，寻找分类的规律， 后者是根据分类规律对未知样本集进行分类和识 别。
• 广义的模式识别属计算机科学中智能模拟的研究 范畴，内容非常广泛，包括声音和语言识别、文 字识别、指纹识别、声纳信号和地震信号分析、 照片图片分析、化学模式识别等等。计算机模式 识别实现了部分脑力劳动自动化。
《线性判别函数》课件
模型训练
训练集包含特征向量和类别标签，用于确定线性函数的权重和偏差。训练过程核心是通过优化算法调整权重和 偏差，以最大化模型的分类准确性。
模型应用
线性判别函数广泛应用于模式识别、数据挖掘、图像处理等领域。它们可以用于分类问题、聚类分析、特征选 择等任务。
总结
线性判别函数是一种重要的分类器，具有广泛的应用前景。通过深入理解线 性判别函数的模型原理和应用方法，我们可以更好地利用它们解决么是线性判别函数？
线性判别函数是一种分类器，用于将数据点分组在不同的类别中。它是一个 由一组权重和偏差（截距）确定的线性函数。
模型基本原理
线性判别函数将数据点映射到一个标量值，然后使用阈值函数将其转换为类别标签。模型训练的目的是找到一 组权重和偏差，将数据点映射到正确的类别。
2-模式识别原理课件-第3章--判别函数及几何分类法
0
0
0
23
13
12
ï
þ
ï
ý
ü
<
>
<
d
d
d
5
5
3
0
分类时：每分离出一类，需要与I 有关的M-1个判决函数；要分开M类模式，共需M(M-1)/2个判决函数。对三类问题需要3(3-1)/2=3个判决函数。即：每次从M类中取出两类的组合：
例3.4 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
此法将 M 个多类问题分成M个两类问题，识别每一类均 需M个判别函数。识别出所有的M类仍是这M个函数。
例3.1 设有一个三类问题，其判别式为：
现有一模式，X=[7,5]T，试判定应属于哪类？并画出三类模式的分布区域。
解：将X=[7,5]T代入上三式，有：
三个判别界面分别为：
图示如下：
当ωi /ωj两分法中的判别函数dij(X) ，可以分解为
时，那么di(X) >dj(X)就相当于多类情况2中的dij(X) >0。
两分法特例
(3)多类情况3：
因此对具有判别函数
的M类情况，判别函数性质为：
或：
识别分类时：
判别界面需 要做差值。对ωi 类，应满足： di>其他所有d
例3.3 一个三类问题，三个判决函数为：
问模式
属于哪类？
解：计算得
可写成：
(4,3)
x2
x1
d23(X)=0
d12(X)=0
d13(X)=0
5
5
3
0
1
w
2
w
2
x
1
x
-
0
0
23
13
12
ï
þ
ï
ý
ü
<
>
<
d
d
d
5
5
3
0
分类时：每分离出一类，需要与I 有关的M-1个判决函数；要分开M类模式，共需M(M-1)/2个判决函数。对三类问题需要3(3-1)/2=3个判决函数。即：每次从M类中取出两类的组合：
例3.4 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。
此法将 M 个多类问题分成M个两类问题，识别每一类均 需M个判别函数。识别出所有的M类仍是这M个函数。
例3.1 设有一个三类问题，其判别式为：
现有一模式，X=[7,5]T，试判定应属于哪类？并画出三类模式的分布区域。
解：将X=[7,5]T代入上三式，有：
三个判别界面分别为：
图示如下：
当ωi /ωj两分法中的判别函数dij(X) ，可以分解为
时，那么di(X) >dj(X)就相当于多类情况2中的dij(X) >0。
两分法特例
(3)多类情况3：
因此对具有判别函数
的M类情况，判别函数性质为：
或：
识别分类时：
判别界面需 要做差值。对ωi 类，应满足： di>其他所有d
例3.3 一个三类问题，三个判决函数为：
问模式
属于哪类？
解：计算得
可写成：
(4,3)
x2
x1
d23(X)=0
d12(X)=0
d13(X)=0
5
5
3
0
1
w
2
w
2
x
1
x
-
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.1.1 用判别函数分类的概念
• 用判别函数进行模式分类依赖的两个因素
（1）判别函数的几何性质：线性的和非线性的函数。
• 线性的是一条直线； • 非线性的可以是曲线、折线等； • 线性判别函数建立起来比较简单（实际应用较多）； • 非线性判别函数建立起来比较复杂。
（2）判别函数的系数：判别函数的形式确定后，主 要就是确定判别函数的系数问题。
• 多类情况1
• 多类情况2
• 多类情况3
-
6
3.1 线性判别函数
3.1.2 线性判别函数 • 分类问题
– 多类情况1
• 判别函数 • 图例 • [例子]
-
7
3.1 线性判别函数
3.1.2 线性判别函数 • 分类问题
– 多类情况2
• 判别函数 • 图例 • [例子]
-
8
3.1 线性判别函数
3.1.2 线性判别函数 • 分类问题
– 引入分段线性判别函数的判别过程，它比一般的线 性判别函数的错误率小，但又比非线性判别函数简 单。
-
19
3.3 分段线性判别函数
• 图例：用判别函数分类
– 可用一个二次判别函数来分类 – 也可用一个分段线性判别函数来逼近这个
二次曲线
3. 设 下确d1(定x)的, d，2(x绘)和出d其3(x判)是别在界多面类和情每况类3的的区条域件。
-
13
3.2 广义线性判别函数
• 出发点
– 线性判别函数简单，容易实现； – 非线性判别函数复杂，不容易实现； – 若能将非线性判别函数转换为线性判别函
数，则有利于模式分类的实现。
-
14
3.2 广义线性判别函数
3.10 决策树简介
-
2
3.1 线性判别函数
3.1.1 用判别函数分类的概念 • 模式识别系统的主要作用
– 判别各个模式所属的类别
• 对一个两类问题的判别，就是将模式x 划分成ω1和ω2两类。
-
3
3.1 线性判别函数
3.1.1 用判别函数分类的概念 • 描述：两类问题的判别函数
-
4
3.1 线性判别函数
3.1.2 线性判别函数
• 多类情况1和多类情况2的比较
– 对于M类模式的分类，多类情况1需要M个判别函 数，而多类情况2需要M*(M-1)/2个判别函数，当M 较大时，后者需要更多的判别式（这是多类情况2 的一个缺点）。
– 采用多类情况1时，每一个判别函数都要把一种类 别的模式与其余M-1种类别的模式分开，而不是将 一种类别的模式仅于另一种类别的模式分开。
• 基本思想
设有一个训练用的模式集{x}，在模式空间x中 线性不可分，但在模式空间x*中线性可分，其 中x*的各个分量是x的单值实函数，x*的维数k 高于x的维数n，即若取
x* = (f1(x), f2(x), …., fk(x)), k>n
则分类界面在x*中是线性的，在x中是非线性 的，此时只要将模式x进行非线性变换，使之 变换后得到维数更高的模式x*，就可以用线性 判别函数来进行分类。
• 描述
-
15
3.2 广义线性判别函数
• 广义线性判别函数的意义
– 线性的判别函数
– fi(x)选用二次多项式函数
• x是二维的情况
• x是n维的情况
– fi(x)选用r次多项式函数， x是n维的情况
• [例子]
• d(x)的总项数
• 说明
– d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维 数不高，若采用次数r较高的多项式来变换，也会使变换后
• 只要被研究的模式是可分的，就能用给定的模式样本 集来确定判别函数的系数。
-
5
3.1 线性判别函数
3.1.2 线性判别函数
• n维线性判别函数的一般形式
– 权向量
– 增广模式向量
– 增广权向量
• 分类问题
– 两类情况：判别函数d(x)
– 多有类三情种况划：分设方模法式可分成ω1, ω2,…, ωM共M类，则
的模式x*的维数很高，给分类带来很大困难。
– 实际情况可只取r=2，或只选多项式的一部分，例如r=2时
只取二次项，略去一次- 项，以减少x*的维数。
16
3.2 广义线性判别函数
• [例子：一维样本空间 -〉二维样本空间]
-
17
作业
• 两类模式，每类包括5个3维不同的模式， 且良好分布。如果它们是线性可分的， 问权向量至少需要几个系数分量？假如 要建立二次的多项式判别函数，又至少 需要几个系数分量？（设模式的良好分 布不因模式变化而改变。）
– 由于一种模式的分布要比M-1种模式的分布更为聚
集，因此多类情况2对模式是线性可分的可能性比
多类情况1更大一些（这是多类情况2的一个优点）。
-
11
作业（1）
• 在一个10类的模式识别问题中，有3类 单独满足多类情况1，其余的类别满足 多类情况2。问该模式识别问题所需判 别函数的最少数目是多少？
-
第三章 判别函数
-
1
第三章 判别函数
3.1 线性判别函数
3.2 广义线性判别函数
3.3 分段线性判别函数
3.4 模式空间和权空间
3.5 Fisher线性判别
3.6 பைடு நூலகம்知器算法
3.7 采用感知器算法的多类模式的分类
3.8 可训练的确定性分类器的迭代算法
3.9 势函数法 — 一种确定性的非线性分类算法
12
作业（2）
• 一个三类问题，其判别函数如下：
d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1
1. 设这些函数是在多类情况1条件下确定的， 绘出其判别界面和每一个模式类别的区域。
2. 设 d13为(x)多= 类d2(情x)况, d223，(x并)=使d3：(x)d。12(绘x)出= d其1(判x),别界 面和多类情况2的区域。
– 多类情况3
• 判别函数 • 图例 • [例子]
-
9
3.1 线性判别函数
3.1.2 线性判别函数 • 小结：线性可分
– 模式分类若可用任一个线性函数来划分， 则这些模式就称为线性可分的，否则就是 非线性可分的。
– 一旦线性函数的系数wk被确定，这些函数 就可用作模式分类的基础。
-
10
3.1 线性判别函数
-
18
3.3 分段线性判别函数
• 出发点
– 线性判别函数在进行分类决策时是最简单有效的， 但在实际应用中，常常会出现不能用线性判别函数 直接进行分类的情况。
– 采用广义线性判别函数的概念，可以通过增加维数 来得到线性判别，但维数的大量增加会使在低维空
间里在解析和计算上行得通的方法在高维空间遇到 困难，增加计算的复杂性。