模式识别 第四章 统计判决
模式识别 第四章 统计判决
r • P(x) ---总概率 ---总概率 r • P(ω x) ---后验概率 ---后验概率 ri • p(x ω ) ---类概密，表示在类ωi条件下 ---类概密 表示在类ω 类概密， i
的概率密度，即类ω 模式x 的概率密度，即类ωi模式x的概率分布密度 • 验概率，简称类ω 验概率，简称类ωi的概率
条件平均风险
令决策的数目a等于类数c，如果决策αj 定 如果决策α r 属于ω 类，那么对于给定的模式 r 义为判 x 属于ωj x 在采取决策α 在采取决策αj 的条件下损失的期望为
c r r r r Rj (x) = R(α j x) = ∑λij P(ωi x)∆ E λij x i
关于各类及 的数学期望， 的数学期望，故称 其为（ 其为（总）平均损 失或平均风险。 失或平均风险。
r x的
4.2.2 最小损失准则判决 • 可以将最小条件平均损失判决规则表为 r r Rj (x) = min[ Ri (x)] 如果 i r 则判 x ∈ωj 定理 使条件平均损失最小的判决也必然 所以最小条件平均损失准则也称为最 小平均损失准则或最小平均风险准则， 小平均损失准则或最小平均风险准则 ， 简称为最小损失准则。 简称为最小损失准则。 使总的平均损失最小。 使总的平均损失最小。
平均风险
• 由贝叶斯公式，上式可以写为 由贝叶斯公式，
c c r r r r Rj (x) = ∑λij p(x ωi ) P(ωi ) p(x) = ∑λij p(x ωi )P(ωi ) i=1 i=1
r ∑ p(x ωi )P(ωi )
i=1
c
• 平均损失或平均风险
r r r c r r r R = ∫ Rj (x) p(x)dx = ∑ ∫ Rj (x) p(x)dx Ω 该式表明， 该式表明，R是损 j =1 Ωj c ⌠ c r r 失函数 = λ p(x ω )P(ω )dx
模式识别(4-1)
§4.2 Fisher线性判别
Fisher线性判别函数是研究线性判别函数中最 有影响的方法之一。对线性判别函数的研究就 是从R.A.Fisher在1936年发表的论文开始的。
§4.2 Fisher线性判别
设计线性分类器： g(x) wT x + w0
➢首先要确定准则函数； ➢然后再利用训练样本集确定该分类器的参数，以求使所确 定的准则达到最佳。
w
x = xp + r w , g(x)= r w
x2
x p是x在H 上的投影向量 r是x到H的垂直距离
w 是w方向上的单位向量 w
w x
r
xp
x1
H: g=0
线性判别函数的几何意义
令 g(x) wT x w0 = r w
若x为原点，则g(x) w0
原点到超平面H的距离：r0
w0 w
w0 0 原点在H的正侧 w0 0 原点在H的负侧 w0 0 H通过原点
一些基本参量的定义
2.在一维Y空间
➢各类样本均值
1 mi Ni
y,
yYi
i 1, 2
➢ 样本类内离散度、总类内离散度和类间离散度
Si ( y mi )2, yYi
Sw S1 S2 Sb (m1 m2 )2
i 1, 2
§4.2 Fisher线性判别
根据Fisher选择投影方向w的原则：使原样本向量在该方向上 的投影能兼顾：
mi
1 Ni
yYi
y
1 Ni
xX i
wT x =
wT mi ,
i 1, 2
Sb (m1 m2 )2 (wT m1 - wT m2 )2 = wT (m1 - m2 )(m1 - m2 )T w = wT Sbw
模式识别 总结
2.3 聚类算法
（一）简单聚类 最邻近规则试探法 给定阀值T，聚类到zl （二）层次聚类 初始每个样本点为一类（N类），将类间距离最小者 合并为一类，逐级进行。 类间距离可用：最小、最大、中间、重心、平均距离 等。
（三）动态聚类算法
C-均值算法（适用于团状分布的情况） c 0, zi (1) xi1 , i 1, 2,..., c;
1 z j (k ) Nj
x
i 1
Nj
( j) i
, N N j,
重新聚类
j1
c
x
( j) i
j
ISODATA算法 c（预期类数），Nc（初始类心个数），N（各类最小样本数）， s（类中样本特征分量标准差上限）， jmax， D（聚合中心最小间距），L，I
C-均值算法性能
i j
⑶ 没有不确定区的 两分法 i j 令 dij ( x) di ( x) d j ( x) ( w i wj ) x
if
di ( x ) d j ( x ), j i then x i
or if di ( x ) max[d j ( x )] then x i
Fisher准则函数 2 SB (m1 m2 )2 uS Bu J F (u ) 2 2 max 2 sW1 sW2 uSW u SW
（2）Fisher变换
1 SW SBu u
对于两类问题,
u S S 它所对应的本征矢量 称为Fisher
最佳鉴别矢量。 1 u S Fisher变换函数 W (m 1 m2 ) ： 1 y (m1 m2 )SW x
最近距离 最远距离 中间距离 重心距离
p 1/2 1/2 1/2 np/(np+nq)
模式识别试题2
《模式识别》试题库一、基本概念题 1模式识别的三大核心问题是：（ ）、（ ）、（ ）。
2、模式分布为团状时，选用（ ）聚类算法较好。
3 欧式距离具有（ ）。
马式距离具有（ ）。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性4 描述模式相似的测度有( )。
（1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度5 利用两类方法处理多类问题的技术途径有：（1） （2）（3） 。
其中最常用的是第( )个技术途径。
6 判别函数的正负和数值大小在分类中的意义是：( )。
7 感知器算法 ( )。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
8 积累位势函数法的判别界面一般为( )。
（1）线性界面；（2）非线性界面。
9 基于距离的类别可分性判据有：( ).（1）1[]w B Tr S S - （2） BW S S （3） B W B S S S +10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
11 确定性模式非线形分类的势函数法中，位势函数K(x,xk)与积累位势函数K(x)的关系为（ ）。
12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和xk 的函数K(x,xk)若同时满足下列三个条件，都可作为势函数。
①（ ）；②（ ）；③ K(x,xk)是光滑函数，且是x 和xk 之间距离的单调下降函数。
13 散度Jij 越大，说明i 类模式与j 类模式的分布（ ）。
当i 类模式与j 类模式的分布相同时，Jij=（ ）。
14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。
15 信息熵可以作为一种可分性判据的原因是：( )。
16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。
17 随机变量l(x )=p(x 1)/p(x 2)，l(x )又称似然比，则E l( x )2=（ ）。
模式识别第4章 线性判别函数
w1。
44
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
w1
先看一个简
单的情况。设一
维数据1，2属于
w0
1, -1，-2属
于2 求将1和
2区分开的w0 ，
w1。
45
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
53
第四章 线性判别方法
4.1 用判别域界面方程分类的概念
有 4.2 线性判别函数 监 4.3 判别函数值的鉴别意义、权空间及解空间 督 4.4 Fisher线性判别 分 4.5 一次准则函数及梯度下降法 类 4.6 二次准则函数及其解法
4.7 广义线性判别函数
54
4.4 Fisher线性判别
这一工作是由R.A.Fisher在1936年的论文中 所提出的，因此称为Fisher线性判别方法。
0123456789
x1
d23(x)为正
d32(x)为正 d12(x)为正 d21(x)为正
i j两分法例题图示
24
25
3、第三种情况（续）
d1(xr) d2(xr)
1
2
d1(xr ) d3(xr )
3
d2 (xr ) d3(xr )
多类问题图例（第三种情况）
26
27
上述三种方法小结:
8
4.2 线性判别函数
9
10
11
d3(xr) 0
不确定区域
r
xr xrxr xr xr
x2
?
d1(x) 0
1
2
3
x1 d2(xr ) 0
最新模式识别-统计判决
x)
max j
P( j
x)
，则判
x i （后验概率形式）
⑶ ⑷
若
若
p(
x
i
)
P(i
)
p(x i )P(i
p(x
) max j
j
)P(
j
)，jip( Nhomakorabea j )P( j )
，则判 ，则判
x i x i
（条件概率形式）
⑸
若
lij
(
x)
p(x ) i
p(x ) j
P( j P(i
则 x 1 则 x 2
或改写为
l12
p( x | 1) p( x | 2 )
P(2 ) P(1 )
12
l12
p( x | 1) p(x | 2 )
P(2 ) P(1 )
12
则
x 1
则
x 2
l12称为似然比（likelihood ratio），12称为似然比的判决阀值。
原则：要确定x是属于ω1类还是ω2类，要看x是来自于 ω1类的概率大还是来自ω2类的概率大。
模式识别-统计判决
2
第四章 统计判决（基础复习）
随机模式分类识别，通常称为Bayes(贝叶斯) 判决。
主要依据类的概率、概密，按照某种准则使分 类结果从统计上讲是最佳的。准则函数不同，所导 出的判决规则就不同，分类结果也不同。
本章主要论述分类识别的一般原理、几种重要 的准则和相应的判决规则，正态分布模式类的判决 函数以及它们的性能。
10
已知：（统计结果）
先验概率： P(1)=1/3（鲈鱼出现的概率）
P(2)=1-P(1)=2/3 （鲑鱼出现的概率）
模式识别导论习题参考-齐敏-第4章-基于统计决策的概率分类法
第4章 基于统计决策的概率分类法习题解答4.1 分别写出以下两种情况下，最小错误率贝叶斯决策规则：（1）两类情况，且)|()|(21ωωX X p p =。
（2）两类情况，且)()(21ωωP P =。
解：最小错误率贝叶斯决策规则为：若(){}M j P p P p j j i i ,,2,1),()|(max )|( ==ωωωωX X ，则i ω∈X两类情况时为：若())()|()|(2211ωωωωP p P p X X >，则1ω∈X 若())()|()|(2211ωωωωP p P p X X <，则2ω∈X(1)当)|()|(21ωωX X p p =，变为：若())(21ωωP P >，则1ω∈X 若())(21ωωP P <，则2ω∈X(2)当)()(21ωωP P =时，变为：若)|()|(21ωωX X p p >，则1ω∈X 若)|()|(21ωωX X p p <，则2ω∈X4.2 假设在某个地区的疾病普查中，正常细胞（1ω）和异常细胞（2ω）的先验概率分别为9.0)(1=ωP ，1.0)(2=ωP 。
现有一待识别细胞，其观察值为X ，从类概率密度分布曲线上查得2.0)|(1=ωX p ，4.0)|(2=ωX p ，试对该细胞利用最小错误率贝叶斯决策规则进行分类。
解1： ∑=1)(=2111)(|)()|()|(i iiP X p P X p X P ωωωωω818.01.04.09.02.09.02.0≈⨯+⨯⨯=182.01.04.09.02.01.04.0)|(2≈⨯+⨯⨯=X P ω)|()|(21X P X P ωω> 1ω∈∴X （正常）解2：()18.09.02.0)|(11=⨯=ωωP X p ，()04.01.04.0)|(22=⨯=ωωP X p())()|()|(2211ωωωωP X p P X p > 1ω∈∴X （正常）4.3 设以下模式类具有正态概率密度函数：1ω：T 1]0,0[=X ，T 2]0,2[=X ，[]T 32,2=X ，T 4]2,0[=X 2ω：[]T 54,4=X ，[]T 64,6=X ，[]T 76,6=X ，[]T 86,4=X（1）设5.0)()(21==ωωP P ，求两类模式之间贝叶斯判别界面的方程式。
模式识别-第四章
4.2 正态分布模式的贝叶斯 分类器
• M种模式类别的多变量正态类密度函数
– 判别函数是一个超二次曲面。 – 对于正态分布模式的贝叶斯分类器，两个模式类别之间用一 个二次判别界面分开，就可以求得最优的分类效果。
• 两类问题且其类模式都是正态分布的特殊情 况
– 当C1≠C2时的情况
• 显然，判别界面d1(x)- d2(x)=0是x的二次型方程，即ω1和 ω2两类模式可用二次判别界面分开。 • 当x是二维模式时，判别界面为二次曲线，如椭圆，圆， 抛物线或双曲线等。
4.3 均值向量和协方差矩阵 的参数估计 • 均值向量和协方差矩阵的贝 叶斯学习
–一般概念 –单变量正态密度函数的均值学 习
• [计算]
4.1 作为统计判别问题的 模式分类
4.1.2 贝叶斯最小风险判别 • 当考虑到对于某一类的错误判决要比对另一 类的判决更为关键时，就需要把最小错误概 率的贝叶斯判别做一些修正，提出条件平均 风险rj(x)。
• M类分类问题的条件平均风险rj(x)
– 对M类问题，如果观察样本被判定属于ωj 类 ，则条件平均风险为： – Lij称为将本应属于ωi类的模式判别成属于ωj 类的是非代价。
– 当C1=C2 =C时的情况
• 判别界面为x的线性函数，为一超平面。 • 当x是二维时，判别界面为一直线。
4.2 正态分布模式的贝叶斯 分叶斯分类规则是基于统计概念的。 – 如果只有少数模式样本，一般较难获得最优的结果。
作业及编程（编程可选）
• 设以下模式类别具有正态概率密度函数： ω1：{(0 0)T, (2 0)T, (2 2)T, (0 2)T} ω2：{(4 4)T, (6 4)T, (6 6)T, (4 6)T} （1）设P(ω1)= P(ω2)=1/2，求这两类模式之间 的贝叶斯判别界面的方程式。 （2）绘出判别界面。 • 编写两类正态分布模式的贝叶斯分类程序。 （可选例题或上述作业题为分类模式）
模式识别习题及答案
第一章 绪论1.什么是模式？具体事物所具有的信息。
模式所指的不是事物本身，而是我们从事物中获得的___信息__。
2.模式识别的定义？让计算机来判断事物。
3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。
第二章 贝叶斯决策理论1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。
利用贝叶斯公式 得到后验概率。
根据后验概率大小进行决策分析。
2.最小错误率贝叶斯分类器设计过程？答：根据训练数据求出先验概率类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。
3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？答：4.贝叶斯决策为什么称为最小错误率贝叶斯决策？答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。
Bayes 决策是最优决策：即，能使决策错误率最小。
5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。
6.利用乘法法则和全概率公式证明贝叶斯公式答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1)()|()()()|()()|()(所以推出贝叶斯公式7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi)⎩⎨⎧∈>=<211221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑===M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1)()|()()|()()()|()|(= P(x1| ωi) P(x2| ωi)… P(xn| ωi)）8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。
模式识别-最小最大损失准则
R 22 + (21 22 )
p(x )dx D R* a 2
W1
求使 b 0 的 P(1) 等价于在最小平均损失
中求使
dR * dP (1 ) 0
R*
～
P
(
1
)
关系
的 P(1) ，显然，此时的 P(1) 使 R* 取所有最小损失的最大
值
R
* m
。 所以
11)
W2
p(x
1
)dx
+
(22
21 )
W1
p(x
2
)dx
D a + bP(1)
由于 P(1) 在 0 和 1 之间取值，所以平均损失值有
a R a+b
6
由上式可见，当类概密、损失函数ij 、类域Wi 取
定后，R是P(1)的线性函数。 考虑P(1)的各种可能取值情况，为此在区间(0,1)
p(x )
p(
x
1
)
2
P(2 )(1 t) P(1)t
x 1
拒 绝
判
x
2
决 的
最
小
拒判
损
失
3
最小最大损失准则的基本思想：
实际中，类先验概率 P(i) 往往不能精确
知道或在分析过程中是变动的，从而导致判决
域不是最佳的。所以应考虑如何解决在 P(i)
不确知或变动的情况下使平均损失变大的问题。 应该立足最差的情况争取最好的结果。
4
对于两类问题，设一种分类识别决策将特征空
间 W 分划为两个子空间 W1 和 W2 ，记 ij 为将实属 i
模式识别-参数估计统计决策法
模式识别，第四章
19
最大似然估计法
令:
n ln p( xk / ) 0 k 1
n ln p( xk / ) 0 1 k 1 n ln p( xk / ) 0 2 k 1
模式识别
Pattern Classification
第四章: 参数估计统计决策法
3
参数估计
• 原理
• 对于绝大多数的识别问题，类概率密度函数已知的条件
并不成立，而通常只知类概率密度的函数形式，其参数 未知。
• 参数估计法即是利用学习样本来估计类概率密度参数的
方法。
模式识别，第四章
4
参数估计
最大似然估计法 参数估计法 Bayes估计法 两种方法原理不同，但结果是一致的！
p ( X ( j ) ) p ( X ( j ) / ) p ( )d 与 无关，可用系数
代替 即：
p( / X
( j)
) P( X
( j)
/ ) p( )
模式识别，第四章
33
Bayes估计
显然，由于n个学习样本是独立抽取的，则
p( X ( j ) / ) P( X k / )
1 ( n )2 1 exp 2 2 n 2 n
模式识别，第四章
41
Bayes估计
可见：修正后μ的分布仍为正态分布！其均值为μn，方差为σn2
其中：
n 0 2 n mn 0 2 2 n 0 2 n 0 2
2
1 n mn X k n k 1
1 n 当 n 时, X k , Bayes估计与最大似然估计的结果相同! n n k 1
模式识别第4章.ppt
0.5
1
gg11
( (
x) x)
g2 (x) g3 ( x)
g g
2 2
(x) (x)
g1 ( x) g3 ( x)
2
1.0
g1(x) g3 (x) 0
0.5
3
g2 (x) g3(x) 0
g3(x) g2 (x)
问:未知模式X=(x1,x2)T=(4,3)T属
5
判
2
别
区
x2 g12 0
g23(x) 0
g23 0
于那一类
1判别区
判
3
别区
代入判别函数可得:
g12 0
g31 0
g12 (x) 2, g13 (x) 1, g23 (x) 1 g12 0
g32 0
( (
x) x)
g2 g3
(x) (x)
2x1 1 0 x1 2x2
0
g2(x) g3(x) x1 2x2 1 0
1 2
g1(x) g3(x) g2 (x) g3(x)
3
3。第三种情况（续）
用上列方程组作图如下：
0.5
1
g1(x) g2 (x)
0, 0,
x x
1 2
y3 W
a1
1
W
a2 ,Y
x
W TY o平面
C。
式中Wi (wi1, wi2,...,win , win1, )T 为第i个判别函数的 权向量。
模式识别-统计判决42页PPT
21、没有人陪你走一辈子，所以你要 适应孤 独，没 有人会 帮你一 辈子， 所以你 要奋斗 一生。 22、当眼泪流尽的时候，留下的应该 是坚强 。 23、要改变命运，首先改变自己。
24、勇气很有理由被当作人类德性之 首，因 为这种 德性保 证了所 有其余 的德性 。--温 斯顿． 丘吉尔 。 25、梯子的梯阶从来不是用来搁脚的 ，它只 是让人 们的脚 放上一 段时间 ，以便 让别一 只脚能 够再往 上登。
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒谢谢！
模式识别第四章
4 分类的线性模型在前面的章节中，我们研究了一类具有非常简单的解析和计算性能的回归模型，现在我们将讨论一个类似的分类模型来解决分类问题。
我们知道分类的目的是：取定一个输入向量x ，并把它指定到K 个离散类k C 中，这里K k ,,1 =。
在最常见的情况下，这些类是彼此不相交的，所以每一个输入向量被分配到一个且只一个类中。
因此可以把输入空间分割成许多决策区域，它们的边界被称为决策边界或决策表面。
在本章中，我们讨论分类的线性模型，这样意味着决策表面是输入向量x 的线性函数，因此，分类的线性模型是由D 维空间中的D-1维超平面确定的。
类可被线性决策表面精确分配的数据集称作线性可分的。
在回归问题中，目标变量t 就是实数组成的向量，而这些实数的值也是我们想要预测的。
在分类问题中，有很多种利用目标值来代表类标签的方法。
以概率模型为例，对于2类问题，最简单的方法是用二进制表示，这种方法是使用一个单一的目标变量{}1,0∈t ，当1t =的时候，它代表类1C ，当0t =时，它代表类2C 。
我们可以把t 的值解释为类是1C 的概率，且概率值只取极端值0和1。
对于2>K 的类，我们可以很方便地使用取K 中之一的编码机制进行分类，其中t 是一个长度为K 的向量，因此如果这个类是j C ，那么t 中除j t 外的所有元素都是0，j t 值取1。
例如，假设我们有K =5个类，对于类2C 中的一个模式，我们可以得出目标向量：()T 00,0,1,0,t = (4.1)同样地，我们也可以把k t 的值解释为类是k C 的概率。
对于非概率模型，目标变量表示的替代选择有时被证明是方便的。
在第一章中，我们知道了有三种不同方法可以求解分类问题。
最简单的方法是构建一个判别式函数，它直接把每一个向量x 分配到特定的类中。
而一个更有效的方法就是，在推理阶段建立条件概率分布()|k p C x 的模型，然后再用这个分布来做出最佳决策。
模式识别第4章
g(x)单元
x
1 2
决策
特征向量
判别函数的判别功能示意图
4.1.2 正态概型下贝叶斯决策中的线性判别函数
2 判别函数： 1 g j x 2 2μTj x μTj μ j ln P w j wTj x w j 0 2
2 i i i0
x1
g( X )0
R2 ()
r W W r W W
T
g(X ) r W
g (0) w0 r0 W W
x2
H
W
X
w0 W
Xp
g( X ) R1 () W
g( X )0 g( X )0
x1
g( X )0
R2 ()
4.1.4 线性判别函数应用实例
例：若一个线性判别函数的表达式为： g x x1 2x2 3x3 4
g ( x) 0, X不定 这是二维情况下判别由判别边界分类. 情况如图：
x2
1
2
g ( x) w1 x1 w2 x2 w3
x1
2. n维情况
现抽取n个特征为：
判别函数： g( x) w x
X ( x1 , x2 , x3 ,...xn )
1 1
T
w2 x2 ...... wn xn wn1
gi x
1
2μ x μ μ ln P w w x w
T i T i T i
Σi Σ j 2I 决策面： wT x x0 0
其中
w μi μ j
P wi 1 2 x0 μi μ j ln μi μ j 2 2 P wj μi μ j
模式识别(四)
(4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示 当样本x∈ωi时, 特征向量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量 x出现的条件下, 样本x来自类ωi的概率, 即类ωi出 现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准 则把样本x划分到ω1，ω2, …, ωm中的一个。
0.8 0.6 0.4 0.2
x
后验概率分布
3.2
分类器的描述方法
3.2.1 基本假设 给定模式空间S，由m个互不相交的模式类 集合ω1，ω2, …, ωm组成: (1) 假定类ωi的先验概率为P(ωi); (2) 样本(或模式) x由特征向量来表示, 同样记 为x, 假设为d维, 即x=(x1, x2, …, xd); (3) 特征向量x的取值范围构成特征空间, 记为 R d;
2. 类条件概率密度函数P(X|ωi)
类条件概率密度函数(Class-conditional probability density function)P(X|ωi)是指在ωi类 P ( x ω i ) P ( x ω1 ) 条件下X的概率密度，即ωi类模式X的概率分布密 P ( x ω 2) 度，简称为类概密/似然。 设只用一个特征进行分类，即n=1(特征数目)， 并已知这两类的类条件概率密度函数分布，见右图 。类概密P(X|ω1)是正常药品的属性（此处n=1，故 x 为特征数值）分布，类概密P(X|ω2)是异常药品的 类条件概率密度分布 属性分布。 在工程问题中，统计数据往往满足正态分布规 律。若采用正态密度函数作为类概密的函数形式， 则函数内的参数，如期望、方差是未知的。那么问 题就变成如何利用大量样本对这些参数进行估计， 只要估计出这些参数，类概密P(X|ωi)就确定了。
模式识别导论(四)
∑ (x − µ ) + ln
i
+ ln P ( ω i ), 其中
x − µi
= (x − µ i )
T
(x − µ i )
如果M类先验概率相等：
P ( ω 1 ) = P (ω 2 ) = ... = P ( ω m ) ∴ g (x) = x − µi
2
2σ
2
, ( 欧氏距离
)
最小距离分类器：未知x与µi相减，找最近的µi把x归 类
1≤ w ≤ M
µ i , wi 0 = −
1
µ iT µ i + ln P (ω i )
{
}
对于二类情况 g ( x ) = g 2 ( x ) − g 1 ( x )
ω1 P (ω 1 ) = 2 ( µ 2 − µ1 ) x + ( µ 1 µ 1 − µ 2 µ 2 ) ln ⇒ x∈ 2 ω2 > P (ω 2 ) 2σ σ
(x − µ i )T (x − µ i ) = x T x − 2 µx + µ T µ ,因为二次项 x T x与 i无关
∴ 简化可得： g i ( x ) = wiT x + wi 0 , (线性判别函数 ) 其中： wi = 1 2δ 2 2δ 2 判别规则： g i ( x ) = wiT x + wi 0 = max wT x + w j 0 ⇒ x ∈ ω i j
= 0二、最小错误率(Bayes)类器：从最小错误率这个角度来分
析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况) 第一种情况： 第一种情况
即: ∑ i
判别函数：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x i 类的后验概率： x 代表的某个人属于第 P(i x)
• 决策规律：
若 P(ω1|x ) P(ω2 |x ) 则 x 1 若 P(ω1|x ) P(ω2 |x ) 则 x 2
例子——癌症普查（续2）：
• 若已知两类特征向量分布的类条件概率密
该规则使得分类的错误率最小
p(x|1)P(1)
p(x|2)P(2)
21
1
p( x 2 )dx
21P(dx
12P(1)
2 x
1
最小误判概率准则判决域示意图
• 两种错误 12 p( x 1 )dx 21
度函数
P( x i )
• 贝叶斯公式、全概率公式
p( x | i ) P(i ) P(i | x ) p( x ) p ( x | i ) P(i ) 2 p( x | i ) P(i )
i 1
例子——癌症普查（续3）： 将P(i|x)代入判别式，判别规则可表示为 若 P(x|ω1 )P(1 ) P(x|ω2 )P(2 ) 则 x 1 若 P(x|ω1 )P(1 ) P(x|ω2 )P(2 ) 则 x 2 或改写为
4· 1 最小误判概率准则判决
例子——癌症普查： • 1癌症患者：11268
• 2正常者： 2242282
• 总人数：n=2253550
• 对每一类的概率做一个估计（先验概率）
n2 n1 P(1 ) 0.005 P(2 ) 0.995 n n
例子——癌症普查（续1）： • 对人们测量细胞的特征向量
2
• 设 1 和 2 类出现的概率分别为 P(1 ) 和 P(2 ) ，则总的误判概率是
1
p( x 2 )dx
P(e) P(1 )12 P(2 ) 21
P(1 )
2 1
p( x 1 )dx P(2 ) p( x 2 )dx
p( x | i ) P( j ) (3) if lij ( x ) ij , p( x | j ) P(i ) j i then x i
等价的判决规则
(4) if ln p( x | ) ln P( ) ln p( x | ) ln P( ), i i j j j i then x i
p ( x | 1 ) P(2 ) l12 12 则 x 1 p ( x | 2 ) P(1 ) p ( x | 1 ) P(2 ) l12 12 则 x 2 p ( x | 2 ) P(1 ) l12称为似然比（likelihood ratio）， 12称为似然比的判决阀值。
• 误判概率 P(e)最小等价于使正确分类概 率 P (c )最大，即 P(c) P(1 ) p( x 1 )dx P(2 ) p( x 2 )dx max
1 2
多类问题，最小误判概率准则有如下几种 等价的判决规则
(1)
if P(i x ) P( j x ), j i then x i if P(i x ) max[ P( j x )] then x i
• P ( x ) ---总概率 • P( x) ---后验概率 i • p( x ) ---类概密，表示在类i条件下 i
的概率密度，即类i模式x的概率分布密度 验概率，简称类i的概率
概念和符号
•
P(i ) ---先验概率，表示类i出现的先
例：对一批人进行癌症普查，1 :患癌症者 ; 2 :正常人。 模式特征x=x(化验结果 ),x=1：阳性；x=0：阴性。 已知：（统计结果） 先验概率：P(1)=0.005 P(2)=1-P(1)=0.995 条件概率：p(x=阳|1)=0.95 p(x=阴|1)=0.05 p(x=阳|2)=0.01 求：呈阳性反映的人是否患癌症？
p(x|1)P(1)
p(x|2)P(2)
p(x|3)P(3)
1
3
2
3
x
4.1.2 正态模式最小误判概率判决准则的具体形 式
在c类问题中，属于i类的n维模式 x
的
正态分布密度函数为 1 1 1 p( x i ) exp ( x ) ( x ) i i i 1 2 2 n2 (2 ) i
j
(2)
if p( x | i ) P(i ) p ( x | j ) P( j ), j i then x i if p ( x | i ) P (i ) max[ p ( x | j )P ( j )]
then x i
j
多类问题，最小误判概率准则有如下几种
解：利用Bayes公式 p( x 阳 | 1 ) P(1 ) P(1 | x 阳)
p( x 阳) p( x 阳 | 1 ) P(1 ) p( x 阳 | 1 ) P(1 ) p( x 阳 | 2 ) P(2 ) 0.95 0.005 0.323 0.95 0.005 0.01 0.995
因为，P(2|x=阳)= 1-P(1|x=阳)=10.323=0.677 P(1|x=阳)<P(2|x=阳) 故判决： (x=阳)2 ，即正常。
写成似然比形式
p( x 阳 | 1 ) 0.95 l12 （x 阳） 95 p( x 阳 | 2 ) 0.01 P(2 ) 0.995 判决阀值12 197 P(1 ) 0.005 l12 （x 阳） 12 , x 2 , 即正常。