最新哈工大 模式识别第2章ppt教学课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(e)也必然达到最小
▪ 因而，按最大后验概率作出的决策，其平均错误 率为最小。
▪
C类别情况
如 果 : P (i|X ) m j 1 a ,...x ,cP (j|X )
则： X i
也可写成先验概率与条件概率密度形式：
如 果 :p ( X |i) P (i) m j 1 a ,... x ,c p ( X | j) P (j)
则： X i
多类别决策过程中的错误率计算：
1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区 域对应的类的概率，则每个区域共有c-1项错误率， 总共有c(c-1) 项 。（计算复杂）
正确率：
所以：P(e)=1-P(c)
（可见：每次决策，正确率最大，即：P(C）最大，
P(e)R1p(X|2)P(2)dxR2p(X|1)P(1)dx
P(2)R1p(X|2)dxP(1)R2p(X|1)dx
P(2)P2(e)P(1)P1(e)
ห้องสมุดไป่ตู้
如 果 l(x)p p((X X|| 2 1))P P(( 2 1)),
X 1
▪ 在R1区内任一个x值都有P(w2|x)＜P(w1|x)， ▪ 在R2区内任一个x值都有P(w1|x)＜P(w2|x) ▪ 错误率在每个x值处都取小者，因而平均错误率
– 在作出决策时，要考虑所承担的风险。
– 基于最小风险的贝叶斯决策规则正是为了体现这 一点而产生的。
基于最小风险的贝叶斯决策
▪ 最小错误率贝叶斯决策规则
如 果 :P (i|X ) jm 1 ,2 a ,. x ..,c P (j|X ) X i
▪ 实际上，C类中的每一类都有一定的样本的特征向 量取值X，只不过可能性大小不同而已。
▪ 决策不仅包括根据观测值将样本划归哪一类别(状态)， 还可包括其它决策，如“拒绝”等，因此决策空间 内决策总数a可以不等于类别数c
▪ P(*|#)是条件概率的通用符号
– 即在某条件#下出现某个事件*的概率 – P(ωK|X):X出现条件下,样本为ωK类的概率
▪ P(*|#)与P(*)不同
– 例:*表示待识别的目标是敌人的导弹 #表示目前处于战争状态
– 则P(*|#)与P(*)不同含义不同
几个重要概念
▪ 先验概率
– P(ω1)及P(ω2)
P (1 |X ) 0 . 8 1 8 P (2 |X ) 0 . 1 8 2
因此判定该细胞为正常细胞比较合理
最大后验概率即是最小错误率的证明
▪ 平均错误率，以P(e)表示
P(e,x)：错误决策为e,观测值为x的联合概率密度 P(e|x)：观测值为x时的条件错误概率密度函数 P(x)：x值出现的概率
– 估计先验概率与类条件概率密度函数时都可搜集 到大量样本
– 对某一特定事件(如x)要搜集大量样本是不太容易 – 只能借助Bayes公式来计算得到
基于最小错误概率的贝叶斯决策
▪ 基于最小错误概率的贝叶斯决策理论就是按后验 概率的大小作判决的
1、后验概率
如果 P (i|X)m j a 1 ,2 xP ( j|X)
基于最小错误率的贝叶斯决策
▪ 例：癌细胞的识别
– 假设每个要识别的细胞已作过预处理，并抽取出 了d个特征描述量，用一个d维的特征向量X表示，
– 识别的目的是要依据该X向量将细胞划分为正常 细胞或者异常细胞。
– 这里我们用ω１表示是正常细胞，而ω２则属于 异常细胞。
▪ 先验概率
– P(ω1)和P(ω2) – 含义: 每种细胞占全部细胞的比例 – P(ω1)+P(ω2)=1 – 一般情况下正常细胞占比例大，即P(ω1)>P(ω2)
i 1
▪ 根据先验概率和概 率密度函数可以计 算出后验概率
后验概率
P(i | X)
p(X|i)P(i)
c
p(X|i)P(i)
i1
类条件概率和后验概率
– 后验概率: P(ω1|x)和P(ω２|x)
▪ 同一条件x下，比较ω1与ω2出现的概率 ▪ 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 ▪ 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，事件
▪ 条件概率密度函数
– p(x|ωi)
▪ 后验概率
– P(ωi|X)
先验概率、后验概率、概率密度函数
– 假设总共有c类物体，用ωi (i=1,2,…,c)标记每 个类别，x = [x1, x2, …, xd]T，是d维特征空间 上的某一点，则
– P(ωi )是先验概率
– p(x| ωi )是ωi类发生时的条件概率密度函数
几种常用的决策规则
▪ 不同的决策规则反映了分类器设计者的不同考虑， 对决策结果有不同的影响。
▪ 最有代表性的是： 1. 基于最小错误率的贝叶斯决策 2. 基于最小风险的贝叶斯决策 3. 在限定一类错误率条件下使另一类错误率为最小
的两类别决策(Neyman-pearson准则) 4. 最小最大决策
2.2基于最小错误率的贝叶斯决策
– P(ωi|x)表示后验概率
p(x|i)
1
e(x2i2i)2
2i
贝叶斯决策理论
▪ 贝叶斯决策理论前提
– 各类别总体的概率分布是已知的; – 要决策分类的概率分布是已知的。
▪ 贝叶斯决策理论方法所讨论的问题是：
– 已知:总共有c类物体，以及先验概率P(ωi)及类条 件概率密度函数p(x|ωi)
– 问题: 如何对某一样本按其特征向量分类的问题。
pxixjpxipxj两个随机变量不相关不意味着它们一定独立相互独立的随机变量它们之间是不相关的正态分布中不相关性等价于独立性5边缘分布和条件分布的正态性多元正态分布的边缘分布和条件分布仍然是正态分布6线性变换的正态性这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量7线性组合的正态性这是指多元正态分布的随机向量在经过线性组合后得到的一维随机变量也是正态分布的二正态分布概率模型下的最小错误率贝叶斯决策若
▪ p(x|ω1)是正常细胞的属性分布 ▪ p(x|ω2)是异常细胞的属性分布
类条件概率密度函数
p(x|1)
p(x |2)
后验概率
– 我们的问题:
▪ 当观测向量为X值时,应该把该细胞分为哪个类别呢？
– 最小错误率的贝叶斯决策
▪ 该细胞属于正常细胞的概率P(ω1|x) ▪ 该细胞属于异常细胞的概率P(ω2|x)
所以，错误率最小）
2.3基于最小风险的贝叶斯决策
▪ 基本思想
– 使错误率最小并不一定是一个普遍适用的最佳选 择。
– 癌细胞分类
▪ 两种错误:
– 癌细胞→正常细胞 – 正常细胞→癌细胞
▪ 两种错误的代价(损失)不同
– 宁可扩大一些总的错误率，但也要使总的损失减 少。
– 引进一个与损失有关联的，更为广泛的概念—— 风险。
▪ (4) 对数似然比（似然比处理器）
h(x)ln[l(x)]
lnp(X|1)lnp(X|2)lnP P(( 2 1))
则： X 1
▪ 例2.1 假设在某地区切片细胞中正常(ω1)和异
常(ω２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。现有一待识别细胞呈现出状态x， 由其类条件概率密度分布曲线查得 p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行 分类。
ω1出现的可能性大
– 类条件概率: P(x|ω1)和P(x|ω2)
▪ 是在不同条件下讨论的问题 ▪ 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 ▪ P(x|ω1)与P(x|ω2)两者没有联系
▪ 为什么后验概率要利用Bayes公式从先验概 率和类条件概率密度函数计算获得 ？
– 计算概率都要拥有大量数据
两类情况举例: 有没有癌细胞
– ω1表示正常，ω2表示异常 – P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小 – X是癌细胞(ω2)，但被判作正常(ω1)，则会有损
失，这种损失表示为:λ2 (1) 【漏警】
– X确实是正常(ω1)，却被判定为异常(ω2)，则损
失表示成: λ1 (2) 【虚警】
▪ 这d个特征组成一个d维的向量，叫特征 向量。记为x = [x1, x2, …, xd]T
▪ d维待征所有可能的取值范围则组成了 一个d维的特征空间。
▪ 例：鲈鱼 ▪ 特征：长度：L=0~30 cm
宽度：W=10 cm~25 cm 亮度：G=0~10 ▪ 特征向量：A=(L，W，G) ▪ A 的各分量所占的三维空间就是对 鲈鱼 进行度量的特征空间。
则 X i
▪ (2) 如用先验概率及类条件概率密度函 数表示，则有
若 ： p (X |i) P (i) m j a 1 ,x 2p (X | j ) P (j )
则： X i
▪ (3)用比值的方式表示-----似然比
如 果 l(x)p p((X X|| 2 1))P P(( 2 1))
则： X 1
– 另外为了使式子写的更方便，我们也可以定义 λ1 (1)和λ2 (2)
– 是指正确判断也可有损失
两种决策
▪ X被判正常(ω1)的代价( 损失 )
R 1 ( X ) 1 ( 1 ) P (1 |X ) 2 ( 1 )P (2 |X )
▪ X被判癌细胞(ω2)的代价(损失)
R 2 ( X ) 1 ( 2 ) P (1 |X ) 2 ( 2 ) P (2 |X )
作出哪一种决策就要看是R1(X)小还是R2(X)小 这就是基于最小风险的贝叶斯决策的基本出发点
一般情况：多类
▪ (1)自然状态与状态空间。 ▪ 自然状态：指待识别对象的类别: ωi
状态空间Ω：由所有自然状态所组成的空间 Ω={ω1，ω2，…，ωc}
▪ (2)决策与决策空间。 对分类问题所作的判决，称之为决策， αi 。 由所有决策组成的空间称为决策空间。 A={α1, α2,….., αa}
▪ 若引入风险（或损失）：
▪ 表示: X本属于ωj类，但作出决策ωj时所造成的损失 （风险）
▪则：本属于第j类，但决策为第i类的风险为
(ji)P(j | X)
▪因此，若取值为X的样本决策为第i类的平 均风险为：
c
Ri(X) (ji)P(j | X) j1
▪分类准则是使风险最小：
如 果 :R i(X ) j m 1 ,2 i,n ...,c R j(X ) X i
§2.1 引 言
▪ 模式识别是一种分类问题，即根据识别对象 所呈现的观察值，将其分到某个类别中去。
▪ 统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器的设计起指导 作用。
▪ 贝叶斯决策理论是统计模式识别中的一个基 本方法。
物理对象的描述----
特征及特征空间
▪ 假设一个待识别的物理对象用其d个属 性观察值描述，称之为d个特征，每个 观察值即是一个特征。
– 分析两类别问题
▪ 按贝叶斯决策规则，当P(w2|x)＞P(w1|x)时决策为w2。
▪ 显然这个决策意味着，对观测值x有P(w1|x)概率的错 误率。
▪ 上例中所作的w1决策，实际上包含有P(w2|x)=0.182 的错误概率 (正确率只有0.818)
两类别问题
▪ 当p(w2|x)＞p(w1|x)时决策为w2 ，对观测值x有 P(w1|x)概率的错误率
▪ 先验概率
– 根据先验概率决定
PP((11))PP((22)),,xx 12
– 这种分类决策没有意义 – 表明由先验概率所提供的信息太少
▪ 概率密度函数
– 利用对细胞作病理分析所观测到的信息，也就是 所抽取到的d维观测向量。
– 为简单起见，我们假定只用其一个特征进行分类， 即d=1
– 得到两类的类条件概率密度函数分布
▪ 分类识别中为什么会有错分类？
– 当某一特征向量值X只为某一类物体所特有，即
▪ 对其作出决策是容易的，也不会出什么差错
– 问题在于出现模棱两可的情况 – 任何决策都存在判错的可能性。
▪
基于最小错误率的贝叶斯决策
▪ 基本思想
– 分类准则：使错误率为最小 – 称之为基于最小错误率的贝叶斯决策
条件概率
如果我们把作出w1决策的所有观测值区域称为R1，则 在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。
则：P (e)R 1P (2|x)p(x)dxR2P (1|x)p(x)dx R 1p(x|2)P (2)dxR2p(x|1)P (1)dx
解：利用贝叶斯公式，分别计算出状态 为x时ω1与ω２的后验概率
P (1 |X )2 p ( p X (X ||1 )iP )P ((1 )i) 0 .2 0 0 ..2 9 0 0 ..9 4 0 .1 0 .8 1 8 i 1
P (2 |X ) 1 - P ( 1 |X ) 1 0 . 8 1 8 0 . 1 8 2
– 它属于各类的概率又是多少呢? (后验概率)
Bayes 公式
先验概率，后验概率，概率密度函数之间关系
P ( X ,i ) p ( X |i ) P (i ) P (i|X ) p ( X )
P(i
|
X)
p( X
| i )P(i )
p( X )
p( X | i )P(i )
c
p( X | i )P(i )
▪ 因而，按最大后验概率作出的决策，其平均错误 率为最小。
▪
C类别情况
如 果 : P (i|X ) m j 1 a ,...x ,cP (j|X )
则： X i
也可写成先验概率与条件概率密度形式：
如 果 :p ( X |i) P (i) m j 1 a ,... x ,c p ( X | j) P (j)
则： X i
多类别决策过程中的错误率计算：
1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区 域对应的类的概率，则每个区域共有c-1项错误率， 总共有c(c-1) 项 。（计算复杂）
正确率：
所以：P(e)=1-P(c)
（可见：每次决策，正确率最大，即：P(C）最大，
P(e)R1p(X|2)P(2)dxR2p(X|1)P(1)dx
P(2)R1p(X|2)dxP(1)R2p(X|1)dx
P(2)P2(e)P(1)P1(e)
ห้องสมุดไป่ตู้
如 果 l(x)p p((X X|| 2 1))P P(( 2 1)),
X 1
▪ 在R1区内任一个x值都有P(w2|x)＜P(w1|x)， ▪ 在R2区内任一个x值都有P(w1|x)＜P(w2|x) ▪ 错误率在每个x值处都取小者，因而平均错误率
– 在作出决策时，要考虑所承担的风险。
– 基于最小风险的贝叶斯决策规则正是为了体现这 一点而产生的。
基于最小风险的贝叶斯决策
▪ 最小错误率贝叶斯决策规则
如 果 :P (i|X ) jm 1 ,2 a ,. x ..,c P (j|X ) X i
▪ 实际上，C类中的每一类都有一定的样本的特征向 量取值X，只不过可能性大小不同而已。
▪ 决策不仅包括根据观测值将样本划归哪一类别(状态)， 还可包括其它决策，如“拒绝”等，因此决策空间 内决策总数a可以不等于类别数c
▪ P(*|#)是条件概率的通用符号
– 即在某条件#下出现某个事件*的概率 – P(ωK|X):X出现条件下,样本为ωK类的概率
▪ P(*|#)与P(*)不同
– 例:*表示待识别的目标是敌人的导弹 #表示目前处于战争状态
– 则P(*|#)与P(*)不同含义不同
几个重要概念
▪ 先验概率
– P(ω1)及P(ω2)
P (1 |X ) 0 . 8 1 8 P (2 |X ) 0 . 1 8 2
因此判定该细胞为正常细胞比较合理
最大后验概率即是最小错误率的证明
▪ 平均错误率，以P(e)表示
P(e,x)：错误决策为e,观测值为x的联合概率密度 P(e|x)：观测值为x时的条件错误概率密度函数 P(x)：x值出现的概率
– 估计先验概率与类条件概率密度函数时都可搜集 到大量样本
– 对某一特定事件(如x)要搜集大量样本是不太容易 – 只能借助Bayes公式来计算得到
基于最小错误概率的贝叶斯决策
▪ 基于最小错误概率的贝叶斯决策理论就是按后验 概率的大小作判决的
1、后验概率
如果 P (i|X)m j a 1 ,2 xP ( j|X)
基于最小错误率的贝叶斯决策
▪ 例：癌细胞的识别
– 假设每个要识别的细胞已作过预处理，并抽取出 了d个特征描述量，用一个d维的特征向量X表示，
– 识别的目的是要依据该X向量将细胞划分为正常 细胞或者异常细胞。
– 这里我们用ω１表示是正常细胞，而ω２则属于 异常细胞。
▪ 先验概率
– P(ω1)和P(ω2) – 含义: 每种细胞占全部细胞的比例 – P(ω1)+P(ω2)=1 – 一般情况下正常细胞占比例大，即P(ω1)>P(ω2)
i 1
▪ 根据先验概率和概 率密度函数可以计 算出后验概率
后验概率
P(i | X)
p(X|i)P(i)
c
p(X|i)P(i)
i1
类条件概率和后验概率
– 后验概率: P(ω1|x)和P(ω２|x)
▪ 同一条件x下，比较ω1与ω2出现的概率 ▪ 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 ▪ 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，事件
▪ 条件概率密度函数
– p(x|ωi)
▪ 后验概率
– P(ωi|X)
先验概率、后验概率、概率密度函数
– 假设总共有c类物体，用ωi (i=1,2,…,c)标记每 个类别，x = [x1, x2, …, xd]T，是d维特征空间 上的某一点，则
– P(ωi )是先验概率
– p(x| ωi )是ωi类发生时的条件概率密度函数
几种常用的决策规则
▪ 不同的决策规则反映了分类器设计者的不同考虑， 对决策结果有不同的影响。
▪ 最有代表性的是： 1. 基于最小错误率的贝叶斯决策 2. 基于最小风险的贝叶斯决策 3. 在限定一类错误率条件下使另一类错误率为最小
的两类别决策(Neyman-pearson准则) 4. 最小最大决策
2.2基于最小错误率的贝叶斯决策
– P(ωi|x)表示后验概率
p(x|i)
1
e(x2i2i)2
2i
贝叶斯决策理论
▪ 贝叶斯决策理论前提
– 各类别总体的概率分布是已知的; – 要决策分类的概率分布是已知的。
▪ 贝叶斯决策理论方法所讨论的问题是：
– 已知:总共有c类物体，以及先验概率P(ωi)及类条 件概率密度函数p(x|ωi)
– 问题: 如何对某一样本按其特征向量分类的问题。
pxixjpxipxj两个随机变量不相关不意味着它们一定独立相互独立的随机变量它们之间是不相关的正态分布中不相关性等价于独立性5边缘分布和条件分布的正态性多元正态分布的边缘分布和条件分布仍然是正态分布6线性变换的正态性这是指多元正态分布的随机向量的线性变换仍然是多元正态分布的随机向量7线性组合的正态性这是指多元正态分布的随机向量在经过线性组合后得到的一维随机变量也是正态分布的二正态分布概率模型下的最小错误率贝叶斯决策若
▪ p(x|ω1)是正常细胞的属性分布 ▪ p(x|ω2)是异常细胞的属性分布
类条件概率密度函数
p(x|1)
p(x |2)
后验概率
– 我们的问题:
▪ 当观测向量为X值时,应该把该细胞分为哪个类别呢？
– 最小错误率的贝叶斯决策
▪ 该细胞属于正常细胞的概率P(ω1|x) ▪ 该细胞属于异常细胞的概率P(ω2|x)
所以，错误率最小）
2.3基于最小风险的贝叶斯决策
▪ 基本思想
– 使错误率最小并不一定是一个普遍适用的最佳选 择。
– 癌细胞分类
▪ 两种错误:
– 癌细胞→正常细胞 – 正常细胞→癌细胞
▪ 两种错误的代价(损失)不同
– 宁可扩大一些总的错误率，但也要使总的损失减 少。
– 引进一个与损失有关联的，更为广泛的概念—— 风险。
▪ (4) 对数似然比（似然比处理器）
h(x)ln[l(x)]
lnp(X|1)lnp(X|2)lnP P(( 2 1))
则： X 1
▪ 例2.1 假设在某地区切片细胞中正常(ω1)和异
常(ω２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。现有一待识别细胞呈现出状态x， 由其类条件概率密度分布曲线查得 p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行 分类。
ω1出现的可能性大
– 类条件概率: P(x|ω1)和P(x|ω2)
▪ 是在不同条件下讨论的问题 ▪ 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 ▪ P(x|ω1)与P(x|ω2)两者没有联系
▪ 为什么后验概率要利用Bayes公式从先验概 率和类条件概率密度函数计算获得 ？
– 计算概率都要拥有大量数据
两类情况举例: 有没有癌细胞
– ω1表示正常，ω2表示异常 – P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小 – X是癌细胞(ω2)，但被判作正常(ω1)，则会有损
失，这种损失表示为:λ2 (1) 【漏警】
– X确实是正常(ω1)，却被判定为异常(ω2)，则损
失表示成: λ1 (2) 【虚警】
▪ 这d个特征组成一个d维的向量，叫特征 向量。记为x = [x1, x2, …, xd]T
▪ d维待征所有可能的取值范围则组成了 一个d维的特征空间。
▪ 例：鲈鱼 ▪ 特征：长度：L=0~30 cm
宽度：W=10 cm~25 cm 亮度：G=0~10 ▪ 特征向量：A=(L，W，G) ▪ A 的各分量所占的三维空间就是对 鲈鱼 进行度量的特征空间。
则 X i
▪ (2) 如用先验概率及类条件概率密度函 数表示，则有
若 ： p (X |i) P (i) m j a 1 ,x 2p (X | j ) P (j )
则： X i
▪ (3)用比值的方式表示-----似然比
如 果 l(x)p p((X X|| 2 1))P P(( 2 1))
则： X 1
– 另外为了使式子写的更方便，我们也可以定义 λ1 (1)和λ2 (2)
– 是指正确判断也可有损失
两种决策
▪ X被判正常(ω1)的代价( 损失 )
R 1 ( X ) 1 ( 1 ) P (1 |X ) 2 ( 1 )P (2 |X )
▪ X被判癌细胞(ω2)的代价(损失)
R 2 ( X ) 1 ( 2 ) P (1 |X ) 2 ( 2 ) P (2 |X )
作出哪一种决策就要看是R1(X)小还是R2(X)小 这就是基于最小风险的贝叶斯决策的基本出发点
一般情况：多类
▪ (1)自然状态与状态空间。 ▪ 自然状态：指待识别对象的类别: ωi
状态空间Ω：由所有自然状态所组成的空间 Ω={ω1，ω2，…，ωc}
▪ (2)决策与决策空间。 对分类问题所作的判决，称之为决策， αi 。 由所有决策组成的空间称为决策空间。 A={α1, α2,….., αa}
▪ 若引入风险（或损失）：
▪ 表示: X本属于ωj类，但作出决策ωj时所造成的损失 （风险）
▪则：本属于第j类，但决策为第i类的风险为
(ji)P(j | X)
▪因此，若取值为X的样本决策为第i类的平 均风险为：
c
Ri(X) (ji)P(j | X) j1
▪分类准则是使风险最小：
如 果 :R i(X ) j m 1 ,2 i,n ...,c R j(X ) X i
§2.1 引 言
▪ 模式识别是一种分类问题，即根据识别对象 所呈现的观察值，将其分到某个类别中去。
▪ 统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器的设计起指导 作用。
▪ 贝叶斯决策理论是统计模式识别中的一个基 本方法。
物理对象的描述----
特征及特征空间
▪ 假设一个待识别的物理对象用其d个属 性观察值描述，称之为d个特征，每个 观察值即是一个特征。
– 分析两类别问题
▪ 按贝叶斯决策规则，当P(w2|x)＞P(w1|x)时决策为w2。
▪ 显然这个决策意味着，对观测值x有P(w1|x)概率的错 误率。
▪ 上例中所作的w1决策，实际上包含有P(w2|x)=0.182 的错误概率 (正确率只有0.818)
两类别问题
▪ 当p(w2|x)＞p(w1|x)时决策为w2 ，对观测值x有 P(w1|x)概率的错误率
▪ 先验概率
– 根据先验概率决定
PP((11))PP((22)),,xx 12
– 这种分类决策没有意义 – 表明由先验概率所提供的信息太少
▪ 概率密度函数
– 利用对细胞作病理分析所观测到的信息，也就是 所抽取到的d维观测向量。
– 为简单起见，我们假定只用其一个特征进行分类， 即d=1
– 得到两类的类条件概率密度函数分布
▪ 分类识别中为什么会有错分类？
– 当某一特征向量值X只为某一类物体所特有，即
▪ 对其作出决策是容易的，也不会出什么差错
– 问题在于出现模棱两可的情况 – 任何决策都存在判错的可能性。
▪
基于最小错误率的贝叶斯决策
▪ 基本思想
– 分类准则：使错误率为最小 – 称之为基于最小错误率的贝叶斯决策
条件概率
如果我们把作出w1决策的所有观测值区域称为R1，则 在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。
则：P (e)R 1P (2|x)p(x)dxR2P (1|x)p(x)dx R 1p(x|2)P (2)dxR2p(x|1)P (1)dx
解：利用贝叶斯公式，分别计算出状态 为x时ω1与ω２的后验概率
P (1 |X )2 p ( p X (X ||1 )iP )P ((1 )i) 0 .2 0 0 ..2 9 0 0 ..9 4 0 .1 0 .8 1 8 i 1
P (2 |X ) 1 - P ( 1 |X ) 1 0 . 8 1 8 0 . 1 8 2
– 它属于各类的概率又是多少呢? (后验概率)
Bayes 公式
先验概率，后验概率，概率密度函数之间关系
P ( X ,i ) p ( X |i ) P (i ) P (i|X ) p ( X )
P(i
|
X)
p( X
| i )P(i )
p( X )
p( X | i )P(i )
c
p( X | i )P(i )