模式识别(2-1)

p(x|ω1)与p(x|ω2)两者没有联系，p(x|ω1) +p(x|ω2)≠ 1.它 们都是指各自条件下出现x的可能性，不能仅因为前者 比后者大，就认为x是第一类事物的可能性较大，只有 考虑先验概率这一因素，才能决定x条件下， ω1类还是 ω2类的可能性比较大。

基于最小错误率的贝叶斯决策

最小错误率贝叶斯决策规则证明确实使错误率为最小 由于统计判别方法是基于统计参数作出决策，因此错误 率也只能从平均的意义上讲，表示为在观测值可能取值 的整个范围内错识率的均值。在连续条件下，平均错误 率，以P(e)表示，


§2.1 引言

问题描述：已知总共有c类物体，待识别物体属于这c类 中的一个类别；各类别ωi (i =1,2,…,c)的先验概率P(ωi)及 类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样 本按其特征向量分类的问题。 由于属于不同类的待识别对象存在着呈现相同观察值的可 能，即所观察到的某一样本的特征向量为X，而在c类中 又有不止一类可能呈现这一X值，这种可能性可用P(ωi|X) 表示。如何作出合理的判决就是贝叶斯决策理论所要讨论 的问题。
为A类就是两种不同的错误。不同的错分类造成的危害是不同的，有 的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。
为此引入了一种“风险”与“损失”概念，希望做到使风险最小。
§2.1 引言
要点：

要着重理解“风险”与“损失”的概念，以及在引入 “风险”概念后的处理方法。 理解这一章的关键是要正确理解先验概率，类概率密度 函数，后验概率这三种概率，对这三种概率的定义，相 互关系要搞得清清楚楚。
但我们常常遇到要求“事件A发生的前提下事件 B发生的概率”，这就是条件概率。
事件A发生的前提下事件B发生的概率
P( AB) P( B A) P( A)
§2.2 相关的概率知识回顾
（3）全概率公式
设试验E的样本空间为S，而A1，A2，…，An为E 中两两互不相容的事件，且A1∪A2∪A…∪An=S， P（Ai）>0 (i=1,2, …,n)，对于E中任一事件B，则

基于最小错误率的贝叶斯决策

例2 假设在某地区切片细胞中正常(ω1)和异常(ω2)两 类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一 待识别细胞呈现出状态x，由其类条件概率密度分布 曲线查得p(x|ω1)=0.2，p(x|ω2)=0.4，试对细胞x进行分 类。
解：利用贝叶斯公式，计算状态为x时ω1与ω2的后验概率:
j 1
P( x | i ) P( x | 1 )
P( x | 2 )
x
类条件概率密度分布
基于最小错误率的贝叶斯决策

通过对细胞的再观察，就可以把先验概率转化为后 验概率，利用后验概率可对未知细胞x进行识别 。
若P (1 | x) P (2 | x), 则x 1 若P (1 | x) P(2 | x), 则x 2

1 (2) P( x | 1 ) P(1 ) P( x | 2 ) P(2 ) x 2 1 P(2 ) P ( x | 1 ) (3) x P ( x | 2 ) P (1 ) 2 1 P ( x | 1 ) P(2 ) (4) g ( x) ln ln x 2 P ( x | 2 ) P (1 )
P( B) P ( A1 ) P ( B A1 ) P ( A2 ) P ( B A2 ) P ( An ) P ( B An ) P ( Ak ) P ( B Ak )
k 1 n
§2.2 相关的概率知识回顾
（4）贝叶斯（Bayes）公式
前面是已知多种原因要得到随机事件发生概率，但 有时要求事件B发生是由某种原因（Ak）引起的概率 P（Ak|B）。
当 0， 1 时，称 服从标准正态分布。
§2.2 相关的概率知识回顾
（7）数学期望
设

x1 , x2 ,, xk ,
k
为离散随机变量 可能取的数
值，其分布律为 pk P( xk ), k 1,2,, 若级数
x
k 1
pk 绝对收敛，则称此级数的和为随机变量的数
§2.1 引言

模式识别的分类问题是根据识别对象特征的观察值将其分到某个类 别中去。统计决策理论是处理模式分类问题的基本理论之一。

本章主要内容是说明分类识别中为什么会有错分类，在何种情况下 会出现错分类？错分类的可能性会有多大？在理论上指明怎样才能 使错分类最少？

另一方面，错分类有不同情况，例如误将A错分为B类，或将B类错分

学期望（或均值）。
E x k p k
k 1
E xp( x)dx


§2.2 相关的概率知识回顾
（8）方差
对于随机变量 ，若 E ( E ) 2 存在，则称它为 的 方差。记为 D ：
D E ( E ) 2
D 称为 的均方差或标准差。

§2.2 相关的概率知识回顾
（1）概率定义
设E为随机试验，S为样本空间，对于E的 任一事件A（A S），当试验次数无限增大 时，事件A的频率r/n稳定在某一定数p附近， 则称p为事件A的概率，记为P（A）=p。
§2.2 相关的概率知识回顾
（2）条件概率 上页定义中，某事件A的概率，是指在E中一组 固定的基本条件下事件A发生的概率。除了试验本 身所固定条件外，没有其它限制条件，P（A）为 无条件概率。


Bayes公式正是体现这三者关系的式子，要透彻掌握。
§2.1 引言

本章讨论的内容在理论上有指导意义，代表了基于统计 参数这一类的分类器设计方法，结合正态分布这一例子 的目的是使分类器设计更加具体化。 学习这一章还要体会模式识别算法的设计都是强调 “最 优”，即希望所设计的系统在性能上最优。这种最优是 指对某一种设计原则讲的，这种原则称为准则。使这些 准则达到最优，如最小错误率准则，基于最小风险准则 等。 设计准则,并使该准则达到最优的条件是设计模式识别系 统最基本的方法。

P(e)

P(e, x)dx p(e | x)P( x)dx


其中：P(e,x)表示错误率为e观测值为x的联合概率密度， P(e|x)是观测值为x时的条件错误概率密度函数， P(x)为x值出现的概率， 积分运算表示在整个d维特征空间上的总和， x取从－∞到+∞的整个范围。
计算用简便公式： D E 2 ( E ) 2
§2.3 几种常用的决策规则

不同的决策规则反映了分类器设计者的不同考 虑，对决策结果有不同的影响。其中最有代表 性的是:

基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策

基于最小错误率的贝叶斯决策

一般说来，c类不同的物体应该具有各不相同的属性， 在d维特征空间，各自有不同的分布。当某一特征向 量值X只为某一类物体所特有时，对其作出决策是容 易的，也不会出什么差错。问题在于出现模棱两可的 情况。此时，任何决策都存在判错的可能性。 在模式分类问题中，人们往往希望尽量减少分类的错 误，从这样的要求出发，利用概率论中的贝叶斯公式， 就能得出使错误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。
P(1 | x)，当P(2 | x) P(1 | x) P (e | x ) P(2 | x)，当P(1 | x) P(2 | x)
P(e) p(2 | x) P( x)dx p (1 | x) P ( x)dx
R1 R2
基于最小错误率的贝叶斯决策
P(e) p(2 | x) P( x)dx p (1 | x) P ( x)dx
P(a b) p( x)dx
a
b
ቤተ መጻሕፍቲ ባይዱ
成立，则称 为连续性随机变量，p（x）为 的概率 密度。
§2.2 相关的概率知识回顾
（6）正态分布 如果随机变量 的概率密度为
1 p ( x) e 2 ( x )2 2 2
, x
其 0 ， 为常数，则称 服从参数 ， 的正态分布 或高斯分布。

基于最小错误率的贝叶斯决策

假定只用其一个特征进行分类，即d=1，并已知这两类的 类条件概率密度，其中p(x|ω1)是正常细胞的属性分布， p(x|ω2)是异常细胞的属性分布。 当观测向量为x值时，它属于 各类的概率又是多少呢? P(ωi|x)－－状态的后验概率 贝叶斯公式 p( X | i ) P(i ) P(i | X ) c p( X | j ) P( j )
P( x | i ) P( x | 1 ) P ( x 2 ) P(i | x)
1.0 0.8 0.6 0.4 0.2
P(1 | x) P(2 | x)
x
后验概率
类条件概率密度
x
基于最小错误率的贝叶斯决策
Ø
基于最小错误概率的贝叶斯决策规则形式
1 (1) P (1 | x) P (2 | x) x 2
P(1 | x) P( x | 1 ) P(1 )
P( x | ) P( )
j 1 j j
2

0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | x) 1 P(1 | x) 0.182,因为P(1 | x) P(2 | x), x 1属正常细胞。

基于最小错误率的贝叶斯决策

例1： 癌细胞的识别

假设每个要识别的细胞已作过预处理，并抽取出了 d个特征描述量，用一个d维的特征向量x表示。 识别目的：依据特征向量x将细胞划分为正常或者 异常细胞。 这里我们用ω= ω1表示是正常细胞，而ω= ω2则属 于异常细胞。