遥感影像识别-第四章 贝叶斯决策理论

§4-2-3 最大似然比判决规则
类概率密度 又称为“似然函数”，两个类 概率密度之比称为“似然比函数”。最大似然比 判决规则也是一种Bayes分类方法。 方法描述为：
判别门限 由最小错误率判决规则引出最大似然比判决规则
由最小风险判决规则引出最大似然比判决规则
§4-3 Bayes分类器设计
§4-2-1 最小风险Bayes分类器
最小风险判决规则也是一种 Bayes 分类方法。最小 错误率判决规则没有考虑错误判决带来的“风险” ，或者说没有考虑某种判决带来的损失。 同一问题中，某种判决总会有一定的损失，特别是 错误判决有风险。不同的错误判决有不同的风险， 如上一节的例子中，判断细胞是否为癌细胞，可能 有两种错误判决： ① 正常细胞错判为癌细胞； ② 癌细胞错判为正常细胞。
§4-1 基于最小错误率的贝叶斯判别法
分析一个“两类问题”。以上一个例子为例，用w1和w2表 示两种不同的类型，如w1表示诊断正常，w2表示诊断出患 有癌症。 •用 和 分别表示先验概率。如： 诊断正常的概 率， 表示某地人患癌症的概率，可通过大量的统计得到。
•用 和 表示两个类概率密度。 • 样本x表示“试验反应阳性”，则 诊断为无癌症且试
• 问：若某人（甲）呈阳性反应，甲是否正常？
• 解：假定x表示实验反应为阳性， • 人分为两类：w1－正常人，w2－癌症患者， • 由已知条件计算概率值：
先验概率： 类条件概率密度：
• 决策过程
§4-2 基于贝叶斯公式的几种判别规则
最小风险Bayes分类器 最大最小判别准则
最大似然比判决规则
E
x x
T

为的逆阵， 为的行列式

xi P( xi )dxi
x1 1 x1 1 ... x1 1 xn n E ...... x x xn n xn n n 1 1 ... n
Bayes 决策理论是随机模式分类方法最重要的基 础。下面是几个重要的概念： 先验概率：
•
•
，
•
•
先验概率是预先已知的或者可以估计的模式识别系统位 于某种类型的概率。 若用两个类型A和B为例，可用 和 表示各自的先 P( B) 验概率，此时满足 。 P( A) P( A) P( B) 1 其实，在处理实际问题时，有时不得不以先验概率的大 小作为判决的依据。如：有一批木材，其中桦木占70％ ，松木占30％，A――桦木，B－－松木，则 ， ，如果从中任取一块木材，而又要用先验概率作出判决 ，那就判为桦木。 P( A) 0.7 P( B) 0.3 先验概率不能作为判决的唯一依据，但当先验概率相当 大时，它也能成为主要因素。
R i x E i j i j P j x , i 1,2,...,a.(a M )
M j 1


在整个特征空间中定义期望风险, 期望风险： R R x xPxdx, (平均风险 )
（4.2-1）
条件风险只反映对某x取值的决策行动αi所带来的 风险。期望风险则反映在整个特征空间不同的x取 值的决策行动所带来的平均风险。 最小风险Bayes决策规则：
类（条件）概率密度 ：
•
•
它是系统位于某种类型条件下，模式样本x出现的概率密 度分布函数，常用 以及 来表示。 ( x | A, ), ( x | B) ( x | wi )(i 1,2,, c) 先验概率密度在分类方法中起至关重要的作用，它的函 数形式及主要参数或者是已知的，或者是可通过大量抽 样实验估计出来。 它是系统在某个具体的模式样本x条件下，位于某种类型 的概率，常以 ，以及 表示。 后验概率可以根据贝叶斯公式计算出来，可直接用作分 P( A | x), P( B | x) P(w | x)(i 1,2,, c) 类判决的依据。
两种错误带来的风险不同。在①中，会给健康人带 来不必要的精神负担，在②中，会使患者失去进一 步检查、治疗的机会，造成严重后果。显然，第② 种错误判决的风险大于第①种。 判决风险也可以理解为判决损失，即使在正确判决 的情况下，一般也会付出某种代价，也会有损失。 正是由于有判决风险的存在，最小错误率判决就不 够了，必须引入最小风险判决规则。
验反应为阳性， 试验为阳性且没有癌症。 • 根据全概率公式，模式样本x出现的全概率密度为：
(4.1－1）
• 根据Bayes公式，在模式样本x出现的条件下，两个类型的
后验概率为： （4.1-2）
• 此时，样本归属于“后验概率较高”的那种类型。
也就是： （4.1-3）
• 根据（4.1-2）式，上述判决规则等价于：
假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判 断中可能出现以下情况：
第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺 病) λ21 ； 第三类，判对(肺病→肺病) λ22；第四类，判错(肺病→正 常) λ12 。
在判断时，除了能做出“是” ωi类或“不是” ωi类的动 作以外，还可以做出“拒识”的动作。为了更好地研究 最小风险 2

X
2
3、（多变量）多维正态分布 （1）函数形式： 1 1 T 1 P( x) exp x x 1 n 2 2 2 2
其中: x x1 , x2 ,..., xn , n维特征向量
我们知道：模式识别是通过对待识别模式的多种 观察或测量，将观测数据构成其特征向量，作为 输入，然后按照某一种判决法则来进行分类的。 在观察与测量中，当模式表现为具有确定的特征 ，具有明显的线性可分性法，即类别之间具有明 显的界限，或大多数类别具有这样的特性，或各 类模式的大多数具有这种特征时，采用确定性分 类器或线性判别分类器，可以收到良好的效果。 前面线性判别函数和聚类分析已做了介绍。
遥感影像识别
第四章: 贝叶斯决策理论
Part Ⅰ
主要内容
§4-1 基于最小错误率的贝叶斯判别法 §4-2 基于贝叶斯公式的几种判别规则 最小风险Bayes分类器 最大最小判别准则 最大似然比判决规则 §4-3 Bayes分类器设计 §4-4 正态分布模式的统计决策（略） §4-5 关于分类器的错误率分析（略）
（4.1-4）
• 上面只是给出了最小错误率贝叶斯决策规则，但没有证明
按这种规则进行分类确实使错误率最小。 • 证明略。
例1：为了对癌症进行诊断，对一批人进行一次普查，各每 个人打试验针，观察反应，然后进行统计，规律如下： • 这一批人中，每1000个人中有5个癌症病人； • 这一批人中，每100个正常人中有一个试验呈阳性反应； • 这一批人中，每100个癌症病人中有95人试验呈阳性反 应。
一、正态分布判别函数
1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ ²) 只有均值和方差两个参数。 2、单变量正态分布： 2
P( x)
1 x 1 exp 2 2
2 N (, )



行动αi：表示把模式x判决为ωi类的一次动作。 损耗函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受 损失。因为这是正确判决，故损失最小。 损耗函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损 失。因为这是错误判决，故损失最大。 风险R（期望损失）：对未知x采取一个判决行动α(x)所付出 的代价（损耗） 条件风险（也叫条件期望损失）：
但是，客观实际是十分复杂的，许多现象在观察 与测量时都具有某种不确定性，即：具有随机性。 随机模式：在可以觉察到的客观世界中，存在着 大量的物体和事件，他们在基本条件不变时，具有 某种不确定性，每一次观测的结果没有重复性，这 种模式就是随机模式。 虽然随机模式样本测量值具有不确定性，但同类 抽样实验的大量样本的观测值具有某种统计特性。 这时，需要采取统计方法，对模式的统计特性进 行观测，并采用统计判别的分类器，分析归属概率 的大小，按照某种方法如在分类错误发生的概率最 小的前提下进行分类。 贝叶斯决策理论和方法正是就上述问题展开讨论 的，它是统计模式识别的基本方法。
1. 判别函数和决策面 对于最小风险Bayes决策，同样有：
2. 多类判别函数和分类器
2. 多类判别函数和分类器
2. 多类判别函数和分类器
2. 多类判别函数和分类器
3．两类情况
3．两类情况
例: 对例1写出其判决函数和决策面方程。
§4-4 正态分布模式的统计决策（略）
...
2 n 2
...E x1 1 xn n E x1 1 x1 1 ...... ...E xn n xn n E xn n x1 1
2 11 ... 2 n 1 2 12
§4-2-2 最大最小判别准则
在实际应用中，有时分类器处理的各种类型样本 的“先验概率是变化的”，此时再按照某个固定 的条件下的决策规则来进行决策，就得不到最小 错误率或最小风险所需要得出的结果。这时就要 用“最小最大判决规则”了。 需要指出的是，用最小最大决策进行分类是偏于 保守的分类方法。
若R k x min R i x , 则x k
i 1, 2,..., M
(4.2-2)
实施最小风险判决规则的步骤如下：
在给定样本x条件下，计算各类后验概率 ，。 按照(4.2-1)式求各种判决的条件平均风险， ， 为 此，需要知道风险矩阵。 按照(4.2-2）式，比较各种判决的条件平均风险，把 样本x归属于条件平均风险最小的那一种判决。
i
后验概率 ：
• •