哈工大模式识别课程2贝叶斯决策理论(3学时)

（1）判别函数：用于表达决策规则的某些函数称为判别函数； （2）决策面：对于c类分类问题，按照决策规则可以把d维特征空 间分成c个决策域，将划分决策域的边界面称为决策面。
【贝叶斯分类器设计】
两类问题 1. 判别函数
g ( x) g1 ( x) g2 ( x)
g ( x) 0, 决策为x 1 g ( x) 0, 决策为x 2
【概率论基础知识】
(5)统计独立性
P x, y Px x Py y
（6）两个随机变量函数的数学期望
E f x, y f xi , y j P xi , y j
m n i 1 j 1
E a1 f1 x, y a2 f 2 x, y a1 E f1 x, y a2 E f 2 x, y
E f x f xi Pi
i 1
m
【概率论基础知识】
(3)二阶矩与方差
Ex
2
2
x
m i 1
2
i
Pi
2 m 2 2 2 2
E x u xi u Pi , E x E x
i 1
(4)成对离散随机变量
P x i P i P x
（c） g ( x) ln
【贝叶斯分类器设计】
2. 决策面方程
g ( x) 0
例如
g ( x) p( x | 1 ) P(1 ) p( x | 2 ) P(2 )
p( x | 1 ) P(1 ) p( x | 2 ) P(2 ) 0
【贝叶斯分类器设计】
3. 分类器设计
x1
+1 w1 -1 w2 决策
x2
g
阈值 单元
xc
图 2.7 两类分类器的构成
【贝叶斯分类器设计】
多类问题 1. 判别函数
【贝叶斯分类器设计】
2. 决策面方程
【贝叶斯分类器设计】
3. 分类器设计
x1 g1
x2
g2
最大值 选择器
a(x) 决策
xc
gc
例3
i 1 m
(9)贝叶斯公式
p x, y P y | x P x p y, x P x | y P y
P y | x P x P x | y P y p y | x p x P x y p y p y | x p x
p x, y p y, x
p x , y
i 1 i
m

p y | x p x
i i
P x y P y | x P x
p y | x px
i 1
m
概率论基础知识
贝叶斯决策基础知识
基于最小错误率的贝叶斯决策
对于例1和例2分别写出判别函数和决策面方程。
例3
对于例1和例2分别写出判别函数和决策面方程。
概率论基础知识 贝叶斯决策基础知识
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计
正态分布时的统计决策 小结
贝叶斯分类器设计
【贝叶斯分类器设计】
概念 贝叶斯分类器的分类原理是通过某对象的先验概率 ，利用贝叶斯公式计算出其后验概率，即该对象属于某一 类的概率，选择具有最大后验概率的类作为该对象所属的 类。
基于最小错误率的判别函数：
（a）g ( x) （b） g ( x)
P(1 | x) P(2 | x) p( x | 1 ) P(1 ) p( x | 2 ) P(2 )
p( x | 1 ) P(1 ) ln p( x | 2 ) P(2 )
P i x
P x i P i P x
（c） g ( x) ln
【贝叶斯分类器设计】
2. 决策面方程
g ( x) 0
例如
g ( x) p( x | 1 ) P(1 ) p( x | 2 ) P(2 )
p( x | 1 ) P(1 ) p( x | 2 ) P(2 ) 0
概率论基础知识 贝叶斯决策基础知识
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计
正态分布时的统计决策 小结
贝叶斯分类器设计
【贝叶斯分类器设计】
概念 贝叶斯分类器的分类原理是通过某对象的先验概率 ，利用贝叶斯公式计算出其后验概率，即该对象属于某一 类的概率，选择具有最大后验概率的类作为该对象所属的 类。
对于例1和例2分别写出判别函数和决策面方程。
【贝叶斯分类器设计】
解：
复习一下
概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 贝叶斯分类器设计
【贝叶斯决策基础知识】
设x,y是离散随机变量 X x1, x2 ..., xn , Y y1, y2 ..., yn
Pij P xi , y j Pr x xi , y y j Pij 0, Pij 1.
i 1 j 1 m n
n P x P x, y j j 1 m P y P x , y i i 1
目的：期望风险最小化
【基于最小风险的贝叶斯决策】
最小风险贝叶斯决策规则:
R( k | x) min R( i | x)
i 1,2,..., a
a k
【基于最小风险的贝叶斯决策】
算法步骤:
【基于最小风险的贝叶斯决策】
例题2:
【基于最小风险的贝叶斯决策】
【基于最小错误率的贝叶斯决策与最小风险的贝 叶斯决策的关系】
最小错误率的贝叶斯准则： （1）P(i | x) max P( j | x) j 1,2
x i x i
l 其中，( x)为似然比，
P (2 ) 为似然比阈值。 P (1 )
（2）p( x | i ) P(i ) max p( x | j ) P( j ) j 1,2 （3）l ( x)
（1）判别函数：用于表达决策规则的某些函数称为判别函数； （2）决策面：对于c类分类问题，按照决策规则可以把d维特征空 间分成c个决策域，将划分决策域的边界面称为决策面。
【贝叶斯分类器设计】
两类问题 1. 判别函数
g ( x) g1 ( x) g2 ( x)
g ( x) 0, 决策为x 1 g ( x) 0, 决策为x 2
ux E x xi Pij
i 1 j 1 m n
x E x ux xi ux Pij
2 2
m
n


i 1 j 1 m n
u y E y y j Pij
i 1 j 1
m
n
y
2
y u 2 E y y j u y Pij i 1 j 1
【基于最小风险的贝叶斯决策】
数学描述
【基于最小风险的贝叶斯决策】
条件期望损失：
R(i | x) E (i , j ) (i , j ) P( j | x), i 1, 2,..., a
j 1 c
期望风险：
R R( ( x) | x) p( x)dx
【基于最小错误率的贝叶斯决策】
多类问题
概率论基础知识
贝叶斯决策基础知识
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计 正态分布时的统计决策
小结
基于最小风险的贝叶 斯决策
【基于最小风险的贝叶斯决策】
概念
决策 决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如果把 正常细胞判为癌症细胞，固然会给病人精神造成伤害，但伤害有 限；相反地，若把癌症细胞误判为正常细胞，将会使早期的癌症 患者失去治疗的最佳时机，造成验证的后果。
第2章 贝叶斯决策理论
哈尔滨工业大学
概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计
正态分布时的统计决策
小结
概率论基础知识
【概率论基础知识】
(1)离散随机变量 (2)数学期望 (3)二阶矩与方差 (4)成对离散随机变量 (5)统计独立性 (6)条件概率 (7)全概率 (8)贝叶斯公式
定理：0-1风险
证明：
P(
j 1 j k
c
j
| x) min
i 1,2,...,c
P(
j 1 j i
c
j
| x)
1 P(k | x) min 1 P(i | x)
i 1,2,...,c
P(k | x) max P(i | x)
i 1,2,..., c
p( x | 1 ) P(2 ) p( x | 2 ) P(1 )
x 1
p( x | 1 ) P(2 ) l ( x) p( x | 2 ) P(1 )
x 2
【基于最小错误率的贝叶斯决策】
（4） h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
概率论基础知识
贝叶斯决策基础知识
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
贝叶斯分类器设计 正态分布时的统计决策
小结
基于最小错误率的贝 叶斯决策
【基于最小错误率的贝叶斯决策】
概念：在模式分类问题中，人们往往希望尽量减少分类错误，使错
误率最小的分类规则，称为基于最小错误率的贝叶斯决策。
【贝叶斯分类器设计】
3. 分类器设计
x1
+1 w1 -1 w2 决策
x2
g
阈值 单元
xc来自百度文库
图 2.7 两类分类器的构成
【贝叶斯分类器设计】
多类问题 1. 判别函数
【贝叶斯分类器设计】
2. 决策面方程
【贝叶斯分类器设计】
3. 分类器设计
x1 g1
x2
g2
最大值 选择器
a(x) 决策
xc
gc
例3
【概率论基础知识】
(1)离散随机变量
x1, x2 ..., xn
Pi P xi Pr x xi Pi 0
P 1
i 1 i
m
(2)数学期望
u E x xi Pi
i 1 m
E a1 f1 x a2 f2 x a1E f1 x a2 E f 2 x
基于最小错误率的判别函数：
（a）g ( x) （b） g ( x)
P(1 | x) P(2 | x) p( x | 1 ) P(1 ) p( x | 2 ) P(2 )
p( x | 1 ) P(1 ) ln p( x | 2 ) P(2 )
P i x
h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
错误率证明
【基于最小错误率的贝叶斯决策】
m n
xy E x ux y u y xi ux y j u y Pij i 1 j 1
【概率论基础知识】
(7)条件概率
p x, y P x y p y
(8)全概率
p y p xi , y
基于最小风险的贝叶斯决策
贝叶斯分类器设计 正态分布时的统计决策
小结
贝叶斯决策基础知识
【贝叶斯决策基础知识】
贝叶斯决策理论
• 先验概率：
• 后验概率： • 类条件概率：
P i
P i x
P x i
• 贝叶斯公式：
P i x
P x i P i P x