错误概率计算和贝叶斯最小风险判决(2章_3)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
������
������������ −1 ������ − ������������
根据������ ������������ 和������������ 的不同形式,决策面方程具体的表达式也 有不同形式。
正态分布模式的贝叶斯决策
������ 2 … 0 1. 第一种情况:������������ = ������ 2 I,������������ = ⋮ ⋱ ⋮ 0 … ������ 2 (1)若������ ������������ = ������ ������������ ,决策面为通过������������ 和������������ 连线中心并与连线 正交的超平面。 (2)若������ ������������ ≠ ������ ������������ ,决策面向先验概率小的方向偏移,即 概率大的一类占据更大的决策空间。
来自百度文库
正态分布模式的贝叶斯决策 决策面方程为:
������������ ������ = ������������ ������ ������������ ������ − ������������ ������ = 0
具体表达式为: 1 − ������ − ������������ ������ ������������ −1 ������ − ������������ − ������ − ������������ 2 1 ������������ ������ ������������ − ������������ + ������������ =0 2 ������������ ������ ������������
+∞ ������
������
当输入特征为一维时:
������1 ������ =
������2 ������ =
ℛ2
������ ������ ������1 ������������ =
������ ������ ������2 ������������ =
������ ������ ������1 ������������
������������ −1 ������
正态分布模式的贝叶斯决策 带入并展开,可得
11 ������2 ������ = −4������1 + 8������2 + 8������3 − 2 ������������ ������ = ������������ ������������ −1 ������������ − ������������ ������ ������−1 ������������ 8 −4 −4 ������−������ = −4 8 4 −4 4 8 1 1 ������ ������1 = (3, 1, 1) , ������2 = (1, 3, 3)������ 4 4
1 2 1 ������1 + ������2 = [ 2 ������
− 170,65 ������ = −14, −17
������ ������
156,48 ������ + 170,65 ������ ]= 163,56.5
正态分布模式的贝叶斯决策
最小错误概率贝叶斯决策规则下得到的 决策面所带来的误判概率是多大?
3 ������1 ������ = 4������1 − 2
正态分布模式的贝叶斯决策 3 11 ������1 ������ = 4������1 − ,������2 ������ = −4������1 + 8������2 + 8������3 − 2 2 故判别界面为 ������1 ������ − ������2 ������ = 8������1 − 8������2 − 8������3 + 4=0 图中绘出该 判别平面的 一部分,它 将两类模式 一分为二。
正态分布模式的贝叶斯决策 3. 第三种情况:������������ ≠ ������������
正态分布模式的贝叶斯决策 例:模式(样本)分布如图所示,如果作为正态分 布处理,其均值向量和协方差矩阵可用下式估计: 1 ������������ = ������������ 1 ������������ = ������������
正态分布模式的贝叶斯决策 1 ������ −1 由:������������ ������ = ������������ − ������������ ������ ������������ + ������������������(������������ ) 2 设������ ������1 = ������ ������2 = 1/2,则������ ������������ 项可删去,得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ 2
正态分布模式分类的误判概率 例:已知一个班级女生和男生的身高和体重数据都 符合正态分布,具体统计参数如下: 25 0 ������ 女生, 均值������1 : 156,48 ,协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ,协方差������2 : 0 25 男生和女生的先验概率已知������ ������1 = ������ ������2 = 0.5 ,计算最小错误概率贝叶斯判别下的误判概率?
ℛ1
在高维特征空间计 算积分的运算非常 困难。例如:当维数 D=10000时,几乎 无法实现
最小错误概率贝叶斯
对于x为高维,可找更方便的方法计算错误率
最小错误概率贝叶斯决策的等价形式: ������1 > (1)������ ������1 ������ ������|������1 ������ ������2 ������ ������|������2 , ������ ∈ ������ < 2 ������1 ������ ������|������1 > ������ ������2 (2)如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 (3)如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
最小错误概率贝叶斯
错误概率: ������ ������ = ������(������1 )������1 ������ + ������(������2 )������2 ������
������1 ������ :把第一类 样本决策为第二 类样本的错误率 ������2 ������ :把第二类 样本决策为第一 类样本的错误率
正态分布模式的贝叶斯决策
2. 第二种情况:������������ = ������
(1)若������ ������������ = ������ ������������ ,决策面为通过������������ 和������������ 连线中心并与 连线通常不正交的超平面。
(2)若������ ������������ ≠ ������ ������������ ,决策面向先验概率小的方向偏移。
������2 1 3 ������1 = ������2 = ������ = 1 16 1
正态分布模式的贝叶斯决策 因协方差矩阵相等,可推知其判别式。 1 ������ ������ −1 ������������ ������ = − ������ − ������������ ������ ������ − ������������ − ������������2������ 2 2 1 − ������������ ������ + ������������������ ������������ 2 除去与i无关的项,可得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ + ������������������(������������ ) 2
(1,1,0)
式中������������ 为类别������������ 中模式的数目,������������������ 代表在第������ 类别 中的第������个模式。
正态分布模式的贝叶斯决策 由上式可求出: 1 ������1 = (3, 1, 1)������ , 4 1 = (1, 3, 3)������ 4 1 1 3 −1 −1 3
正态分布模式的贝叶斯决策
90 85 80 75
Weight(KG)
70 65 60 55 50 45 40 150 155 160 165 170 Height(CM) 175 180 185
������������ (������ − ������������ ) = 0
判别界面
������������ (������ − ������������ ) = 0 ������ = ������1 − ������2 = 156,48 ������0 =
������ ������ ������2 ������������
ℛ1
−∞
最小错误概率贝叶斯 若输入特征为高维向量: ������ ∈ ℝ������
������1 ������ = ������2 ������ =
ℛ2
������ ������ ������1 ������������ ������ ������ ������2 ������������
最小错误概率贝叶斯 ������1 < ������ ������1 h ������ = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2 ������为随机向量,h ������ 为������的函数,故h ������ 为一维随机变量。
������������ ������=1 ������������
������������������
������=1
(1,1,1)
������������������ ������������ ������������ − ������������ ������������ ������
(0,1,0)
正态分布模式的贝叶斯决策 正态分布模式的最小错误率贝叶斯决策 在多元正态分布概率模型������ ������ ������������ ~������ ������������ , ������������ , ������ = 1,2, … , ������ 下,定义正态分布模式下判别函数为: ������������ ������ = ������������������ ������ ������������ ������(������������ ) 1 ������ 1 −1 ������ = − ������ − ������������ ������������ ������ − ������������ − ������������2������ − ������������ ������������ 2 2 2 + ������������������(������������ ) 决策规则为: ������������ ������ > ������������ ������ , ������ ≠ ������, ������ ∈ ������������
������������ −1 ������ − ������������
根据������ ������������ 和������������ 的不同形式,决策面方程具体的表达式也 有不同形式。
正态分布模式的贝叶斯决策
������ 2 … 0 1. 第一种情况:������������ = ������ 2 I,������������ = ⋮ ⋱ ⋮ 0 … ������ 2 (1)若������ ������������ = ������ ������������ ,决策面为通过������������ 和������������ 连线中心并与连线 正交的超平面。 (2)若������ ������������ ≠ ������ ������������ ,决策面向先验概率小的方向偏移,即 概率大的一类占据更大的决策空间。
来自百度文库
正态分布模式的贝叶斯决策 决策面方程为:
������������ ������ = ������������ ������ ������������ ������ − ������������ ������ = 0
具体表达式为: 1 − ������ − ������������ ������ ������������ −1 ������ − ������������ − ������ − ������������ 2 1 ������������ ������ ������������ − ������������ + ������������ =0 2 ������������ ������ ������������
+∞ ������
������
当输入特征为一维时:
������1 ������ =
������2 ������ =
ℛ2
������ ������ ������1 ������������ =
������ ������ ������2 ������������ =
������ ������ ������1 ������������
������������ −1 ������
正态分布模式的贝叶斯决策 带入并展开,可得
11 ������2 ������ = −4������1 + 8������2 + 8������3 − 2 ������������ ������ = ������������ ������������ −1 ������������ − ������������ ������ ������−1 ������������ 8 −4 −4 ������−������ = −4 8 4 −4 4 8 1 1 ������ ������1 = (3, 1, 1) , ������2 = (1, 3, 3)������ 4 4
1 2 1 ������1 + ������2 = [ 2 ������
− 170,65 ������ = −14, −17
������ ������
156,48 ������ + 170,65 ������ ]= 163,56.5
正态分布模式的贝叶斯决策
最小错误概率贝叶斯决策规则下得到的 决策面所带来的误判概率是多大?
3 ������1 ������ = 4������1 − 2
正态分布模式的贝叶斯决策 3 11 ������1 ������ = 4������1 − ,������2 ������ = −4������1 + 8������2 + 8������3 − 2 2 故判别界面为 ������1 ������ − ������2 ������ = 8������1 − 8������2 − 8������3 + 4=0 图中绘出该 判别平面的 一部分,它 将两类模式 一分为二。
正态分布模式的贝叶斯决策 3. 第三种情况:������������ ≠ ������������
正态分布模式的贝叶斯决策 例:模式(样本)分布如图所示,如果作为正态分 布处理,其均值向量和协方差矩阵可用下式估计: 1 ������������ = ������������ 1 ������������ = ������������
正态分布模式的贝叶斯决策 1 ������ −1 由:������������ ������ = ������������ − ������������ ������ ������������ + ������������������(������������ ) 2 设������ ������1 = ������ ������2 = 1/2,则������ ������������ 项可删去,得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ 2
正态分布模式分类的误判概率 例:已知一个班级女生和男生的身高和体重数据都 符合正态分布,具体统计参数如下: 25 0 ������ 女生, 均值������1 : 156,48 ,协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ,协方差������2 : 0 25 男生和女生的先验概率已知������ ������1 = ������ ������2 = 0.5 ,计算最小错误概率贝叶斯判别下的误判概率?
ℛ1
在高维特征空间计 算积分的运算非常 困难。例如:当维数 D=10000时,几乎 无法实现
最小错误概率贝叶斯
对于x为高维,可找更方便的方法计算错误率
最小错误概率贝叶斯决策的等价形式: ������1 > (1)������ ������1 ������ ������|������1 ������ ������2 ������ ������|������2 , ������ ∈ ������ < 2 ������1 ������ ������|������1 > ������ ������2 (2)如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 (3)如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
最小错误概率贝叶斯
错误概率: ������ ������ = ������(������1 )������1 ������ + ������(������2 )������2 ������
������1 ������ :把第一类 样本决策为第二 类样本的错误率 ������2 ������ :把第二类 样本决策为第一 类样本的错误率
正态分布模式的贝叶斯决策
2. 第二种情况:������������ = ������
(1)若������ ������������ = ������ ������������ ,决策面为通过������������ 和������������ 连线中心并与 连线通常不正交的超平面。
(2)若������ ������������ ≠ ������ ������������ ,决策面向先验概率小的方向偏移。
������2 1 3 ������1 = ������2 = ������ = 1 16 1
正态分布模式的贝叶斯决策 因协方差矩阵相等,可推知其判别式。 1 ������ ������ −1 ������������ ������ = − ������ − ������������ ������ ������ − ������������ − ������������2������ 2 2 1 − ������������ ������ + ������������������ ������������ 2 除去与i无关的项,可得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ + ������������������(������������ ) 2
(1,1,0)
式中������������ 为类别������������ 中模式的数目,������������������ 代表在第������ 类别 中的第������个模式。
正态分布模式的贝叶斯决策 由上式可求出: 1 ������1 = (3, 1, 1)������ , 4 1 = (1, 3, 3)������ 4 1 1 3 −1 −1 3
正态分布模式的贝叶斯决策
90 85 80 75
Weight(KG)
70 65 60 55 50 45 40 150 155 160 165 170 Height(CM) 175 180 185
������������ (������ − ������������ ) = 0
判别界面
������������ (������ − ������������ ) = 0 ������ = ������1 − ������2 = 156,48 ������0 =
������ ������ ������2 ������������
ℛ1
−∞
最小错误概率贝叶斯 若输入特征为高维向量: ������ ∈ ℝ������
������1 ������ = ������2 ������ =
ℛ2
������ ������ ������1 ������������ ������ ������ ������2 ������������
最小错误概率贝叶斯 ������1 < ������ ������1 h ������ = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2 ������为随机向量,h ������ 为������的函数,故h ������ 为一维随机变量。
������������ ������=1 ������������
������������������
������=1
(1,1,1)
������������������ ������������ ������������ − ������������ ������������ ������
(0,1,0)
正态分布模式的贝叶斯决策 正态分布模式的最小错误率贝叶斯决策 在多元正态分布概率模型������ ������ ������������ ~������ ������������ , ������������ , ������ = 1,2, … , ������ 下,定义正态分布模式下判别函数为: ������������ ������ = ������������������ ������ ������������ ������(������������ ) 1 ������ 1 −1 ������ = − ������ − ������������ ������������ ������ − ������������ − ������������2������ − ������������ ������������ 2 2 2 + ������������������(������������ ) 决策规则为: ������������ ������ > ������������ ������ , ������ ≠ ������, ������ ∈ ������������