基于最小风险的贝叶斯决策
模式识别练习题
模式识别练习（1）主题：1．“基于最小错误率的贝叶斯决策”模式识别练习2．“基于最小风险的贝叶斯决策”模式识别练习3．基于“主成分分析”的贝叶斯决策模式识别练习已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(2,2),(2.2,2.2),(3,3)}。
（1）利用“基于最小错误率的贝叶斯决策”判别测试集为C中的样本的归类；（2）利用“基于最小风险的贝叶斯决策”判别测试集为C中的样本的归类；（3）在进行“主成分分析”的基础上，采用90%的主成分完成前面的（1）、（2），比较结果的异同。
模式识别练习（2）主题：很多情况下，希望样本维数（特征数）越少越好，降维是解决问题的一个有效的方法。
主成分分析希望得到较少的特征数，而Fisher准则方法则将维数直接降到1维。
一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.005:5}。
分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法（自编函数文件或用书上的函数文件）计算出测试集C中线段(0,0)-(5,5)的临界点；要求：将计算结果自动写入数据文件中二、已知训练样本集为教材上的10类手写数字集。
分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法，统计出各大类的错误率和计算机cpu的计算时间，采用的测试集C依旧是10类手写数字集（虽然分类已知，但用不同的方法实际判别时可能有误判情况！）要求：使用书上的函数文件，并将计算结果自动写入数据文件中模式识别练习（3）一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)}；={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.01:5}。
基于最小风险的贝叶斯决策PPT(共19页)
•
3、命运给你一个比别人低的起点是想告 诉你， 让你用 你的一 生去奋 斗出一 个绝地 反击的 故事， 所以有 什么理 由不努 力!
•
4、心中没有过分的贪求，自然苦就少。 口里不 说多余 的话， 自然祸 就少。 腹内的 食物能 减少， 自然病 就少。 思绪中 没有过 分欲， 自然忧 就少。 大悲是 无泪的 ，同样 大悟无 言。缘 来尽量 要惜， 缘尽就 放。人 生本来 就空， 对人家 笑笑， 对自己 笑笑， 笑着看 天下， 看日出 日落， 花谢 花开， 岂不自 在，哪 里来的 尘埃!
2.2.2 基于最小风险的贝叶斯决策
问题的提出：风险的概念
风险与损失紧密相连，如病情诊断、商品销售、股 票投资等问题
日常生活中的风险选择，即所谓的是否去冒险
最小风险贝叶斯决策正是考虑各种错误造成损 失不同而提出的一种决策规则
对待风险的态度：“宁可错杀一千，也不放走 一个”
以决策论的观点
决策空间：所有可能采取的各种决策所 组成的集合，用A表示
•
55、不积小流无以成江海，不积跬步无 以至千 里。
•
56、远大抱负始于高中，辉煌人生起于 今日。
•
57、理想的路总是为有信心的人预备着 。
•
58、抱最大的希望，为最大的努力，做 最坏的 打算。
•
59、世上除了生死，都是Hale Waihona Puke 事。从今天 开始， 每天微 笑吧。
•
60、一勤天下无难事，一懒天下皆难事 。
•
•
67、心中有理想 再累也快乐
•
68、发光并非太阳的专利，你也可以发 光。
•
69、任何山都可以移动，只要把沙土一 卡车一 卡车运 走即可 。
•
最小风险贝叶斯决策判决规则
最小风险贝叶斯决策判决规则1. 走进最小风险的世界你有没有过这种经历？你站在一个十字路口，不知道该往哪边走。
左边可能有更美丽的风景，但也可能遇到堵车；右边看似平淡无奇，但也许会有惊喜。
决定究竟走哪边，真是让人抓狂。
其实，这就像是贝叶斯决策中的一个经典问题：如何在不确定的情况下做出最优选择？听起来复杂对吧？别担心，让我们一步步来解开这个谜团。
2. 贝叶斯决策规则大揭秘2.1 贝叶斯的魔法贝叶斯决策规则的核心思想就是最小化风险。
我们先得了解什么是风险。
想象一下，你在赌场里，拿着一把筹码，面前有一副扑克牌。
你能选择赌一手，但不确定对手的牌有多强。
你知道，如果你选择错了，可能会输钱；如果选择对了，可能会赢大钱。
最小风险的意思就是在这张扑克牌游戏中，怎么才能让你输钱的概率最小，也就是风险最小。
2.2 如何选择最小风险的路径回到我们的十字路口问题。
假如你想用贝叶斯决策规则来决定走哪条路，首先，你需要知道每条路的可能结果和这些结果的概率。
简单来说，你得了解每条路可能带来的好事和坏事的概率。
比如，左边的路你知道可能会遇到拥堵，概率是50%，而右边的路，你知道它的拥堵概率只有20%。
这时候，你就需要计算走每条路的期望风险。
期望风险就是对所有可能结果的风险进行加权平均。
简单点说，就是把每条路的所有可能坏结果的风险加起来，看哪个路的综合风险最小。
听起来是不是有点像在做数学题？别担心，做这种选择题其实就像是你在超市挑选打折商品，挑那个最划算的就对了。
3. 风险最小化的妙招3.1 把风险控制在合理范围内在现实生活中，我们面临的风险多得数不过来，比如投资股市、选择工作、甚至是买房子。
最小风险贝叶斯决策规则就像是你手里的一个万能工具，可以帮助你在这些选择中做出更理智的决定。
想象一下，你要投资一个新项目。
你可以用贝叶斯方法来估算这个项目的成功概率和可能带来的损失。
你计算出每种可能结果的风险，然后把它们加权，看看哪种投资最能让你的钱包安稳。
最小风险贝叶斯例题
最小风险贝叶斯例题
在贝叶斯理论中，我们可以通过考虑不同决策的风险来选择最优决策。
举个例子，假设我们要预测某天的天气，可能有晴天、阴天、雨天三种可能性。
我们可以通过历史数据得到每种天气出现的概率，即先验概率。
但是在实际预测中，不同的预测结果会产生不同的风险。
例如，如果我们将雨天预测为晴天，那么人们可能会忘记带伞而淋雨，这就是预测错误所带来的风险。
因此，我们需要考虑每种预测结果所带来的风险，并选择最小风险的决策。
这就是最小风险贝叶斯决策的思想。
具体来说，在上面的例子中，我们可以定义不同预测结果的风险，例如：
- 将晴天预测为雨天的风险为10元
- 将雨天预测为晴天的风险为20元
- 将阴天预测为雨天的风险为5元
那么，对于某一天的预测结果，我们可以根据先验概率和风险计算出每种决策的期望风险，选择最小期望风险对应的决策。
例如，如果先验概率为P(晴天)=0.6、P(阴天)=0.3、P(雨天)=0.1，我们对某一天的预测结果为晴天，那么三种决策的期望风险分别为： - 预测晴天，期望风险为0.6*0+0.3*20+0.1*5=6元
- 预测阴天，期望风险为0.6*10+0.3*0+0.1*5=7元
- 预测雨天，期望风险为0.6*20+0.3*5+0.1*0=15元
因此，我们应该选择预测晴天的决策，这样就可以最小化风险。
大学课程光电探测与目标识别作业及答案
第一次作业题一：什么是Johnson 判则？答：Johnson 依据实验，将视觉辨别分为四类：探测、取向、识别和确认，并把人眼对目标的观察感知同对“等效条带图案”的视觉联系起来，使人们可以不必顾及目标的具体类别和形态，直接以其“临界尺寸”中所包含的可分辨条带数来评定视觉感知水平。
Johnson 判则给出了在50%概率等级上，所需的可分辨等效条带周数。
通过这一方法探测能力大致与传感器的阈值条带图像分辨能力相关联，其实验结果已成为今天所用的目标辨别方法学的基础。
在工业应用中，Johnson 判则通常采用如下标准。
工业上采用的Johnson 判则题二：观察2km 外宽2m 、高1.5m 的坦克，如果人眼的空间分辨能力是20线对/度，用一个望远镜观察该坦克，要求对目标的识别概率达到50%，试求望远镜的视放大率。
解：坦克最小尺寸对人眼的张角为1.5/2000=0.00075rad 0.04297α≈≈︒要使识别概率达到50%，需在最小尺寸上观测到4个线对，对应的张角为4/200.2t α==︒则望远镜的视放大率应为tan 0.2 4.65tan 0.04297β︒Γ==≈︒题三：如果某人的瞳孔间距为60mm ，体视锐度为10”，试求（1）他的体视半径；（2）在50m 距离上，他的体视误差。
解：体视半径为2max min560mm 6.010/1237.610 4.84810D b α--⨯=∆===''⨯ 在50m 距离上的体视误差为()522250mmin 24.8481050/1050m /60mm= 2.02m 6.010D D b α--⨯⨯''∆=∆⋅=⨯=⨯第二次作业题一：一个年龄50岁的人，近点距离为-0.4m ，远点距离为无限远，试求他的眼睛的屈光调节范围。
解：远点对应的视度为1/0f SD =∞=近点对应的视度为1/0.4 2.5n SD =-=- 他眼睛的屈光调节范围是-2.5。
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
模式识别习题集答案解析
PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。
PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。
因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。
2、最大似然估计和贝叶斯方法的区别？p（x|X）是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？最大似然估计把待估的参数看做是确定性的量，只是其取值未知。
利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值（模型已知，参数未知）。
贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。
对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。
当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。
如果有非常多的训练样本，使得p （x|X）形成一个非常显著的尖峰，而先验概率p（x）又是均匀分布，此时两者的本质是相同的。
3、为什么模拟退火能够逃脱局部极小值？在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。
实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。
这个随机因素就是：以一定的概率来接受一个比单前解要差的解。
通过这个随机因素使得算法有可能跳出这个局部最优解。
4、最小错误率和最小贝叶斯风险之间的关系？基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。
风险投资中的最小贝叶斯风险决策
风险投资中的最小贝叶斯风险决策基金项目:泰山医学院青年科学基金资助项目最小贝叶斯风险决策使贝叶斯风险最小的决策方法。
本文通过一个具体实例,阐述贝叶斯决策在风险投资分析中的应用。
并由此得出结论:贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却可掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。
贝叶斯決策不是使决策问题完全无风险,而是通过其他途径增加信息量使决策中的风险减小。
由此可以看出,贝叶斯决策是一种比较实际可行的方法。
[ 关键词] 风险投资贝叶斯决策最小贝叶斯风险决策贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:1. 已知含有未知参数的概率密度表达式以及未知参数先验概率;2. 利用先验分布计算其后验概率;3. 根据后验概率求参数贝叶斯决策。
寻求贝叶斯决策函数有两条路径,一条是使后验风险最小,一条是使贝叶斯风险最小。
实际中,人们常使用后验风险途径,因为它的计算相对简单和方便,本文我们使用的实际上正是后验风险准则。
在不同的先验分布假设下,参数的贝叶斯决策量一般是不同的。
本文旨在通过在各种不同的先验分布条件下进行参数的贝叶斯决策,最终比较并探讨各种情况下贝叶斯决策的优良性问题。
一、提出问题设想有一投资公司对某一项目已经投入100万元。
现在决定是追加投资100万或是保持原投资不变,还是将已经投入的100万撤回。
若在一年后该项投资的收益会因市场的变化而不同,如果一年后的市场对该项投资分为有利和不利两种情况。
且根据以往的经验有利和不利两种情况发生的概率分别为:0.7和0.3。
有利时可获利30%,不利时会损失40%。
在这种情况下,寻求最小贝叶期风险决策。
如果该公司投资前用5万元聘请一名投资顾问,该顾问在未来有利的情况下预测的准确率为85%,不利时预测的准确率是90%。
最小风险贝叶斯例题
最小风险贝叶斯例题假设有两个袋子，袋子A中有3个红球和7个蓝球，袋子B中有6个红球和4个蓝球。
从这两个袋子中随机选择一个袋子，然后从该袋子中随机抽出一个球。
如果抽出的球是红色的，你需要根据最小风险贝叶斯准则来判断该球来自哪个袋子。
先定义一些符号：- 假设袋子A被选择的概率为P(A)，袋子B被选择的概率为P(B)。
由于只有2个袋子可供选择，因此P(A)+P(B)=1。
- 假设从袋子A中抽出红球的概率为P(红|A)，从袋子B中抽出红球的概率为P(红|B)。
根据上述数据，P(红|A)=3/10，P(红|B)=6/10。
- 我们需要计算的是P(A|红)，即在抽出红球的情况下，袋子A被选择的概率。
根据贝叶斯定理，我们有：P(A|红) = P(红|A) * P(A) / P(红)其中，P(红)表示从两个袋子中抽出红球的概率，可以用全概率公式计算：P(红) = P(红|A) * P(A) + P(红|B) * P(B)将上述数据代入公式，可得：P(红) = 3/10 * P(A) + 6/10 * P(B)因为P(A)+P(B)=1，所以可以将P(B)表示为1-P(A)，代入公式，得到：P(红) = 3/10 * P(A) + 6/10 * (1 - P(A)) = 6/10 - 3/10 * P(A)将P(红)代入P(A|红)的公式，得到：P(A|红) = P(红|A) * P(A) / (3/10 * P(A) + 6/10 - 3/10 * P(A)) 化简上式，得到：P(A|红) = 3/7因此，根据最小风险贝叶斯准则，我们应该选择袋子A，因为袋子A被选择的概率为3/7，大于袋子B的被选择概率2/7。
模式例题
解：已知条件为P(ω1)=0.9，P(ω2)=0.1，p(x|ω1)=0.2， p(x|ω2)=0.4， c = 2， ， ， = 0 λ21 = 1 λ11 λ λ12 = 6，22 = 0。 根据例2.1的计算结果可知后验概率为 P(ω1|x) = 0.818， P(ω2|x) = 0.182
2.2.2基于最小风险的贝叶斯决策 基于最小风险的贝叶斯决策 再按下式计算出条件风险
• 练习题⒈ 在两类问题中，遵循贝叶斯规 则的条件误差率由式(7) P(error|x)=min[P(ω1|x)，P(ω2|x)]给出，尽 管后验概率是连续的，当用式(5)
P(error ) = ∫ P(error, x)dx
−∞ ∞ ∞
= ∫ P(error | x) p(x)dx
−∞
计算总误差时，这种形式的条件误差率实 际将导致一个不连续的被积函数。
⒉在P(ωi|x) =1/c,（i =1，2，…，c）时，即 各类后验概率相等的情况，有
c −1 1 P = ∫ [1 − ∑ ] p (x)dx = c i =1 c
c 2
c −1 1 P* = ∫ 1 − p ( x)dx = c c
此时也有P = P*。
二、最近邻法的错误率分析 4.5.1最近邻法 最近邻法
2.2.2基于最小风险的贝叶斯决策 基于最小风险的贝叶斯决策
举例
例2.2假设在某个局部地区细胞识别中正常(ω1)和 异 常 (ω2) 两 类 先 验 概 率 分 别 为 正 常 状 态 ： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有一待识的 细胞，其观察值为x， 从类条件概率密度分布曲 ， 线上查得p(x|ω1)=0.2，p(x|ω2)=0.4。损失函数分 别为 细胞x按最小风险贝叶斯决策进行分类。 ， λ11 = 0 λ12 = ， λ21 = ， λ22 =。试对该 6 1 0
最小风险贝叶斯例题
最小风险贝叶斯例题介绍与背景贝叶斯定理是概率论中的一个重要定理，它描述了在已知某个条件下，另一个条件发生的概率。
贝叶斯定理在许多领域都有广泛的应用，包括统计学、人工智能、数据分析等。
其中一个应用领域是风险评估和决策分析。
在风险评估中，我们经常需要根据一些条件来评估某个事件发生的风险。
最小风险贝叶斯例题就是一个典型的例子，它可以帮助我们通过贝叶斯定理来评估在给定条件下某个事件的最小风险。
最小风险贝叶斯例题解析问题定义假设我们有两个条件，条件A和条件B，并且已知在条件A下事件X发生的概率为P(X|A)，在条件B下事件X发生的概率为P(X|B)。
我们还知道，在给定条件A或条件B的情况下，事件X都是唯一的。
我们的目标是通过条件A和条件B的概率，来评估在不同条件下事件X的最小风险，并决策采取哪个条件。
解题步骤步骤一：计算事件X在条件A和条件B下的概率根据题目给出的信息，我们可以计算事件X在条件A和条件B下的概率。
假设事件X在条件A下的概率为P(X|A)，事件X在条件B下的概率为P(X|B)。
步骤二：计算事件X发生的总概率根据贝叶斯定理，事件X发生的总概率可以用以下公式计算：P(X) = P(X|A) * P(A) + P(X|B) * P(B)其中，P(A)表示条件A发生的概率，P(B)表示条件B发生的概率。
步骤三：计算在条件A下事件X的最小风险在条件A下事件X的最小风险可以用以下公式计算：R(X|A) = P(X|A) * P(A) / P(X)其中，P(X|A)表示在条件A下事件X发生的概率，P(A)表示条件A发生的概率，P(X)表示事件X发生的总概率。
步骤四：计算在条件B下事件X的最小风险在条件B下事件X的最小风险可以用以下公式计算：R(X|B) = P(X|B) * P(B) / P(X)其中，P(X|B)表示在条件B下事件X发生的概率，P(B)表示条件B发生的概率，P(X)表示事件X发生的总概率。
模式识别试题及总结
模式识别试题及总结一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3) (4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A?01, A ? 0A1 , A ? 1A0 , B ? BA , B ? 0}, A) （2）({A}, {0, 1}, {A?0, A ? 0A}, A)（3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S)（4）({A}, {0, 1}, {A?01, A ? 0A1, A ? 1A0}, A)9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。
10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
模式识别练习题(简答和计算)
1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。
答：M ahalanobis距离的平方定义为：其中x,u 为两个数据，Z- ¹是一个正定对称矩阵(一般为协方差矩阵)。
根据定义，距某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Z, 则M ahalanobis距离就是通常的欧氏距离。
2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。
答：监督学习方法用来对数据实现分类，分类规则通过训练获得。
该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号(标号)的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。
就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。
使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。
3、已知一组数据的协方差矩阵为, 试问(1)协方差矩阵中各元素的含义。
(2)求该数组的两个主分量。
(3)主分量分析或称K-L 变换，它的最佳准则是什么?(4)为什么说经主分量分析后，消除了各分量之间的相关性。
答：协方差矩阵为, 则(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。
(2)主分量，通过求协方差矩阵的特征值，用得(A- 1)²=1/4,则,相应地：A=3/2, 对应特征向量为,,对应0 这两个特征向量，即为主分量。
K-L 变换的最佳准则为：(3)对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。
(4)在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。
第二章贝叶斯决策理论
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
问题的提出：风险的概念
风险与损失紧密相连，如病情诊断、商品销售、股 票投资等问题
日常生活中的风险选择，即所谓的是否去冒险
最小风险贝叶斯决策正是考虑各种错误造成损 失不同而提出的一种决策规则
对待风险的态度：“宁可错杀一千，也不放走 一个”
以决策论的观点
际中要列出合适的决策表是很不容易的
与最小错误率贝叶斯决策的关系
差别在于是否考虑风险，即错误损失
最小风险决策可看作加权形式的最小错误率决策， 加权值即损失函数取特定形式时二者可能等价，如 损失函数取0-1形式
定义损失函数
2.2.3 限定一类错误率，使另一类 错误率最小的 两类别决策
条件极值问题
对于特定的x采取决 策αi 的期望损失
期望风险
最小风险贝叶斯决策
最小风险贝叶斯决策步骤
最小风险贝叶斯决策示例
最小风险贝叶斯决策示例
最小风险贝叶斯决策的讨论
除了要有符合实际情况的先验概率 和类条
件概率密度
，j=1,…,c外，还要有合适
的损失函数 i,j , i=1,…,a ,j=1,…,c.但实
决策空间：所有可能采取的各种决策所 组成的集合，用A表示
每个决策或行动都将带来一定的损失， 它通常是决策和自然
条件期望损失
由于引入损失的概念，在制定决策时不 能仅考虑最小错误率，所采取的决策是 否使损失最小也是必须考虑的
损失的数学表示，跟决策相关——条件期 望损失，条件风险
利用拉格朗日乘子法将条件极值转化为 无条件极值
分别对分界点t和 求导
这率种 1在最限小定的一决类策错规误则率也称2为为常N数ey而m使an另-P一ea类rs错on误
最小错误率贝叶斯决策的似然比形式 最小风险贝叶斯决策的似然比形式