【模式识别与机器学习】——2.1贝叶斯判别法

【模式识别与机器学习】——2.1贝叶斯判别法
⼀.作为统计判别问题的模式分类
模式识别的⽬的就是要确定某⼀个给定的模式样本属于哪⼀类。

可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某⼀个判决规则的输⼊，按此规则来对样本进⾏分类。

在获取模式的观测值时，有些事物具有确定的因果关系，即在⼀定的条件下，它必然会发⽣或必然不发⽣。

但在现实世界中，由许多客观现象的发⽣，就每⼀次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。

只有在⼤量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。

特征值不再是⼀个确定的向量，⽽是⼀个随机向量。

此时，只能利⽤模式集的统计特性来分类，以使分类器发⽣错误的概率最⼩。

⼆.贝叶斯判别原则
2.1 两类模式集的分类
⽬的：要确定x是属于ω1类还是ω2类，要看x是来⾃于ω1类的概率⼤还是来⾃ω2类的概率⼤。

2.2 贝叶斯判别规则
对于⾃然属性是属于ωi类的模式x来说，它来⾃ωi类的概率应为P(ωi |x)
根据概率判别规则，有：
由贝叶斯定理，后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算，即：
这⾥p(x | ωi)也称为似然函数。

将该式代⼊上述判别式，有：
或
其中，l12称为似然⽐，P(ω2)/P(ω1)=θ21称为似然⽐的判决阈值，此判别称为贝叶斯判别。

2.3 贝叶斯判别⽰例
问题描述：
对某⼀地震⾼发区进⾏统计，地震以ω1类表⽰，正常以ω2类表⽰统计的时间区间内，每周发⽣地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8 在任意⼀周，要判断该地区是否会有地震发⽣。

显然，因为P(ω2)> P(ω1)，只能说是正常的可能性⼤。

如要进⾏判断，只能其它观察现象来实现。

通常地震与⽣物异常反应之间有⼀定的联系。

若⽤⽣物是否有异常反应这⼀观察现象来对地震进⾏预测，⽣物是否异常这⼀结果以模式x代表，这⾥x为⼀维特征，且只有x=“异常”和x=“正常”两种结果。

假设根据观测记录，发现这种⽅法有以下统计结果：
地震前⼀周内出现⽣物异常反应的概率=0.6，即p(x=异常| ω1)=0.6
地震前⼀周内出现⽣物正常反应的概率=0.4，即p(x=正常| ω1)=0.4
⼀周内没有发⽣地震但也出现了⽣物异常的概率=0.1，即p(x=异常| ω2)=0.1
⼀周内没有发⽣地震时，⽣物正常的概率=0.9，即p(x=正常| ω2)=0.9
若某⽇观察到明显的⽣物异常反应现象，⼀周内发⽣地震的概率为多少，即求P(ω1 | x=异常)=？
解决过程：
三.最⼩风险贝叶斯决策
3.1 问题提出
在决策中，除了关⼼决策的正确与否，有时我们更关⼼错误的决策将带来的损失。

⽐如在判断细胞是否为癌细胞的决策中，
若把正常细胞判定为癌细胞，将会增加患者的负担和不必要的治疗，
但若把癌细胞判定为正常细胞，将会导致患者失去宝贵的发现和治疗癌症的机会，甚⾄会影响患者的⽣命。

这两种类型的决策错误所产⽣的代价是不同的。

考虑各种错误造成损失不同时的⼀种最优决策，就是所谓的最⼩风险贝叶斯决策。

3.2 损失函数和决策表
设对于实际状态为wj的向量x采取决策αi所带来的损失为
该函数称为损失函数，通常它可以⽤表格的形式给出，叫做决策表。

需要知道，最⼩风险贝叶斯决策中的决策表是需要⼈为确定的，决策表不同会导致决策结果的不同，因此在实际应⽤中，需要认真分析所研究问题的内在特点和分类⽬的，与应⽤领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作⽤。

3.3 计算步骤
对于⼀个实际问题，对于样本x，最⼩风险贝叶斯决策的计算步骤如下：
（1）利⽤贝叶斯公式计算后验概率：
其中要求先验概率和类条件概率已知。

（2）利⽤决策表，计算条件风险：
（3）决策：选择风险最⼩的决策，即：
（4）公式的整合规范（换⼀种表达）
说明：====
3.4 ⽰例1
现在⽤之前的判别细胞是否为癌细胞为例。

状态1为正常细胞，状态2为癌细胞，假设：
（1）利⽤贝叶斯公式计算后验概率：
（2）利⽤决策表，计算条件风险：
（3）决策：选择风险最⼩的决策，即：
即判别为1类的风险更⼤，根据最⼩风险决策，应将其判别为2类，即癌细胞。

由此可见，因为对两类错误带来的风险的认识不同，从⽽产⽣了与之前不同的决策。

显然，但对不同类判决的错误风险⼀致时，最⼩风险贝叶斯决策就转化成最⼩错误率贝叶斯决策。

最⼩错误贝叶斯决策可以看成是最⼩风险贝叶斯决策的⼀个特例。

3.5 两类（M=2）情况的贝叶斯最⼩风险判别
选M=2，即全部的模式样本只有ω1和ω2两类，要求分类器将模式样本分到ω1和ω2两类中，则平均风险可写成：
当分类器将x判别为ω1时：
当分类器将x判别为ω2时：
若r1(x)<r2(x)，则x被判定为属于ω1，此时：
3.6 两类（M=2）情况的贝叶斯最⼩风险判别实例
如图所⽰为⼀信号通过⼀受噪声⼲扰的信道。

信道输⼊信号为0或1，噪声为⾼斯型，其均值µ=0，⽅差为б2。

信道输出为x，试求最优的判别规则，以区分x是0还是1。

设送0为ω1类，送1为ω2类，从观察值x的基础上判别它是0还是1。

直观上可以看出，若x<0.5应判为0，x>0.5应判为1。

⽤贝叶斯判别条件分析：
设信号送0的先验概率为P(0)，送1的先验概率为P(1)，L的取值为：这⾥a1和a2分别对应于输⼊状态为0和1时的正确判别，L12对应于实际上是ω1类但被判成ω2类(a2)时的代价，L21对应于实际上是ω2类但被判成ω1类(a1)时的代价。

正确判别时L取0。

当输⼊信号为0时，受噪声为正态分布N(0,б2)的⼲扰，其幅值⼤⼩的概率密度为：
当输⼊信号为1时：
（1）
（2）若取L21=L12=1，P(1)=P(0),则x<1/2判为0。

（3）若⽆噪声⼲扰，即б2=0，则x<1/2判为0。