第三节 贝叶斯准则下的两类线性判别模型
贝叶斯分类器 3
2、作为统计判别问题的模式识别：
以两类分类问题来讨论： 设有两个类别ω1 和ω2 ，理想情况， ω1 和ω2 决定了特征 空间中的两个决策区域。
•确定性分类： 我们任取一个样本 x ，当它位于ω1 的决策区域时，我们判 别x ∈ω1 ；当它位于ω2的决策区域时，我们判别x ∈ω1 。也 可以说：当 x 位于ω1 的决策区域时，它属于ω1 的概率为 1 ，属 于ω2的概率为0。 •随机性统计分类： 如我们任取一个样本 x ，当它位于ω1 的决策区域时，它属 于ω1 的概率为小于 1 ，属于ω2 的概率大于 0 ，确定性分类问题 就变成了依照概率判决规则进行决策的统计判别问题。
若有c个分类，若取得样本的特征向量 x 的条件下， 某个类对应的后验概率后验概率P(ωk|x)最大，则判别x ∈ωk发生错误分类的可能性最小，因此，以下判别规则 称为最小错误率贝叶斯分类：
若
P(ωk|x)＝max｛ P(ωj|x) ｝，
j＝1,2,……c
则
x ∈ ωk
1、最小错误率贝叶斯分类
例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细 胞x，先从类条件概率密度分布曲线上查到： P(x/ ω 1)=0.2， P(x/ ω 2)=0.4 解：该细胞属于正常细胞还是异常细胞，先计算后验概率
为评估分类错误的风险，引入以下概念： •行动αi：表示把模式x判决为ωi类的一次动作。
•损失函数λij=λ(αi|ωj)：表示模式x本来属于ωj类错 判为ωi所受损失
•条件平均风险（也叫条件期望损失）：对未知 x采取一 个判决行动αi(x)所冒的风险（或所付出的代价）
R i x E i j i j P j x , i 1,2,...,a.(a M )
贝叶斯,fisher判别法
距离判别法和Bayes判别法[color=black][size=3]距离判别法和Bayes判别法是判别分析中常用的两类判别法。
多元统计书上一般都有介绍。
简单说就是[font=MS Shell Dlg]判别给定的样本属于哪一类的。
比方说一堆样本，分好几类，样本有n个属性。
把这堆样本输入程序训练好后，程序就可以判别新的样本属于哪一类了。
[/font]我把它们做成了一个简单的界面，大家可以按界面提示操作下。
为了方便我准备了一些数据，见附件。
[font=MS Shell Dlg]train是训练样本（判别准备前用的），test是测试样本，即新数据，用来判别新样本中每一个属于哪一类的。
这里属性个数n=3。
实际使用时，n可以不局限于3。
训练样本只要按照附件中的格式（即第一列为类名，其余列为属性）存为xls文件即可。
测试样本直接就是由属性列组成的，每一行表示一个样本。
[/font][/size][/color][font=MS Shell Dlg][size=3]下面是代码（注释比较详细，用nested function写回调函数可以供GUI 初学者借鉴）：[/size][/font][font=MS Shell Dlg][size=3][code]function DiscriminantMethodsfig=figure('defaultuicontrolunits','normalized','name','各类判别方法比较','numbertitle','off','menubar','none');%主界面，返回主界面句柄figUiButtonGroupH = uibuttongroup('Position',[0.55 0.08 0.40 0.85],'title','各判别方法','fontsize',12,'bordertype','etchedout');%群组对象，并返回句柄DistanceH = uicontrol('Style','Radio','String','距离判别法','fontsize',12,'pos',[0.05 0.73 0.9 0.15],'parent',UiButtonGroupH);%距离判别法的选项BayesH = uicontrol('Style','Radio','String','Bayes判别法','fontsize',12,'pos',[0.05 0.52 0.9 0.15],'parent',UiButtonGroupH);%Bayes判别法的选项FisherH = uicontrol('Style','Radio','String','Fisher判别法','fontsize',12,'pos',[0.05 0.31 0.9 0.15],'parent',UiButtonGroupH);%Fisher判别法的选项%下面几行建立相关按钮控件。
贝叶斯判别分析用于二分类变量的分析原理及软件实现步骤
贝叶斯判别分析用于二分类变量的分析原理及软件实现步骤贝叶斯判别分析的基本假设是，两个类别的数据都满足多变量正态分布，且各自的协方差矩阵相等。
具体来说，假设有两个类别0和1，数据的特征变量用向量X表示，类别变量用Y表示。
定义类别0的样本数为N0，类别1的样本数为N1、对于每个类别，假设其特征变量的均值为μ0和μ1，协方差矩阵为Σ0和Σ1、定义先验概率P(Y=0)为π，P(Y=1)为1-π。
根据贝叶斯公式，可以计算给定特征变量X的条件下，属于类别0和类别1的后验概率分别为：P(Y=0，X)=(πΦ(X;μ0,Σ0))/(πΦ(X;μ0,Σ0)+(1-π)Φ(X;μ1,Σ1))P(Y=1，X)=((1-π)Φ(X;μ1,Σ1))/(πΦ(X;μ0,Σ0)+(1-π)Φ(X;μ1,Σ1))其中，Φ(X;μ,Σ)是多变量正态分布的密度函数。
通过对上述的后验概率进行比较，我们可以将数据分到概率较大的类别。
具体来说，如果P(Y=0，X)>P(Y=1，X)，则将X归为类别0；否则，将X归为类别11.收集和准备数据：收集包含两个类别的数据集，并对数据进行预处理，如去除缺失值和异常值。
2.计算每个类别的均值和协方差矩阵：对于每个类别，计算其特征变量的均值和协方差矩阵。
3.估计先验概率：根据训练数据，计算类别0和类别1的先验概率π和1-π。
4.计算后验概率：对于每个样本，根据贝叶斯公式计算其属于类别0和类别1的后验概率。
5.进行分类：根据计算得到的后验概率，将每个样本分到概率较大的类别。
6.模型评估：使用预留的测试数据，评估模型的性能，如计算准确率、召回率、F1分数等。
7.调参优化：可以根据实际情况，对模型进行调参优化，如调整先验概率的值或者引入正则化等。
1.R语言：可以使用R中的多元统计包，如“MASS”包或者“e1071”包，来实现贝叶斯判别分析。
2. Python语言：可以使用Python中的机器学习库，如scikit-learn，来实现贝叶斯判别分析。
模式识别第4章 线性判别函数
w1。
44
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
w1
先看一个简
单的情况。设一
维数据1，2属于
w0
1, -1，-2属
于2 求将1和
2区分开的w0 ，
w1。
45
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
53
第四章 线性判别方法
4.1 用判别域界面方程分类的概念
有 4.2 线性判别函数 监 4.3 判别函数值的鉴别意义、权空间及解空间 督 4.4 Fisher线性判别 分 4.5 一次准则函数及梯度下降法 类 4.6 二次准则函数及其解法
4.7 广义线性判别函数
54
4.4 Fisher线性判别
这一工作是由R.A.Fisher在1936年的论文中 所提出的，因此称为Fisher线性判别方法。
0123456789
x1
d23(x)为正
d32(x)为正 d12(x)为正 d21(x)为正
i j两分法例题图示
24
25
3、第三种情况（续）
d1(xr) d2(xr)
1
2
d1(xr ) d3(xr )
3
d2 (xr ) d3(xr )
多类问题图例（第三种情况）
26
27
上述三种方法小结:
8
4.2 线性判别函数
9
10
11
d3(xr) 0
不确定区域
r
xr xrxr xr xr
x2
?
d1(x) 0
1
2
3
x1 d2(xr ) 0
判别分析法预测
YOUR SITE HERE
一、费歇准则准则与准则下的两类判别线性模型
考虑指标与p个自变量有关的两类判别：设指标y按 其取值范围只分为A、B两类，对A、B两类分别有 nA,nB个样品数据。 Fisher提出，建立p个因子的一个线性判别函数
y c1 x1 c2 x2 c p x p c j x j
YOUR SITE HERE
R0 所谓Fisher判别 法，是一种先投 影，后用距离判 别的方法。
寻找一个方向，也就是 图上的虚线方向，沿着 这个方向朝和这个虚线 垂直的一条直线进行投 影会使得这两类分得最 清楚。 可以看出，如果向其他 方向投影，判别效果不 会比这个好。
R = c1x1 + c2x2
1
1/ 2
为p维空间上点xi,xj之间的广义（统计）距离，亦称
马氏距离
YOUR SITE HERE
特别地，当
diag ( , ,..., )
2 1 2 2 2 p
1 2 MD( xi , x j ) 2 ( xi x j ) k 1 k
p
1/ 2
p
于是，可得线性判别函数为：
y c1 x1 c2 x2 c p x p c j x j
j 1
YOUR SITE HERE
三、确定临界值及对新样品作出判别
当判别函数求出后，可进一步求得： 类平均值
p
y ( A) c j x j ( A)
j 1
y ( B) c j x j ( B)
用适当的数学方法从多 个变量中提出有关判别 分类的有效信息，综合 成一个像单变量那样好 用的判别标准。
YOUR SITE HERE
线性分类模型（一）：线性判别模型分析
线性分类模型（一）：线性判别模型分析前言前几篇文章介绍了线性回归算法，线性分类模型分为判别式模型和生成式模型，本文首先简单复习了与算法相关的数学基础知识，然后分析各线性判别式分类算法，如最小平方法，Fisher线性判别法和感知器法，最后总结全文。
目录1、相关的数学知识回顾2、判别式模型和生成性模型3、最小平方法4、Fisher线性判别函数5、感知器算法6、总结相关数学知识回顾1、直线方程和平面方程拓展到分类思想：直线l为分类决策方程，坐标点落在直线l上方时，则分类为C1；坐标点落在直线l下方时，则分类为C2（如下图）。
平面方程类似，在这里不展开。
2、点到直线和点到平面的距离点到直线的距离：点到平面的距离拓展到分类思想：平面方程为决策方程，正确分类的情况下，当点P到决策方程的距离越大，则分类模型越好；错误分类的情况下，点P到决策方程的距离作为损失函数，损失函数最小化过程即是模型参数最优化过程。
3、向量内积的数学意义几何意义：向量A与向量B的内积等于向量A在向量B的投影与向量B的乘积，当向量B是单位向量时，则等于向量A在单位向量方向的投影，单位向量类似于基函数或者可以理解成坐标轴,即向量A在向量B的投影可理解成向量A在向量B方向的坐标，如下图，B'是B 在OA坐标轴方向的投影。
拓展到分类思想：C1与C2属于不同的类，给定一条决策性直线l，当C1与C2在直线L2的投影间距越大，则分类效果越好。
增加不同类间的距离可以作为模型参数优化的方向。
如下图，C1和C2的在直线L2的投影距离|C1'C2'|大于|C1'C2'|，因此决策方程直线L2优于直线L1.4、梯度下降法函数f(x0,x1,...,xn)在梯度方向是函数值变化（增加或减少）最快的方向（本文只给出结论，后续文章会有详细的说明）。
拓展到分类思想：损失函数最小化过程即是模型参数最优化过程，损失函数最小化可通过梯度下降法来实现，当迭代到一定程度，损失函数收敛，则迭代结束，参数w即是要求的最优参数。
机器学习——基础整理（一）贝叶斯决策论；二次判别函数；贝叶斯错误率；生成式模型的参数方法
机器学习——基础整理（⼀）贝叶斯决策论；⼆次判别函数；贝叶斯错误率；⽣成式模型的参数⽅法本⽂简单整理了以下内容：（⼀）贝叶斯决策论：最⼩错误率决策、最⼩风险决策；经验风险与结构风险（⼆）判别函数；⽣成式模型；多元⾼斯密度下的判别函数：线性判别函数LDF、⼆次判别函数QDF（三）贝叶斯错误率（四）⽣成式模型的参数估计：贝叶斯学派与频率学派；极⼤似然估计、最⼤后验概率估计、贝叶斯估计；多元⾼斯密度下的参数估计（五）朴素贝叶斯与⽂本分类（挪到了下⼀篇博客）（⼀）贝叶斯决策论：最⼩风险决策（Minimum risk decision）贝叶斯决策论（Bayesian decision theory）假设模式分类的决策可由概率形式描述，并假设问题的概率结构已知。
规定以下记号：类别有c个，为\omega_1,\omega_2,...,\omega_c；样本的特征⽮量\textbf x\in\mathbb R^d；类别\omega_i的先验概率为P(\omega_i)（prior），且\sum_{i=1}^cP(\omega_i)=1；类别\omega_i对样本的类条件概率密度为p(\textbf x|\omega_i)，称为似然（likelihood）；那么，已知样本\textbf x，其属于类别\omega_i的后验概率P(\omega_i|\textbf x)（posterior）就可以⽤贝叶斯公式来描述（假设为连续特征）：P(\omega_i|\textbf x)=\frac{p(\textbf x|\omega_i)P(\omega_i)}{p(\textbf x)}=\frac{p(\textbf x|\omega_i)P(\omega_i)}{\sum_{j=1}^cp(\textbfx|\omega_j)P(\omega_j)}分母被称为证据因⼦（evidence）。
后验概率当然也满⾜和为1，\sum_{j=1}^cP(\omega_j|\textbf x)=1。
第三节贝叶斯准则下的两类线性判别模型
第三节贝叶斯准则下的两类线性判别模型贝叶斯准则是一种常用的概率学习方法，可以用于分类问题。
在贝叶斯准则的基础上，可以构建两类线性判别模型，即线性判别函数模型和线性判别分析模型。
1.线性判别函数模型线性判别函数模型是一种线性分类方法，它使用一个线性判别函数将样本划分为不同的类别。
假设样本空间为X，类别集合为Y={y_1,y_2}，其中y_1和y_2是两个类别。
线性判别函数模型的目标是找到一个超平面，可以将样本空间划分为两个决策域，一个属于类别y_1，另一个属于类别y_2为了构建线性判别函数模型，首先需要假设每个类别的概率分布满足多元高斯分布。
假设y_1的先验概率为P(y_1)，y_2的先验概率为P(y_2)。
假设x是一个样本点，x的观测值为x=(x_1,x_2,...,x_n)'，n是特征个数。
则x在类别y_i中的条件概率分布可以表示为P(x，y_i)，i=1,2根据贝叶斯准则，可以求得后验概率P(y_1，x)，即在观测到x的情况下，样本属于类别y_1的概率。
根据线性判别函数模型的定义，可以用一个线性判别函数g(x)来表示后验概率：g(x)=w'x+w_0其中，w=(w_1,w_2,...,w_n)'是权重向量，w_0是偏置项。
根据后验概率的定义，可以将g(x)转化为相应的概率值，通过一个非线性函数转换：P(y_1，x)=1/(1+e^(-g(x)))上述模型就是逻辑回归模型，逻辑回归模型可以通过最大似然估计或其它方法来估计模型参数。
2.线性判别分析模型线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的分类算法，也是基于贝叶斯准则的一种方法。
与线性判别函数模型不同，线性判别分析模型假设各类别的协方差矩阵相等，且为单位矩阵。
因此，LDA可以通过计算样本的均值和协方差矩阵来实现分类。
具体地，假设y_1和y_2是两个类别，样本空间为X，样本点x的观测值为x=(x_1,x_2,...,x_n)'，n是特征个数。
判别分析模型研究及应用
判别分析模型研究及应用判别分析模型是一种统计分析方法，用于解决分类问题。
其主要目标是通过对已知分类的样本进行学习，得出一个分类函数，然后通过应用这个分类函数对未知样本进行分类。
判别分析模型在许多领域中都得到广泛的应用，例如医学诊断、金融风险评估、文本分类等。
判别分析模型主要包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）两种。
LDA 假设样本的特征在每个类别中的分布服从正态分布，且各个类别的协方差矩阵相同。
LDA通过计算每个类别的均值向量和协方差矩阵，然后基于贝叶斯决策理论计算后验概率，从而得到分类函数。
QDA则放松了协方差矩阵相同的假设，允许每个类别有不同的协方差矩阵。
判别分析模型的研究主要围绕以下几个方面展开。
首先，模型的建立和求解是研究的重点之一。
在模型建立过程中，需要根据实际问题选择适当的判别准则和优化方法，以提高模型的分类性能。
其次，特征选择和降维也是研究的热点。
由于判别分析模型的性能受样本维度的影响，因此特征选择和降维可以提高模型的准确性和效率。
另外，与其他机器学习方法的集成也是一个重要的研究方向。
判别分析模型与支持向量机、神经网络等机器学习方法相结合，可以提高分类性能，拓展模型的应用范围。
判别分析模型在实际应用中具有广泛的应用价值。
一方面，它可以用于医学诊断，帮助医生识别疾病并制定治疗方案。
例如，通过对病人的病历、症状和检测结果进行分析，可以建立一个判别分析模型，用于区分正常人和疾病人群。
另一方面，判别分析模型也可以用于金融风险评估。
通过对客户的个人信息、信用记录和财务状况进行分析，可以建立一个判别分析模型，用于预测客户是否有违约的风险。
此外，判别分析模型还可以用于文本分类。
通过对文本的词频、词义和句法等进行分析，可以建立一个判别分析模型，用于将文本分类到不同的主题或类别。
贝叶斯判别分析ppt课件
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25
模式识别--第三讲贝叶斯分类器（PDF）
第三讲贝叶斯分类器线性分类器可以实现线性可分的类别之间的分类决策，其形式简单，分类决策快速。
但在许多模式识别的实际问题中，两个类的样本之间并没有明确的分类决策边界，线性分类器（包括广义线性分类器）无法完成分类任务，此时需要采用其它有效的分类方法。
贝叶斯分类器就是另一种非常常见和实用的统计模式识别方法。
一、 贝叶斯分类1、逆概率推理Inverse Probabilistic Reasoning推理是从已知的条件（Conditions），得出某个结论（Conclusions）的过程。
推理可分为确定性（Certainty）推理和概率推理。
所谓确定性推理是指类似如下的推理过程：如条件B存在，就一定会有结果A。
现在已知条件B存在，可以得出结论是结果A一定也存在。
“如果考试作弊，该科成绩就一定是0分。
”这就是一条确定性推理。
而概率推理（Probabilistic Reasoning）是不确定性推理，它的推理形式可以表示为：如条件B存在，则结果A发生的概率为P(A|B)。
P(A|B)也称为结果A 发生的条件概率（Conditional Probability）。
“如果考前未复习，该科成绩有50%的可能性不及格。
”这就是一条概率推理。
需要说明的是：真正的确定性推理在真实世界中并不存在。
即使条件概率P(A|B)为1，条件B存在，也不意味着结果A就确定一定会发生。
通常情况下，条件概率从大量实践中得来，它是一种经验数据的总结，但对于我们判别事物和预测未来没有太大的直接作用。
我们更关注的是如果我们发现了某个结果（或者某种现象），那么造成这种结果的原因有多大可能存在？这就是逆概率推理的含义。
即：如条件B存在，则结果A存在的概率为P(A|B)。
现在发现结果A出现了，求结果B存在的概率P(B|A)是多少？例如：如果已知地震前出现“地震云”的概率，现在发现了地震云，那么会发生地震的概率是多少？再如：如果已知脑瘤病人出现头痛的概率，有一位患者头痛，他得脑瘤的概率是多少？解决这种逆概率推理问题的理论就是以贝叶斯公式为基础的贝叶斯理论。
数学地质第六章 判别分析：线性-逐步
二、判别函数
若有两类物体，在统计学上称为总体（或母体）。 它们的分布状态均可以利用p个变量，在p维空间中用 两个椭球状点集表示出来。 设有A、B两个总体，从中抽取两组样品，每个样 品有两个变量，现以变量为轴，将A、B两组样品在二 维空间中表示出来（图6-1）。
二、判别函数
差图 别 函 数两 个 二 元 总 体 间 的 6-1
F
S回 f 回 S剩 f 剩
（6-26）
服从F-分布。式中：
四．判别函数的显著性检验及判别率
S回 ( y A y ) ( y B y ) 2 n A ( y A y ) 2 n B ( y B y ) 2
2 i 1 i 1 nA nB
f回 2 1 1
j 1
p
为判别函数（图6-1中直线Ⅰ）
二、判别函数
二维空间中，在两点集之间垂直于y轴且把两个点集分 开的直线（图6-1中直线Ⅱ）称为判别直线。其直线方 程为
c1 x1 c2 x2 y0 0
在多维情况下，判别直线将是一个平面（p=3）或（p1）维超平面（p>3），其方程如下： c1 x1 c2 x2 c p x p y0 0 由此看出，判别分析的特点是能够大大缩减向量的维 数，而不致损失很多信息。
第三节 贝叶斯准则下的两类线性判别模型
以样本频率代替 各类相等 人为给定
无论哪种，都应有
g =1
∑q
G
g
= 1
5) 对样品进行判别(计算后验概率) 公式
p A g | x) = (
e
G h =1
yg(x) y h(x)
∑e
对每一个样品，先计算yg(x) g=1,2,…,G 挑出最大的g*,则判别样品属于g*类，
后验概率
p A g * | x) = (
i =1 G
因为比较时只要比较x属于某类母体的大小， 因而只要比较qgfg(x)即可
四、计算
由于Ｇ个母体Ａg 服从正态分布N(ag,∑)(g=1,2,…G), 所以其概率分布密度函数为
f g ( X ) = (2π )
−
p 2
1 ′Σ −1 ( x − a g )] | Σ | exp[− ( X − a g ) 2
S
−1
= [s ]p × p
kj
4) 求判别函数系数
Cg = x s
cgj =
cg0
p k =1
T −1 g
kj
= [cg1, cg2,..., cgp]
xgk
xgj
∑s
p j= 1
1 = − 2
∑c
gj
判别函数
y g(x) = ln q g + cg0 +
j= 1
∑c
p
gp
xj
qg
ng n 1 = G q g
x 111 x 121 ... x 1n11 x 211 x 221 ... x 2n 2 1 ... x G 11 x G 21 ... x Gn G 1 x 112 x 122 ... x 1n1 2 x 212 x 222 ... x 2n 22 ... x G 12 x G 22 ... x Gn G 2 ... ... ... ... ... ... ... ... ... ... ... ... ... x 11 p x 12 p ... x 1n1p x 21 p x 22 p ... x 2n 2p ... x G1p x G2p ... x Gn G p
判别分析(第3节_贝叶斯判别法1)
为 G1,G2 ,,Gk ，k个总体各自出现的概率分别为
q1, q2 ,,qk ，qi
0
k
， qi
1.
i 1
在这种的情形下，对于新的样品如何判断其来自哪
个总体？判断的准则函数该怎样确定？
第三节 贝叶斯（BAYES）判别法
下面我们对这一问题进行分析。首先应该清楚
L(Gi | Gi ) 0 ，L(Gi | Gi ) 0 ；对于任意的 i, j 1,2,, k 成 立 。 设 k 个 总 体 G1,G2 ,,Gk 相 应 的 p 维 样 本 空 间 为 R1, R2 ,, Rk ，即为一个划分，故我们可以简记一个判别规 则为 R (R1, R2 ,, Rk ) 。从描述平均损失的角度出发，如果 原来属于总体 Gi 且分布密度为 fi (x) 的样品，正好其取值落入 了 R j ，我们就将会错判为 X 属于 G j 。
采用后验概率的判别准则为：
判 X Gh , 当 P(Gh | X ) P(Gi | X ) 时，(i h,i 1,, k).
第三节 贝叶斯（BAYES）判别法
■ 贝叶斯判别准则 ● 基本问题 设有 k 个总体 G1,G2 ,,Gk ，其各自的分布密 度函数 f1(x), f2 (x), , fk (x) 互不相同的，假设 k 个总体各自 出 现 的 概 率 分 别 为 q1, q2 ,,qk （ 先 验 概 率 ）， qi 0 ，
本章主要内容
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■ 贝叶斯判别法的基本思想 ● 问题引入 从第二节中可以看出：距离判别法虽然 简单，便于使用（对总体只涉及均值向量和协方差阵， 而对总体的分布类型不作要求）。但是该方法也有它 明显的不足之处： 首先，判别方法与总体各自出现的概率的大小无关； 其次，判别方法与错判之后所造成的损失无关。 贝叶斯判别法就是为了解决这些问题而提出的一种判 别方法。
贝叶斯判别
模式识别——贝叶斯判别硕4080 3114315011 李尧一、实验目的1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。
二、实验原理（1）贝叶斯判别原则对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 )()()|()|(x p P x p x P i i i ωωω=式中，)|(i x p ω亦称似然函数。
把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： )()()|()|()(122112ωωωωP P x p x p x l >=则 1ω∈x)()()|()|()(122112ωωωωP P x p x p x l <=则 2ω∈x （1.2）这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。
该式称为贝叶斯判别。
（2）正态分布模式的贝叶斯分类器判别原理具有M 种模式类别的多变量正态分布的概率密度函数为：)]()(21exp[)2(1)|(1212i i T i in i m x C m x C x P ---=-πω 2,1=i （1.3）式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ⨯协方差矩阵；i C 为矩阵i C 的行列式。
且有 {}i i m E x =； ()(){}Ti i i i m x m x E C --=；{}iE x 表示对类别属于i ω的模式作数学期望运算。
判别分析(3)贝叶斯判别
个数，而n=n1+ n2 + … + nk .这时要求训练样本是通 过随机抽样得到的,各类的样品被抽到的机会大小就
是验前概率.
(c) 2021/2/4 假定q1=q2=…=qk=11/k.
6
§4.3.1 贝叶斯准则
2021/2/4
2021/2/4
1
8
§4.3.1 贝叶斯准则
问题：待判样品X属于哪一类？？ P (t|X )mP a (k|x X )mg a qkfx k(X ) (k1 ,2 , ,g)
q ifi(X )
i 1
对于诸总体，显然分母（全概率）都是相同的，因此只要比 较式分子的大小，即可判断条件概率的大小，进而对待判样 品作出归类。
1
14
§4.3.1 判别函数
式中，
m
Cjk Sl1 jxkj l1
(j1,2, ,m )
C o k 1 2 X k T S 1 X k 1 2 jm 1 lm 1 S j1 l x k lx k j 1 2 jm 1 C kx k jj
这里
S
1 jl
为矩阵
S
1中的元素。于是最终得化简后
2021/2/4
1
24
气体
氯
1
0.056
2
0.040
3
0.050
4
0.045
5
0.038
6
0.030
7
0.034
8
0.030
9
0.084
10
0.085
11
0.064
12
0.054
第04章_判别分析
X
G1,
X G2,
如果 如果
Wˆ (X) 0 Wˆ (X) 0
（4.7）
这里我们应该注意到：
（ 1 ） 当 p 1 ， G1 和 G2 的 分 布 分 别 为 N(1, 2 ) 和
N(2 , 2 ) 时， 1, 2 , 2 均为已知，且 1 2 ，则判别
系数为
1 2 2
0 ，判别函数为
把这类问题用数学语言来表达，可以叙述如下：设有n个样 本，对每个样本测得p项指标（变量）的数据，已知每个样 本属于k个类别（或总体）G1，G2， …，Gk中的某一类，且 它们的分布函数分别为F1(x)，F2(x)， …，Fk(x)。我们希望 利用这些数据，找出一种判别函数，使得这一函数具有某种
最优性质，能把属于不同类别的样本点尽可能地区别开来，
W (X) I X C ， 1,2,, k
相应的判别规则为
X Gi
如果
Wi
(X)
max
1 k
(I
X
C
)
（ 4.9）
针对实际问题，当 μ1,μ2 ,,μk 和 Σ 均未知时，可以通过相应的
样 本 值 来 替 代 。 设 X1() ,
,
X( n
)
是 来 自 总 体 G
中 的样 本
（ 1,2,, k ），则 μ （ 1,2,, k ）和 Σ 可估计为
P(好/做 人好事）
P好P 人 (做 P好 好 /好 P 人 事 )做 人 P(坏 好 /好 )P 人 事 (做 人好 /坏事 )人
0.50.9 0.82 0.50.90.50.2
P(坏/做 人好事）
P好P 人 (做 P坏 好 /好 P 人 事 )做 人 P(坏 好 /坏 )P 人 事 (做 人好 /坏事 )人
判别分析-贝叶斯判别
贝叶斯公式是一个我们熟知的公式
P(Bi
|
A)
P( A | Bi )P(Bi ) P( A | Bi )P(Bi )
设有总体 Gi (i 1,2,,k，) 具有Gi概率密度函 数 。并fi (且x)根据以往的统计分析，知道 出现Gi的概率。由贝叶 斯公式计算后验概率，有：
q1
qk
1 k
时
有 mi (x) 1 μ Σ μ (i) 1 (i) μ(i)Σ1x 2
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析 设有总体 Gi (i 1,2,,k) ，Gi具有概率密度函
数 fi (x)。并且根据以往的统计分析，知道 Gi 出现 的概率为 qi，(q1 qk 1) 。
P(Gi
|
x0 )
qi fi (x0 ) q j f j (x0 )
判别规则
P(Gl
|
x0 )
ql fl (x0 ) q j f j (x0 )
max
1ik
qi fi (x0 ) q j f j (x0 )
则 x0判给Gl ，在正态的假定下，fi (x)为正态分布的 密度函数。
下面讨论总体服从正态分布的情形
然后比较其大小，选取其中最小的，则判定样 品属于该总体。
下面在k=2的情形下，计算作为例子，我们讨论。
ECM (D1, D2 )
q1C(2 /1) f1(x)dx q2C(1/ 2) f2 (x)dx
D2
D1
q1C(2 /1) f1(x)dx q2C(1/ 2) f2(x)dx
R D1
设两总体 GA， GB 分别服从 其线性判别函数为：
W
(x)
2(x
)'
ch2_2.3.2正态分布下的Bayes判据的判别函数和决策面(线性、二次分类器)解析
2018/10/15
1
x k ln k
2lnP (ωk ) (4)
19
四川大学、电气信息学院、余勤
• 这是二次判别函数。当所有类的先验概率相等时， 可以省略 ln P ( k )。 • 前面已经证明，当两类的协方差矩阵相等时，二 次分类器退化为线性分类器。多类时也是如此。
2 pl ( x ) ω2 dx Neymen Pearson决策
2018/10/15
四川大学、电气信息学院、余勤
5
• 当各类的类条件密度是多元高斯分布时，
pi
x 2
d
p( x | i ) 1
2
i
1
2
T 1 exp x i i 1 x i (2 48) 2
gk x 2k x k 1 k 2lnP(ωk )，k 1， 2， ，N c
T 1 T
• 上式是x的线性函数。
2018/10/15
四川大学、电气信息学院、余勤
20
• 例2：最小距离分类器。假定各类的先验概率相等， 2， ，N c。即 x 的各个分量不 而且各类 k 2 I，k 1， 相关，且各类等方差。 解：这时的判别函数化为：
• i (d d 维) 为协方差矩阵，i d维均值向量。 • 这时似然比为
lx
l x
p x ω2
p x ω1
ω1
2 1 1 T 1 T 1 exp x 1 1 x 1 x 2 2 x 2 1 2 2 ω2
7
• 在一维时，马氏距离 2 i 用方差标准化的一般距离。 • 展开(1)式，有
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x 211 x 221 2类 : M x 2 n2 1
x 212 L x 21 p x 222 L x 22 p M M M x 2 n2 2 L x An2 p
g类 :
x g11 x g 21 M x gng 1
x g12 x g 22 M x gng 2
L L
x g1 p xg 2 p
M M L x gng p
二、概率论部分的基础知识
1、几个概念 一个袋中有１５个球，３白，７黑，５红 即Ｇ＝３ 白球上有记号： １，２，３ 黑球上有记号： １，２，３，４，５， ６，７ 红球上有记号： １，２，３，４，５
（1）先验概率（qg）
• • • 任取一球，其是白球,黑球，红球的概率 分别是： q1=３／１５，q2=７／１５ q3=５／ １５ q1＋q２＋q３=１
x 111 x 121 ... x 1n11 x 211 x 221 ... x 2n 2 1 ... x G 11 x G 21 ... x Gn G 1 x 112 x 122 ... x 1n1 2 x 212 x 222 ... x 2n 22 ... x G 12 x G 22 ... x Gn G 2 ... ... ... ... ... ... ... ... ... ... ... ... ... x 11 p x 12 p ... x 1n1p x 21 p x 22 p ... x 2n 2p ... x G1p x G2p ... x Gn G p
1 −1 2 p 2
(2π)
1 T exp[− (x − x g ) S − 1(x − x g )] 2
判别函数为qgfg(x)。 由于我们只关心寻求使qgfg(x)最大的g,故可取对数
−1 1 S 2 ln(q gfg(x)) = ln(q g ) + ln p (2π)2
1 T −1 1 T −1 T −1 x S x + xg S x − xg S xg − 2 2
xgj 1 = ng
G
作为ag的估计值；用S＝[skj]p×p
skj =
g =1 i =1
i =1
∑x
gij
ng
gij
∑ ∑ (x
ng
− xgj)(x gik − xgik)/(n − G)
作为Σ的估计值。记S的逆矩阵 Σ
S
−1
= [s ]p × p
kj
，则此时正态母体的密度函数可改写为
fg(x) = S
x
=
2) 求平均值
xgj 1 = ng
i =1
∑x
ng
gij
x g = [xg1, xg2,..., xgp]
T
3) 求协方差矩阵的估计S及S-1
skj =
g =1 i =1
∑ ∑ (x
g =1
G
ng
gij
− xgj)(x gik − xgik)/(n − G)
n =
∑n
G
g
S = [skj]p × p
∑是对称矩阵； ∑－１是∑的逆矩阵； |∑-1|为 ∑-1的行列式。
q g f g ( X ) = q g (2π )
− p 2
1 ′Σ −1 ( X − a g )] | Σ | exp[− ( X − a g ) 2
1 −1 2
只要比较qgfg(x),将此比较式，
在实际问题中，用
x g = [xg1, xg2,..., xgp]T
其中
e
h =1
yg *(x)
∑
G
=
1
h =1
eyh(x)
∑
G
ey′h(x)
y′(x) = y h(x) − y g*(x) h
(可防止溢出) 四、判别效果检验(略)
2、几个基本公式
• • • • • 条件概率公式 P(B/A)=P(AB)/P(A) P(x/A1)=P(xA1)/p(A1)=(1/15)/(3/15)=1/3 概率乘法公式 P(AB)=P(A)P(B/A)=P(BA)=P(B)P(A/B)
１全概率公式 设有Ｂi个母体,如有
n
UB
i =1
i
=Ω 且
1 −1 2
其中，Ｘ＝[x1, x2,….xp]’; 参数ag和 ∑分别为母体Ａg的均值向量和协方 差矩阵，即
σ 11 σ 12 L σ 1 p σ σ 22 L σ 2 p 21 Σ = (σ ij ) = M M M M σ p1 σ p 2 L σ pp
i =1 G
因为比较时只要比较x属于某类母体的大小， 因而只要比较qgfg(x)即可
四、计算
由于Ｇ个母体Ａg 服从正态分布N(ag,∑)(g=1,2,…G), 所以其概率分布密度函数为
f g ( X ) = (2π )
−
p 2
1 ′Σ −1 ( x − a g )] | Σ | exp[− ( X − a g ) 2
=
3 / 15 × 1 / 3 = 1/ 3 3 / 15 × 1 / 3 + 7 / 15 × 1 / 7 + 5 / 15 × 1 / 5
三、贝叶斯准则
设共有Ｇ类样品（Ａg，g=1,2,…G）即Ｇ个母体， 每类样品中取ng个样品
x111 x121 1类 : M x1n11
x112 L x11 p x122 L x12 p M M M x1n1 2 L x1n1 p
n
IB
i =1
i
= Φ 则 P(A) = ∑ P(B i ) P( A / Bi )
i =1
n
（4） 条件概率公式
• 如有：
n
UB
i =1
i
=Ω 且 Bi
n
IB
i =1
i
=Φ
P(A) = ∑ P(B i ) P( A / Bi )
i =1
n
则有P(
P( ABi ) )= = A P( A)
P ( Bi ) P( A / Bi )
xG11 xG 21 G类 : M xGnG 1
xG12 xG 22 M
L L M
x G1 p xG 2 p M
xGnG 2 L xGnG p
此Ｇ类样品，如果有：
G
UA
g =1G
IA
i =1 G
g
=Φ
则有P (
P( Ag ) P( x / Ag )
∑ P( A ) P( x / A )
p
j= 1
∑c
gp
p
gj
xgj
最后可得判别函数
j= 1
∑c
xj
把个体
X = [x1, x2,..., x p]
y g*(x) =
T
的值代入判别函数，计算出y1(x), y2(x),…, yG(x), 如果
max {y (x)}
1≤ g ≤ G g
则把x划归第g*个母体。
2. 计算步骤
• 1) 读入数据
（2） 条件概率
• • • 已知个体来自于母体Ａg(g=1,2,…G)的 条件下，观测到个体来自于个体x的概率。 取一球，已知是白的，其球上字为２的 概率。 Ｐ{x/A1}=1/3
（3）后验概率
• 已观测到了个体x的条件下，个体x来自于 某母体的概率：也就是个体x属于母体Ag的 概率。 • 如已知摸到一球字样是２，问其球来自于 白球、黑球、红球的概率是多少？ • 求 Ｐ（Ａ１／x）＝？
i =1 i i
此式即为贝叶斯公式， 对于一未知样品，其属于第g(g=1,2,..G) 类的概率为Ｐ（Ａg/x）， 其属于那一类的概率最大， x即判归那一类。 这就是贝时斯准则。 其中Ｐ（Ａg）=qg=ng/n P(x/Ai)=fi(x) (i=1,2,…G)
P(
Ag x
)=
q g f g ( x) qi f i ( x) ∑
第三节 贝叶斯准则下的两类线 性判别模型
一、概述
• 1、多类判别 样品个体来自于多个母体(多个类)， 建立判别模型，判定未知样品属于那一 类。
•
2、共有Ｇ个类，分别从各类中取已知是 某类的若干个（ng,g=1,2,…G）样品，来 建立判别模型。理论上要求这Ｇ个群的 样品是互不相交的，即要求没有一个样 品既属于这类又属于另一类，但实际上 很难做到，对于一个未知样品，求其属 于各类的概率，其属于那一类的概率最 大，就判定其属于哪 一类。这就是贝叶 斯准则的理论基础。
以样本频率代替 各类相等 人为给定
无论哪种，都应有
g =1
∑q
G
g
= 1
5) 对样品进行判别(计算后验概率) 公式
p A g | x) = (
e
G h =1
yg(x) y h(x)
∑e
对每一个样品，先计算yg(x) g=1,2,…,G 挑出最大的g*,则判别样品属于g*类，
后验概率
p A g * | x) = (
S
−1
= [s ]p × p
kj
4) 求判别函数系数
Cg = x s
cgj =
cg0
p k =1
T −1 g
kj
= [cg1, cg2,..., cgp]
xgk
xgj
∑s
p j= 1
1 = − 2
∑c
gj
判别函数
y g(x) = ln q g + cg0 +
j= 1
∑c
p
gp
xj
qg
ng n 1 = G q g
去掉与g无关的项，并记