(数据分析)距离判别法 bayes
bayes判别法
bayes判别法Bayes判别法Bayes判别法是一种基于贝叶斯定理的分类方法，它通过计算样本在各个类别下的后验概率来进行分类。
Bayes判别法在模式识别、机器学习和统计学等领域中得到了广泛应用。
一、贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下，某个事件发生的概率。
假设A和B是两个事件，P(A)和P(B)分别表示它们各自发生的概率，则有：P(A|B)=P(B|A)×P(A)/P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，称为后验概率；P(B|A)表示在事件A发生的条件下事件B发生的概率，称为似然函数；P(A)和P(B)分别表示事件A和事件B独立发生的概率。
二、Bayes判别法原理Bayes判别法是一种基于贝叶斯定理的分类方法。
假设有n个样本，每个样本可以被分为k类。
对于一个新样本x，我们需要将其归入其中一类。
Bayes判别法采用后验概率最大化准则进行分类，即将x归为后验概率最大的那一类。
具体地，对于一个新样本x，我们需要计算其在每个类别下的后验概率P(ci|x)，然后将x归为后验概率最大的那一类。
其中，ci表示第i类。
根据贝叶斯定理，我们可以将P(ci|x)表示为：P(ci|x)=P(x|ci)×P(ci)/P(x)其中，P(x|ci)表示在第i类下样本x出现的概率，称为类条件概率；P(ci)表示第i类出现的概率，称为先验概率；P(x)表示样本x出现的概率。
由于对于一个新样本来说，其出现的概率是相同的，因此可以忽略分母部分。
因此，我们只需要比较每个类别下的P(x|ci)×P(ci)，并选择最大值所对应的类别作为分类结果。
三、Bayes判别法实现Bayes判别法可以通过训练样本来估计先验概率和类条件概率。
具体地，在训练阶段中，我们需要统计每个类别下每个特征取值出现的次数，并计算相应的先验概率和类条件概率。
具体地：1. 先验概率先验概率指在没有任何信息或者证据的情况下，每个类别出现的概率。
贝叶斯,fisher判别法
距离判别法和Bayes判别法[color=black][size=3]距离判别法和Bayes判别法是判别分析中常用的两类判别法。
多元统计书上一般都有介绍。
简单说就是[font=MS Shell Dlg]判别给定的样本属于哪一类的。
比方说一堆样本，分好几类，样本有n个属性。
把这堆样本输入程序训练好后，程序就可以判别新的样本属于哪一类了。
[/font]我把它们做成了一个简单的界面，大家可以按界面提示操作下。
为了方便我准备了一些数据，见附件。
[font=MS Shell Dlg]train是训练样本（判别准备前用的），test是测试样本，即新数据，用来判别新样本中每一个属于哪一类的。
这里属性个数n=3。
实际使用时，n可以不局限于3。
训练样本只要按照附件中的格式（即第一列为类名，其余列为属性）存为xls文件即可。
测试样本直接就是由属性列组成的，每一行表示一个样本。
[/font][/size][/color][font=MS Shell Dlg][size=3]下面是代码（注释比较详细，用nested function写回调函数可以供GUI 初学者借鉴）：[/size][/font][font=MS Shell Dlg][size=3][code]function DiscriminantMethodsfig=figure('defaultuicontrolunits','normalized','name','各类判别方法比较','numbertitle','off','menubar','none');%主界面，返回主界面句柄figUiButtonGroupH = uibuttongroup('Position',[0.55 0.08 0.40 0.85],'title','各判别方法','fontsize',12,'bordertype','etchedout');%群组对象，并返回句柄DistanceH = uicontrol('Style','Radio','String','距离判别法','fontsize',12,'pos',[0.05 0.73 0.9 0.15],'parent',UiButtonGroupH);%距离判别法的选项BayesH = uicontrol('Style','Radio','String','Bayes判别法','fontsize',12,'pos',[0.05 0.52 0.9 0.15],'parent',UiButtonGroupH);%Bayes判别法的选项FisherH = uicontrol('Style','Radio','String','Fisher判别法','fontsize',12,'pos',[0.05 0.31 0.9 0.15],'parent',UiButtonGroupH);%Fisher判别法的选项%下面几行建立相关按钮控件。
bayes法
Bayes法概述Bayes法，也称为贝叶斯法或贝叶斯统计学，是以英国数学家Thomas Bayes命名的一种统计学方法。
Bayes法基于贝叶斯定理，通过利用相关先验概率和观测数据的条件概率，推断出后验概率分布。
Bayes法在各个领域都有广泛的应用，包括机器学习、人工智能、自然语言处理等。
贝叶斯定理贝叶斯定理是Bayes法的核心基础。
贝叶斯定理是一种用于更新概率估计的公式，它表达了在观测到新信息后如何更新先验概率。
贝叶斯定理的数学表达如下：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)表示在B发生的条件下A发生的概率，P(B|A)表示在A发生的条件下B发生的概率，P(A)和P(B)分别表示A和B的先验概率。
贝叶斯分类器贝叶斯分类器是Bayes法在机器学习领域的一个重要应用。
贝叶斯分类器基于贝叶斯定理，通过计算给定特征条件下每个类别的后验概率，来预测未知实例的类别。
贝叶斯分类器在文本分类、垃圾邮件过滤、情感分析等任务中有广泛的应用。
贝叶斯分类器的基本原理是先计算每个类别的先验概率，然后计算给定特征条件下每个类别的似然概率，最后通过贝叶斯定理计算后验概率，选择具有最高后验概率的类别作为预测结果。
贝叶斯分类器在计算后验概率时，通常假设特征之间是独立的，这称为朴素贝叶斯分类器。
贝叶斯网络贝叶斯网络是一种用于建模不同变量之间条件依赖关系的图模型。
贝叶斯网络由有向无环图表示，其中节点表示变量，边表示变量之间的依赖关系。
贝叶斯网络可以用于推断变量之间的概率分布，根据已知的变量值，推断未知变量的概率分布。
贝叶斯网络常用于处理不确定性的推理问题，包括诊断、预测、决策等。
贝叶斯网络还可用于发现变量之间的因果关系和生成概率模型。
贝叶斯网络在医学诊断、图像处理、金融风险分析等领域有广泛的应用。
贝叶斯优化贝叶斯优化是一种优化算法，用于解决黑盒函数的最优化问题。
贝叶斯优化通过不断探索和利用函数在搜索空间中的信息，逐步优化目标函数的值。
判别分析
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。
定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。
注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。
注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。
例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。
距离、广义平方距离与Bayes判别
判别分析——距离判别、Bayes判别一、距离判别1、距离判别所用DISCRIM过程（一般判别过程）简介常用格式如下：PROC DISCRIM<options>;CLASS variable;V AR variable;RUN;常用语句说明：1.PROC DISCRIM语句语句一般格式：PROC DISCRIM <options>；表示调用DISCRIM过程，开始执行判别分析。
<options>选项一般有如下几类：数据集选项（1）DATA=SAS-data-set：指定分析的数据集，缺省为最新创建数据集；（2）TESTDATA=SAS-data-set：指定待分类的输入观测数据集。
（3）OUT=SAS-data-set：生成输出数据集，包括来自输入数据集的所有数据，后验概率以及每个观测被重复替换后所分入的类。
判别方法选项（1）MEIHOD＝NORMAL|NPAR：确定导出分类准则的方法。
当指定方法为NORMAL时，导出的判别函数基于组内总体是正态分布的，而当指定的方法为NPAR时，导出的判别函数基于非参数方法，缺省时系统设定为正态。
（2）POOL＝NO|TEST|YES：确定计算平方距离是以合计协方差阵还是组内协方差阵为基础。
缺省时系统规定采用合并协方差阵导出线性判别函数，此时系统暗含假定各组协方差阵相等；POOL＝NO采用组内协方差阵导出线性判别函数，暗含假定各组协方差阵不相等;POOL＝TEST，对组内协方差阵进行齐性检验，根据检验结果导出判别函数。
其它常用判别方法选项（1）LIST：列出每个观测重复替换分类结果。
（2）WCOV：输出组内协力差阵的估计。
（3）PCOV：合并类内协方差阵估计。
（4）DISTANCE：输出类均值之间的平方距离（5）SIMPLE：输出简单描述统计量。
2. CLASS语句一般格式为：CLASS variable；该语句规定进行判别分析的分类变量，可以是字符型的，也可以是数值型的。
Bayes的基本思想和判别分析
则认为Qi较小,接受H0；否则拒绝H0。
Σ ˆS(n1(1n )1 S 1 n2(n 22 )1)S2
检验两总体协方差矩阵是否相等():程序
apf=[];
af=[];
n1=6;n2=9;p=2;
%2个总体，2维变量，15个样本
k
maxP(x j
|
Gj
)
,判
x
Gi
p j P(x | Gj ))
j 1
后验概率
先验概率
P( Ai
|
B)
P( Ai B) P(B)
P( Ai )P(B | Ai )
k
---Bayes(逆概)公式
P( Aj )P(B | Aj )
j 1
4
贝叶斯判别准则
寻找空间 Rp {(x1, x2,, xp )T | xk R} 最优划分： Rp R1R2 Rp, RiRj , i j
n1=size(G1,1);
%总体G1的样本数
n2=size(G2,1);
%总体G2的样本数
n=n1+n2;
%两个总体合并的样本数
p=4;
%p为总体维数
s1=cov(G1); s2=cov(G2);
s=((n1-1)*s1+(n2-1)*s2)/(n1+n2-2); %联合协方差矩阵
协方差矩阵相等的Bayes判别准则
xx G G12,,
当w1(x)w2(x) 当w1(x)w2(x)
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
w j(x ) (x (j)) S 1 x 1 2(x (j))T S 1 x (j) ln p j d ˆ2 j(x ) (x μ j ) S 1 (x μ j ) 2 ln p j
SASdiscrim 距离判别和贝叶斯判别法
距离判别和贝叶斯判别法SAS/STAT （DISCRIM ）过程部分语句说明一、 D ISCRIM 过程语句SAS/STAT （DISCRIM ）产生线性判别函数并进行分类，主要的语句如下：二、程序实例及解释例：某年为了研究某年全国各地农民家庭收支的分布情况，对全国28个地区进行了抽样调查。
食品1x ，衣着2x ，燃料3x ，住房4x ，生活用品及其他5x 和文化服务支出6x 。
data a;input type x1-x6;cards;数据行；run;data b;input x1-x6; cards;190.33 43.77 9.73 60.54 49.01 9.04 221.11 38.64 12.53 115.65 50.82 5.89 182.55 20.52 18.32 42.40 36.97 11.68 ;PROC DISCRIM DATA=a TESTDATA=b out=c crossvalidate method=normal TESTLIST testout=d; priors proportional; CLASS TYPE; VAR x3 x5 x6; proc print data=d; RUN;PROC DISCRIM DATA=a 指定对数据集a 中的数据进行判别分析； TESTDATA=b 指定欲分类观测的样品所在的数据集；crossvalidate 要求做交叉核实。
交叉核实的想法是，为了判断对观测i 的判别正确与否，用删除第method=normal 或npar 确定导出分类准则的方法，却上缺省值为method=normal 。
当指定method=normal 时，基于类内服从多员正态分布，并产生的判别函数是线性函数或二次判别函数； ALL 规定打印出所有的结果；TESTLIST 规定列出TESTDATA=b 中的全部的分类结果；testout=d 生成一个新的数据集，该数据集包括TESTDATA=b 中的所有数据，后验概率和每个样品被分的类。
bayes法
bayes法Bayes法Bayes法是一种基于贝叶斯定理的统计推断方法。
它将先验知识和观测数据结合起来，得到后验概率分布，从而进行推断。
贝叶斯定理贝叶斯定理是指在已知先验概率的情况下，通过新的观测数据来更新概率分布。
其公式如下：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)表示在已知B发生的情况下A发生的概率；P(B|A)表示在已知A发生的情况下B发生的概率；P(A)和P(B)分别表示A和B独立发生的概率。
Bayes法原理Bayes法将先验概率和观测数据进行结合，得到后验概率分布。
具体步骤如下：1. 确定先验概率：根据领域知识或以往经验确定一个先验分布。
2. 收集观测数据：收集新的观测数据，用于更新先验分布。
3. 计算似然函数：根据收集到的观测数据计算似然函数，即在不同参数值下产生这些数据的可能性大小。
4. 计算后验分布：将先验分布与似然函数相乘，得到未归一化的后验分布。
再将其除以归一化常数，得到归一化后的后验分布。
5. 做出推断：根据后验分布做出推断，如计算期望值、方差等。
Bayes法优点1. 能够利用先验知识：Bayes法能够利用领域知识或以往经验作为先验概率，从而更好地对数据进行推断。
2. 能够更新概率分布：Bayes法能够通过新的观测数据来更新概率分布，从而更准确地预测未来事件。
3. 能够处理小样本数据：Bayes法能够在小样本数据下进行推断，并且具有较好的鲁棒性。
Bayes法应用1. 机器学习中的分类问题：Bayes法可以用于解决机器学习中的分类问题，如朴素贝叶斯分类器。
2. 生物信息学中的序列比对：Bayes法可以用于生物信息学中的序列比对问题，如BLAST算法。
3. 经济学中的决策问题：Bayes法可以用于经济学中的决策问题，如风险投资决策等。
总结Bayes法是一种基于贝叶斯定理的统计推断方法，能够利用先验知识和观测数据结合起来，得到后验概率分布，从而进行推断。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法贝叶斯判别法和费歇尔判别法的异同距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的分类方法。
它们都是基于已知类别的数据集，通过学习得到一个分类模型，然后用该模型对未知数据进行分类。
虽然它们都属于分类方法，但是它们之间还是存在一些异同点的。
一、距离判别法距离判别法是根据样本之间的距离来进行分类的方法。
具体地说，对于一个未知样本，计算它与每个已知类别中心之间的距离，然后将其归为距离最近的那个类别。
其中“中心”可以是类别内所有样本的平均值或者其他统计量。
优点：1. 简单易懂：距离判别法直观易懂，容易理解。
2. 计算简单：计算样本与中心之间的距离只需要进行简单的数学运算即可。
缺点：1. 对异常值敏感：由于距离判别法是基于样本之间的距离来进行分类，因此如果存在异常值，则可能会影响分类结果。
2. 需要提前确定中心：在使用距离判别法时需要提前确定每个类别的中心，而这个过程可能会比较困难。
二、贝叶斯判别法贝叶斯判别法是一种基于概率的分类方法。
它假设每个类别都服从某种概率分布，然后根据贝叶斯公式计算出每个类别对于给定样本的后验概率，最终将样本归为后验概率最大的那个类别。
优点：1. 可以处理多维特征：与距离判别法不同，贝叶斯判别法可以处理多维特征。
2. 对异常值不敏感：由于贝叶斯判别法是基于概率分布来进行分类的，因此对于一些异常值，它可以通过概率分布来进行修正。
缺点：1. 需要大量数据：由于贝叶斯判别法需要估计每个类别的概率分布，因此需要大量的数据才能得到准确的结果。
2. 对先验概率敏感：在使用贝叶斯判别法时需要提前确定每个类别的先验概率，而这个过程可能会比较困难。
三、费歇尔判别法费歇尔判别法是一种基于方差分析理论的分类方法。
它假设每个类别服从某种概率分布，然后根据方差分析的原理来计算每个类别对于给定样本的“可信度”，最终将样本归为“可信度”最高的那个类别。
优点：1. 可以处理多维特征：与距离判别法不同，费歇尔判别法可以处理多维特征。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
判别分析--费希尔判别、贝叶斯判别、距离判别
判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。
1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。
具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。
1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。
投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。
原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。
对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的判别方法，用于对数据进行分类和判别。
本文将对这三种方法进行比较分析，探讨它们的原理、特点和适用范围，以及各自的优势和局限性。
1. 距离判别法距离判别法是一种基于样本间距离的判别方法。
它的核心思想是通过计算待分类样本与各个已知类别样本之间的距离，将待分类样本归入距离最近的类别。
距离判别法常用的距离度量有欧氏距离、曼哈顿距离和马氏距离等。
优势：- 简单直观，易于理解和实现。
- 不依赖于概率模型，适用于各种类型的数据。
- 对异常值不敏感，具有较好的鲁棒性。
局限性：- 忽略了各个特征之间的相关性，仅考虑样本间的距离，可能导致分类效果不佳。
- 对数据的分布假设较强，对非线性分类问题表现较差。
- 对特征空间中的边界定义不明确。
2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别方法。
它通过建立样本的概率模型，计算待分类样本的后验概率，将其归入后验概率最大的类别。
贝叶斯判别法常用的模型包括朴素贝叶斯和高斯混合模型等。
优势：- 考虑了样本的先验概率和类条件概率，能够更准确地对样本进行分类。
- 可以灵活应用不同的概率模型，适用范围广。
- 在样本量不充足时，具有较好的鲁棒性和泛化能力。
局限性：- 对特征分布的假设较强，对非线性和非正态分布的数据表现较差。
- 需要估计大量的模型参数，对数据量要求较高。
- 对特征空间中的边界定义不明确。
3. 费歇尔判别法费歇尔判别法是一种基于特征选择的判别方法。
它通过选择能够最好地区分不同类别的特征，建立判别函数进行分类。
费歇尔判别法常用的特征选择准则有卡方检验、信息增益和互信息等。
优势：- 基于特征选择，能够提取最具有判别性的特征，减少了特征维度，提高了分类性能。
- 不对数据分布做假设，适用于各种类型的数据。
- 可以灵活选择不同的特征选择准则，满足不同的需求。
局限性：- 特征选择的结果可能受到特征相关性和重要性的影响，选择不准确会导致分类效果下降。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。
距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。
本文将对这三种方法进行比较，探讨它们的异同。
一、距离判别法距离判别法是一种基于距离度量的判别分析方法。
它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。
常见的距离判别法有欧氏距离判别法和马氏距离判别法。
1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。
它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。
3. 将待判样本点划分到距离最近的类别中。
2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。
它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 计算各个类别的协方差矩阵。
3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。
4. 将待判样本点划分到距离最近的类别中。
二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。
它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。
常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。
1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。
它通过计算后验概率，将样本划分到具有最高后验概率的类别中。
算法步骤如下： 1. 计算各个类别的先验概率。
2. 计算给定样本点在各个类别下的条件概率。
3. 计算给定样本点在各个类别下的后验概率。
4. 将待判样本点划分到具有最高后验概率的类别中。
第六章 bayes判别分析+ 举例
学 习 目 的
本章只介绍判别分析的几种最基本的方法： 贝 叶斯判别、距离判别及费歇判别．学习本章，要密 切联系实际， 着重理解判别分析的基本思想方法及 具体实现步骤，了解几种不同判别分析方法的优、 缺点及应用背景．
第六章
判 别 分 析
贝 贝 叶 叶 斯 斯 判 判 别 别
距 离 判 别 费 歇 判 别 费 歇 判 别
i =1
给定 R 的一个划分 R = ( R1 , R2 ,
Ri ∩ R j = φ (i ≠ j , i, j = 1,2,
, Rk ) ， 即 ∪ Ri =R m ，
i =1
k
, k) ， 由 R 规 定 的 判 别 准
空间 R m 的一个分划（有时也称为判别） 。即
R m = {R1 , R2 | R1 ∪ R2 = R m , R1 ∩ R2 = φ }
由 R 规定的判别准则如下： 如果 x 落在 R1 内，则判其来自总体 π 1 ； 如果 x 落在 R2 内，则判其来自总体 π 2 。 给定分划的损失函数及平均损失 设 C (1 | 2) 为样品 x 来自总体 π 2 而误判为总体 这 其 π 1 的损失， 一 误 判 的 概 率 记 为 P (1 | 2 , R ) ， 中 R = ( R1 , R2 ) ； (2 | 1) 为样品 x 来自总体 π 1 而误判 C 于是有 为总体 π 2 的损失，误判的概率记为 P(2 | 1, R) 。
R m 的任一划分，即
（6-4）
* * 证明：设 R = ( R1 , R2 ) 由（6-4）给出， R * = ( R1 , R2 ) 为
* * * * R1 ∪ R2 = R m ， R1 ∩ R2 = φ 。
g(R1 , R2 ) = q1C(2 | 1) P(2 | 1, R) + q2 C(1 | 2) P(1 | 2, R)
Bayes判别
第三节Bayes判别本节内容贝叶斯公式最大后验概率准则最小平均误判代价准则Bayes判别的基本方法案例分析距离判别法的缺点第一，把总体等同看待，没有考虑到总体会以1不同的概率出现，认为判别方法与总体各自出现的概率的大小无关。
2第二，判别方法与错判之后所造成的损失无关，没有考虑误判之后所造成的损失差异。
贝叶斯（Bayes）公式贝叶斯统计的基本思想：假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识，然后我们取得一个样本，用样本来修正已有的认识（先验概率分布），得到后验概率分布，各种统计推断都通过后验概率分布进行，将贝叶斯思想用于判别分析，就得到贝叶斯判别。
某公司新入职雇员小王，小王是好员工还是坏员工大家都在猜测。
按人们先验的主观猜测，新人是好员工或坏员工的概率均为0.5。
坏员工总是无法按时完成工作，偶尔也可以顺利完成；好员工一般都能按时完成任务，但偶尔也会出现工作失误：一般好员工按时完成工作的概率为0.9，坏员工按时完成工作的概率为0.2。
近日，小王按时完成了一项工作任务，请问小王此时是好员工的概率有多大?“先验概率”是一种权重（比例），所谓“先验”，是指我们在抽样以前，就已经知道的 ；贝叶斯判别需要研究的“后验概率”，就是当样本X 已知时，它属于G i 的概率。
()i P G ()i P G X 由此，使用“最大后验概率准则”得到的贝叶斯判别规则为：1,()max ()≤≤∈=l l i i kX G P G X P G X 如果最大后验概率准则没有涉及误判的代价，因此，在各种误判代价明显不同的场合，该准则就失效了。
设有k 个总体 ，其各自的分布密度函数 互不相同，假设k 个总体各自出现的概率分别为 （先验概率）， ， 。
假设若将本来属于G i 总体的样品错判到总体G j 时造成的损失为， 。
在这样的情形下，对于新的样品X 判断其来自哪个总体。
问题12,,,k G G G ⋅⋅⋅()()()12,,,k f X f X f X ⋅⋅⋅12,,,k q q q ⋅⋅⋅0≥i q 11ki i q ==∑(|)C j i , 1.2,,=⋅⋅⋅i j k显然 、，对于任意的 成立。
第五章Bayes判别
x G1 , x G2 ,
ˆ (G1 | x) P ˆ (G2ቤተ መጻሕፍቲ ባይዱ| x) 若P ˆ (G | x) P ˆ (G | x) 若P
1 2
二、 两个正态总体的Bayes判别
3、 误判率的计算 (1 2 )
1 W ( x) a ( x ), 其中a (1 2 ), (1 2 ) 2
T
1
W ( x) ( 1 2 ) ( x )服从正态分布
W( x) ~ N ( , ) 2
W( x ) ~ N ( , ) 2
T
1
( x来自G1 )
( x来自G2 )
二、 两个正态总体的Bayes判别
3、 误判率的计算 平均误判率：
p* p1P(2 | 1) p2 P(1 | 2) p1 ( d
1 2 exp( d• j ( x)) 2 P(G j | x) k , j 1,2,, k . 1 2 exp( 2 di ( x)) i 1
R j {x : W j ( x) maxWi ( x)}
1i k
{x : P(G j | x) max P(G j | x)}, j 1,2,k.
Bayes判别最优划分为：
R1 {x : C (2 | 1) p1 f1 ( x) C (1 | 2) p2 f 2 ( x)} R2 {x : C (2 | 1) p1 f1 ( x) C (1 | 2) p2 f 2 ( x)}
R1 {x : C (2 | 1) P(G1 | x) C (1 | 2) P(G2 | x)} R2 {x : C (2 | 1) P(G1 | x) C (1 | 2) P(G2 | x)}
判别分析(3)贝叶斯判别
此时，ˆ k , ˆ k 均为已知，k总体的密度函数可表
为 2021/2/4
1
12
§4.3.1 判别函数
fk(X )|(2 S π 1 )m |1 //2 2ex 1 2 p (X [X k)TS 1(X X k)]
这里，| S 1 |为矩阵 S的逆矩阵的行列式。上式表
明 fk (X )是一个具体已确定的函数。下面的问题
判别分析(3)贝叶斯判别
贝叶斯（ Bayes ）判别
距离判别只要求知道总体的特征量(即参数)---
均值和协差阵,不涉及总体的分布类型. 当参数未知
时,就用样本均值和样本协差阵来估计.
距离判别方法简单,结论明确,是很实用的方法.
但该方法也有缺点:
1. 该判别法与各总体出现的机会大小(先验概
率)完全无关;
各种统计推断都通过后验概率分布来进 行.将贝叶斯思想用于判别分析就得到贝叶斯 判别法.
2021/2/4
1
3
在正态总体的假设下，按Bayes判别的思
想，在错判造成的损失认为相等情况下得到
的判别函数其实就是马氏距离判别在考虑先
验概率及协差阵不等情况下的推广. 所谓判别方法,就是给出空间Rm的一种划
分:D={D1,D2,…,Dk}.一种划分对应一种判 别方法,不同的划分就是不同的判别方法. Bayes判别法也是给出空间Rm的一种划分.
之前.
2021/2/4Bayes判别准则要求给1 出qi(i=1,2,…,k)的值. 5
qi的赋值方法有以下几种:
(a) 利用历史资料及经验进行估计.例如某地区
成年人中得癌症的概率为P(癌)=0.001= q1,而P(无癌 )=0.999 = q2 .
(b) 利用训练样本中各类样品占的比例ni/n做为qi
距离判别法xin
距离判别法距离判别的思想是由训练样本得出每个分类的重心(中心)坐标，然后对新样品求出它们离各个类别重心的距离远近，从而归入离的最近的分类，，最常用的距离是马氏距离.距离判别的特点是直观、简单，适合于对自变量均为连续变量的情况进行分类，且它对变量的分布类型无严格要求，特别是并不严格要求总体协方差阵相等。
判别分析的模型可以概括为：假设有个k个总体G1,G2~Gk，并且都是p维总体，对应的数据指标为： X=(X1，X2，~~Xp)T T在各个总体下具有不同的分布特征。
现对某一新的样品数据x=(x1，x2，~~xp)T，要根据各总体的特征按一定准则判断该样品应属于哪一个总体。
定义x与总体G的马氏平方距离：纸上1两个总体的判别准则:设是G1,G2两个不同的p维已知总体，G1的均值向量是μ1，协方差矩阵为Σ1；G2的均值向量是μ2，协方差矩阵为Σ2；设x=(x1，x2，~~xp)T是一个待判样品，距离判别准则为：纸上2即当x到1G的马氏距离不超过到G2的马氏距离时，判定x来自G1；反之，判定x来自。
2GBayes判别法基本思想:设有k个总体G1,G2,~~Gk，它们的先验概论分别为q1,q2,~~qk(可以利用经验给出，也可以通过估计得到)。
各总体的密度函数分别为：f1(x),f2(x),~~fk(x)，在观测到一个样品x的情况下，可以用Bayes公式计算它来自第个总体的后验概率：g纸上3并且在纸上4时，则判定X来自第总体。
Bayes判别的基本方法设每一个总体Gi的分布密度为fi（x），i=1，2，~k，来自总体G的样本X被错判为来自总体Gj(i,j=1,2,~~k)时所造成的损失记为C（j!i），并且C（i!j）=0. 那么，对于判别规则R=（R1，R2，~~，Rk）产生的误判概率记为P（j!i，R），有纸上5如果已知样本X来自总体i G的先验概率为qi, i=1,2,,k，则在规则R下，误判的总平均损失为：纸上6R1，R2，~~，Rk确实能够使总平均损失达到极小，他就是Bayes判别的解。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
dˆ12 ( x) ( x x (1) )11( x x (1) )
dˆ22 ( x)
(x
x
(
2)
)
1 2
(
x
x(2) )
判别法则为
x x
G1 G2
,若dˆ22( x) ,若dˆ22( x)
dˆ12 ( dˆ12 (
x) x)
5.1.3 判别准则的评价
当一个判别准则提出以后， 还要研究其优良性。考察 一个判别准则的优良性，
S1
1.1420 0.5546
2.4864
3.8902
0.8857
0.0198
0.4320
0.2640
0.8085
0.3045
0.3277
0.9871
0.0562
0.1204
0.5546
2.0325
S2
5.7882
4.0605
解 用距离判别法，假定两总体 G1 ,G2 的协方差矩阵 1 2 用proc discrim 过程，算得以下结果：
x(1) (8.3835,32.0556,7.1510,9.3210,16.5200,10.3755,1.7610,11.7620)T x(2) (9.2629,50.0271,7.3386,12.1814,15.7386,13.1057,1.9871,14.3286)T
要考察误判概率，即考察 x
属于G1 而误判为属于 G2 或 x
属于G2 而误判为属于G1 的概率。
164页 请阅读. 误差率有哪两种指标？
回代估计为 aˆ n12 n21 n1 n2
交叉确认估计 a* n1*2 n2*1
n1 n2
孰优孰劣？
用交叉确认法估计真实误判率 是较为合理的。
例5.1 某气象站预报某地区有无
2010-03-02
训练样本
训练样本
从每个总体 取得的样本叫训练样本。
一般，先要估计各个总体的均值向量与协方差矩阵。 判别分析从各训练样本中提取各总体的信息，构 造一定的判别准则，判断新样品属于哪个总体。
由于判别准则的不同，有各 种不同的判别分析方法，本章主要 介绍距离判别与Bayes判别。
Wˆ 1 (
x)
aˆ1T
x
bˆ1 , 其中aˆ1
S
1 (
x (1)
), b1
1 2
x (1)T
S
1 x (1);
Wˆ 2( x)
aˆ2T
x
bˆ2 ,其中aˆ2
S 1( x(2) ),b2
1 2
x (2)T
S 1 x (2);
Wˆ
(x)
aˆ T
(
x
x ), 其中aˆ
S
1 (
x (1)
x(2)
),
x
1 ( x(1) 2
x1人均粮食支出（元/人）； x2人均副食支出（元/人）; x 3人均烟酒茶支出（元/人）； x 4 人均其他副食支出（元/人）； x5人均衣着商品支出（元/人）； x6 人均日用品支出（元/人）； x7 人均燃料支出（元/人）； x8 人均非商品支出（元/人）；
试判别西藏,上海,广东应归属哪类.
0.2736 0.0632
S2 0.0632
0.1069
线性判别函数为
Wˆ1( x) 434.3540 39.7430x1 56.8763x2 Wˆ 2 ( x) 378.9209 37.6536x1 60.1928x2
用回代法将总体 G1（春旱）的第4号 样品误判为来自总体 G2（无春旱） 的样品，误判率为
春旱的观测x1资与料x 2中是，与气象
有关的综合预报因子。数据包括 发生春旱的6个年份的 x1 , x2
观测值和无春旱的8个年份的相 应观测值（见表5.1）。试建立 距离判别函数并估计误判率。
表5.1 某地区有无春旱的观测数
G1 ：春旱
序号
x1
据
G2 ：无春旱
x2
序号
x1
x2
1
24.8
-2.0
1
22.1
本章 判别分析 discriminate analysis
5.1 距离判别(P159)
5.1.1.判别分析
从统计数据分析的角度，判别分 析的模型如下： 设有k个总体 G1,G2 ,,Gk , 它们
都是p元总体，其数量指标是
(1, 2 ,, p )T
2010-03-02
对于任一新样品数据 x (x1, x2 ,, xp )T 要判断它来自哪一个总体 Gi 一种重要的情况是两个总体的判别 分析问题，它在应用中比较常见 （即k＝2的情况）。
data f1; input y $ x1 x2;
cards; y1 24.8 -2.0 y1 24.1 -2.4 y1 26.6 -3.0 y1 23.5 -1.9 y1 25.5 -2.1 y1 27.4 -3.1
y2 22.1 -0.7 y2 21.6 -1.4 y2 22.0 -0.8 y2 22.8 -1.6 y2 22.7 -1.5 y2 21.5 -1.0 y2 22.1 -1.2 y2 21.4 -1.3
在实际问题中， 及 1,2通常是 未知的
要以训练样本估计 1 , 2
ˆ1
1 n1
n1 i 1
xi(1)
x(1) , ˆ2
1 n2
n2 i 1
xi( 2 )
x(2)
（5.10）
又两个训练样本的协方差矩阵各为
S1
1 n1 1
n1 i 1
(
x(1) i
x
(1)
)(
x(1) i
x (1) )T ,
(
x
2)
按下列判别法则：
x x
G1 G2
, ,
若d
2 2
(
若d
2 2
(
x) x)
d12 d12
( (
x) x)
（5.16）
x 其中
d12
(
x
),
d
2 2
(
x
)
分别是样品
到两个总体 G1,G2 的马氏平方距离，
它们皆是 x 的二次函数，
称为二次判别函数。
实际问题中，1,2 , 1, 2
往往未知，用各总体 的训练样本作估计，
0.3771
3.9032
6.5506
4.7585
0.0468
0.8425
因此，距离判别法则化为
x x
G1 , 若W1 ( G2 , 若W1(
x) x)
W2 ( W2 (
x) x)
（5.7）
W1( x),W2 ( x)皆是 x 的线性函数。
因此，当 1 2 时，两总体的 距离判别简化为线性判别，
W1( x),W2 ( x)称为线性判别函数。
实际上，这种情况还可以进一步化 简为……略
-0.7
2
24.7
-2.4
2
21.6
-1.4
3
26.6
-3.0
3
22.0
-0.8
4
23.5
-1.9
4
22.8
-1.6
5
25.5
-2.1
5
22.7
-1.5
6
27.4
-3.1
6
21.5
-1.0
7
22.1
-1.2
8
21.4
-1.3
解在
1 2
的假设下，建立距离判别的线 性判别函数。利用SAS系统 proc discrim 过程，编SAS程序：
5.1.2 两个总体的距离判别
对于p元空间中的两个点：
x ( x1, x2,, xp )T , y ( y1, y2,, yp )T
而欧氏距离是
n
|| x y || ( xi yi )2 i 1
因此，对一元总体，样本点 x1
距一元正态总体 N (, 2 )的马氏
平方距离是
x1
2
x(2) );
（5.13）
这样，两个总体的距离判别法则为
x x
G1 G2
, 若Wˆ1( , 若Wˆ1(
x) x)
Wˆ 2 ( Wˆ 2 (
x) x)
（5.14）
2.两个总体协方差矩阵不等的情况：
1 2这时，可令
d12 ( x) ( x 1)11( x 1)
d
2 2
(
x
)
(
x
2)
1 2
表5.2 1991年全国30个省区市城
镇居民月平均消费
x x x x x 序号 省（区、市） 类型
名
12 3
4 5 x6 x7 x8
1
山西
1 8.3 23.35 7.51 8.62 17.42 10.00 1.04 11.2
2
5
1
…
内蒙古
1 9.2 23.75 6.61 9.19 17.77 10.48 1.72 10.5
xT 1 x
22T 1 x
2T
பைடு நூலகம்
1 2
(
xT
1
x
21T
1
x
1T
1 1
)
22T 1 x 2T 12 21T 1 x 1T 11 )
记
W1( x)
a1T
x
b1 , (其中a1
11 ), b1
1 2
1T
11 ,
W2( x)
a2T
x
b2 ,(其中a2
12 ), b2
1 2
T 2
12 ,