判别分析-距离判别法
距离判别_
第二节距离判别距离判别本节内容距离判别的R 实现3两个总体的距离判别问题2距离最小判别准则1距离最小判别准则距离判别的基本思想：样品和哪个总体距离最近，就判断它属于哪个总体。
距离判别也称为直观判别法如何定义观测到一个总体的距离？问题A设p 维欧式空间中的两点12(,,,)'= p X X X X 12(,,,)'= p Y Y Y Y 则欧式距离的定义为22211(,)()()=-++- p p d X Y X Y X Y用欧式距离衡量点到总体的距离会出现一定偏差。
例如，量纲的变化就有可能影响欧式距离的计算结果马氏距离在企业评估中，根据企业的生产经营情况把企业分为优秀企业和一般企业两个类别。
关于企业生产经营状况的指标有3个：资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵见下页表格。
现有两个企业，观测值分别为（7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？“优秀”的企业，其经营状况和协方差矩阵如下：变量优秀企业的均值向量协方差矩阵资金利润率13.568.3940.2421.41劳动生产率40.740.2454.5811.67产品净值率10.721.4111.677.90现在有一个新的企业，其三个指标的值分别为（7.8，39.1，9.6），计算该企业到“优秀”企业这一总体的马氏距离7.813.539.140.79.610.7X μ-⎡⎤⎢⎥-=-⎢⎥⎢⎥-⎣⎦[]1(,)(μ)(μ)68.3940.2421.41 5.75.7 1.6 1.140.2454.5811.67 1.63414.81221.4111.677.9 1.1D X G X X -'=-∑--⎡⎤⎡⎤⎢⎥⎢⎥=----=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦这个判别规则的等价描述为：求新样品X 到G 1的距离与到G 2的距离之差，如果其值为正，X 属于G 2；否则X 属于G 1。
判别分析案例
表示市场份额增长。
表示流动资金比例。
表示资金周转速度。
h
10
数gr据oup展示
表示类别
8个用来建立 判别标准的变量
•该数据disc.sav共有90个样本，其中30个属于上升型，30个属
于稳定性，30属于下降型。这个已知类别的数据称为一个“训
练样本”。
h
11
SPSS实现——数据读入 File → Open → Data → “Disc.sav”
h
6
逐步判别法
逐步判别法就是在前面的方法中加入变量选择功能。有时，一些变量对于判别没有什么作用，为了得到对判 别最合适的变量，可以使用逐步判别。
逐步判别的思想是先用少数变量进行判别，然后一边判别，一边引进判别能力最强的变量，同时淘汰判别能 力不强的的变量。
主要利用一些检验来判断变量的判别能力。
和它们已知的类别，找出分类标准，并对没分类的企业进行分类。
h
9
变量描述
变量名称 group
is se sa prr ms msr cp cs
涵义描述
表示类别。group-1代表上升，group-2代表稳定，group-3代表 下降。
表示企业规模。
表示服务。
表示雇员工资比例。
表示利润增长。
表示市场份额。
Prior Probabilities：设定先验概率。
All groups equal：各组等概率。
Compute from group sizesplay：输出。
Casewise result：每个观察单位判别分析后所属类别。
Limit cases to first []：前若干观察单位判别分析后所属类别。
距离判别法 Fisher判别法 Bayes判别法 逐步判别法
判别分析法
判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。
据此即可确定某一样本属于何类。
1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。
若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。
定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。
注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。
注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。
例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。
判别分析(第1、2节_绪论、距离判别法)
x * , X G1 , * x , X G2 .
第二节 距离判别法
因为是单指标的问题，这时判别函数设为：Y Y ( x) x 此例中 * 79, 因 x0 78 * ，故判 X 0 G2 。
，在
下面给出对于 m元总体的这种相对距离 —即所谓的马氏距离 定义
2 更一般地，设总体G1的分布为 N (1 , 1 ) ，设总体G2的分布为
N (2 , 22 ) ，则利用统计距离，可以找出分界点 * ，且不妨设
1 2 ，所以若令 ( x 1 )2 ( x 2 )2 解出 1 2 2 1 * x ， 12 22 1 2
d (X, Y) 2 ( X1 Y1 )2
( X p Yp )2 .
但在解决实际问题时，特别是针对多元数据的分析问题，欧氏 距离就显示出了它的一些缺陷。 譬 如 ， 设 有 两 个 正 态 总 体 ， X ~ N ( 1 , ) 和
2
Y ~ N ( 2 ,4 2 ) ，现有一个样品位于如图 5.1 所示的 A 点，距总 体 X 的中心的距离为 2 远，距总体 Y 的中心的距离为 3 远， 那么， A 点处的样品到底离哪一个总体近呢？
第一节 引言
判别分析内容很丰富，方法很多。①判断分析方法按判别的
总体个数来区分，有两个总体判别分析和多总体判别分析；②按
区分不同总体所用的数学模型来分，有线性判别和非线性判别； ③按判别时所处理的变量方法不同，有逐步判别和序贯判别等。
④判别分析可以从不同角度提出问题，因此有不同的判别准则，
如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平 方准则、最大似然准则、最大概率准则等等，按判别准则的不同
判别分析(3)贝叶斯判别
知类别的样品代入判别函数进行回判。如果判对
率在75％以上，则认为判别函数有效，其常用的
公式为
判对样品(数 N1) 总样品(数 N)
此外，还可采用统计方法对判别函数效果进行 检验。
2021/2/4
1
16
对于判别函数的显著检验，我们可用马氏距 离来检验总体间差异是否显著。若总体间差异不 显著，显然建立在各总体基础之上的判别函数用 于归类其结果就不可靠。马氏距离的计算公式如 下： m
判别分析(3)贝叶斯判别
贝叶斯（ Bayes ）判别
距离判别只要求知道总体的特征量(即参数)---
均值和协差阵,不涉及总体的分布类型. 当参数未知
时,就用样本均值和样本协差阵来估计.
距离判别方法简单,结论明确,是很实用的方法.
但该方法也有缺点:
1. 该判别法与各总体出现的机会大小(先验概
率)完全无关;
我们就可用其进行归类识别，其方法是将待判
样品 X*[x1 *,x2 *, ,xm *]T代入判别函数式（4.21），
计算它归入每个类的判别函数
值
（
），然后选出
k1,2,,g
X*
则将 就归Fl(入X*)第m 1k 类ga{F。xk(X*)}
Fk (X* )
实际X *应用中，常l 常还需要知道待判样品 归
2021/2/4
1
8
§4.3.1 贝叶斯准则
问题：待判样品X属于哪一类？？ P (t|X )mP a (k|x X )mg a qkfx k(X ) (k1 ,2 , ,g)
q ifi(X )
i 1
对于诸总体，显然分母（全概率）都是相同的，因此只要比 较式分子的大小，即可判断条件概率的大小，进而对待判样 品作出归类。
距离判别分析_zks
T 2 T 1
1
T
1
d 2 ( x , G 2 ) d 2 ( x , G1 ) 2 x T 1 ( 1 2 ) ( 1 2 )T 1 ( 1 2 ) 2[ x ( 1 2 )
T 1
1 2
( 1 2 )T 1 ( 1 2 )] 1 2 ( 1 2 )) T 1 ( 1 2 )]
属的类别。
1
§1 距离判别
（一）马氏距离
距离判别的最直观的想法是计算样 品到第i类总体的平均数的距离，哪个 距离最小就将它判归哪个总体，所以， 我们首先考虑的是是否能够构造一个恰 当的距离函数，通过样本与某类别之间 距离的大小，判别其所属类别。
2
设 x ( x1 , x 2 ,, x p )和 y ( y1 , y 2 ,, y p )是从期望
= x - μ Σ Σ
-
1 2
-
1 2
x - μ
Σ -1 x - μ = x - μ
6
xcov=[1 4; 4 100]; [v d ]=eig(xcov); dn=[ 1.19239706170638 0; 0 0.00998389067458]; %dn=d^-1 v*dn*v' inv(xcov) 输出结果显示v*dn*v‘＝inv(xcov)
2[( x T
1 2
ห้องสมุดไป่ตู้
( 1 2 )T ) 1 ( 1 2 )] 2[( x
1
令
1 2
( 1 2 ) ( x ( 1 2 ))T 1 ( 1 2 ) ( x )T 1 ( 1 2 )
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
距离判别法及其应用
距离判别法及其应用一、什么是距离判别（一）定义距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法，根据已掌握的、历史上每个类别的若干样本数据信息，总结出客观事物分类的规律性，建立判别准则，当遇到新的样本点，只需根据总结得出的判别公式和判别准则，就能判别该样本点所属的类别。
距离判别分析的基本思想是：样本和哪个总体的距离最近，就判它属于哪个总体。
（二）作用判别个体所属类型。
例如在经济学中，可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。
二、距离判别分析原理（一）欧氏距离欧氏距离（Euclidean distance ）是一个通常采用的距离定义，最多的应用是对距离的测度。
大多情况下，人们谈到距离的时候，都会很自然的想到欧氏距离。
从数学的角度来讲，它是在m 维空间中两个点之间的真实距离。
在二维空间中其公式为：221221)()(y y x x d -+-=推广到n 维空间其公式为：21)(1i n i i y x d -=∑=（二）马氏距离在判别分析中，考虑到欧氏距离没有考虑总体分布的分散性信息，印度统计学家马哈诺必斯（Mahalanobis ）于1936年提出了马氏距离的概念。
设总体T m X X X G },...,,{21=为m 维总体（考察m 个指标），样本T m i x x x X },...,,{21=。
令μ=E(i X )(i=1,2, …，m)，则总体均值向量为T m },,{21μμμμ⋅⋅⋅=。
总体G 的协方差矩阵为：]))([()(T G G E G COV μμ--==∑。
设X ，Y 是从总体G 中抽取的两个样本，则X 与Y 之间的平方马氏距离为：)()(),(12Y X Y X Y X d T -∑-=-样本X 与总体G 的马氏距离的平方定义为：)()(),(12μμ-∑-=-X X G X d T1．两总体距离判别。
判别分析的概念距离判别法费歇尔判别法贝叶
用数学的语言来说，判别问题可以表述为：对于n个样品， 每个样品有p个指标，已知每个样品属于某一k类别（总 体）G1，G2，…，Gk，对于每类别其分布函数分别为 f1(y)，f2(y)，…，fk(y)，对于一个给定样品y，我们要判 断出这个样本来自哪个总体。判别分析的主要问题就是 如何寻找最佳的判别函数和建立判别规则。
D( X , G1) （X X (1) )（ X X (1) )
D( X , G2 ) （X X (2) )（ X X (2) ) X (1)，X (2)分别为G1、G2的均值向量。 然后比较D( X , G1)，D( X , G2 )的大小，按最近准则判别归类。 在多元统计分析中经常用马氏距离做上述判别分析。
聚类分析数据格式
k
判别分析数据格式
第二节 距离判别法
距离判别法就是根据已知分类的数 据，分别计算各类的重心即分组（类） 的均值，判别准则是对任给的一次观测， 若它与第i类的重心距离最近，就认为 它来自第i类。
距离判别法对各类（或总体）的分 布，并无特别的要求。
1、两个总体的距离判别法
设有两个总体G1、G2，村第一个总体中抽取n1个样品， 从第二个总体中抽取n2个样品，每个样品观测p个指标。 今取任一个样品，实测指标值为X＝（x1, x2 , , xp ),问
X应判归那一类？
首先计算X到G1、G2总体的距离，分别记为D( X ,G1)和
D( X ,G2 )，按距离最近原则判别归类，则可以写成：
X G1，
X
Байду номын сангаас
G2
,
待判,
当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 )
判别分析——距离判别
判别分析——距离判别
通常采⽤的距离函数为：欧⼏⾥得距离 d(x,y)=||x-y||2
但在统计分析及计算中，通常采⽤马⽒距离：马⽒距离考虑了总体的分布情况
距离：两堆沙⼦，⼀堆紧凑⼀些，⼀堆松散⼀些，判断⼀块⽯头属于哪⼀堆？
不应该只计算直线距离，也许这块⽯头在紧凑的⼀堆的沙⼦的分布中属于异常值，所以应该考虑总体的分布情况。
因此距离判别的距离函数采⽤的为马⽒距离。
马⽒距离的R函数：mahalanobis(x,center,cov,inverted=FALSE) x样本数据；center为样本中⼼（均值），cov为样本的协⽅差
主要分为两种情况：
1.两总体的协⽅差矩阵相等
2.两总体的协⽅差矩阵不相等。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。
距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。
本文将对这三种方法进行比较，探讨它们的异同。
一、距离判别法距离判别法是一种基于距离度量的判别分析方法。
它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。
常见的距离判别法有欧氏距离判别法和马氏距离判别法。
1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。
它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。
3. 将待判样本点划分到距离最近的类别中。
2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。
它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 计算各个类别的协方差矩阵。
3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。
4. 将待判样本点划分到距离最近的类别中。
二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。
它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。
常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。
1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。
它通过计算后验概率，将样本划分到具有最高后验概率的类别中。
算法步骤如下： 1. 计算各个类别的先验概率。
2. 计算给定样本点在各个类别下的条件概率。
3. 计算给定样本点在各个类别下的后验概率。
4. 将待判样本点划分到具有最高后验概率的类别中。
判别分析(共27张PPT)
w11 w12 w1 p w1r
w
21
w22
w2p
w2r
Qw＝
w
p1
w p2 w pp
w
pr
wr1 wr 2 wrp wrr
使其中虚线左上部分便是只含 p 个变量的模型中的
类内离均差平方和矩阵Q( p )，而整个矩阵则是含p＋1
w
个变量的模型中的类内离均差平方和矩阵Q ( p 1) 。
第12章 判别分析Discrimination Analysis
判别分析
：从反映个体性质各个侧面的P个变量出发，通过
定量分析，最终将其判归某一已知总体，从而将 对个体的研究置于更为广泛的总体研究背景上。
各种判别分析都是按照某种判别原则（视判别方
法不同而不同），在e
对变量进行剔除和引进的方法 差异显著地大于类内差异呢？还需进行测验。
第三节 逐步判别分析方法
Stepwise Discrimination Analysis
Wilk’s Λ统计量 何分类”、“某一个事例（或样品）属于那一类”等问题是并不知晓；
如果已知将原应属于Gi的样品误判为属于Gj所造成
第二节 贝叶斯判别分析
|Q | |Q |w 设叶X斯，判Y别是法从的均判值别向函量数为）μ，，协按方判差别阵函为数wΣ值的的总大体小G来中抽取的两个样品，定义X，Y之间的马氏距离平方为：
＝ ──── ＝── 用 F 测验可以检验增长是否显著。
|Q ＋Q | |Q | h 第与五多步 元、回如归果分有析待相判似数，据在，进将行其判代别入分，析并时判，别并e归不类是。
统计量为p，增加一个变
量 (x ) 后的 Bayes Discrimination Analysis
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i 类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X =(x 1,……,x n )′和Y =(y 1,……,y m )′是从期望为μ＝（μ1，……,μm ）′和方差阵∑＝（σij ）m×m >0的总体G 抽得的两个观测值，则称X 与Y 之间的马氏距离为：d 2=(X −Y )′∑−1(X −Y)样本X 与G i 之间的马氏距离定义为X 与G i 类重心间的距离，即： d 2=(X −μi )′∑−1(X −μi ) i =1,2……,k附注：1、 马氏距离与欧式距离的关联：∑＝I ，马氏距离转换为欧式距离；2、 马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体，对给定的样本Y ，判别一个样本Y 到底是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。
故我们用马氏距离来给定判别规则，有：()()()()ïîïíì=<Î<Î),(),(22121222222121G y d G y d G d G d G G d G d G 如待判，，，如，，，，如，y y y y y y )()()()(),(),(1112121222m m m m -¢---¢-=---y y y y y y SSG d G d 22211y y y μμμ12---'+'-'=∑∑∑--∑'=-)(221μμ1y )()(212μμμμ-∑'+-11)(])([221121y μμμμ-∑'+-=-)2(1111μμμ---∑'+∑'-∑'-11y y y当 μ1、μ2 和∑已知时，是一个已知的p 维向量，W （y ）是y 的线性函数，称为线性判别函数。
SAS学习系列36.判别分析
36. 判别分析（一）基本原理判别分析，是用以判别个体所属类的一种统计方法。
其原理是根据已掌握的一批分类明确的样品，建立一个较好的判别函数，使得用该判别函数进行判别时错判事例最少，进而能用此判别函数对给定的一个新样品判别它来自哪个总体。
判别分析方法通常要给出一个判别指标（判别函数），同时还要指定一种判别规则。
一、距离判别法未知总体的样品x离哪个总体的距离最近，就判断它属于哪个总体。
1. 对于两个正态总体G1, G2距离选用马氏（Mahalanobis）距离：d2(x, G1) = (x-μ1)T∑1-1(x-μ1)d2(x, G2) = (x-μ2)T∑2-1(x-μ2)其中，μ1, μ2, ∑1, ∑2分别为总体G1, G22的均值和协差矩阵。
令W(x) = d2(x, G1) - d2(x, G2)称为判别函数，若∑1=∑2时，W(x)是线性函数，此时称为线性判别；若∑1≠∑2，W(x)是二次函数。
2. 多总体情况设有m个总体：G1, …, G m，其均值、协差阵分别为μi, ∑i. 对给定的样品x，按距离最近的准则对x进行判别归类：首先计算样品x到m个总体的马氏距离d i2(x), 然后进行比较，把x判归距离最小的那个总体，即若d h2(x) = min{ d i2(x) | i = 1,…,m}，则x∈G h.二、Fisher线性函数判别法为了方便使用，需要寻找尽量简单的判别函数，其中在Fisher 准则下的线性判别函数就是只利用总体的一、二阶矩就可求得的判别函数。
图1 Fisher线性判别分析示意图下面以两个总体为例来说明Fisher判别的思想。
设有两个总体G1、G2，其均值分别为μ1和μ2，协方差阵分别∑1和∑2，并假定∑1 = ∑2 = ∑，考虑线性组合：y = L T x。
通过寻求合适的L向量，使得来自两个总体的数据间的距离较大，而来自同一个总体数据间的差异较小。
为此，可以证明，当选L=c∑–1(μ1–μ2)，其中c ≠ 0时，所得的投影即满足要求。
判别分析距离判别.ppt
y2 0.605818.1 0.25362 34.2 1.83679 6.9 18.73596 2.2956 0(第二个新企业属于二类 ）
2、当总体的协方差已知，但不相等
体温 肺癌
2、某地区气象预报
气温
气压
湿度
阴晴 雨
3、经济学 人均消费水平 国民生产总值
工农业产值
国民经济发展 快速 中速 慢速
用数学语言表达：
设有n个样本，对每个样本测量p项指标的数据， 已知每个样本属于k 个类别(或总体)G1, G2 ,..., Gk
的某一类，分布函数分别为 F1(x), F2 (x),..., Fk (x) . 1、病人肺部阴影
P(X 2 )
P(X 2
2
1
2
2
2 )
P(X 2
2
1
2
2
)
P( X 2 2 1 2 )
2
1 (1 2 ) 2
1. 距离判别规则是符合习惯的； 2. 用这种判别方法是会发生误判的； 3. 当两总体靠得比较近时，即两总体的均值差
异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义 的，因此只有当两总体的均值有明显差异时， 进行判别分析才有意义，为此，要对两总体 的均值差异性进行检验. 4. 落在 附近的样品按上述判别规则虽可进行 判断，但误判的可能性较大。
和协方
i
差阵 i，对任给的m元样品 X，判断它来自哪个总体
计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
判别方法分类
判别分析内容很丰富，方法很多。
●按判别的组数来区分，有 两组判别分析 和 多组判别分析； ●按区分不同总体所用的数学模型来分，有 线性判别 和 非线 性判别； ●按判别时所处理的变量方法不同，有 逐步判别 和 序贯判别。 判别分析可以从不同角度提出问题，因此有不同的判别准则， 如马氏距离最小准则、Fisher准则、平均损失最小准则、最小 平方准则、最大似然准则、最大概率准则等等，按判别准则的 不同又提出多种判别方法。判别分析中主要有四种常用的判别 方法，即距离判别法、Fisher（费希尔）判别法、贝叶斯判别 法和逐步判别法。
判别分析的基本原理
♦判别分析是在已知研究对象分成了若干类型（组别），并已取 得各种类型的一批样品观测数据，在此基础上根据某些规则建立 判别式（判别量），然后对未知类型的样品进行判别分类。
♦已知n个总体，其分布函数分别为： F1(x)，F2(x)， …，Fk(x)， 每一个总体都是一个p维函数，对于给定的样品x，我们应该通过 判别函数（判别准则），来决定该样品应属于这 n个总体中的哪 一个总体。
μ μ 1 2 2 X 1 Σ (μ1 μ 2 ) 2 2( X μ)α 2α( X μ)
两个总体的距离判别法
其中µ=(µ1+µ2)/2是两个总体均值的平均值，α =Σ -1(µ1-µ2)，记
W(X)=α ꞌ(X-µ) (1.2) (1.3)
36.228 S1= 56.022 448.74 经计算
56.022 344.228 -252.24
448.74 -252.24 12987.2
86.812 117.682 S2= 117.682 188.672 -4895.74 -11316.54
-4895.74 -11316.54 208384.8
123.04 173.704 -4447 S=S1+S2= 173.704 532.9 -11568.78 -4447 -11568.78 2100372
距离判别法例题
（3）求线性判断函数W(X)
距离判别法例题
(4)对已知类别的样品分类 对已知类别的样品用线性判别函数进行判别分类，结果如表4-4所 示，全部判对。
1 Σ 1μ1 ( XΣ 1X 2 XΣ1μ 2 μ XΣ 1X 2XΣ 1μ1 μ1 Σ μ2 ) 2 1 Σ 1μ1 μ 2XΣ 1 (μ 2 μ1 ) μ1 Σ μ2 2 2XΣ 1 (μ 2 μ1 ) (μ1 μ 2 )Σ 1 (μ1 μ 2 )
两个总体的距离判别法
这里我们应该注意到：
（ 1 ） 当 p 1 ， G1 和 G2 的 分 布 分 别 为 N (1 , 2 ) 和
N ( 2 , 2 ) 时， 1 , 2 , 2 均为已知，且 1 2 ，则判别 1 2 0 ，判别函数为 系数为 2 W ( x) ( x )
MATLAB函数
距离判别法应用
距离判别法的应用
●在深部巷道岩爆破中的应用
在我国，当开采深度超过600m一般就认为其为深部开采，近年来，我 国很多矿开采深度都达 1km以上。深度巷道一般处于高应力状态，当 地应力超过岩体极限强度时，岩体失去了平衡而受到破坏，围岩中的 应力集中使岩体特别是硬质岩体产生脆性破坏，并伴随大量能量释放， 产生岩爆现象。岩爆现象轻则给矿山带来经济损失，重则会带来灾难 性后果。 借鉴判别法的思想引进加权马氏距离判别法对岩爆的发生以及烈度进 行评判。
判引 言
02/距离判别法 03/距离判别法例题
04/距离判别法应用
资料来源
[2]刘庆军，陈坤，刘晓光.煤与瓦斯突出预测PCA－ 距离 判别法研究.煤矿安全，2016，42(10)：97-101 [3]姜喜春.数据挖掘中的距离判别分析法.科技资讯，2015， (27):155-157 [4]罗磊，曹平.深部巷道岩爆破加权距离判别法模型的分 析和应用.中南大学学报，2012，43(10)：71-75 [5]王吉亮，陈建平，杨静.距离判别法在公路隧道岩分类 中的应用.吉林大学学报.2008，38(6)：999-1004 [1]彭力.冶金工业 出版社
i 1
1, 2
此时，两总体距离判别的判别函数为
ˆ (X) α ˆ (X X) W
1 (1) (2) ˆ 1 (X(1) X(2) ) 。这样，判别规则为 ˆ Σ 其中 X ( X X ) ， α 2 ˆ ( X) 0 X G1 , 如果 W （1.4 4.7） ˆ ( X) 0 X G , 如果 W 2
SPSS运行结果
MATLAB函数
[class,err]=classify(sample,training,group,'mahalanobis') classify函数将Sample的每一行进行判别，分到training指定的类 中。 training：是用于构造判别函数的训练样本数据矩阵，他们的每 一行对应一个观测，每一列对应一个变量。 sample：待判别的样本数据矩阵 group：已知的分类矩阵 err:基于training数据的误判概率的估计值
则判别规则(1.1)式可表示为
X∈G1，当 X∈G2，当 W(X)≥0 W(X)<0
这里称W(X)为两总体距离判别的判别函数，由于它是X的线性 函数，故又称为线性判别函数，α 称为判别系数。 在实际应用中，总体的均值和协方差矩阵一般是未知的，可 由样本均值和样本协方差矩阵分别进行估计。设 X1(i),X2(i), …,Xn1(i) 来自总体的样本，i=1,2 。则µ1和µ2的无 偏估计为：
距离判别法例题
距离判别法例题
本例中变量个数p=3，；两类总体各有五个样品，即n1=n2=5，有四个待判样品， 假定两总体协差矩阵相等。 （1）两组线性判别的计算过程如下： 75.88 70.44 (1)= 94.08 (2)= 91.74 X X 5354.4 3430.4
距离判别法例题
（2）计算样本协差阵，从而求出
两个总体的距离判别法
首先根据已知分类的数据，分别计算各类的重心即分组(类)的均值， 判别准则是对任给的一次观测，若它与第i类的重心距离最近，就 认为它来自第i类。
计算新样品X到两个总体的马氏距离D2（X，G1）和D2（X，G2）， 并按照如下的判别规则进行判断： X∈G1，当 D2（X，G1）≤D2（X，G2） (1.1) X∈G2，当 D2（X，G1）> D2（X，G2）
它是 X 的二次函数，相应的判别规则为
X G1 , X G2 ,
如果 如果
W * ( X) 0 W * ( X) 0
多个总体的距离判别法
g 协 G2 ，…， Gg ，均值向量分别为 1 ， 2 ，…， 设有g个m维总体 G1 ， g，则样本X到各组的平方马氏距离是： 2，…， 方差矩阵分别为 1 ， 1 =1，2，…g d 2 ( X , G ) ( X )T ( X ) ， 判别规则为： X Gi ，若 d 2 ( X , Gi ) min d 2 ( X , G j ) 1 j g
两个总体的距离判别法
这个判别规则的等价描述为：求新样品X到G1的距离与到G2的距 离之差，如果其值为正，X属于G2；否则X属于G1。
假设均值µ1，µ2以及协方差矩阵Σ 已知，Σ 相等，我们计算：
D2 (X, G1 ) D2 (X, G2 )
( X μ1 )Σ 1 ( X μ1 ) ( X μ 2 )Σ 1 ( X μ 2 )
判别函数
决定某一样品所属的类别，其实质是决定判别函数。根据样 品给定的多变量数据，由判别函数来决定该样品所属的类别。 例：设某班的学生经过八门课的考试，现需要根据考试的结果对学 生的学习情况进行分类。根据学生的成绩，可将学生分为四类：优 秀（A）、良好（B）、及格（C）、不及格（D）。为了决定每一位 学生的成绩类别，拟以八门课的平均成绩为准，且按： 100≥A类≥85 85>B类≥75 判别函数 75>C类≥60 D类<60 进行分类。