判别分析-距离判别法

判别分析的基本原理
♦判别分析是在已知研究对象分成了若干类型（组别），并已取 得各种类型的一批样品观测数据，在此基础上根据某些规则建立 判别式（判别量），然后对未知类型的样品进行判别分类。
♦已知n个总体，其分布函数分别为： F1(x)，F2(x)， …，Fk(x)， 每一个总体都是一个p维函数，对于给定的样品x，我们应该通过 判别函数（判别准则），来决定该样品应属于这 n个总体中的哪 一个总体。
36.228 S1= 56.022 448.74 经计算
56.022 344.228 -252.24
448.74 -252.24 12987.2
86.812 117.682 S2= 117.682 188.672 -4895.74 -11316.54
-4895.74 -11316.54 208384.8
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
距离判别法例题
SPSS运行结果 MATLAB函数
距离判别法例题
距离判别法例题
例 人文发展指数是联合国开发计划署于 1990年5月发表的第一份
《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量 应当以人生的三大要素为重点，衡量人生三大要素的指示分别要用 出生时的预期寿命、成人识字率和实际人均 GDP，将以上三个指示 的数值合成为一个复合指数，即为人文发展指数(资料来源： UNDP{人类发展报告}1995年)。 今从1995年世界各国人文发展指数(表4—3)的排序中，选取高发展 水平、中等发展水平的国家各五个作为两组样品，另选四个国家作 为待判样品作距离判别分析。
则判别规则(1.1)式可表示为
X∈G1，当 X∈G2，当 W(X)≥0 W(X)<0
这里称W(X)为两总体距离判别的判别函数，由于它是X的线性 函数，故又称为线性判别函数，α 称为判别系数。 在实际应用中，总体的均值和协方差矩阵一般是未知的，可 由样本均值和样本协方差矩阵分别进行估计。设 X1(i),X2(i), …,Xn1(i) 来自总体的样本，i=1,2 。则µ1和µ2的无 偏估计为：
MATLAB函数
距离判别法应用
距离判别法的应用
●在深部巷道岩爆破中的应用
在我国，当开采深度超过600m一般就认为其为深部开采，近年来，我 国很多矿开采深度都达 1km以上。深度巷道一般处于高应力状态，当 地应力超过岩体极限强度时，岩体失去了平衡而受到破坏，围岩中的 应力集中使岩体特别是硬质岩体产生脆性破坏，并伴随大量能量释放， 产生岩爆现象。岩爆现象轻则给矿山带来经济损失，重则会带来灾难 性后果。 借鉴判别法的思想引进加权马氏距离判别法对岩爆的发生以及烈度进 行评判。
SPSS运行结果
MATLAB函数
[class,err]=classify(sample,training,group,'mahalanobis') classify函数将Sample的每一行进行判别，分到training指定的类 中。 training：是用于构造判别函数的训练样本数据矩阵，他们的每 一行对应一个观测，每一列对应一个变量。 sample：待判别的样本数据矩阵 group：已知的分类矩阵 err:基于training数据的误判概率的估计值
123.04 173.704 -4447 S=S1+S2= 173.704 532.9 -11568.78 -4447 -11568.78 2100372
距离判别法例题
（3）求线性判断函数W(X)
距离判别法例题
(4)对已知类别的样品分类 对已知类别的样品用线性判别函数进行判别分类，结果如表4-4所 示，全部判对。
μ μ 1 2 2 X 1 Σ (μ1 μ 2 ) 2 2( X μ)α 2α( X μ)
两个总体的距离判别法
其中µ=(µ1+µ2)/2是两个总体均值的平均值，α =Σ -1(µ1-µ2)，记
W(X)=α ꞌ(X-µ) (1.2) (1.3)
i 1
1, 2
此时，两总体距离判别的判别函数为
ˆ (X) α ˆ (X X) W
1 (1) (2) ˆ 1 (X(1) X(2) ) 。这样，判别规则为 ˆ Σ 其中 X ( X X ) ， α 2 ˆ ( X) 0 X G1 , 如果 W （1.4 4.7） ˆ ( X) 0 X G , 如果 W 2
判别规则为
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
1 Σ 1μ1 ( XΣ 1X 2 XΣ1μ 2 μ XΣ 1X 2XΣ 1μ1 μ1 Σ μ2 ) 2 1 Σ 1μ1 μ 2XΣ 1 (μ 2 μ1 ) μ1 Σ μ2 2 2XΣ 1 (μ 2 μ1 ) (μ1 μ 2 )Σ 1 (μ1 μ 2 )
距离判别法例题
(5)对判别效果进行检验 判别分析是假设两组样品取自不同总体，如果两个总体的均值向量 在统计上差异不显著，则做判别的意义不大。所谓判别效果的检验， 就是检验两个正态总体的均值向量是否相等。根据公式：
将上边的计算结果代入统计量后可得： F=12.6746>F0.05（3.6）=4.76 故在α=0.05检验水平下，两总体间差异显著，即判别函数有效。
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
判别方法分类
判别分析内容很丰富，方法很多。
●按判别的组数来区分，有 两组判别分析 和 多组判别分析； ●按区分不同总体所用的数学模型来分，有 线性判别 和 非线 性判别； ●按判别时所处理的变量方法不同，有 逐步判别 和 序贯判别。 判别分析可以从不同角度提出问题，因此有不同的判别准则， 如马氏距离最小准则、Fisher准则、平均损失最小准则、最小 平方准则、最大似然准则、最大概率准则等等，按判别准则的 不同又提出多种判别方法。判别分析中主要有四种常用的判别 方法，即距离判别法、Fisher（费希尔）判别法、贝叶斯判别 法和逐步判别法。
两个总体的距离判别法
n1 1 X(1) Xi(1) n1 i 1 n2 1 和 X(2) Xi(2) n2 i 1 1 ˆ Σ (S1 S2 ) n1 n2 2
Σ 的一个联合无偏估计为
n
这里
X( ) ), S (Xi( ) X( ) )(Xi( )
判别函数
决定某一样品所属的类别，其实质是决定判别函数。根据样 品给定的多变量数据，由判别函数来决定该样品所属的类别。 例：设某班的学生经过八门课的考试，现需要根据考试的结果对学 生的学习情况进行分类。根据学生的成绩，可将学生分为四类：优 秀（A）、良好（B）、及格（C）、不及格（D）。为了决定每一位 学生的成绩类别，拟以八门课的平均成绩为准，且按： 100≥A类≥85 85>B类≥75 判别函数 75>C类≥60 D类<60 进行分类。
两个总体的距离判别法
这个判别规则的等价描述为：求新样品X到G1的距离与到G2的距 离之差，如果其值为正，X属于G2；否则X属于G1。
假设均值µ1，µ2以及协方差矩阵Σ 已知，Σ 相等，我们计算：
D2 (X, G1 ) D2 (X, G2 )
( X μ1 )Σ 1 ( X μ1 ) ( X μ 2 )Σ 1 ( X μ 2 )
马氏距离
两个总体的距离判别法
多个总体的距离判别法
距离判别法
马氏距离
T G { X , X ,..., X } 设总体 为m维总体（考察m个指标），样本 1 2 m
…，m)，则总体均值向量为 {1 , 2 , m }T 。总体G的协方差矩阵为：
COV (G) E[(G )(G )T ]
两个总体的距离判别法
首先根据已知分类的数据，分别计算各类的重心即分组(类)的均值， 判别准则是对任给的一次观测，若它与第i类的重心距离最近，就 认为它来自第i类。
计算新样品X到两个总体的马氏距离D2（X，G1）和D2（X，G2）， 并按照如下的判别规则进行判断： X∈G1，当 D2（X，G1）≤D2（X，G2） (1.1) X∈G2，当 D2（X，G1）> D2（X，G2）
两个总体的距离判别法
这里我们应该注意到：
（ 1 ） 当 p 1 ， G1 和 G2 的 分 布 分 别 为 N (1 , 2 ) 和
N ( 2 , 2 ) 时， 1 , 2 , 2 均为已知，且 1 2 ，则判别 1 2 0 ，判别函数为 系数为 2 W ( x) ( x )
距离判别法例题
距离判别法例题
本例中变量个数p=3，；两类总体各有五个样品，即n1=n2=5，有四个待判样品， 假定两总体协差矩阵相等。 （1）两组线性判别的计算过程如下： 75.88 70.44 (1)= 94.08 (2)= 91.74 X X 5354.4 3430.4
距离判别法例题
（2）计算样本协差阵，从而求出
它是 X 的二次函数，相应的判别规则为
X G1 , X G2 ,
如果 如果
W * ( X) 0 W * ( X) 0
多个总体的距离判别法
g 协 G2 ，…， Gg ，均值向量分别为 1 ， 2 ，…， ห้องสมุดไป่ตู้有g个m维总体 G1 ， g，则样本X到各组的平方马氏距离是： 2，…， 方差矩阵分别为 1 ， 1 =1，2，…g d 2 ( X , G ) ( X )T ( X ) ， 判别规则为： X Gi ，若 d 2 ( X , Gi ) min d 2 ( X , G j ) 1 j g
判别分析
—距离判别法
目录 / CONTENTS
01/引 言
02/距离判别法 03/距离判别法例题
04/距离判别法应用
资料来源
[2]刘庆军，陈坤，刘晓光.煤与瓦斯突出预测PCA－ 距离 判别法研究.煤矿安全，2016，42(10)：97-101 [3]姜喜春.数据挖掘中的距离判别分析法.科技资讯，2015， (27):155-157 [4]罗磊，曹平.深部巷道岩爆破加权距离判别法模型的分 析和应用.中南大学学报，2012，43(10)：71-75 [5]王吉亮，陈建平，杨静.距离判别法在公路隧道岩分类 中的应用.吉林大学学报.2008，38(6)：999-1004 [1]彭力.冶金工业 出版社