多个总体距离判别法(DOC)
多元统计分析填空和简答(一).doc
1．多元分析研究的是多个随机变量及其相互关系的统计总体。
2．多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。
3．协方差和相关系数仅仅是变量间离散程度的一种度量，并不能刻画变量间可能存在的关联程度。
4．人们通过各种实践，发现变量之间的相互关系可以分成相关和不相关两种类型。
5．总离差平方和可以分解为回归离差平方和和剩余离差平方和两个部分，各自的自由度为p 和n-p-1，其中回归离差平方和在总离差平方和中所占比重越大，则线性回归效果越显著。
7．偏相关系数是指多元回归分析中，当其他变量固定后，给定的两个变量之间的的相关系数。
8．Spss中回归方程的建模方法有一元线形回归、多元线形回归、岭回归、多对多线形回归等。
9．主成分分析是通过适当的变量替换，使新变量成为原变量的综合变量，并寻求相关性的一种方法。
10．主成分分析的基本思想是：设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
11．主成分的协方差矩阵为对角矩阵。
12．主成分表达式的系数向量是相关系数矩阵的特征向量。
13．原始变量协方差矩阵的特征根的统计含义是原始数据的相关系数。
14．原始数据经过标准化处理，转化为均值为0 ，方差为1 的标准值，且其协方差矩阵与相关系数矩阵相等。
15．样本主成分的总方差等于1 。
16．变量按相关程度为，在相关性很强程度下，主成分分析的效果较好。
17．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为方差贡献度。
19．因子分析是把每个原始变量分解为两部分因素，一部分是公共因子，另一部分为特殊因子。
20．变量共同度是指因子载荷矩阵中第i行元素的平方和。
21．公共因子方差与特殊因子方差之和为 1 。
22．聚类分析是建立一种分类方法，它将一批样哂或变量按照它们在性质上的亲疏程度进行科学的分类。
23．Q型聚类法是按样品进行聚类，R型聚类法是按变量进行聚类。
判别分析-距离判别法
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
判别分析(第1、2节_绪论、距离判别法)
x * , X G1 , * x , X G2 .
第二节 距离判别法
因为是单指标的问题，这时判别函数设为：Y Y ( x) x 此例中 * 79, 因 x0 78 * ，故判 X 0 G2 。
，在
下面给出对于 m元总体的这种相对距离 —即所谓的马氏距离 定义
2 更一般地，设总体G1的分布为 N (1 , 1 ) ，设总体G2的分布为
N (2 , 22 ) ，则利用统计距离，可以找出分界点 * ，且不妨设
1 2 ，所以若令 ( x 1 )2 ( x 2 )2 解出 1 2 2 1 * x ， 12 22 1 2
d (X, Y) 2 ( X1 Y1 )2
( X p Yp )2 .
但在解决实际问题时，特别是针对多元数据的分析问题，欧氏 距离就显示出了它的一些缺陷。 譬 如 ， 设 有 两 个 正 态 总 体 ， X ~ N ( 1 , ) 和
2
Y ~ N ( 2 ,4 2 ) ，现有一个样品位于如图 5.1 所示的 A 点，距总 体 X 的中心的距离为 2 远，距总体 Y 的中心的距离为 3 远， 那么， A 点处的样品到底离哪一个总体近呢？
第一节 引言
判别分析内容很丰富，方法很多。①判断分析方法按判别的
总体个数来区分，有两个总体判别分析和多总体判别分析；②按
区分不同总体所用的数学模型来分，有线性判别和非线性判别； ③按判别时所处理的变量方法不同，有逐步判别和序贯判别等。
④判别分析可以从不同角度提出问题，因此有不同的判别准则，
如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平 方准则、最大似然准则、最大概率准则等等，按判别准则的不同
补充：判别分析
判别分析的适用场合
把这类问题用数学语言来表达，可以叙述如下： 设有n个样品，对每个样品测得p项指标的数据， 已知每个样品属于k个类别（或总体）G1， G2， …，Gk中的某一类。 我们希望利用这些数据，找出一种判别函数，使 得这一函数具有某种最优性质，能把属于不同类 别的样本点尽可能地区别开来。
它是原p维特征空间里的样本类内离散度矩阵，表示 两类均值向量之间的离散度大小，因此，越大越容易 区分。
25
将(6)
mi w M和(2) i
T
代入(4) S i2
式中：
x k X i
1 Mi ni
x k X i
x
k
Si2
( w T xk w T M i ) 2
x k X i
i i
Block(绝对距离): Si|xi-yi|
Pearson correlation
(相似系数2):
1 q
xi 2 yi 2
Chebychev: Maxi|xi-yi| Minkowski:
( xi yi ) i
q
C xy (2) rxy
( x x )( y y )
11
判别分析是用于判别个体所属群体的一种
统计方法，判别分析的特点是根据已掌握的、
历史上每个类别的若干样本的数据信息，总结
出客观事物分类的规律性，建立判别公式和判
别准则。然后，当遇到新的样本点时，只要根
据总结出来的判别公式和判别准则，就能判别 该样本点所属的类别。判别分析是一种应用性 很强的统计数据分析方法。
9
判别分析
引言 距离判别 Fisher判别 Bayes判别
多元统计第五章判别分析
第一节 引言
在我们的日常生活和工作实践中，常常会遇到判别分析问题。
案例一：为了研究中小企业的破产模型，选定4个经济指标：总负债率、
收益性指标、短期支付能力、生产效率性指标。对17个破产企业（1类）和21
个正常运行企业（2类）进行了调查，得关于上述四个指标的资料。现有8个 未知类型的企业的四个经济指标的数据，判断其属于破产企业一类还是正 常运行企业一类？ 案例二：根据经验，今天与昨天的湿度差x1及今天的压温差x2 （气压与温度
ˆ Σ
1 A ， n 1
1,2,, k
三、判别分析的实质
设R1，R2，…，Rk是p维空间R p的k个子集，如果它们互
不 相交，且它们的和集为R p，则称R1，R2， …，Rk为R p的一 个划分。
在 两 个 总 体 的 距 离 判 别 问 题 中 ， 利 用
W (X) (X μ)' α 可以得到空间 R p 的一个划分 R1 {X : W ( X) 0} R2 {X : W ( X) 0}
x2
-0.41 -0.31 0.02 -0.09 -0.09 -0.07 0.01 -0.06 -0.01 -0.14 -0.3 0.02 0 -0.23 0.05 0.11 -0.08 0.03 0 0.11 -0.27
x3
1.09 1.51 1.01 1.45 1.56 0.71 1.5 1.37 1.37 1.42 0.33 1.31 2.15 1.19 1.88 1.99 1.51 1.68 1.26 1.14 1.27
Σ 的一个联合无偏估计为
n
n2 1 和 X(2) Xi(2) n2 i 1 1 ˆ Σ ( A1 A2 ) n1 n2 2
判别分析-距离判别
= 2y′Σ −1 ( µ1 − µ 2 ) − ( µ1 + µ 2 )′Σ −1 ( µ1 − µ 2 )
( µ1 + µ 2 ) −1 = 2[y − ]′Σ ( µ1 − µ 2 ) 2 µ1 + µ 2 α = Σ −1 ( µ1 − µ2 ) = (a1 , a2 ,L, a p )′ 令µ = 2
利用这些数据找到一种判别函数，使得这一函数 具有某种最优性质，能把属于不同类别的样本点 尽可能的区别开来，并对同样测得 p项指标的新 样本进行归类.
关键：确定判别函数
判别准则： 判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。 常用的有，距离准则、Fisher准则、贝叶斯准则。
判别函数： 判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
µ1 + µ 2
判别函数的常数项（ 2 ′ ） Σ −1 ( µ1 − µ 2 )
（6）生成判别函数，将检验样本代入，判类。
三、多总体的距离判别法
设有 k 个 m元总体 G1,L, Gk ，分别有均值向量 µi和协方 差阵 Σi，对任给的 m元样品 X，判断它来自哪个总体 计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
Y = (Y1 , Y2 ,..., Y p )'，通常我们所说的两点间的距
离是指欧氏距离：
d 2 ( X , Y ) = ( X 1 − Y1 ) 2 + ... + ( X p − Yp ) 2
缺陷： 缺陷： 1、量纲的改变 2、数据的分散程度
1、设有量度重量和长度的两个变量 X和Y ，以单位 分别为kg和cm得到样本 A(0,5), B(10,0), C (1,0), D(0,10)， 按照欧氏距离计算，有：
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
距离判别法及实例
距离判别法及实例基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。
距离判别法，对各类（或总体）的分布，并无特定的要求。
1 两个总体的距离判别法设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。
今任取一个样品，实测指标值为),,(1'=p x x X Λ，问X 应判归为哪一类？首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则判别归类，则可写成：⎪⎩⎪⎨⎧=>∈<∈),(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 G 1总体： G 2总体：记2,1,),,()()(1)(='=i x x Xi p i i Λ如果距离定义采用欧氏距离，则可计算出1(,)D X G ==2(,)D X G ==然后比较),(1G X D 和),(2G X D 大小，按距离最近准则判别归类。
由于马氏距离在多元统计分析中经常用到，这里针对马氏距离对上述准则做较详细的讨论。
设)1(μ、)2(μ，)1(∑、)2(∑分别为G 1、G 2的均值向量和协方差矩阵。
如果距离定义采用马氏距离即2,1)()()(),()(1)()(2=-∑'-=-i X X G X D i i i i μμ这时判别准则可分以下两种情况给出： （1）当∑=∑=∑)2()1(时考察),(22G X D 及),(12G X D 的差，就有：)2(1)2()2(1112222),(),(μμμ-'--∑+∑'-∑'=-X X X X G X D G X D]2[)1(1)1()1(11μμμ-'--∑+∑'-∑'-X X X)()()(2)2()1(1)2()1()2()1(1μμμμμμ-∑'+--∑'=--X)()(212)2()1(1)2()1(μμμμ-∑'⎥⎦⎤⎢⎣⎡+-=-X令)(21)2()1(μμμ+=)()()()2()1(1μμμ-∑'-=-X X W则判别准则可写成：⎪⎩⎪⎨⎧==<<∈>>∈),(),(D 0)( ,),(),(D 0)(,),(),(D 0)(,12221222212221G X D G X X W G X D G X X W G X G X D G X X W G X 即当待判即当即当 当)2()1(,,μμ∑已知时，令),,()(1)2()1(1'∆-∑=-p a a a Λμμ则⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=-'='-=p p p x x a a X a a X X W μμμμM Λ ),,()()()(111)()(111p p p x a x a μμ-++-=Λ显然，W (X )是p x x ,,1Λ的线性函数，称W (X )为线性判别函数，a 为判别系数。
距离判别法及其应用
距离判别法及其应用一、什么是距离判别（一）定义距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法，根据已掌握的、历史上每个类别的若干样本数据信息，总结出客观事物分类的规律性，建立判别准则，当遇到新的样本点，只需根据总结得出的判别公式和判别准则，就能判别该样本点所属的类别。
距离判别分析的基本思想是：样本和哪个总体的距离最近，就判它属于哪个总体。
（二）作用判别个体所属类型。
例如在经济学中，可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。
二、距离判别分析原理（一）欧氏距离欧氏距离（Euclidean distance ）是一个通常采用的距离定义，最多的应用是对距离的测度。
大多情况下，人们谈到距离的时候，都会很自然的想到欧氏距离。
从数学的角度来讲，它是在m 维空间中两个点之间的真实距离。
在二维空间中其公式为：221221)()(y y x x d -+-=推广到n 维空间其公式为：21)(1i n i i y x d -=∑=（二）马氏距离在判别分析中，考虑到欧氏距离没有考虑总体分布的分散性信息，印度统计学家马哈诺必斯（Mahalanobis ）于1936年提出了马氏距离的概念。
设总体T m X X X G },...,,{21=为m 维总体（考察m 个指标），样本T m i x x x X },...,,{21=。
令μ=E(i X )(i=1,2, …，m)，则总体均值向量为T m },,{21μμμμ⋅⋅⋅=。
总体G 的协方差矩阵为：]))([()(T G G E G COV μμ--==∑。
设X ，Y 是从总体G 中抽取的两个样本，则X 与Y 之间的平方马氏距离为：)()(),(12Y X Y X Y X d T -∑-=-样本X 与总体G 的马氏距离的平方定义为：)()(),(12μμ-∑-=-X X G X d T1．两总体距离判别。
现代地理学中的数学方法 (3)
聚类分析是根据样本之间的亲疏关系 （相似程度或差异程度）进行分类的，其 基本思想是：把相似度高的样本划归为同 一类，把差异程度大的样本划分到不同的 类。聚类分析的方法有：系统聚类法，K均值法，图论聚类法，模糊聚类法，等等 。本节主要介绍系统聚类法。
第3节
聚类分析与判别分析
聚类分析和判别分析，是定量化的研究分 类问题的统计学方法。这两种方法都是研究事 物分类的数学方法，但二者是有区别的。 聚类分析，事先并不知道样本有多少类， 也不知道每一个样本来自哪一类，而是根据样 本的自身属性确定亲疏关系，并按这种亲疏关 系程度对样本进行分类。 而判别分析，则是在事先已知样本分类的 前提下，对给定的新样本进行归类。它是根据 已知对象的观测指标和所属类别，判断未知对 象所属类别的方法。
12 13 14 15 16 17 18 19 20 21
51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
1.041 0.836 0.623 1.022 0.654 0.661 0.737 0.598 1.245 0.731
64.609 62.804 60.102 68.001 60.702 63.304 54.206 55.901 54.503 49.102
968.33 957.14 824.37 1 255.42 1 251.03 1 246.47 814.21 1 124.05 805.67 1 313.11
181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
表4.3.1 8种系统聚类方法的距离参数值(下页)
判别分析的概念距离判别法费歇尔判别法贝叶
用数学的语言来说，判别问题可以表述为：对于n个样品， 每个样品有p个指标，已知每个样品属于某一k类别（总 体）G1，G2，…，Gk，对于每类别其分布函数分别为 f1(y)，f2(y)，…，fk(y)，对于一个给定样品y，我们要判 断出这个样本来自哪个总体。判别分析的主要问题就是 如何寻找最佳的判别函数和建立判别规则。
D( X , G1) （X X (1) )（ X X (1) )
D( X , G2 ) （X X (2) )（ X X (2) ) X (1)，X (2)分别为G1、G2的均值向量。 然后比较D( X , G1)，D( X , G2 )的大小，按最近准则判别归类。 在多元统计分析中经常用马氏距离做上述判别分析。
聚类分析数据格式
k
判别分析数据格式
第二节 距离判别法
距离判别法就是根据已知分类的数 据，分别计算各类的重心即分组（类） 的均值，判别准则是对任给的一次观测， 若它与第i类的重心距离最近，就认为 它来自第i类。
距离判别法对各类（或总体）的分 布，并无特别的要求。
1、两个总体的距离判别法
设有两个总体G1、G2，村第一个总体中抽取n1个样品， 从第二个总体中抽取n2个样品，每个样品观测p个指标。 今取任一个样品，实测指标值为X＝（x1, x2 , , xp ),问
X应判归那一类？
首先计算X到G1、G2总体的距离，分别记为D( X ,G1)和
D( X ,G2 )，按距离最近原则判别归类，则可以写成：
X G1，
X
Байду номын сангаас
G2
,
待判,
当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 )
距离判别法例题
距离判别法例题距离判别法是一种常用的统计学方法，用于确定两个或多个样本之间的相似性或差异性。
它是通过计算样本之间的距离来进行判别的。
例如，假设我们想要判断一组人的身高和体重是否存在明显的差异。
我们可以通过采集一定数量的男性和女性的身高和体重数据，并应用距离判别法来进行分析。
首先，我们需要选择一种适合的距离度量方法。
常见的距离度量方法包括欧几里德距离、曼哈顿距离和闵可夫斯基距离等。
在本例中，我们可以选择欧几里德距离，因为它能够考虑到身高和体重的绝对差异。
接下来，我们计算每个样本之间的距离。
假设我们有两个样本A和B，其中A是男性的身高和体重数据，B是女性的身高和体重数据。
我们可以计算A中每个男性样本与B中每个女性样本的距离，并将其组织成一个距离矩阵。
然后，我们可以利用距离矩阵来进行判别分析。
一种常见的方法是使用最近邻分类器。
对于每个待分析的样本，我们可以找到距离最近的K个样本，并根据它们的类别来判断待分析样本的类别。
通过应用距离判别法，我们可以得出一些结论。
例如，如果经过分析，我们发现男性和女性样本之间的距离非常大，则说明身高和体重在男女性别间存在着明显的差异。
反之，如果距离较小，则说明两者之间的差异不大。
当然，在实际应用中，我们可能会遇到一些挑战。
例如，样本之间的距离可能受到异常值的影响，这可能导致判别结果出现误差。
因此，在应用距离判别法时，我们需要对数据进行合理的处理和预处理，以确保结果的准确性和可靠性。
总而言之，距离判别法是一种有用的统计学方法，可以帮助我们确定样本之间的相似性或差异性。
它可以应用于各种领域，如生物学、医学、社会科学等，以帮助我们深入理解数据并得出有意义的结论。
判别分析
判别分析判别分析就是根据所研究的个体的观测指标来推断该个体所属类型的一种统计方法。
它的统计模型的语言描述就是：设有k 个总体k G G G ,,,21 ，希望建立一个准则，对任意给定的一个样本x ，依据这个准则就能判断它是来自哪个总体。
依据研究问题的角度和方法分类，现有的判别分析的方法有距离判别，Fisher 判别和Bayes 判别。
§1 距离判别一、两总体情况设有两个总体 21,G G 和一个p 维样品x .我们以x 距离这两个总体中心的远近来判断其归属。
设21,G G 的协差阵分别为21,∑∑，选用马氏距离，则x 距21,G G 的距离分别为)()(),(111112μμ-∑'-=-x x G x d)()(),(212222μμ-∑'-=-x x G x d . 于是判别准则即可叙述为⎩⎨⎧>∈≤∈),(),(,),(),(,2212222121G x d G x d G x G x d G x d G x 若若当∑=∑=∑21时，)(2)()2/)((2)()()()(),(),(211212121112212x W x x x x x G x d G x d -=-∑'+--=-∑'---∑'-=----μμμμμμμμ判别准则可叙述为⎩⎨⎧<∈≥∈0)(,0)(,21x W G x x W G x 若若易见，)(x W 是x 的线性函数。
这就使得判别过程比较简单。
几点说明：1、 按以上准则（最小距离准则）进行判别分析可能会产生误判。
2、 当两个总体的均值十分接近时，无论用什么办法，误判概率都较大，这时判别是无意义的。
所以在判别之前应对两总体的均值进行显著性检验。
3、 由于落在μ附近的点误判概率比较大，有时可划出一个待判区域，如取)](51),(51[],[2121μμμμμμ-+--=d c作为待判区域。
4、 上述判别准则并未涉及具体的分布类型，只要二阶矩存在就行。
多个总体距离判别法
多个总体距离判别法在统计学中，多个总体距离判别法（Multivariate Distance Discriminant Analysis）是一种常用的多元分析方法，用于确定多个总体之间的差异，以及对样本进行分类和预测。
该方法基于样本的距离测度，通过计算不同总体之间的距离来判别和分类样本。
1. 引言多个总体距离判别法属于无监督学习方法，通常用于分类或聚类分析。
该方法通过对样本进行距离计算，将样本点划分到不同的总体或群组中，从而实现对样本的分类或聚类。
多个总体距离判别法常用于识别和预测问题，可以应用于各个领域，如医学、生物学、社会科学等。
距离判别法基于样本之间的距离进行分类，其基本思想是相似的样本之间的距离较小，不相似的样本之间的距离较大。
通过计算样本之间的距离，可以生成一个距离矩阵，用于描述样本之间的差异。
在多个总体距离判别法中，常用的距离测度包括欧式距离、马哈拉诺比斯距离等。
2. 多个总体距离判别法算法步骤步骤1：收集数据首先需要收集观测数据，包括样本的各个变量。
数据可以是数值型、定类型或混合类型。
步骤2：计算距离矩阵根据收集到的数据，计算样本之间的距离矩阵。
距离矩阵描述了样本之间的相似度或差异度，可以使用不同的距离测度计算，如欧式距离、曼哈顿距离等。
步骤3：选择判别变量在进行多个总体距离判别分析之前，需要选择用于判别和分类的变量。
这些变量应具有明显的区分度，可以用于区分不同的总体或群组。
步骤4：判别函数的建立通过应用合适的判别函数，可以建立一个分类模型来判别和分类样本。
常用的判别函数包括最近邻法、线性判别法、贝叶斯判别法等。
步骤5：评估模型性能评估模型的性能是判别分析的重要步骤。
可以使用交叉验证、错误率等指标来评估模型的准确性和稳定性。
步骤6：模型应用与结果解释通过应用建立的判别模型，对新样本进行判别和分类。
同时，解释模型结果，了解不同变量对样本判别的贡献程度。
3. 应用举例多个总体距离判别法在实践中有着广泛的应用。
第三章判别分析
例 在企业的考核种，可以根据企业的生产经营情况 把企业分为优秀企业和一般企业。考核企业经营状况的 指标有： 资金利润率=利润总额/资金占用总额 劳动生产率=总产值/职工平均人数
产品净值率=净产值/总产值
三个指标的均值向量和协方差矩阵如下。现有二个企 业，观测值分别为 （7.8，39.1，9.6）和（8.1，34.2，6.9），问这两 个企业应该属于哪一类？
1 1
此判别函数是Y的二次函数
多总体距离判别 分为协方差阵相同和协方差阵不同两种 情况，它们的判别函数有差异，而判别 准则无差异。一般来说，用距离最近准 则判别是符合习惯的，但会发生误判， 各总体发生误判的概率和阀值的选择有 关。当总体靠得很近，无论用那种方法 误判概率都很大，作判别分析无意义。 因此，判别分析的前提是各总体均值必 须有显著差异。
2 1
上式中的第一项Y’ Σ-1Y与i无关，则舍去，得一个等价的函数
gi (Y ) 2y1 i i1i
将上式中提-2，得
gi (Y ) 2(y1i 0.5i1i )
令 fi (Y ) (y1i 0.5i1i ) fi (Y ) (y1i 0.5i1i )
.70620 .83420
.35312 .32005 .34442 .09012
.29380 .16580
.64688 .67995 .65558 .90988
判别分析的基本思想
判别分析利用已知类别的样本培训模型，为 未知样本判类的一种统计方法。 它产生于本世纪30年代。近年来，在自然科 学、社会学及经济管理学科中都有广泛的应用。 判别分析的特点是根据已掌握的、历史上每个类 别的若干样本的数据信息，总结出客观事物分类 的规律性，建立判别公式和判别准则。然后，当 遇到新的样本点时，只要根据总结出来的判别公 式和判别准则，就能判别该样本点所属的类别。
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i 类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X =(x 1,……,x n )′和Y =(y 1,……,y m )′是从期望为μ＝（μ1，……,μm ）′和方差阵∑＝（σij ）m×m >0的总体G 抽得的两个观测值，则称X 与Y 之间的马氏距离为：d 2=(X −Y )′∑−1(X −Y)样本X 与G i 之间的马氏距离定义为X 与G i 类重心间的距离，即： d 2=(X −μi )′∑−1(X −μi ) i =1,2……,k附注：1、 马氏距离与欧式距离的关联：∑＝I ，马氏距离转换为欧式距离；2、 马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体，对给定的样本Y ，判别一个样本Y 到底是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。
故我们用马氏距离来给定判别规则，有：()()()()ïîïíì=<Î<Î),(),(22121222222121G y d G y d G d G d G G d G d G 如待判，，，如，，，，如，y y y y y y )()()()(),(),(1112121222m m m m -¢---¢-=---y y y y y y SSG d G d 22211y y y μμμ12---'+'-'=∑∑∑--∑'=-)(221μμ1y )()(212μμμμ-∑'+-11)(])([221121y μμμμ-∑'+-=-)2(1111μμμ---∑'+∑'-∑'-11y y y当 μ1、μ2 和∑已知时，是一个已知的p 维向量，W （y ）是y 的线性函数，称为线性判别函数。
两总体的面板数据的距离判别分析方法
其 中 ，α1，α2，… αT≥0 为 加 权 因 子 ，
i = 1
Σα =1， 当 α ，α ，…
t 1 2
αT>0 时 ， 意味着所有时点数据都有价值 。
事实上如果采取加权平均法来处理非水平趋势的数据 序列的话 ， 往往权重设置不同会导致得到的判定结果可能不 同 ， 这时我们的权重就需要严格遵循我们研究的目的来郑重 设置了。 比如我们的研究目的更偏向于了解事物最近的情 况 ， 甚 至 是 为 了 判 定 它 未 来 的 一 期 是 怎 么 样 的 ， 这 时 如 果 dt （t=1,2 … T ） 是 非 水 平 趋 势 ， 我 们 就 可 以 将 绝 大 多 数 的 权 重 赋 予最近的几期 。 则 dt 若具有非水平趋势 ， 两总体面板数据的距离判别规 则为
赞 表示为给定样品 y 到第一个总体的距离与到第二 其 中d 赞 的贡献是 个总体的距离的差的估计值 。 这里 dt（t=1,2 … T ） 对 d
等权的 Ed=β,Vard=E(dt-β)2=Eεt , 。 则若 dt 具有水平趋势，两总体面板数据的距离判别规则为
2
≥
3.2
赞 <0 y∈G1, 如 d 赞 ≥0 y∈G2, 如 d
知 识 丛 林
两总体的面板数据的距离判别分析方法
刘 兵 a， 刘 恒b
（ 淮南师范学院 a. 经管系 ；b. 数学系 ， 安徽 淮南 232038 ）
摘
要 ： 提出了根据距离之差的时序数据的趋势特征来考虑进行面板数据的判别分 析 ， 给 出 了
重复观察的各时点间隔相同的情况时两总体的面板数据距离判别规则 ， 并给出了距离之差的时序数 据趋势特征的检验方法 ， 最后分析了重复观察的各时点间隔并不相同时的距离判别分析方法 。 关键词 ： 面板数据 ； 距离判别分析 ； 时间序列趋势 中图分类号 ：F224 文献标识码 ：A 文章编号 ：1002-6487 （2010 ）22-0153-02
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多个总体距离判别法及其应用课程名：年级：专业：姓名：学号：目录一、摘要 (1)二、引言 (1)三、原理 (1)3.1定义 (1)3.2思想 (1)3.3判别分析过程 (1)四、具体应用 (3)4.1判别分析在医学上的应用 (3)4.2距离判别法在居民生活水平方面的应用 (9)4.3判别分析软件的使用 (12)五、参考文献 (14)六、附录 (15)一、 摘要近年来随着信息化社会的进行，数据分析对我们来说日趋重要，为了对数据的分类进行判别，本文介绍了数据分类判别的一种方法：距离判别法。
本文从多个总体距离判别法理论出发并结合例题详细介绍了多个总体距离判别法的在医学领域以及居民生活水平方面的应用，同时也简单介绍了spss 软件一般判别法的具体操作。
关键词： 距离判别法 判别分析 一般判别分析二、 引言随着科技的发展，判别分析在经济，医学等很多领域以及气候分类，农业区划，土地类型划分等有着重要的应用， 本文从多个总体距离判别分析理论出发，介绍了多个总体距离判别法在医学以及人民生活方面的应用，并介绍了spss 一般判别分析的应用。
三、 原理3.1 定义距离判别法：距离判别分析方法是判别样品所属类别的一应用性很强的多因素决方法，其中包括两个样本总体距离判别法，多个样本距离判别法。
多个总体距离判别法：多个总体距离判别法是距离判别法的一种，是两个总体距离判别法的推广，具有多个总体，将待测样本归为多个样本中的一类。
3.2 思想计算待测样本与各总体之间的距离，将待测样本归为与其距离最进的一类。
3.3 判别分析过程对于k 个总体k 21G G G ⋯，，，假设其均值分别为：k 21u u u ，，，⋯，协方差阵分别为：∑）（i ，（其中i=1,2，…k ），待测样本为），，，（p 21x x x X ⋯= ，其中p 21x x x ，，，⋯为样本X 的p 个检测指标，假设X 的均值为)x ,x ,x (X p 21，⋯=，协方差为∑，判断X属于哪个总体。
3.3.1 步骤：从k 21G G G ⋯，，，k 个总体中，取n 个样本，分别记为k 21G G G ⋯，，总体样本，再结合上面p 个指标，这k 个样本可以表述如下：第j 个总体样本(j=1,2…k)（1）当待测样本与各总体样本的均值相等时，即∑）（1 = ∑）（2……=∑）（k =∑；则相应的判别函数为：)()](21[]G X D -)G ([21X W )()(1')()(j2j 2ij 'j i j i u u u u X X D -+-==∑-），（，）（ （其中i,j=1,2…k,)G (X,D j 2表示X 与j G 的马氏距离）；判断准则：如果对所有i ≠j 有0W ij >成立，则i G X ∈，若存在i 和j 使得0W ij =成立，则待判。
当各样本总体的均值i u 和协方差阵∑未知时，可以从i G 中抽取)(n)(2)(1X ,X i i i X ⋯，i=1，2…k;则i u 和∑）（i 的无偏估计∑^i ^u ，可以表示为：∑===n j i j i i X n X1)()(^1u （i=1,2…,k ） ∑∑=-=^1n 1k i i S k （其中n=1+2+……+n ，)')((S )()(1j )()(i i i n ni i n X X X X --=∑=） （2）当各样本总体样本的均值不相等时，相应的判别函数为：)u -(X ][V )'u -(X -)u -(X ][V 'u -X X W (i)-1(i)(j)(j)-1(j)(j)ji ）（）（= 判别准则：若对所有i ≠j 有0W ij >则i G X ∈，若存在i 和j 使得0W ij =成立，则待判。
四、 具体应用4.1 判别分析在医学上的应用为了研究某地区人口死亡状况，已按某种方法将15个已知样品分为三类（如下表所示），指标及原始数据见下表，试建立判别函数并判定另外4个待判样品分别属于哪类。
我们假设两样本的协方差相等；本题中变两个数p=6,三类总体各有5个样本，故n1=n2=n3=5； 利用Matlab 软件并结合Excel 表格进行下列计算（具体计算见附录） 4.1.1 计算各组的样本的均值为：1X =（37.94 11.90 1.50 12.25 100.06 67.46）＇2X =（39.54 11.50 2.94 27.83 151.02 66.05 )＇ 3X =(38.50 10.12 0.68 10.33 93.95 67.42)＇ 4.1.2 计算样本协方差：∑=--=n1k )1(1)1()1(1)1(k1)'(*S X X X X ）（='*)(S 1k )2(2)2()2(2)2(2∑=--=nkkX X X X ）（=')(*)(Sk )3(2)3()3(2)3(3∑=--=nk kX X X X= 从而222.23 197.4522.06 204.82 216.83 -78.73 197.45 184.16 19.95 189.14 202.76 -72.48 22.06 19.95 2.31 20.64 22.12 -7.70 204.82 189.14 20.64 194.65 208.18 -74.58 216.83 202.76 22.12 208.18 223.65 -79.32 -78.73 -72.48-7.70-74.58 -79.32 29.09根据公式：∑∑=-=^11ki i S k n 计算得：∑=^从而可求得其逆为：1-^∑=4.1.3 求判别函数）（X W ij,解线性方程组∑-=^)()()(j i X X a,得=1i a1-^∑=从而可以求得)](21[)(X W )2()1(111112X X X a X X a +-=-=）（52.23983.328.069.369.042.1x 62.3654321+---+-=x x x x x)](21[)()(W )3()1(121213X X X a X X a X +-=-=56.9297.115.084.050.012.2x 28.2-654321-+++-+=x x x x x)](21[)(X W )1()2(212121X X X a X X a +-=-=）（52.392-83.328.0x 69.3x 69.0-x 42.1x 62.3-654321x x ++++=)](21[)(X W )3()2(222223X X X a X X a +-=-=）（=332.08-79.543.053.419.153.3x 90.5-654321x x x x x +++-+)](21[)()(W )1()3(313131X X X a X X a X +-=-=56.9297.1-15.0-84.0-50.012.2-x 28.2654321++=x x x x x)](21[)()(W )2()3(323232X X X a X X a X +-=-==332.0879.5-43.0-53.4-19.153.3-x 90.5654321++x x x x x 从而：）（X W ij ==+ 4.1.4 对已知样本的回判：将题目中表格中个数据代入上述方程组中可得：从上表中可知判对率为100%。
4.1.5 对待测样本进行判断，通过EXcel 表格计算的下表从表格中可以看出待判样本1属于第3组，待判样本2属于第1组，带判样本3属于第3.62 -1.42 0.69 -3.69 -0.28 -3.83-2.28 2.12-0.50 0.84 0.15 1.97 -3.62 1.42 -0.69 3.69 0.28 3.83 -5.90 3.53 -1.19 4.53 0.43 5.79 2.28 -2.12 0.50 -0.84 -0.15 -1.97 5.90 -3.53 1.19 -4.53 -0.43 -5.79 654321X X X X X X239.52-92.56 -239.52 -332.08 92.56 332.082组，带判样本4属于第3组。
4.2距离判别法在居民生活水平方面的应用数据来源及说明：本例的数据来源于国家统计局网站，选择了全国20省市进行分析，数据为我国2010年城镇生活的6项重要指标，包括食品，衣着，燃料，住房及生活用品和文化生活。
由于数据未进行分类，故先对其进行聚类分析，我们选择前21个省市利用spss 进行K-均值聚类分析，为后面计算方便，将其分成3类，结果如下：建立表格如下：本例中变两个数为p=6；第一类有9个样本，第二类有8个样本，第三类有4个样本，即n1=9,n2=8,n3=4;4.2.1 三类地区个变量的均值：1X =（107.75 21.16 8.64 12.49 16.82 3.80）＇； 2X =（142.98 24.30 14.45 17.04 20.41 5.13)＇； 3X =(141.66 33.19 13.30 38.12 35.90 4.07)＇； 4.2.2 计算样本协差阵：=∑^=∑-^14.2.3 求判别函数：=ij W4.2.4对已知样本进行回判：根据判别准则，并计算可的下表从上表中可知回判率为100%；故可对带判样本进行判别分析。
4.2.5对待判样本进行判别归类，计算结果如下从表中可以看出新疆属于第一组，湖南和黑龙江属于第二组，江苏属于第三组。
4.3判别分析软件的使用从上面的两个例子中可发现，对于3个样本的距离判别分析计算量很大，如果对于更多的样本的情况，计算将非常复杂，下面我们以例二为例简单介绍使用spss 进行一般判别分析4.3.1将数据输入spss数据视图中。
4.3.2一般判别分析spss操作选择菜单分析→分类→判别，出现下图（1），本例中将类别选入分组变量中，并定义其变量范围为1到3（下图（2）），将食品，衣着等其他变量选入自变量中，再按需要选择其他统计量和分类等，本题中这些选项选择默认，在单击保存，并勾选预测组成员（下图（3））.（1）（2）（3）单击确认就可得到本题的结果。
4.3.3结果分析：我们可以从数据视图中看到分类的结果：（即表格中最后一列）Wilks的Lambda检验结果可以用于检验各个判别函数有无统计学上的显著意义，由于本例中两个sig均小于0.05，说明判别函数的作用都是显著的。
从结果中还可以得到标准化函数的系数。
如下表所示其余的结果在这里不再详述，有兴趣的读者可以参阅《spss统计分析与数据挖掘》(谢龙汉尚涛)。
五、参考文献[1] 王静龙，梁小筠定性数据统计分析北京：中国统计出版社，2008.7[2] 任雪松，于秀林多元统计分析北京：中国统计出版社，2010.12[3] 谢龙汉，尚涛spss统计分析与数据挖掘北京：电子工业出版社，2012.1[4] 袁志发多元统计分析北京：科学出版社，2009.7[5] 朱建平应用多元统计分析北京：科学出版社，2012.6六、附录6.1均值计算如下表：S的计算计算：6.2i6.3系数矩阵a以及常数b求解的matlab程序：clear,clcA1=[-3.782 -4.46 -0.38 -4.376 -4.868 1.84;-4.882 -5.56 -0.42 -5.476 -5.978 2.24;-5.682 -2.66 -0.46 -3.276 -2.758 1.34;2.228 1.55 -0.07 1.634 1.142 -1.26;12.118 11.13 1.33 11.494 12.462 -4.16]';S1=A1*A1';A2=[-6.296 -5.256 -1.758 -4.93 8.986 -0.65;-7.316 -7.276 -1.878 -7.13 -26.324 2.65;1.614 -1.416 -0.618 5.01 21.036 -0.2;13.504 14.244 1.122 7.04 1.006 -2.55;-1.506 -0.296 3.132 0.01 -4.704 0.75]';S2=A2*A2';A3=[-4.47 -4.708 -0.614 -5.132 -3.846 2.08;-6.39 -7.098 -0.594 -7.192 -8.796 3.38;5.62 5.002 0.396 4.818 9.174 -2.62;15.67 14.912 1.426 14.818 16.194 -3.72;-10.43 -8.108 -0.614 -7.312 -12.726 0.88]';S3=A3*A3';S=S1+S2+S3;X1=(1/12)*S; %协方差X=inv(X1) ; %协方差的逆X1=[37.942 11.9 1.5 12.246 100.058 67.46]'; %X1的均值; X2=[39.536 11.496 2.938 27.83 151.024 66.05]'; %X2的均值; X3=[38.5 10.118 0.684 10.332 93.946 67.42]'; %X3的均值;a12=X*(X1-X2);b1=a12'*(-0.5*(X1+X2));a13=X*(X1-X3);b2=a13'*(-0.5*(X1+X3));a21=X*(X2-X1);b3=a21'*(-0.5*(X2+X1));a23=X*(X2-X3);b4=a23'*(-0.5*(X2+X3));a31=X*(X3-X1);b5=a31'*(-0.5*(X3+X1));a32=X*(X3-X2);b6=a32'*(-0.5*(X3+X2));A=[a12';a13';a21';a23';a31';a32'] %系数矩阵Ab=[b1;b2;b3;b4;b5;b6] %常数矩阵bF=[50.22 6.66 1.08 22.54 170.6 65.2;34.64 7.33 1.11 7.78 95.16 69.3; 33.42 6.22 1.12 22.95 160.31 68.3; 44.02 15.36 1.07 16.45 105.3 64.2;]'; B=[b b b b];W=A*F+B。