多元统计分析教案0

第一章 绪论1 多元统计分析的概念多元统计分析就是利用统计学和数学方法，将隐没在大规模原始数据群体中的重要信息集中提炼出来，简明扼要的把握系统的本质特征，分析数据系统中的内在规律性。

利用多元分析中不同的方法还可以对研究对象进行分类和简化。

多元分析是实现做定量分析的有效工具。

2 多元分析的起源和发展1）1928年，Wishart 发表《 多元正态总体样本协差阵的精确分布》,是多元统计分析的开端； 2）20世纪30年代多元分析在理论上得到迅速发展；3）20世纪40年代应用于心理、 教育 、生物等方面;但由于计算量太大,其发展受到影响; 4）50年代中期,由于电子计算机的出现和发展,使多元分析方法得到广泛应用; 5）60年代由于新理论、新方法不断涌现使多元分析方法的应用范围更加扩大;6） 多元统计在我国发展较晚,70年代初在我国才受到各个领域的极大关注,应用日益广泛。

3 多元分析能解决的实际问题多元分析在工业、农业、医学、经济学、教育学、体育科学、生态学、地质学、社会学、考古学、环境保护、军事科学、甚至文学中都有广泛应用，足见其应用的深度和广度。

4 多元分析课程讲授的主要内容本课程重点介绍多元分析中常用的六种方法： 聚类分析；判别分析；主成分分析；因子分析；对应分析；典型相关分析我们这门课重点在于应用,参考课本中的公式推导为次要内容,大致了解即可,对每一种分析方法我们要清楚掌握它解决哪类问题、前提条件和局限性,以及它们相互之间的区别与联系;会用SAS 、SPSS 等数学软件实现上述过程,对所研究的问题能做出合理推断和科学评价。

5 原始资料阵及其标准化1）原始资料阵：设有n 个样品，p 项指标（变量），组成矩阵11121212221212(,,,)p p p n n np x x x x x x X x x x x x x ⎛⎫⎪⎪'= ⎪ ⎪⎪⎝⎭， 2）第j 项指标均值11nj ij i x x n==∑，3）指标的协方差阵()ij p p S s ⨯=，其中11()()1nij i i j j s x x x x n ααα==---∑ 4）原始指标（变量）的标准化ijx x x *-=第二章 聚类分析1 什么是聚类分析 1.1 聚类分析的概念聚类分析又称群分析、点群分析,是定量研究样品或指标分类问题的一种多元统计方法。

其中类指相似元素的集合。

1.2 聚类分析的基本思想认为所研究的样品或指标之间存在着程度不同的相似性，根据一批样品的多个观测指标，找出能够度量样品或变量之间相似程度的统计量，并以此为依据，采用某种聚类法，将所有的样品或变量分别聚合到不同的类中，使同一类中的个体有较大的相似性，不同类中的个体差异较大。

2 距离与相似系数聚类分析的目的是将研究对象进行分类。

它是在事先不知类别的情况下对数据进行分类的分析方法。

分类的依据有两类：距离与相似系数。

2.1 变量的类型1）间隔尺度变量：连续量，如速度，重量等。

2）间隔尺度变量：等级，有次序关系，如一级品、二级品等。

3）间隔尺度变量：无等级也无数量关系，如性别，产品型号。

2.2 常用的距离有以下几种：1）明考夫斯基距离：11()[]qpq ij ik jk k d q x x ==-∑2）绝对距离：(1)ij d 3）欧氏距离：(2)ij d4）切比雪夫距离：1()max ij ik jk k pd x x ≤≤∞=-5）马氏距离：()ij d M =12(,,,)i i i ip x x x x '=，()ij p p S s ⨯=为协方差阵6）兰氏距离：1()p ik jk ij k ik jkx x d L x x =-=+∑2.3 常用的相似系数有以下几种：1）夹角余弦:(1)nij x x c =2）相关系数:()()(2)n ij x x x x c --=聚类分析根据所用方法不同可分为系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法等等；根据分类对象不同又分为对样品聚类（又称Q 型聚类分析）以及对变量进行聚类（又称R 型聚类分析）。

对前者聚类多用距离，而后者聚类时多用相似系数。

3 系统聚类法3.1 系统聚类法的基本思路就近原则:首先，将n 个样品看成n 类，定义各样品之间的距离（此时其亦为类间距离）；其次，按照某种原则将最接近的两类合并为一个新类，于是得到n-1类，定义并计算各类间距离，然后再从中找出最接近的两类合并成一个新类，重复以上步骤，直到全部样品合并成一类为止，将上述合并过程画成聚类谱系图，据此图可将全部样品分类。

3.2 八种系统聚类方法正如样品之间的距离可以有不同的定义方法一样，类与类之间的距离也有各种定义。

类与类之间用不同的方法定义距离，就产生了不同的系统聚类方法，系统聚类方法包括最短距离法﹑最长距离法﹑类平均法﹑重心法﹑WARD 法等八种不同的方法，但这些方法聚类的步骤是完全一样的。

当采用欧氏距离时，八种并类方法可归结为统一的递推公式。

设K G ,L G ,{,}M K L G G G =，J G1）最短距离法:,min KL ij i K j LD d ∈∈=；min{}.MJ KJ LJ D D D =2)最长距离法:,max KL ij i K j LD d ∈∈=；max{}.MJ KJ LJ D D D =3）类平均法：22,1,KL ij i K j LK LD d n n ∈∈=∑；222.K L MJ KJ LJ M Mn n D D D n n =+4）WARD 法（离差平方和）：2()(),K LKL K L K L Mn n D x x x x n '=--； 2222.J K J L J MJ KJ LJ KL J M J M J Mn n n n n D D D D n n n n n n ++=+-+++3.3 谱系图及利用谱系图进行分类根据谱系图确定分类个数的准则：Bemirmen 于1972年提出了应根据研究的目的来确定适当的分类方法，并提出了一些根据谱系图来分析的准则。

准则A ：各类重心之间的距离必须很大；准则B ：确定的类中，各类所包含的元素都不要太多； 准则C ：类的个数必须符合实用目的；准则D ：若采用几种不同的聚类方法处理，则在各自的聚类图中应发现相同的类。

应该指出，关于类的个数如何确定的问题，至今还没有一个合适的标准，也就是说对任何观测数据都没有唯一正确的分类方法。

3.4 分类个数的确定（2R 统计量法）总离差平方和:1()()njjj W x x x x ='=--∑,组内离差平方和:()()i i j i j ij G W x x x x ∈'=--∑，2R 统计量；211ki i R W W ==-∑，2(0,1)R ∈，2R 越大聚类效果越好。

当2R 在第1m +类时迅速下降时，确定为m 类。

第三章 判别分析1 什么是判别分析 1.1 判别分析的基本思想判别分析是用于判断个体所属类别的一种统计方法。

根据已知观测对象的分类和若干表明观测对象特征的变量值，建立判别函数和判别准则，并使其错判率最小，对于一个未知分类的样本，将所测指标代入判别方程，从而判断它来自哪个总体。

当然，这种准则在某种意义上是最优的，如错判概率最小或错判损失最小等。

其前提是总体均值有显著差异，否则错分率大，判别分析无意义。

1.2 判别分析与聚类分析的关系1.2.1区别判别分析是在研究对象分类已知的情况下，根据样本数据推导出一个或一组判别函数，同时指定一种判别准则，用于确定待判样品的所属类别，使错判率最小。

聚类分析预先不知道分类，它要解决的问题，正是对给定的未知分类的样品进行分类，它是一种纯统计技术，只要有多指标存在，就能根据各观测的变量值近似程度排序，只是描述性的统计，而判别分析能对未知分类观测判别分类，带有预测性质。

1.2.2 联系两者都是研究分类问题，两种方法往往联合起来使用。

样品聚类是进行判别分析之前的必要工作，根据样品聚类的结果进行判别分析。

2 距离判别法2.1 距离判别法的基本思想如果事先已有m 类的先验知识，将每一类视为一个总体，计算各样品与各总体之间的距离，将各样品分别归入与其距离最近的类。

2.2 两总体距离判别设有两个总体1G 、2G 、x 为一样品，定义x 到两总体的距离分别为1(,)d x G 和2(,)d x G判别准则为：11221212,(,)(,),(,)(,)(,)(,).x G d x G d x G x G d x G d x G d x G d x G ∈<⎧⎪∈>⎨⎪=⎩；；待判，判别准则的直观表述即样品离哪个总体最近，则判该样品属于哪个总体。

与上述准则等价的想法，就是算出样品到各总体间距离的差，根据差值来判断样品的归属。

2.3 多总体距离判别设有k 个总体（组）12,,,k G G G 、它们的均值12,,,k μμμ它们的协方差阵12,,,k ∑∑∑（均为正定），x 为一样品，x 到总体i G的距离(,)ij i d x G =.判别准则为：1,(,)min (,)l l i i kx G d x G d x G ≤≤∈=；分为协方差阵相同和协方差阵不同两种情况，它们的判别函数有差异，而判别准则无差异。

3 费歇判别法3.1 费歇判别法的基本思想从k 类总体中抽取具有p 个指标的样品的观测数据，i G 的原始资料阵111122221212i i i i i in i i in p p p i i in x x x x x x x x x ⎛⎫ ⎪ ⎪⎪ ⎪ ⎪⎝⎭，1,2,,i k =.其第j 个样品的观测值12(,,,),1,2,,,1,2,,.p ij ij ij ij i x x x x j n i k '===借助于方差分析的思想构造一个判别函数，即ij ij y a x '=，其中系数12(,,,)p a a a a '=，的确定原则是使两组间的区别达到最大，而使两组内部的离差达到最小。

组间离差平方和:2211()()k ki i i i i i SSTR n y y n a x a x a Ba =='''=-=-∑∑,1()()ki i i i B n x x x x ='=--∑，其中ix 和x 依次为i G 组内平均和总平均组内离差平方和:221111()()i i k n k nij i ij i i j i j SSE y y a x a x a Ea===='''=-=-∑∑∑∑，111(1),()()(1)ikn i i i ij i ij i i j i E n S S x x x x n =='=-=---∑∑选择a ，使()max SSTR a Baa SSE a Ea'∆==='，由代数知()a ∆的最大值，就是a 取1E B -的最大特征值所对应的特征向量.. 3.2 判别函数费歇准则下的线性判别函数1,pi i i y a x a x ='==∑其中12(,,,)p a a a a '=，12(,,,)p x x x x '=.的解应为方程()0i B E t λ-=1E B -的特征根120s λλλ≥≥≥>所对应的（单位）特征向量12,,,s t t t .min(1,)s k p ≤-，累计贡献率1,.(0.750.95).rp i i i i c c λλ=≥<<∑∑第一判别式11,y t x '=第二判别式22,y t x '=…….第r 判别式,r r y t x '= 3.3 判别准则22111,()min ()r rj j lj j ij j j i kx G y y y y ==≤≤∈-=-∑∑，其中11,in ij j i ij j iy t x x n ='==∑为第j 判别式在i G 的样本均值.21()rj lj j y y =-∑为y 到前r 判别式在i G 的样本均值12(,,,)i i i ir y y y y '=的（欧氏）距离平方.3.4 两个总体（组）12,G G 的判别1）判别函数112()p y x x S x -'=-，1212p S E n n =+-称为联合协方差阵。