多元统计分析期末复习

第一章：

多元统计分析研究的内容（5点）

1、简化数据结构（主成分分析）

2、分类与判别（聚类分析、判别分析）

3、变量间的相互关系（典型相关分析、多元回归分析）

4、多维数据的统计推断

5、多元统计分析的理论基础

第二三章：

二、多维随机变量的数字特征

1、随机向量的数字特征

随机向量X 均值向量：

随机向量X 与Y 的协方差矩阵：

当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。

随机向量X 与Y 的相关系数矩阵：

)',...,,(),,,(2121P p EX EX EX EX μμμ='=Λ)')((),cov(EY Y EX X E Y X --=q p ij r Y X ⨯=)(),(ρ

2、均值向量协方差矩阵的性质

(1).设X ，Y 为随机向量，A ，B 为常数矩阵

E （AX ）=AE （X ）；

E （AXB ）=AE （X ）B;

D(AX)=AD(X)A ’;

Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质

(1).若 ,则E(X)= ,D(X)= .

特别地，当 为对角阵时， 相互独立。

(2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立．

(4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ

(3) ,Ｖ分别是 和 的最大似然估计；

(4)估计的性质

是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ；

Ｓ～ ， 与Ｓ相互独立；

第五章 聚类分析：

一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）......

Q-型聚类分析（样品）R-型聚类分析（变量）

变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。

二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点）

1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。

2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。

3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的变),(~∑μP N X μ∑μ

p X X X ,,,21Λ),(~∑μP N X )

,('A A d A N s ∑+μ)()1(,,

n X X ΛX )',,,(21p X X X Λ)')(()()(1X X X X i i n i --∑=n 1

X

μ∑μX )1,(~∑n N X P μ),1(∑-n W p X

X

量之间的比较。

4、对数变换：对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。它将具有指数特征的数据结构变换为线性数据结构。

三、样品间相近性的度量

研究样品或变量的亲疏程度的数量指标有两种：距离，它是将每一个样品看作p 维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类；相似系数，性质越接近的变量或样品，它们的相似系数越接近于1或一l ，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类。 样品之间的聚类即Q 型聚类分析，则常用距离（统计量）来测度样品之间的亲疏程度；而变量之间的聚类即R 型聚类分析，常用相似系数（统计量）来测度变量之间的亲疏程度。 １、距离的算法：明氏距离 兰氏距离 斜交空间距离 马氏距离

２、相似系数的算法：夹角余弦 相似系数

３、样品分类和指标分类：对样品分类常用距离，对指标分类常用相似系数

４、明氏（Minkowski ）距离的两个缺点：①明氏距离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。②明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合．

５、相似系数：通常所说相关系数，一般指变量间的相关系数，作为刻划样品间的相似关系也可类似给出定义，即第i 个样品与第j 个样品之间的相似系数定义为：

实际上，就是两个向量中心化后的夹角余弦

６、距离和相似系数选择的原则：(1)所选择的亲疏测度指标在实际应用中应有明确的意义。

（2）亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要采用的聚类分析方法。（3）适当地考虑计算工作量的大小。

练习：1．聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的___进行科学的分类.

2．Q 型聚类法是按___进行聚类，R 型聚类法是按 ___进行聚类。

3．Q 型聚类统计量是___，而R 型聚类统计量通常 采用___。

4．在聚类分析中需要对原始数据进行无量纲化处理，以消除不同量纲或数量级的影响，达到数据间可同度量的目的。常用的无量纲化方法有以下几种：___、____、___。

5．Q 型聚类方法有___、___、___、___等。

第六章 判别分析：

1.四种判别方法：距离判别法、费歇判别法、贝叶斯判别法、逐步判别法。

2.贝叶斯Bayes 判别法：距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失；Fisher 判别法随着总体个数的增加，建立的判别式也增加，计算量加大，如果考虑各总体的重要性，问题会突出而简单许多。

既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes 判别就具有这些优点，其判别效果更加理想，应用也更广泛。

基本思想：总是假定对所研究的对象已有一定的认识，常用先验分布来认识它，然后，∑∑∑===----=p k p k j jk i ik p k j jk i ik ij x x x x x x x x 11221])(][)([))((γ