多元统计分析(何晓群 中国人民大学) 第一章

距离是印度统计学家马哈拉诺比斯（Mahalanobis
）于1936年引入的距离，称为“马氏距离”。
2021/1/28
23
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
下面先用一个一维的例子说明欧氏距离与马氏距离在概 率上的差异。
设有两个一维正态总体
G1
:
(1
,
2 1
)和G2
:
(2
,。22 ) 若有
个样本。
2021/1/28
6
目录 上页 下页 返回 结束
§1.1.1 随机向量
横看表1-1，记 X() (x1, x 2,, xp )' ， 1,2,n
它表示第 个样品的观测值。竖看表1-1,第 j 列的元素
X j (x1j , x2 j ,, xnj )' , j 1,2, p
表示对 j 第个变量 x j 的n次观测数值。下面为表1-1
§1.2 统计距离和马氏距离
欧氏距离
在多指标统计分析中,距离的概念十分重要,样品间的不 少特征都可用距离去描述。大部分多元方法是建立在简单 的距离概念基础上的。即平时人们熟悉的欧氏距离,或称
直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的
欧氏距离,依勾股定理有
d (0, p) (x12 x22 )1/2
密度 f 并称 X 为连续型随机向量。
一个p维变量的函数f(·)能作为 R P 中某个随机向量
的分布密度，当且仅当
(i) f (x) 0 x R p
(ii) f (x)dx 1 Rp 2021/1/28
10
目录 上页 下页 返回 结束
§1.1.3 多元变量的独立性
定义1.4：两个随机向量 X 和 Y 称为是相互独立的，若
P(X x, Y y) P(X x)P(Y y) (1.3)
对一切(X , Y )成立。若 F(x, y)为(X , Y )的联合分布函
数，G(x) 和 H(y)分别为X 和 Y 的分布函数，则 X 与 Y 独立
当且仅当 Ff(x(,xy,)y) G(gx()xH)(hy()y)
（1.4）
D(X 2 )
COV ( X 2 ,
X
P
)
COV ( X P , X1) COV ( X P , X 2 ) D(X P )
( ij )
(1.9)
称它为 p 维随机向量 X 的协方差阵，简称为 X 的协
方差阵。称cov( X , X )为 X 的广义方差，它是协差阵的行
列式之值。
2021/1/28
xn1 xn2
xnp
x(/n)
若无特别说明，本书所称向量均指列向量
定义1.1 设 x1, x2 , , x p为p个随机变量，由它们组成 的向量 (x1, x2, , x p ) 称为随机向量。
2021/1/28
8
目录 上页 下页 返回 结束
§1.1.2 分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。
• 许多随机向量确实遵从正态分布，或近 似遵从正态分布；
• 对于多元正态分布，已有一整套统计推 断方法，并且得到了许多完整的结果。
2021/1/28
3
目录 上页 下页 返回 结束
第一章 多元正态分布
多元正态分布是最常用的一种多元 概率分布。除此之外，还有多元对数正 态分布，多项式分布，多元超几何分布， 多元 分χ布2 、多元 分布 、多元指数 分布等。本章从多维变量及多元分布的 基本概念开始，着重介绍多元正态分布 的定义及一些重要性质。
一个样品，其值在A处，A点距离哪个总体近些呢？由
图1-2
2021/1/28
图1-2
24
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
由图1-2可看出,从绝对长度来看,A点距左面总体G1近些,
即A点到
比A点到
11
要“近一些”（这里用的是欧氏距离，比
较的是A点坐标与1 到2 值之差的绝对值），但从概率观点来
2021/1/28
16
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
在数据处理时，为了克服由于指标的量纲不同对统计分 析结果带来的影响，往往在使用某种统计分析方法之前，常 需将每个指标“标准化”，即做如下变换
X
j
X j E(X j ) (var X j )1/ 2
j 1, , p
13
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
3、随机向量X 和Y 的协差阵
设 X ( X1, X 2 ,, X n )' 和Y (Y1,Y2 ,,Yp )' 分别为 n 维和 p
维随机向量，它们之间的协方差阵定义为一个n p 矩
阵，其元素是 cov( X i ,Yj )，即 cov( X ,Y ) (cov( Xi ,Yj )), i 1,, n; j 1,, p (1.10) 若cov( X ,Y) 0，称X和Y是不相关的。
2021/1/28
4
目录 上页 下页 返回 结束
§1.1多元分布的基本概念
§1.1.1 随机向量 §1.1.2 分布函数与密度函数 §1.1.3 多元变量的独立性 §1.1.4 随机向量的数字特征
2021/1/28
5
目录 上页 下页 返回 结束
§1.1.1 随机向量
假定所讨论的是多个变量的总体，所研究的数
看，A点在1右侧约41 处，A点在 2 的左侧约3 2 处，若以标
准差的观点来衡量，A点离 2 比A点离 1 要“近一些”。显然，
后者是从概率角度上来考虑的，因而更为合理些，它是用坐标
差平方除以方差（或说乘以方差的倒数），从而化为无量纲数，
推广到多维就要乘以协方差阵∑的逆矩阵
，这1 就是马氏
距离的概念，以后将会看到，这一距离在多元分析中起着十分
变量
序号
…
1
x xnp 11
x12
…
x1 p
2
x21
x22
…
x2 p
n
xn1
xn2
…
xnp
2021/1/28
7
目录 上页 下页 返回 结束
§1.1.1 随机向量
• 因此,样本资料矩阵可用矩阵语言表示为:
x11 x12
X
x21
x22
x1p
x2
p
(x1,
x2
,
x(/1)
,
x
p
)
x(/ 2 )
定义1.2 设 X (x1, x2 , , x p )是以随机向量，它的多元分布 函数是
F(X ) F(x1, x2,, xp ) P(X1 x1,, X p xp ) 1.1
式中：
x (x1, x2, , xp ) RP，并记为X F。 多元分布函数的有关性质此处从略。
2021/1/28
X
(
X
1
,
X
2
,
,
X
p
)
于是
(1.12)
E(X ) 0
D(X ) corr(X) R
即标准化数据的协差阵正好是原指标的相关阵.
R 1 X/ X n 1
(1.13)
2021/1/28
17
目录 上页 下页 返回 结束021/1/28
18
目录 上页 下页 返回 结束
2021/1/28
21
目录 上页 下页 返回 结束
x2
§1.2 统计距离和马氏距离
这时
AB 52 102 125 CD 102 12 101
显然AB比CD要长。
现在，如果 x2用mm作单位，x1 单位保持不变，
此时A坐标为（0，50），C坐标为（0，100），则
AB 502 102 2600 CD 1002 12 10001
结果CD反而比AB长！这显然是不够合理的。
2021/1/28
22
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
因此，有必要建立一种距离，这种距离要能够 体现各个变量在变差大小上的不同，以及有时存 在着的相关性，还要求距离与各变量所用的单位 无关。看来我们选择的距离要依赖于样本方差和 协方差。因此，采用“统计距离” 这个术语，以 区别通常习惯用的欧氏距离。最常用的一种统计
9
目录 上页 下页 返回 结束
§1.1.2 分布函数与密度函数
定义1.3：设 X ~ F(X ) = F (x1, x2 ,, x p ) ,若存在一个
非负的函数 f ,使得
F(x)
x1
xp
f (t1,t p )dt1 dt p ,
(1.2)
对一切x R p 成立，则称 X（或 FX ）有分布
据是同时观测 p个指标（即变量），又进行了 n 次
观测得到的，把这 p 个指标表示为 X1, X 2 ,, X p常 用向量
X ( X1, X 2,, X p )'
表示对同一个体观测的 p 个变量。若观测了 n
个个体，则可得到如下表1-1的数据，称每一个个
体的 p 个变量为一个样品，而全体 n个样品形成一
2021/1/28
(1.8)
12
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
2、随机向量X 自协方差阵
Σ COV (X, X) E(X EX)(X EX)/ D(X)
D(X1 )
COV ( X1, X 2 ) COV ( X1, X P )
COV
(
X
2