数学实验和Matlab介绍.ppt

4.多元样本的相关概念
从多元总体中随机抽取n个个体。
X 1, X 2,, X n i.i.d. 简单随机样本
X a1
X a


X
a2

(a 1,2,, n) X1 X2 X p
X ap
观测矩阵（随机）
X11 X12 X1p X 1
i 1
X i1 X 1


n i 1

X
i
2


X2

X i1

X 1, Xi2

X 2 ,, X ip

X
p
Leabharlann Baidu


X
ip

X
p




2
X i1 X 1

n i 1

Xi2
ˆ X
ˆ
X
1S n 1
n
n i 1
X i
1
n

1
n


1
n
n i 1 n i 1
n i 1
X i1

X 1
X
i2



X
2


X
ip


X
p

n
多元统计分析简介
多元统计分析：通过对多个随机变量 观测数据的分析，来研究变量之间的 相互关系以及解释这些变量内在的变 化规律。
一元统计分析——一个随机变量的 统计规律
多元统计分析——多个随机变量之间的 相互依赖关系及内在统计规律性
多元统计分析应用：
经济学、工业、农业、医学、教育学、 生态学、地质学、社会学、考古学、环境 学、气象、文学等许多领域

S p p X i X X i X sij p p
i 1
ˆ和ˆ 的 估 计 量 有 如 下 性 质 ：
（1）E X ,即X是的 无 偏 估 计 ；
E 1 S n 1 ,即ˆ 不 是的 无 偏 估 计 ； n n
而E 1 S ， 即 1 S是的 无 偏 估 计 ；
设

12
a


1 2




2 1

1 2
1
2
2 2

1
1
则
1



2 1
(1
1
2
)

1
2
(1


2
)

1
1 2 (1 2 )

2 2
(1


2
)

f
(x1, x2 )
（2）协方差矩阵
设 X ( X1, X 2 ,, X p ),Y (Y1,Y2 ,,Yq ) 称
DX


EX

EX X

EX



11 12 1p

21


22

2p


ij
p p
p1 p2 pp
（样本资料阵） 多元分析的
X


X 21
X 22

X2
p



X 2


研究对象
X n1 X n2 X np X n
（1） 样本平均值
X11 X12 X1p X 1
X

X 21
X i X
X i X vij p p
（4） 样本相关阵

Rp p rij p p
非负定矩阵
其 中rij
vij

vii v jj
sij sii s jj
----样本相关系数
第二节 多元正态分布
1. 多元正态分布
若随机向量 1 2 p '
)
分布密度函数应满足的两个条件？
Def2:设 X ( X1, X 2,, X p ) 是p维随机向量，称由它 的q（q<p）个分量组成的子向量 X i (Xi1, Xi2,, Xiq ) 的
分布为X 的边缘分布，相对的把 X 的分布称为联合分布。
边缘分布函数和边缘分布密度可由联合分布和联合 密度确定。
多元统计分析主要内容：
1、多元正态总体的参数估计和假设检验 2、常用的处理多元数据的统计方法：
1）聚类分析 2）判别分析 3）主成分分析 4）因子分析 5）多重多元回归分析等等
第一章 多元统计中的基本概念
第一节 基本概念 第二节 多元正态分布 第三节 多元统计中的常用分布
第一节 基本概念
1.随机向量
为相关系数。
设标准离差阵为
则有
1 11
V2

0
0
pp


V
1 2
RV
1 2
,即R

V
1 2
1
V
1 2
1
称X和Y的协差阵为：
Cov( X

,Y )
EX

EX Y

EY
Cov( X1,Y1) Cov( X1,Y2 ) Cov( X1,Yq )
X 1
X
i2



X
2



X
p

n i1 X ip
（2） 样本离差阵
n

S p p X i X X i X sij p p
i 1
n

X i X X i X
n 1
n 1
(2) X , 1 S分 别 是，的 一 致(相 合)估 计 。
n 1
定 理 ： 设X和S分 别 是 正态 总 体N p , 的 样 本 均值 向 量
和离差阵，则
（1）X
~
N
p


,
1 n

；
(2)离 差 阵S可 以 表 示为 ：
n
S ZiZi i 1
为X的协差阵。 其中 ij Cov( X i , X j )
若X的协差阵存在，且每个分量的方差大于0，则称
随机变量X的相关阵为 R
rij
，其中
p p
rij
Cov X i , X j
VarXi Var X j

ij ;i, j 1,2,, p ii jj

X2
X i1

X1
Xi1 X 1 Xi2 X 2 2
Xi2 X 2


Xi1 X 1
X ip X p

Xi2

X 2 X ip

X
p

Xip X p Xi1 X 1 Xip X p Xi2 X 2 Xip X p Xip X p
样本均值和样本离差阵的矩阵表示：
X
p1

1 n
X
1n
S

X

In

1 n
1n1n
X
n

S pp X i X X i X
i 1
X X nX X
（3） 样本协差阵
Vpp


1
n
S

1 n
n i 1




2



EX p p

EXi xi f (x1, x2,, xp )dx1dx2 dxp
(i 1,2,, p)
均值向量具有如下性质：
(1)E(AX ) AE(X ); (2)E(AXB) AE(X )B; (3)E(AX BY) AE(X ) BE(Y )

1
2 1 2
1 2
exp{
2(1
1

2
)
[
(
x1


1
2 1
)2

2 ( x1
1)(x2 21 2
2)

(x2 2 )2
2
2 1
]}
2. 多元正态分布的常用性质
和的参数估计
设X 1, X 2,, X n来 自正 态 总 体N p (, )容 量为n的
1、Wishart分布
（1） Wishart分布由Wishart在1928年推导出来。
Def : 设X i X i1, X i2 ,, X ip ~ N p 0, ,i 1,2,, n,
其数学期望与协方差矩阵分别为： E a D
特
别
，
当a

0,0,,0,


I
时
p
，
称服 从 多 元 标 准 正 态 分 布。
特例1(一元正态分布) a ( 2 )
则
f (x)
1
2
exp[
(x )2 2 2
]
特例2 (二元正态分布)

Cov( X 2 ,Y1)


Cov( X 2 ,Y2 ) Cov( X 2 ,Yq )



Cov( X p ,Y1) Cov( X p ,Y2 ) Cov( X p ,Yq )
若CovX ,Y 0,则称X和Y不相关，由X和Y相互 独立可以推出CovX ,Y 0，即X和Y不相关；
分布密度函数∶ f (x) f (x1, x2 ,, xp )
x
满足
F(x) f ( y)dy
xp x1

F(x1, x2,, xp ) f ( y1, y2,, yp )dy1dy2 dyp

f
(x1,
x2
,,
xp
)


p
F(x1, x2,, xp x1x2 xp
但反过来一般不成立。
协差阵具有如下性质：（试证之）
(1)D( X ) 0;即X的协差阵非负定 (2)对常数向量a，有D( X a) D( X ) (3)D( AX ) AD( X ) A (4)Cov( AX , BY) ACov( X ,Y )B
3.多元总体
多元分析研究具有多个(如p个)属性(指标)的对象组成的 总体--多元总体。
Def1:将p个随机变量 X1, X 2,, X p 的整体称为p维随机 向量，记作 X ( X1, X 2 ,, X p ) 。
分布函数∶ F(x) P( X x)
F (x1, x2 ,, xp ) P( X1 x1, X 2 x2 ,, X p xp )
离散型：分布律 连续型：密度函数
从总体中任意抽出一个对象(总体单元)，其p个属性的值
为∶
X1
X


X
2

X p
X i 为一维随机变量 (i 1,2,, p)
X 为多维随机变量
(随机向量)
多元总体∶多维随机变量(随机向量)可能取值的全体。
多元分析的任务∶分析各变量之间的关系，推断总体的性质
简单样本，每个样品X i X i1, X i2,, X ip ,i 1.2,, n
样本资料阵为：
X11 X12 X1p
X


X
21
X 22

X2p


X n1 X n2 X np
则 用 极 大 似 然 法 求 出 和的 估 计 量 分 别 为 ：
Def3:若p个随机变量 X1, X 2,, X p 的联合分布等于 各自的边缘分布的乘积，则称 X1, X 2,, X p 是相互独立的。
2.随机向量的数字特征
（1）数学期望
其中，
X1
X


X2

X p
EX1 1
EX

EX2
其 中 ，Z1，Z2，，Zn1i.i.d.N p 0,
(3) X和S相 互 独 立；
分布？
第三节 多元统计中的常用分布
在一元统计中，卡方分布、t分布和F分布 在参数估计和假设检验中起着非常重要的作用。 在多元统计中，他们分别发展为Wishart分布、 Hotelling-T2分布和Wilks分布，在多元参数估 计和假设检验中占有非常重要的地位。
的分布密度函数为
f (x1, x2 ,, xp )
1
p
1
exp[
1 (x a)' 1(x a)] 2
(2 ) 2 | |2
其中 a a1 a2 ap ' ( i j ) p p 为对称正定矩阵，
则称 服从p维正态分布。记作： ~ N p a,


X 22

X2p




X 2


X n1 X n2 X np
样本平均值是n个 样本点的重心
X 1 n
X n 1 n
n

1
X i n
i 1


1
n i 1 n i 1
n
X i1