第二章 多元正态分布及参数的估计
厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计
思考与练习2.1 试述多元联合分布和边缘分布之间的关系。
2.2 设随机向量12(,)X X ′=X 服从二元正态分布，写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。
2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为：()()()()()()()()()121122222,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦=−−其中，。
求：12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。
⑵ 随机变量1X 和2X 的协方差和相关系数。
⑶ 判断1X 和2X 是否相互独立。
2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布，已知其协差阵为对角阵，证明ΣX 的分量是相互独立的随机变量。
2.5 从某企业全部职工中随机抽取一个容量为6的样本，该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示： 职工编号目前工资 （美元）受教育年限（年）初始工资 （美元）工作经验（月）11 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26设职工总体的以上变量服从多元正态分布，根据样本资料求出均值向量和协差阵的最大似然估计。
2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质？ 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1~(,p N nX μΣ)。
2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。
2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本，试求样本协差阵的分布。
第2章多元正态分布的参数估计
第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型，在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中，我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中，我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先，我们需要收集一个包含n个样本的数据集，其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn]，其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为：μ̂ = (1/n) * Σxi其中，μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为：Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中，Σ̂是协方差矩阵的估计值。
这里需要注意的是，协方差矩阵是一个对称正定矩阵，因此需要对估计值进行修正，以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后，我们还可以计算估计值的标准误差（standard error），以衡量估计值的可靠性。
在多元正态分布的参数估计中，均值向量估计值的标准误差为：SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为：SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中，Σi î表示协方差矩阵估计值的第i个对角元素，Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中，还需要考虑到样本量的大小。
当样本量较大时，参数估计的精度会提高；而当样本量较小时，参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
第二章多元正态分布的参数估计
就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
应用多元统计分析课后习题答案高惠璇(第二章部分习题解答
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
注意:由D(X)≥0,可知 (Σ1-Σ2) ≥0.
8
第二章 多元正态分布及参数的估计
2-11 已知X=(X1,X2)′的密度函数为
f
( x1 ,
x2 )
1
2
exp
1 2
(2 x12
x22
2 x1 x2
22 x1
14 x2
65)
试求X的均值和协方差阵.
解一:求边缘分布及Cov(X1,X2)=σ12
应用多元统计分析
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
应用多元统计分析 第二章正态分布的参数估计答案
练习二 多元正态分布的参数估计2.1.试叙述多元联合分布和边际分布之间的关系。
解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布，其概率密度函数的维数小于p 。
2.2设二维随机向量12()X X '服从二元正态分布，写出其联合分布。
解：设12()X X '的均值向量为()12μμ'=μ，协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭，则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。
2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤，2c x d ≤≤。
求（1）随机变量1X 和2X 的边缘密度函数、均值和方差； （2）随机变量1X 和2X 的协方差和相关系数； （3）判断1X 和2X 是否相互独立。
（1）解：随机变量1X 和2X 的边缘密度函数、均值和方差；112121222[()()()()2()()]()()()d x cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()dd c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰ 121222202()()2[()2()]()()()()dd c c d c x a x b a t x a t dt b a d c b a d c ------=+----⎰ 2212122222()()[()2()]1()()()()d cdc d c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布，则均值为2b a+，方差为()212b a -。
多元正态分布及参数估计
2019/11/6
应用统计方法
22
2、性质 1） 设为常数，则 E (a X )a(E X )； 2）设 A,B,C 分别为常数矩阵，则
E ( A C X ) A E ( X B ) B C
3）设 X 1,X 2, ,X n为 n个同阶矩阵，则
E ( X 1 X 2 X n ) E X 1 E X 2 E X n
对一切 x、y成立，则称 x和 y相互独立。
2、设 x和 y是两个连续随机向量， x和 y相互
独立，当且仅当
f(x|y)fx(x)或 F (x ,y ) F x(x )F y(y )
对一切
2019/11/6
x
、y
成立。 应用统计方法
19
3、设 x1,x2, ,xn是 n个随机向量，若
F ( x 1 , x 2 , , x m ) F 1 ( x 1 ) F 2 ( x 2 ) F m ( x m ) mn
2019/11/6
应用统计方法
23
二、协方差矩阵
1、定义：设 x (x 1 ,x2, ,xp)和 y (y 1 ,y2, ,y q)分 别为 p维和 q维随机向量，则其协方差矩阵为
Exx2 1 E E ((xx1 2))y1E(y1)
y2E(y2) yqE(yq)
降的右连续函数；
2019/11/6
应用统计方法
4
② 分布函数的取值范围为[0，1]，即
0F(a1,a2, ,ap)1
③ 分布函数当变量取值为无穷大时，函数值收敛到1，即
F(,, ,)1
2019/11/6
应用统计方法
5
二、两个常用的离散多元分布
厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计
•
设 X ~ F ( x)F (x1, x2 , , xp ) ， 若 存 在 一 个 非 负 函 数
f (x1, x2 ,, x p ) ， 使 得 对 一 切 x (x1, x2, , xp ) Rp 有
x1
xp
F(x)F(x1, x2, , xp )
f (t1,t2, ,t p )dt1 dt p （2.3）
矩阵。
• 定义 2.7 设 X ( X1, X 2 , , X p ) ，Y (Y1,Y2 , ,Yp ) ， 称 D( X )E( X E( X ))( X E( X ))
Cov( X1, X1) Cov( X 2, X1)
Cov( X p , X1)
Cov( X1, X 2 ) Cov( X 2, X 2 )
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
•
Cov( X p ,Y1) Cov( X p ,Y2 )
当 X = Y 时，即为 D( X ) 。
Cov( X1,Yp )
应用多元统计分析课后习题答案高惠璇第二章部分习题解答
22 14
12
2 2
22
2 1
21 212
65
2
4211
22 22
22 14
12
4 3
13
第二章 多元正态分布及参数的估计
故X=(X1,X2)′为二元正态随机向量.且
E(
X
)
4 3
,
D(
X
)
1 1
21
解三:两次配方法
(1)第一次配方: 2x12 2x1x2 x22 (x1 x2 )2 x12
2
]
g( y1, y2 )
设函数 g( y1, y2 ) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
Y
YY12
~
N2
7 4
,
I2
(4) 由于
X
X X
1 2
0 1
11
Y1 Y2
CY
0 1
11 74
34
,
0 1
11
I
2
0 1
11
1 1
2 2
X 2 ~ N (3,2).
10
第二章 多元正态分布及参数的估计
12 Cov( X1, X 2 ) E[( X1 E( X1))( X 2 E( X 2 )]
E[( X1 4)( X 2 3)]
(x1 4)(x2 3) f (x1, x2 )dx1dx2
令uu21
x1 x2
19
第二章 多元正态分布及参数的估计
2-17 设X～Np(μ,Σ),Σ＞0,X的密度函数记为 f(x;μ,Σ).(1)任给a＞0,试证明概率密度等高面
第2章多元正态分布参数估计
第2章多元正态分布参数估计多元正态分布是多元随机变量的一种常见模型。
在实际问题中，我们常常需要通过已有的数据对多元正态分布的参数进行估计，便于进行后续的统计分析和预测。
多元正态分布的参数估计主要包括均值向量和协方差矩阵的估计。
对于均值向量的估计，最简单的方法是直接计算样本均值。
假设我们有一个包含n个样本的数据集，其中每个样本有d个维度的观测值，我们可以将样本数据表示为一个n×d的矩阵X。
则样本均值向量的估计值μ可以通过以下公式得到：μ = (1/n) * Σxi其中，xi表示第i个样本观测值。
对于协方差矩阵的估计，最常用的方法是样本协方差矩阵的估计。
样本协方差矩阵S的估计值可以通过以下公式得到：S = (1/n) * Σ(xi - μ)(xi - μ)T其中，T表示矩阵的转置。
需要注意的是，样本协方差矩阵的估计是基于样本的二阶矩估计，因此在数据量较小的情况下，估计结果可能存在偏差。
为了减小估计结果的偏差，可以使用修正样本协方差矩阵的估计。
修正样本协方差矩阵的估计值可以通过以下公式得到：S = ((n-1)/n) * Σ(xi - μ)(xi - μ)T其中，n-1是修正系数。
除了样本协方差矩阵，也可以使用样本相关系数矩阵来估计多元正态分布的协方差矩阵。
样本相关系数矩阵R的估计值可以通过以下公式得到：rij = sij / (si * sj)其中，sij表示样本协方差矩阵的元素，si和sj分别表示样本标准差。
需要注意的是，当样本量较小或者存在样本相关系数为1的情况时，样本相关系数矩阵的估计结果可能不可靠，此时推荐使用样本协方差矩阵来估计。
在实际问题中，参数估计是多元正态分布分析的重要步骤。
通过对样本数据进行参数估计，我们可以对多元正态分布的均值和协方差矩阵有一个初步的认识，从而便于进行后续的模型建立、参数推断和预测。
同时，合理的参数估计方法也有助于提高分析结果的精度和可靠性。
总之，多元正态分布参数估计是一个对多元随机变量的观测数据进行统计分析的重要任务。
第二章多元正态分布的参数估计
第二章多元正态分布的参数估计多元正态分布是在多个随机变量之间存在相互依赖关系时使用的一种概率分布。
它在许多统计分析和机器学习领域中都有广泛的应用。
在实际应用中，我们通常需要使用样本数据对多元正态分布的参数进行估计。
多元正态分布由均值向量和协方差矩阵两个参数来描述。
均值向量表示各个随机变量的平均值，而协方差矩阵表示各个随机变量之间的协方差。
参数估计的目标就是通过样本数据来估计这两个参数。
首先，我们需要收集一个具有充分样本量的数据集。
对于一个具有n个样本的多元正态分布，我们可以将样本数据表示为一个n行d列的矩阵X，其中每一行是一个d维的样本向量。
其中n表示样本数量，d表示随机变量的个数。
接下来，我们可以根据样本数据来估计多元正态分布的均值向量和协方差矩阵。
1.均值向量的估计：多元正态分布的均值向量可以通过样本均值向量来估计。
样本均值向量的计算公式如下：μ = (1/n) * Σxi其中μ是估计得到的均值向量，xi表示样本矩阵X的第i行。
2.协方差矩阵的估计：多元正态分布的协方差矩阵可以通过样本协方差矩阵来估计。
Σ=(1/(n-1))*(X-μ)'*(X-μ)其中Σ是估计得到的协方差矩阵，X是样本矩阵，μ是估计得到的均值向量。
需要注意的是，在计算协方差矩阵时，我们使用的是样本协方差矩阵而不是总体协方差矩阵。
这是因为样本协方差矩阵能更好地反映样本数据的真实情况。
以上就是多元正态分布的参数估计方法。
通过样本数据，我们可以使用样本均值向量和样本协方差矩阵来估计多元正态分布的参数。
这些参数估计能为我们提供关于多元正态分布的统计属性和特征，进而用于进一步的分析和应用。
应用多元统计分析课后习题解答详解北大高惠璇(第二章部分习题解答)
2 2
X 2 ~ N (3,2).
10
第二章 多元正态分布及参数的估计
12 Cov( X1, X 2 ) E[( X1 E( X1))( X 2 E( X 2 )]
E[( X1 4)( X 2 3)]
(x1 4)(x2 3) f (x1, x2 )dx1dx2
令uu21
x1 x2
X
X X
(1) (2)
~
N2 p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
(1) 试证明X(1) +X(2)和X(1) -X(2) 相互独立.
(2) 试求X(1) +X(2) 和X(1) -X(2) 的分布.
解 :(1) 令
Y
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
4
第二章 多元正态分布及参数的估计
(2) 因
Y
X1 X1
应用多元统计分析课后习题答案高惠璇第二章部分习题解答
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
22 14
12
2 2
22
2 1
21 212
65
2
4211
22 22
22 14
12
4 3
13
第二章 多元正态分布及参数的估计
故X=(X1,X2)′为二元正态随机向量.且
E(
X
)
4 3
,
D(
X
)
1 1
21
解三:两次配方法
(1)第一次配方: 2x12 2x1x2 x22 (x1 x2 )2 x12
X
X X
(1) (2)
~
N2 p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
(1) 试证明X(1) +X(2)和X(1) -X(2) 相互独立.
(2) 试求X(1) +X(2) 和X(1) -X(2) 的分布.
解 :(1) 令
Y
x22
2x1x2
22x1
14x2
65)
1 2 1 2
1
2
exp
1
212
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答).ppt
1
11
2 1
1
11
0
故X1 +X2 和X1 - X2相互独立.
3
第二章 多元正态分布及参数的估计
或者记
Y
Y1 Y2
X1 X1
X2 X2
11
11
X1 X2
CX
则 Y ~ N2 (C,CC)
因ΣY
CC
11
11
2
1
1
11
11
2
11
1111
11
2
2(1 0
)
0 2(1
)
由定理2.3.1可知X1 +X2 和X1 - X2相互独立.
y12
1b2
y22
2b2
y
2 p
pb2
1
故概率密度等高面 f(x;μ,Σ)= a是一个椭球面.
(2)当p=2且
2
1
1
(ρ>0)时,
| | 4 (1 2 ).
由
| I p
|
2 2
2 2
( 2
)2
42
( 2 2)( 2 2) 0
可得Σ的特征值 1 2 (1 ), 2 2 (1 ).
X1
1
18
第二章 多元正态分布及参数的估计
P{Y 0} P{X1 1或X1 1} P{X1 1} P{X1 1} (X1 ~ N(0,1)) 2(1) 0.3174 0
若(X1 , X2 ) 是二元正态分布,则由性质4可知,
它的任意线性组合必为一元正态. 但Y= X1-X2 不是正态分布,故(X1 , X2 ) 不是二元正态分布.
f (x; , ) a
a0 (2 ) p/ 2 |
第二章 多元正态分布及参数的估计
第二章多元正态分布及参数的估计在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.目录§2.1 随机向量§2.2 多元正态分布的定义与基本性质§2.3 条件分布和独立性§2.4 多元正态分布的参数估计§2.1 随机向量本课程所讨论的是多变量总体.把p个随机变量放在一起得X=(X1,X2,…,Xp)′为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为p维数据.常把n个样品排成一个n×p矩阵,称为样本资料阵.⎪⎪⎪⎪⎭⎫⎝⎛'''=⎪⎪⎪⎪⎭⎫ ⎝⎛=)()2()1(212222111211n np n n p p X X X x x x x x x x x x X def=(X 1,X 2,…,X p )其中 X(i)( i =1,…,n)是来自p 维总体的一个样品.在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X 的均值向量,X 的协差阵和相关阵,X 与Y 的协差阵)要求大家自已复习.三﹑ 均值向量和协方差阵的性质 (1) 设X ,Y 为随机向量,A ,B 为常数阵,则E(AX )=A·E(X )，E(AXB )=A·E(X )·BD(AX)=A·D(X)·A' COV(AX,BY)=A·COV(X,Y)·B'(2) 若X,Y 相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X 与Y 不相关.故有: 两随机向量若相互独立,则必不相关;两随机向量若不相关,则未必相互独立.(3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=∑是对称非负定阵.即 ∑=∑´ , α´ ∑α≥0 (α为任给的p 维常量).(4) Σ=L 2 ,其中L 为非负定阵.由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵Γ,使LL pp•=Γ⎪⎪⎪⎭⎫⎝⎛Γ•Γ⎪⎪⎪⎭⎫⎝⎛Γ=∑'0'0011λλλλ.0,1≥'=Γ'⎪⎪⎪⎭⎫⎝⎛Γ=L L L OOL p故，其中λλ当矩阵Σ>0(正定)时，矩阵L 也称为Σ的平方根矩阵，记为21∑.当矩阵Σ>0(正定)时,必有p ×p 非退化矩阵A 使得 Σ=AA ′.1⎪⎪⎪⎭⎫⎝⎛Γ=pOOA λλ其中若Σ≥0(非负定),必有p ×q矩阵1A 使得Σ=11A A ′).(111p q OOA q≤⎪⎪⎪⎭⎫⎝⎛Γ=λλ其中这里记Γ=(Γ1 | Γ2) , Γ1为p ×q 列正交阵(p ≥ q ).并设：.0,,0),,,1(01===>+p q i q i λλλ§2.2 多元正态分布的定义在一元统计中，若U ～N(0,1),则U 的任意线性变换X=σU +μ～N(μ,2σ)。
2 多元正态分布的参数估计
第二章多元正态分布的参数估计实验目的：熟练应用计算机软件进行均值向量、协差阵的估计，提高计算机分析应用能力。
频数分析SPSS操作方法1. 选择菜单Analyze→Descriptive Statistics→Frequencies，打开Frequencies 对话框，如图2-1。
将欲进行频数分析的变量a1移入Variable列表框中。
Display frequency tables复选框询问是否输出频数分布表。
由于频数分析基本就是通过频数分布表来表现的，所以一般情况下都要选择这个选项。
图2-1 Frequencies对话框2. 单击Statistics按钮，调出Statistics子对话框，如图2-2，选择输出的描述性统计量。
该对话框包含以下选项：Percentile Values选项栏：输出各种百分位数。
该选项栏共有三个可选项。
其中，Quartiles输出四分位数；Cut points for n equal groups输出n分位数，n为用户定义的2-100之间的整数；Percentile可以有选择地输出百分位数，方法是在后面的输入框中输入2-100之间的整数，并点击Add按钮确认添加。
Central Tendency选项栏：输出各种集中趋势指标，包括算术平均数、中位数、众数和总和。
◆Dispersion选项栏：输出各种离散程度指标。
◆Distribution选项栏：输出峰度和偏度指标。
所以在本节中我们仅选择输出Descriptives命令的Options子对话框（图2-7）中所没有的分位数指标。
这里选择Quartiles，输出四分位数。
图2-2 Statistics子对话框2. 单击Charts按钮，打开Charts子对话框，设置生成的统计图，如图2-3。
对话框中有两个选项栏：◆Chart Type选项栏：设置生成统计图的类型。
共四个选项，None表示不生成任何统计图，Bar charts生成条形图，Pie charts生成饼图，Histograms生成直方图。
多元正态分布的参数估计
第一节 引言 第二节 基本概念 第三节 多元正态分布 第四节 多元正态分布的参数估计 第五节 多元正态分布参数估计的
实例与计算机实现
第一节 引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一 起组成的随机矩阵。例如在研究公司的运营情况时，要考虑 公司的获利能力、资金周转能力、竞争能力以及偿债能力等 财务指标；又如在研究国家财政收入时，税收收入、企业收 入、债务收入、国家能源交通重点建设基金收入、基本建设 贷款归还收入、国家预算调节基金收入、其他收入等都是需 要同时考察的指标。
5
ቤተ መጻሕፍቲ ባይዱ
变量 序号
1 2
表 2.1 数据
X1
X2
X 11
X 12
X 21
X 22
n
X n1
X n2
在这里横看表 2.1，记为
X ( ) ( X1, X 2 , , X p ) ， 1, 2, , n 表示第 个样品的观测值。竖看表 2.1，第 j 列
X j ( X1 j , X 2 j , , X nj ) ， j 1, 2, , p
k
型随机变量，称 P( X xk ) pk ，(k 1, 2, ) 为 X 的概率分 布。设 X ~ F(x) ，若存在一个非负函数 f (x) ，使得一切实数
x
x 有： F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，
简称为密度函数。
8
一个函数 f (x) 能作为某个随机变量 X 的分布密度函数的
显然，如果我们只研究一个指标或是将这些指标割裂开分别 研究，是不能从整体上把握研究问题的实质的，解决这些问 题就需要多元统计分析方法。为了更好的探讨这些问题，本 章我们首先论述有关随机向量的基本概念和性质。
第2章 多元正态分布的参数估计
布函数即边缘分布函数为：
F ( x1 , x2 , , xq ) P( X 1 x1 , , X q xq ) P( X 1 x1 , , X q xq , X q 1 , , X p ) F ( x1 , x2 , , xq , , , )
机向量的密度函数的主要条件是：
p （1）f ( x1 , x2 ,, x p ) 0， ( x1 , x2 ,, x p ) R ；
（2）
f ( x , x ,, x
1 2
p
)dx1 dxp 1
2016/2/24
19
【例2.1】 试证函数 e ( x x ) , f ( x1 , x 2 ) 0,
1 2
x1 0, x 2 0 其它
为随机向量 X ( X1, X 2 ) 的密度函数。
证：只要验证满足密度函数两个条件即可
（1）显然，当 x1 0, x2 0 时有 f ( x1 , x2 ) 0
（2）
2016/2/24
( x1 x2 ) e dx1dx2
当 X 有分布密度 f ( x1 , x2 ,, x p ) 时（联合分布密 度），则 X (1)也有分布密度，即边缘密度函数为 ：
f1 ( x1 , x2 ,, xq ) f ( x1 ,, x p )dxq1 ,, dxp
24
2016/2/24
例如：设随机变量X在1、2、3、4四个整数中等 可能地取值，另一个随机变量Y在1~X中等可能地 取一个整数值，则有边缘分布： X 1 Y 1
13,200 21,000 12,000
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
北大数学学院
第二章 多元正态分布及参数的估计
r p
由性质2可得：X
类似地
(1)
B1 X
d1
~
Nr ( (1) , 11).
取 B2 O I pr , p r维向量d2 0,则
( p-r) p
X (2) B2 X d2 ~ Npr ((2) , 22 ).
23
北大数学学院
第二章 多元正态分布及参数的估计
e2
du
2
eit
1 1(uit )2 1(it )2
e e du 2
2
2
exp[it 1 t 2 2 ] 1
1 (uit )2
e2
du
2
2
exp[it 1 t 2 2 ]
2
14
北大数学学院
第二章 多元正态分布及参数的估计
性质2 设X～Np(μ,Σ), B为s×p常数阵
，d为s×1常向量，令Z=BX+d,则
Z～Ns(Bμ+d , BΣB ).
该性质指出正态随机向量的任 意线性组合仍为正态分布.
19
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
证明 因Σ ≥0, Σ可分解为Σ=AA ,其中A 为p×q 矩阵.已知X～Np(μ,Σ),由定义 2.2.1可知
0 0 1
1 0 0
d=ef(X1,X2,…,Xp)
x1 x2
p p
def
X X
(1) (2)
xnp X (n)
其中 X(i)( i=1,…,n)是来自p维总体的一个样品 .
5
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵.
d
X = AU+μ
(d表示两边的随机向量服从相同的分布.)
其中U=(U1,…,Uq),且U1,…,Uq 相互独
立同 N(0，1)分布。 20
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质2
Z=BX+d d= B(AU+μ)+d = (BA)U+(Bμ+d)
由定义2.2.1可知
15
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
性质1的证明 ：
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为
ΦX(t)= E(eitX)= E(eit (AU+μ) )
exp( it ) E(eitAU ) 令t′A=s′=(s1,…sq) exp(it) E(ei(s1U1sqUq ) )
(2)
令
Y
X X X
2 3 1
0 0 1
1 0 0
0 1 0
X X X
1 2 3
BX,
由性质2知,Y为3维正态随机向量,且
0 1 0 2 0
y
Bx
0 1
0 0
10
0 0
02
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
11
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的第一种
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维
常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机
§2.2 多元正态分布的性质1
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
性质1 设U= (U1,…,Uq)′为随机向量,
U1, …,Uq 相互独立且同 N(0,1)分布；令
X=μ+AU,则X
X
(t )
exp[it
1 2
t AAt ].
这里t=(t1,…,tp), 故ΦX(t)为p元函数.
X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p 矩阵,称为样本资料阵.
4
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
X
x11 x21
x12 x22
xn1 xn2
§2.1 随 机 向
D(AX)=A·D(X)·A' COV(AX,BY)=A·COV(X,Y)·B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=
(t) E(eitX )
1
e e dx
itx
(
x) 2 2
2
2
u ( x ) /
1
eit
(u
)e
u2 2
du
2
13
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
eit
1
1[u2 2itu(it )2 (it )2 ]
i 0(i 1,, q), q1 0,, p 0.
10
北大数学学院
第二章 多元正态分布及参数的估计
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
exp(it
)
)
q
1
exp(
j 1
exp[
1 2
2
(s12
s
2 j
)
sq2
)]
exp(it 1 ss) exp(it 1 tAAt)
2
2
17
北大数学学院
第二章 多元正态分布及参数的估计
§2.2
记Σ=AA′，则有以下定义。
定义2.2.2 若p维随机向量X的特征函数
1
'
p
0
0
'
p
1
O
其中L
，L L,故L 0.
O
p
8
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随机向量—
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根 矩阵，记为Σ1/2 .
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得
exp(it) E(eis1U1 eisqUq )
16
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
(因U1 ,…, Uq相互独立,乘积的期望等于期望的乘积)
exp( it) E(eis1U1 ) E(eisqUq )
exp(it
X3
~
N
(
002 ,
1 1 0
1 2 0
003),
则有(1) X1 ~ N(2,1),