多元正态分布及参数的估计
第2章多元正态分布的参数估计
第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型，在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中，我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中，我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先，我们需要收集一个包含n个样本的数据集，其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn]，其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为：μ̂ = (1/n) * Σxi其中，μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为：Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中，Σ̂是协方差矩阵的估计值。
这里需要注意的是，协方差矩阵是一个对称正定矩阵，因此需要对估计值进行修正，以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后，我们还可以计算估计值的标准误差（standard error），以衡量估计值的可靠性。
在多元正态分布的参数估计中，均值向量估计值的标准误差为：SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为：SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中，Σi î表示协方差矩阵估计值的第i个对角元素，Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中，还需要考虑到样本量的大小。
当样本量较大时，参数估计的精度会提高；而当样本量较小时，参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
厦门大学应用多元统计分析第章多元正态分布的参数估计
F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，简称为
密度函数。一个函数 f (x) 能作为某个随机变量 X 的分布密度
函数的重要条件是：
（1） f (x) 0 ，对一切实数 x ；
（2） f (x)dx 1。
定义 2.2 设 X ( X1, X 2 ,
的多元分布函数定义为
别记为 μ 和 i ，即 μ (1, 2 , , p ) ，容易推得均值（向
量）具有以下性质：
（1） E(AX ) AE(X ) （2） E(AXB) AE(X )B （3） E(AX BY ) AE(X ) BE(Y ) 其中， X 、 Y 为随机向量， A 、 B 为大小适合运算的常数
表 2.1 数据
变量
X1
X2
Xp
序号
1
X 11
X 12
X1p
2
X 21
X 22
X 2p
n
X n1
X n2
X np
在这里横看表 2.1，记为
X ( ) ( X 1, X 2, ,X p )， 1 , 2 , n, 表示第 个样品的观测值。竖看表 2.1，第 j 列的元素
X j ( X1 j , X 2 j , , X nj ) ， j 1 , 2 , p,
其中
ij
Cov( Xi , X j ) ij D( Xi ) D( X j ) ii jj
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
Cov( X p ,Y1) Cov( X p ,Y2 )
第二章多元正态分布的参数估计
就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
多元正态分布参数估计与检验
则称随机向量 为X维正p态随机向量，
其中
称为均值向量， V为协方差矩阵(协差阵)，且
V0. 对于一般情形 V0, 仍可定义多维正
态随机向量， 记为 X～ Np(,V 。) 当 V0时，
X有前面的密度表示，而当
布是退化的正态分布。
时|V，|0 X的分
多元正态分布的性质：
（1） p维正态分布由其均值向量和协方差阵唯
即
～
H0
成立时， 1
时，
2
D 0 6 n 1 n 20 7(X Y )T V 0 8 1 (X Y )0 9 2 (p )1 0
n n 而当 不 1有偏2 大的趋
因此，对
给定的显著
当
H 成立时， 0
势。
D
性水平 ，
D n n 11 n n 22(X Y )T V 1 (X Y )1 2 (p )
体 Np(,V)的简单样本， 令
X
1n nk1
Xk
——样本均值向量
n
S (XkX)X (kX)T —样本离差阵
k1
定理18.1
态总体
的简单样本，
设 X 1 ,X 2 , ,X n ( n 是p ) 来自多元正
态总体 Np(,的V简)单样本，
且 V，0 则 X是
的极大似然估计，
1 S 是 V的极大似然估计。
体 Np(,V的) 简单样本，
其中 V已知。 考虑假设
检验问题
H 0 ： 0 ， H 1 ： 0
令 D n (X 0)T V 1(X 0),则可以证明当
H 0 成立时，即 时，0 D～ 2(p)
H0
D
01
0 2
03
04
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
应用多元统计分析课后习题答案高惠璇(第二章部分习题解答
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
注意:由D(X)≥0,可知 (Σ1-Σ2) ≥0.
8
第二章 多元正态分布及参数的估计
2-11 已知X=(X1,X2)′的密度函数为
f
( x1 ,
x2 )
1
2
exp
1 2
(2 x12
x22
2 x1 x2
22 x1
14 x2
65)
试求X的均值和协方差阵.
解一:求边缘分布及Cov(X1,X2)=σ12
应用多元统计分析
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
多元正态分布及参数估计
2019/11/6
应用统计方法
22
2、性质 1） 设为常数，则 E (a X )a(E X )； 2）设 A,B,C 分别为常数矩阵，则
E ( A C X ) A E ( X B ) B C
3）设 X 1,X 2, ,X n为 n个同阶矩阵，则
E ( X 1 X 2 X n ) E X 1 E X 2 E X n
对一切 x、y成立，则称 x和 y相互独立。
2、设 x和 y是两个连续随机向量， x和 y相互
独立，当且仅当
f(x|y)fx(x)或 F (x ,y ) F x(x )F y(y )
对一切
2019/11/6
x
、y
成立。 应用统计方法
19
3、设 x1,x2, ,xn是 n个随机向量，若
F ( x 1 , x 2 , , x m ) F 1 ( x 1 ) F 2 ( x 2 ) F m ( x m ) mn
2019/11/6
应用统计方法
23
二、协方差矩阵
1、定义：设 x (x 1 ,x2, ,xp)和 y (y 1 ,y2, ,y q)分 别为 p维和 q维随机向量，则其协方差矩阵为
Exx2 1 E E ((xx1 2))y1E(y1)
y2E(y2) yqE(yq)
降的右连续函数；
2019/11/6
应用统计方法
4
② 分布函数的取值范围为[0，1]，即
0F(a1,a2, ,ap)1
③ 分布函数当变量取值为无穷大时，函数值收敛到1，即
F(,, ,)1
2019/11/6
应用统计方法
5
二、两个常用的离散多元分布
多元正态分布的参数估计
多元正态分布的参数估计参数估计是根据观测到的随机样本，通过对概率模型的估计得到未知参数的估计值。
对于多元正态分布，参数估计的问题包括均值向量和协方差矩阵的估计。
对于多元正态分布的均值向量的估计，最简单的估计是样本均值向量，即将每个变量的样本观测值求平均。
记有n个样本观测，每个观测有p个变量，那么第j个变量的样本均值为：(1/n) * Σ(xij)，其中i=1到n，j=1到p其中xij表示第i个样本的第j个变量的观测值。
用样本均值向量估计多元正态分布的均值向量是一种无偏估计，即其期望等于真实均值向量。
对于多元正态分布的协方差矩阵的估计，可以使用样本协方差矩阵。
样本协方差矩阵是由各变量之间的样本协方差组成的矩阵。
第i行第j列的元素是第i个变量和第j个变量的样本协方差。
样本协方差的计算公式为：(1/(n-1)) * Σ((xi - μ)(xi - μ)T)其中xi表示第i个样本向量，μ表示均值向量，T表示转置。
样本协方差矩阵的估计是协方差矩阵的无偏估计。
然而，如果样本量较小的话，样本协方差矩阵可能不可逆，这会导致参数估计的困难。
为了克服这个问题，可以使用正则化方法，如Ledoit-Wolf估计方法或迹范数估计方法。
Ledoit-Wolf估计方法通过引入一个收缩系数对样本协方差矩阵进行正则化，并与单位矩阵进行加权平均。
这个收缩系数可以根据样本大小来选择，以平衡估计的方差和偏差。
迹范数估计方法通过对样本协方差矩阵的特征值进行调整，使其满足一定的迹范数条件。
迹范数是将矩阵的特征值求和得到的值，可以作为矩阵的一种度量。
除了样本均值向量和样本协方差矩阵，还有其他的参数估计方法，如极大似然估计、贝叶斯估计等。
这些方法可以根据不同的假设条件和观测数据来选择合适的参数估计方法。
在实际应用中，参数估计对于多元正态分布是非常重要的。
可以利用参数估计来推断各个变量之间的相关性和平均值，并进行统计推断、预测和建模分析。
因此，对参数估计的准确性和稳定性的研究是非常有价值的课题。
第2章多元正态分布参数估计
第2章多元正态分布参数估计多元正态分布是多元随机变量的一种常见模型。
在实际问题中，我们常常需要通过已有的数据对多元正态分布的参数进行估计，便于进行后续的统计分析和预测。
多元正态分布的参数估计主要包括均值向量和协方差矩阵的估计。
对于均值向量的估计，最简单的方法是直接计算样本均值。
假设我们有一个包含n个样本的数据集，其中每个样本有d个维度的观测值，我们可以将样本数据表示为一个n×d的矩阵X。
则样本均值向量的估计值μ可以通过以下公式得到：μ = (1/n) * Σxi其中，xi表示第i个样本观测值。
对于协方差矩阵的估计，最常用的方法是样本协方差矩阵的估计。
样本协方差矩阵S的估计值可以通过以下公式得到：S = (1/n) * Σ(xi - μ)(xi - μ)T其中，T表示矩阵的转置。
需要注意的是，样本协方差矩阵的估计是基于样本的二阶矩估计，因此在数据量较小的情况下，估计结果可能存在偏差。
为了减小估计结果的偏差，可以使用修正样本协方差矩阵的估计。
修正样本协方差矩阵的估计值可以通过以下公式得到：S = ((n-1)/n) * Σ(xi - μ)(xi - μ)T其中，n-1是修正系数。
除了样本协方差矩阵，也可以使用样本相关系数矩阵来估计多元正态分布的协方差矩阵。
样本相关系数矩阵R的估计值可以通过以下公式得到：rij = sij / (si * sj)其中，sij表示样本协方差矩阵的元素，si和sj分别表示样本标准差。
需要注意的是，当样本量较小或者存在样本相关系数为1的情况时，样本相关系数矩阵的估计结果可能不可靠，此时推荐使用样本协方差矩阵来估计。
在实际问题中，参数估计是多元正态分布分析的重要步骤。
通过对样本数据进行参数估计，我们可以对多元正态分布的均值和协方差矩阵有一个初步的认识，从而便于进行后续的模型建立、参数推断和预测。
同时，合理的参数估计方法也有助于提高分析结果的精度和可靠性。
总之，多元正态分布参数估计是一个对多元随机变量的观测数据进行统计分析的重要任务。
第二章多元正态分布的参数估计
第二章多元正态分布的参数估计多元正态分布是在多个随机变量之间存在相互依赖关系时使用的一种概率分布。
它在许多统计分析和机器学习领域中都有广泛的应用。
在实际应用中，我们通常需要使用样本数据对多元正态分布的参数进行估计。
多元正态分布由均值向量和协方差矩阵两个参数来描述。
均值向量表示各个随机变量的平均值，而协方差矩阵表示各个随机变量之间的协方差。
参数估计的目标就是通过样本数据来估计这两个参数。
首先，我们需要收集一个具有充分样本量的数据集。
对于一个具有n个样本的多元正态分布，我们可以将样本数据表示为一个n行d列的矩阵X，其中每一行是一个d维的样本向量。
其中n表示样本数量，d表示随机变量的个数。
接下来，我们可以根据样本数据来估计多元正态分布的均值向量和协方差矩阵。
1.均值向量的估计：多元正态分布的均值向量可以通过样本均值向量来估计。
样本均值向量的计算公式如下：μ = (1/n) * Σxi其中μ是估计得到的均值向量，xi表示样本矩阵X的第i行。
2.协方差矩阵的估计：多元正态分布的协方差矩阵可以通过样本协方差矩阵来估计。
Σ=(1/(n-1))*(X-μ)'*(X-μ)其中Σ是估计得到的协方差矩阵，X是样本矩阵，μ是估计得到的均值向量。
需要注意的是，在计算协方差矩阵时，我们使用的是样本协方差矩阵而不是总体协方差矩阵。
这是因为样本协方差矩阵能更好地反映样本数据的真实情况。
以上就是多元正态分布的参数估计方法。
通过样本数据，我们可以使用样本均值向量和样本协方差矩阵来估计多元正态分布的参数。
这些参数估计能为我们提供关于多元正态分布的统计属性和特征，进而用于进一步的分析和应用。
应用多元统计分析课后习题解答详解北大高惠璇(第二章部分习题解答)
2 2
X 2 ~ N (3,2).
10
第二章 多元正态分布及参数的估计
12 Cov( X1, X 2 ) E[( X1 E( X1))( X 2 E( X 2 )]
E[( X1 4)( X 2 3)]
(x1 4)(x2 3) f (x1, x2 )dx1dx2
令uu21
x1 x2
X
X X
(1) (2)
~
N2 p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
(1) 试证明X(1) +X(2)和X(1) -X(2) 相互独立.
(2) 试求X(1) +X(2) 和X(1) -X(2) 的分布.
解 :(1) 令
Y
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
4
第二章 多元正态分布及参数的估计
(2) 因
Y
X1 X1
第二章 多元正态分布及参数的估计
第二章多元正态分布及参数的估计在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.目录§2.1 随机向量§2.2 多元正态分布的定义与基本性质§2.3 条件分布和独立性§2.4 多元正态分布的参数估计§2.1 随机向量本课程所讨论的是多变量总体.把p个随机变量放在一起得X=(X1,X2,…,Xp)′为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为p维数据.常把n个样品排成一个n×p矩阵,称为样本资料阵.⎪⎪⎪⎪⎭⎫⎝⎛'''=⎪⎪⎪⎪⎭⎫ ⎝⎛=)()2()1(212222111211n np n n p p X X X x x x x x x x x x X def=(X 1,X 2,…,X p )其中 X(i)( i =1,…,n)是来自p 维总体的一个样品.在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X 的均值向量,X 的协差阵和相关阵,X 与Y 的协差阵)要求大家自已复习.三﹑ 均值向量和协方差阵的性质 (1) 设X ,Y 为随机向量,A ,B 为常数阵,则E(AX )=A·E(X )，E(AXB )=A·E(X )·BD(AX)=A·D(X)·A' COV(AX,BY)=A·COV(X,Y)·B'(2) 若X,Y 相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X 与Y 不相关.故有: 两随机向量若相互独立,则必不相关;两随机向量若不相关,则未必相互独立.(3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=∑是对称非负定阵.即 ∑=∑´ , α´ ∑α≥0 (α为任给的p 维常量).(4) Σ=L 2 ,其中L 为非负定阵.由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵Γ,使LL pp•=Γ⎪⎪⎪⎭⎫⎝⎛Γ•Γ⎪⎪⎪⎭⎫⎝⎛Γ=∑'0'0011λλλλ.0,1≥'=Γ'⎪⎪⎪⎭⎫⎝⎛Γ=L L L OOL p故，其中λλ当矩阵Σ>0(正定)时，矩阵L 也称为Σ的平方根矩阵，记为21∑.当矩阵Σ>0(正定)时,必有p ×p 非退化矩阵A 使得 Σ=AA ′.1⎪⎪⎪⎭⎫⎝⎛Γ=pOOA λλ其中若Σ≥0(非负定),必有p ×q矩阵1A 使得Σ=11A A ′).(111p q OOA q≤⎪⎪⎪⎭⎫⎝⎛Γ=λλ其中这里记Γ=(Γ1 | Γ2) , Γ1为p ×q 列正交阵(p ≥ q ).并设：.0,,0),,,1(01===>+p q i q i λλλ§2.2 多元正态分布的定义在一元统计中，若U ～N(0,1),则U 的任意线性变换X=σU +μ～N(μ,2σ)。
2 多元正态分布的参数估计
第二章多元正态分布的参数估计实验目的：熟练应用计算机软件进行均值向量、协差阵的估计，提高计算机分析应用能力。
频数分析SPSS操作方法1. 选择菜单Analyze→Descriptive Statistics→Frequencies，打开Frequencies 对话框，如图2-1。
将欲进行频数分析的变量a1移入Variable列表框中。
Display frequency tables复选框询问是否输出频数分布表。
由于频数分析基本就是通过频数分布表来表现的，所以一般情况下都要选择这个选项。
图2-1 Frequencies对话框2. 单击Statistics按钮，调出Statistics子对话框，如图2-2，选择输出的描述性统计量。
该对话框包含以下选项：Percentile Values选项栏：输出各种百分位数。
该选项栏共有三个可选项。
其中，Quartiles输出四分位数；Cut points for n equal groups输出n分位数，n为用户定义的2-100之间的整数；Percentile可以有选择地输出百分位数，方法是在后面的输入框中输入2-100之间的整数，并点击Add按钮确认添加。
Central Tendency选项栏：输出各种集中趋势指标，包括算术平均数、中位数、众数和总和。
◆Dispersion选项栏：输出各种离散程度指标。
◆Distribution选项栏：输出峰度和偏度指标。
所以在本节中我们仅选择输出Descriptives命令的Options子对话框（图2-7）中所没有的分位数指标。
这里选择Quartiles，输出四分位数。
图2-2 Statistics子对话框2. 单击Charts按钮，打开Charts子对话框，设置生成的统计图，如图2-3。
对话框中有两个选项栏：◆Chart Type选项栏：设置生成统计图的类型。
共四个选项，None表示不生成任何统计图，Bar charts生成条形图，Pie charts生成饼图，Histograms生成直方图。
第十二讲多元正态分布的参数估计与检验
H 0：? ? ? 0，H 1：? ? ? 0
令F
?
n (n ? p
p)( X
?
? 0 )T S ?1 ( X
?
? 0 ),
则可以证
明当 H 0 成立时，即 ? ? ? 0时，F ～ F ( p, n ? p)
而当
H
不成立时，
0
F
有偏大的趋势。因此，对
给定的显著性水平 ? ，当
F
?
n (n ?
?
?
)T V
?1(X
?
?
)?? ?
则称随机向量 X 为 p维正态随机向量，其中 ?
称为均值向量，V 为协方差矩阵(协差阵)，且
V ? 0. 对于一般情形V ? 0, 仍可定义多维正
态随机向量， 记为X ～ N p(? ,V )。 当 V ? 0时，
X有前面的密度表示，而当 |V |? 0 时， X 的分 布是退化的正态分布。
且相互独立， 故 ? 2 ? 分布的定义知 Y TY ～ ? 2 ( p).
二、参数的估计
在此给出多元正态分布的参数 ? 和V的估
计。为简单计，仅考虑 V ? 0 的情形。 设 X 1, X 2 ,? , X n (n ? p) 是来自多元正态总
体 N p (? ,V )的简单样本，令
? X
?
1 n
Y ～N p ( A? ? b, AVA T ).
（4） X 为 p 维正态随机向量的充要条件为对任
一 p维向量c， cT X 是一维正态随机变量。
（5）
设X
?
(
X
T 1
,
X
T 2
)T
为多维正态随机向量，
多元统计分析 课后部分习题答案 第二章
x1 y2 (2)第二次配方.由于 x2 y1 y2
14
第二章
2 1 2 2 2 1 2 1 2 2
多元正态分布及参数的估计
2 x x 2 x1 x2 22 x1 14 x2 65 y y 22 y2 14( y1 y2 ) 65 y 14 y1 49 y 8 y2 16 ( y1 7) ( y2 4)
1 1 2 2 f ( x1 , x2 ) exp (2 x1 x2 2 x1 x2 22 x1 14 x2 65) 2 2
试求X的均值和协方差阵. 解一:求边缘分布及Cov(X1,X2)=σ12
1 f1 ( x1 ) f (x1 , x2 )dx2 e 2
1 1 2 1 1 1 因ΣY CC 1 1 1 1 1 0 2 1 1 1 1 2 2(1 ) 1 1 0 2(1 ) 1 1
O 2(1 2 ) O 2(1 2 )
由定理2.3.1可知X(1) +X(2)和X(1) -X(2) 相 互独立.
7
第二章
(2) 因
(1) ( 2)
多元正态分布及参数的估计
(1) ( 2) 2(1 2 ) O X X Y (1) ( 2) ~ N 2 p (1) ( 2) , O 2(1 2 ) X X
4 1 1 E ( X ) , D( X ) 3 1 2
1 1 1 ( x )] 且f ( x1 , x2 ) exp[ ( x ) 2 2 故X=(X1,X2)′为二元正态分布.
多元正态分布的参数估计
第一节 引言 第二节 基本概念 第三节 多元正态分布 第四节 多元正态分布的参数估计 第五节 多元正态分布参数估计的
实例与计算机实现
第一节 引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一 起组成的随机矩阵。例如在研究公司的运营情况时，要考虑 公司的获利能力、资金周转能力、竞争能力以及偿债能力等 财务指标；又如在研究国家财政收入时，税收收入、企业收 入、债务收入、国家能源交通重点建设基金收入、基本建设 贷款归还收入、国家预算调节基金收入、其他收入等都是需 要同时考察的指标。
5
ቤተ መጻሕፍቲ ባይዱ
变量 序号
1 2
表 2.1 数据
X1
X2
X 11
X 12
X 21
X 22
n
X n1
X n2
在这里横看表 2.1，记为
X ( ) ( X1, X 2 , , X p ) ， 1, 2, , n 表示第 个样品的观测值。竖看表 2.1，第 j 列
X j ( X1 j , X 2 j , , X nj ) ， j 1, 2, , p
k
型随机变量，称 P( X xk ) pk ，(k 1, 2, ) 为 X 的概率分 布。设 X ~ F(x) ，若存在一个非负函数 f (x) ，使得一切实数
x
x 有： F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，
简称为密度函数。
8
一个函数 f (x) 能作为某个随机变量 X 的分布密度函数的
显然，如果我们只研究一个指标或是将这些指标割裂开分别 研究，是不能从整体上把握研究问题的实质的，解决这些问 题就需要多元统计分析方法。为了更好的探讨这些问题，本 章我们首先论述有关随机向量的基本概念和性质。
第2章 多元正态分布的参数估计
布函数即边缘分布函数为：
F ( x1 , x2 , , xq ) P( X 1 x1 , , X q xq ) P( X 1 x1 , , X q xq , X q 1 , , X p ) F ( x1 , x2 , , xq , , , )
机向量的密度函数的主要条件是：
p （1）f ( x1 , x2 ,, x p ) 0， ( x1 , x2 ,, x p ) R ；
（2）
f ( x , x ,, x
1 2
p
)dx1 dxp 1
2016/2/24
19
【例2.1】 试证函数 e ( x x ) , f ( x1 , x 2 ) 0,
1 2
x1 0, x 2 0 其它
为随机向量 X ( X1, X 2 ) 的密度函数。
证：只要验证满足密度函数两个条件即可
（1）显然，当 x1 0, x2 0 时有 f ( x1 , x2 ) 0
（2）
2016/2/24
( x1 x2 ) e dx1dx2
当 X 有分布密度 f ( x1 , x2 ,, x p ) 时（联合分布密 度），则 X (1)也有分布密度，即边缘密度函数为 ：
f1 ( x1 , x2 ,, xq ) f ( x1 ,, x p )dxq1 ,, dxp
24
2016/2/24
例如：设随机变量X在1、2、3、4四个整数中等 可能地取值，另一个随机变量Y在1~X中等可能地 取一个整数值，则有边缘分布： X 1 Y 1
13,200 21,000 12,000
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
并设：
i 0(i 1,, q), q1 0,, p 0.
10
第二章 多元正态分布及参数的估计
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
7
第二章 多元正态分布及参数的估计
§2.1 随机向量—
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL
1 0 ' 0 p
du
e
du
du
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2
e
1 ( u it ) 2 2
14
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
=(X1,X2,…,Xp)
其中 X(i)( i=1,…,n)是来自p维总体的一个样品 .
5
第二章 多元正态分布及参数的估计
§2.1 随 机 向
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2 ) X xnp (n)
1 2
e
u2 it (u ) 2
e
du
13
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
it
e
e
it
1 21
e
1 [ u 2 2itu ( it ) 2 ( it ) 2 ] 2
2
e
1 2 1 ( u it ) (it ) 2 2 2
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
11
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的第一种
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
2
第二章 多元正态分布及参数的估计
目
§2.1 随机向量
录
§2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性
§2.4 随机矩阵的正态分布
§2.5 多元正态分布的参数估计
3
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p 矩阵,称为样本资料阵.
应用多元统计分析
1
第二章 多元正态分布及参数的估计
在多元统计分析中,多元正态分布占有相当 重要的地位.这是因为许多实际问题涉及到的随 机向量服从正态分布或近似服从正态分布;当样 本量很大时,许多统计量的极限分布往往和正态 分布有关;此外,对多元正态分布,理论与实践都 比较成熟,已有一整套行之有效的统计推断方法 .基于这些理由,我们在介绍多元统计分析的种 种具体方法之前，首先介绍多元正态分布的定 义、性质及多元正态分布中参数的估计问题.
12
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
1 (t ) E (e ) 2
itX
e
( x )2 itx 2 2
e
dx
u ( x ) /
0 ' p
1 其中L O
O ，L L, 故L 0. p
8
第二章 多元正态分布及参数的估计
§2.1 随机向量—
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根 矩阵，记为Σ1/2 .
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
6
第二章 多元正态分布及参数的估计
§2.1 随 机 向
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=
1 其中A O O . p
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).