第二章 多元正态分布及其抽样分布
第二章 多元正态分布及其抽样分布
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
理论分布和抽样分布
所构成，其中事件A包含有m个基本事件，
则事件A的概率为m/n，即
P（A）=m/n
这样定义的概率称为古典概率。
13
2.1 概率的统计学意义
例如，在有两个孩子的家庭中，孩子性别
的组成有四种类型。即：男男、男女、女
男、女女。它们是四个基本事件，而且是
互不相容且等可能的，那么两个男孩的事
件A1为四个基本事件(n)中的一个(m) ， A1的概率
27
第二章 理论分布和抽样分布
将Y的一切可能y1值 y2 ， ，…，以及取得这些 值的概率p( y1) 、p( y2 ) …，排列起来， 就构成了 离散型随机变量的概率分布(probabiit distribution)。
表2-2 离散型随机变量的概率分布表。
Y
y1
y2
…
P(yi) p( y1 ) p( y2 )
本章在介绍概率论中最基本的两个概念——事件、概 率的基础上，重点介绍生物科学研究中常用的几种随 机变量的概率分布：间断性变数总体的理论分布：二 项分布、泊松分布；连续性变数总体的理论分布，即 正态分布； 从这两类理论分布中抽出的样本统计数的
分布，即抽样分布和t分布。
2
2.1 概率的统计学意义
一、事 件 1. 必然现象与随机现象 在自然界与生产实践和科学试验中，人们会观察到各种
这里的0.05或0.01称为小概率标准，生物 试验研究中通常使用这两个小概率标准。
21
2.3 理论分布
事件的概率表示了一次试验某一个结果发 生的可能性大小。若要全面了解试验，则 必须知道试验的全部可能结果及各种可能 结果发生的概率，即必须知道随机试验的 概率分布(probability distribution)。为 了深入研究随机试验 ，我们先引入随机变 量(random variable)的概念。
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
第二章多元正态分布
联合概率分布
均值向量量是向
协方差矩阵Σ
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
若某个随机变量X 的密度函数是
1
1(x)2
f(x)22 ex2 p{ 2 },x (, )
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N(。,2)
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ， 它2 是一非负数 。
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
联合分布函数的定义：
设 X(X 1,X 2,..X .p,) 是一随机向量， 它的联合分布函数定义为
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X(X 1,X 2,..X .p,) 服从p元正态分布，
高级统计学1.多元正态分布
cov( X , Y ) (cov( X i , Y j )), i 1,, n ; j 1,, p
若 cov( X , Y ) 0，称X和Y是不相关的。
(1.10)
当A、B为常数矩阵时，由定义可推出协差阵有如下性质：
(1) D( AX ) AD( X ) A' AA' (2) cov( AX , BY ) A cov( X , Y ) B '
8
目录 上页 下页 返回 结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X ( X 1 , X 2 ,, X p )' 是一随机向量，它 的多元分布函数是
F ( X ) F ( x1 , x2 ,, x p ) P( X 1 x1 ,, X p x p )
欧氏距离还有一个缺点，这就是当各个分量为 不同性质的量时，“距离”的大小竟然与指标的单 位有关。
20
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
例如，横轴x1代表重量（以kg为单位），纵轴x2 代 表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
这时
结果CD反而比AB长！这显然是不够合理的。
22
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
因此，有必要建立一种距离，这种距离要能 够体现各个变量在变差大小上的不同，以及有时 存在着的相关性，还要求距离与各变量所用的单 位无关。看来我们选择的距离要依赖于样本方差 和协方差。
因此，采用“统计距离” 这个术语，以区别 通常习惯用的欧氏距离。最常用的一种统计距离 是印度统计学家马哈拉诺比斯（Mahalanobis）于 1936年引入的距离，称为“马氏距离”。
多元正态分布的检验精品PPT课件
139..2376
199.26 88.38
S d
88.38
418.61
T 2 11 9.36
13.27
0.0055 0.0012
00.0.0002162 139..2376 13.6
取 0.05，求得
n2 i 1
yi
s12
1 n1 1
n1 i 1
( xi
x)2,
s22
1 n2 1
n2 i 1
( yi
y)2
sw2
1 n1 n2 2
(n1 1)s12 (n2 1)s22
或检验统计量：
F
t2
1 n1
1 n2
1
xy sw
2
x
y
1 n1
1 n2
s2w
1
x
y
当F Fα(1,n1 n2 2)时，拒绝H 0
i
2
n
i
i
2
n
i 的T 2 联合置信区间为：
1
1
Xi
T
S2 ii n
i
Xi
T
S2 ii n
i 的Bonferroni 联合置信区间为：
1
1
Xi
t (n 1)
2p
S2 ii n
i
Xi
t (n 1)
2p
S2 ii n
§2.2 两个正态总体均值 的成组比较
一元情形的回顾
设 x1, x2 ,, xn1和 y1, y2 ,, yn2 分别取自于
F
(
p,
n1
n2
p
1).
均值差的T2置信区间
两个p维总体均值差 11 12，21 22，， p1 p2 的10（0 1）% T 2 联合置信区间为：
第二章 多元正态分布 《应用多元统计分析》 ppt课件
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
多元正态分布
2020/4/8
目录 上页 下页 返回 结束
20
§1.2 统计距离和马氏距离
例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
§1.1.4 随机向量的数字特征
2、随机向量 自协方差阵
称它为 维随机向量 的协方差阵，简称为 的协
方差阵。称
为 的广义方差，它是协差阵的行
列式之值。
2020/4/8
13
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
3、随机向量X 和Y 的协差阵
设
分别为 维和
维随机向量，它们之间的协方差阵定义为一个 矩
证明参见文献[4]，p.33。
2、多元正态分布随机向量X的任何一个分量子集的分布（称为X的
边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分
布均为正态，并不能导出它是多元正态分布。
例如，设
有分布密度
容易验证， 正态分布。
2020/4/8
，但
显然不是
34
目录 上页 下页 返回 结束
§ 1.3.2 多元正态分布的性质
于1936年引入的距离，称为“马氏距离”。
2020/4/8
目录 上页 下页 返回 结束
23
§1.2 统计距离和马氏距离
下面先用一个一维的例子说明欧氏距离与马氏距离在概 率上的差异。
设有两个一维正态总体
G1
:
(1
,
2 1
)和G2
:
(2
,
多元统计分析：第二章 多元正态分布及ppt课件
性质3 若X～Np(μ,Σ),E(X)=μ,D(X)=Σ. 证明 因Σ≥0,Σ可分解为：Σ=AA′，
则由定义2.2.1可知
X =d AU+μ (A为p×q实矩阵)
其中U=(U1,…,Uq)′,且U1,…,Uq相互独立同 N(0，1)分布,故有
E(U )=0, D(U )=Iq .
Z=BX+d d= B(AU+μ)+d
= (BA)U+(Bμ+d) 由定义2.2.1可知
Z ～Ns(Bμ+d, (BA)(BA))，
Z ～Ns(Bμ+d, BΣB). (这里Σ=AA).
ppt精选版
21
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2
推论
分为
设X=
X(1) X(2)
r p-r
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p矩 阵,称为样本资料阵.
ppt精选版
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
X xx1211
其L 中
多元统计分析多元正态分布
为X的方差或协方差矩阵
D(X) 或∑
X，Y的协方差矩阵
定义7
设X=( X1，…，Xp )´Y=( Y1，…，Yp )´称
Cov(X,Y)=E(X-E(X))(Y-E(Y))´
Cov(X1, Y1) Cov(X1, Y2) … Cov(X1, Yp)
= Cov(X2, Y1) Cov(X2, Y2) … Cov(X2, Yp)
合并距离最近的两类为一新类 计算新类与当前各类的距离。再合并、计算， 直至只有一类为止
画聚类图，解释
类与类之间的距离
1.最短距离法(single linkage) 2.最长距离法(complete linkage) 3.中间距离法(median method) 4.重心法(centroid method) 5.类平均法(average linkage) 6.可变类平均法(flexible-beta method) 7.可变法 8.离差平方和法(Ward's minimumvariance method)
（2）相似系数
研究样品间的关系常用距离，研究指标（ 变量）间的关系常用相似系数。 相似系数常用的有：夹角余弦与相关系数
2、对指标（变量）分类（R型）
相似系数的定义
夹角余弦（Cosine）
相似矩阵
变量间相似矩阵
相关系数
ij
( x x )( x x )
1 i i j j n
Vij=
样本相关矩阵定义
R=(rij)p×p
rij =
3、 µ 和∑的估计及性质
最大似然法求出µ 和∑的估计量为
估计量的性质
1、 ,
,
是μ的无偏估计量
不是Σ的无偏估计量
多元正态分布.ppt
(2)
令
Y
X X
2 3
X1
0 0 1
1 0 0
0 1 0
X1 X2 X3
BX
,
由性质1知,Y为3维正态随机向量,且
0 1 0 2 0
y
Bx
0 1
0 0
10 00
02
1
xp ap1u1 ..... appu p p
u A
x1 xp
u p
u p
AA 1 2 1 2
§2.2
故 J (u x) 1 1 2. J(x u)
§2.2
⑤ 写出X=AU+μ
fX
(x)
1
(2 ) p
B
fX (x)dx
B
以下来求Jacobi行列式J(u→x).
§2.2
④ 积分变换的Jacobi行列式J(u→x)可利用线性变换
x=Au+μ及J(x→u)来计算：
x1 xp
因
J (x u) x
u1
u1
x1
a11u1
.....
a1pu p
1
2 1
1 1 2
1
1
2
1
2 2
12 1
2
1
2 2
2
二元正态随机向量X
多元正态分布
图1-2
2019/3/1
随机向量
x1 p x2 p (x1 , x 2 , xnp
/ x(1) / x(2) ,xp) x/ (n)
• 因此,样本资料矩阵可用矩阵语言表示为:
若无特别说明，本书所称向量均指列向量
定义1.1 设 x1 , x2 , , x p为p个随机变量，由它们组成 的向量 (x1, x2 , , x p ) 称为随机向量。
p
1 . 6
是一个p维向量，称为均值向量. 当 A 、B 为常数矩阵时，由定义可立即推出如下性质：
(1) E ( AX ) AE ( X ) (2) E ( AXB) AE ( X ) B
2019/3/1
1.7
(1.8)
目录 上页 下页 返回
10
结束
§1.1.4
随机向量的数字特征
15
结束
§1.2 统计距离和马氏距离
欧氏距离 马氏距离
2019/3/1
目录 上页 下页 返回
16
结束
§1.2 统计距离和马氏距离
欧氏距离
在多指标统计分析中,距离的概念十分重要,样品间的不 少特征都可用距离去描述。大部分多元方法是建立在简单 的距离概念基础上的。即平时人们熟悉的欧氏距离,或称 直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的 欧氏距离,依勾股定理有
2019/3/1
目录 上页 下页 返回
6
结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X (x1 , x2 , 函数是 式中： 是以随机向量，它的多元分布 , x p )
3.多元正态分布-讲解（下）
目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质多元正态的估计一元情形的回顾基于服从正态分布 的总体的独立同分布样本 ：样本均值 服从：样本方差 服从：与 相互独立多元正态的估计多元情形类似于一元的情形，基于服从正态分布 总体的独立同分布样本 ：样本均值 服从：样本方差 服从：这里的 表示 个自由度的Wishart分布 与 相互独立多元正态的估计Wishart分布Wishart 分布的定义：假设 维向量 独立同分布且服从 ，则：假设两个 的随机矩阵 和 分别服从分布 、且彼此独立，则：如果 ， ， 为 的常数矩阵，则有：目录一元正态分布回顾多元正态分布多元正态分布及 的极大似然估计 及 的抽样分布多元正态的估计一元正态性多元正态性评估正态性多元正态分布的性质多元正态分布的性质评估一元正态性图像方法：直方图、QQ图偏度和峰度统计检验：•Shapiro-Wilks 检验•Kolmogorov-Smirnov 检验•Cramer-von Mises 检验•Anderson-Darling 检验•……Histogram for 100 random numbers from N (0,1)y1F r e q u e n c y-4-20240102030Histogram for 100 random numbers from Exp(2)y2F r e q u e n c y0.00.5 1.0 1.52.0 2.53.0 3.50204060Histogram for 100 random numbers from t(1)y3F r e q u e n c y-4-202451020Histogram for 100 random numbers from -Exp(2)y4F r e q u e n c y-3.5-3.0-2.5-2.0-1.5-1.0-0.50.00204060-2-112-3-1012Q-Q plot for Y1 from N (0,1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-10120.01.02.03.0Q-Q plot for Y2 from Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s-2-112-60-40-2020Q-Q plot for Y3 from t(1)Theoretical Quantiles S a m p l e Q u a n t i l e s-2-1012-3.0-2.0-1.00.0Q-Q plot for Y4 from -Exp(2)Theoretical QuantilesS a m p l e Q u a n t i l e s根据QQ图的形状来判断正态性：直线（公式箭头） 正态反“S”形 比正态厚尾“S”形比正态薄尾凸弯曲右偏凹弯曲左偏评估一元正态性偏度和峰度我们可以用偏度和峰度对正态性进行粗略的判断，它们应该在（0，3）左右评估一元正态性统计检验图像方法的缺点：•图像方法对于小样本并不适用•图像方法以及偏度峰度法只提供了一个粗糙而不正式的检验方法，没有一个明确的决定准则。
第二章多元正态分布
第二章多元正态分布（一）教学目的通过本章的学习，要求对多元分布的基本概念有所了解，掌握多元正态分布数字特征及其参数估计,尤其是多元正态分布的假设检验。
（二）基本要求要求了解多元分布的基本概念，掌握多元正态分布的参数估计和假设检验。
（三）教学要点1、多维随机向量的边缘密度、条件分布、数字特征2、多元正态分布数字特征及其参数估计3、三个常用的抽样分布4、正态分布总体均值向量的检验（四）教学时数3课时(五）教学内容1、多元分布的基本概念2、多元正态分布数字特征及其参数估计3、三个常用的抽样分布及多元正态分布的假设检验第一节多元分布的基本概念多元统计分析主要方法是建立在多元正态分布的假设之上的。
而多元正态分布又是多元分布中应用最广泛的一种.为此，在介绍多元统计分析方法之前，首先有必要介绍多元正态分布的有关内容.另外，多元统计分析涉及到的都是随机向量或着将多个随机向量放在一起组成的随机矩阵。
为此，学习多元正态分布还需要首先从随机向量的基本概念开始。
多元统计分析，简称多元分析，是指当总体的分布是多维（多元）概率分布时，处理该类总体的数理统计理论和方法的总称，是统计学中的一个重要的分支学科。
早在19世纪就出现了处理二维正态总体的一些方法，但系统地处理多维概率分布总体的统计分析问题，则开始于20世纪。
人们常把1928年维希特（Wishart）分布的导出作为多元分析成为一个独立学科的标志。
20世纪30年代,R。
A。
费希尔、H。
霍特林、许宝騄以及S.N。
罗伊等人做出了一系列奠基性的工作,使多元统计分析在理论上得到了迅速的进展。
20世纪40年代，多元分析在心理、教育、生物等方面获得了一些应用。
由于应用时常需要大量的计算,加上第二次世界大战的影响，使其发展停滞了相当长的时间。
50年代中期，随着电子计算机的发展和普及，它在地质、气象、标准化、生物、图像处理、经济分析等许多领域得到了广泛的应用,也促进了理论的发展。
一、随机向量我们知道，所谓随机变量通俗理解就是“其值随机会而定”的变量.比如,在某厂大批产品中随机地抽取出100个，其中所含废品数X 就是一个随机变量。
多元正态分布
1
n1
n
)
X
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1S n
求解过程
似然函数为：
L (, ) f(x ( 1 ))f(x (2 )) f(x (n ))
n (2) p2 1 2ex 1 (x p [) 1 (x)]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A)lnAp 当A=I
等号成立。
A1/2S n1/2Ip时等号成 立 n S ，即
最大似然估计的性质
1. E(X)μ ，即 X 是 μ的无偏估计 。
E(1nS)nn1，即
1S n
不是 的无偏估计。
E( 1 S) n1
样本均值向量可以用样本矩阵表示出来，即
X
p 1
1 n
X
1 n
1n (1,1, ,1)
因为：
X 11
1 n
X 1n
1 n
X
12
X
1n
X 21 X 22
X 2n
X p1 X p2
X pn
1 1
n
独立同分布于 Np(μ,)， 则随机矩阵 W (i)(i) 服从自由度
为n的非中心维斯特分布，记为
i1
W~Wp(n,,μ)
随机矩阵的分布：
X11 X12 X1p
X
X21
X22
X2p
多元正态分布 ppt课件
ppt课件
16
一元正态分布密度函数图形
f (x) O
0.5 1
2
图1 2 1
ppt课件
x
17
二元正态分布密度函数
f ( x1, x2 )
1
2 1 2
1
2
exp
1 2(1
2)
( x1 1 )2
2 1
2
x1 1 1
20
多元正态分布定义1
定义1.2.1 若 p维随机向量 X 的概率密度函数为
ppt课件
4
随机矩阵的数学期望
定义1.1.2
z11 z12
设Z
z21
z22
zp1 zp2
则Z的数学期望（均值）E(Z )为
z1q
z2q
为p
q阶随机矩阵
，
zpq
E(z11)
E(
Z
)
E
(
z21
)
E(zp1)
E(z12 ) E(z22 )
x2 2 2
( x2 2 )2
2 2
ppt课件
18
二元正态分布密度函数图形
ppt课件
19
一元正态分布密度函数变形
f (x)
1
( x )2
e 2 2
2
(2
)
1 2
(
2
)
1 2
exp
1
(
x
3-多元正态抽样分布
n
X
2 i
~
2 (n)
i 1
一、维希特（Wishart） 1、定义随机矩阵的分布
x11 x12
设随机矩阵X
x21
x22
xn1
xn2
x1p
x2
p
xnp
矩阵中的每一个元素均为随机变量，则矩阵X的分布是其行 向量拉长，组成一个长向量
x1
p
x2 p
xn1 x11 x12
xn 2
x21
x22
xnp
xn1
xn 2
x1p
x2
p
xnp
n
W X il X lj l 1
服从自由度为 n 的非中心维斯特分布，记为W ~ Wp (n,。, μ)
0 )
n(x 0)1(x 0)
服从自由度为 p的卡方分布。
证：
由于样本均值
x
~
Np
(
,
1 n
)
令
1
n 2 (X )
1
E() E[ n 2 (X )]
1
D() D[ n 2 (X )] p
1
n 2 (X ) ~ N p (o,I)
A (X j X)(X j X)
j n1
A XiXi nXX
i n1
A XiXi nn
i 1
A n1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2
k pk
x
x1 x2
p
k
k
子x1,x2向量相互独立，当且仅当 120。 证：必要性
x1和x2相互独立 又 Σ 1 E 2 [ ( 1 μ x 1 ) x 2 ( μ 2 ) ]
Σ 1 E 21 μ 1 ) ( x 2 E x μ 2 ) ](
Σ120
充分性 Σ120
f (x1, x2 , , xp )
n
i1
1
2
exp(12xi2)
(2
)p2exp(1 p 2i1
xi2)
ui i 1,2, , p
其中的
u (u1, u2 , , u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
协方差矩阵为u12Var来自(u)E(uu)
退化的三元正态分布。
1 1
1 0
1 0 1
Σ AA 0 1
1 1
1 0
0 1
1 1
0 1
1 1
1 2
1 0 1
Σ 0
1
1
1 1
10
21
1 211 0
1
1 1 2
第二节 多元正态分布的性质 一、多元正态分布的特征函数
(t) exp(it 1 tt)
2
二、x是一个服从p维正态分布，当且仅当它的任何 线性函数 ax 服从一元正态分布N p (μ, Σ)。
x2 p k
μ2 p k
Σ Σ11 Σ12 k Σ21 Σ22 p k
五、设 x1, x2 , , xn , xi ~ N p (i , i ) i， 1,2, , n 相互独立， 且，则对任意 n 个常数 k1, , kn ，有
n
kixi
~
N
p
(
n
i
,
n
ki2
i
).
i 1
i1 i1
E
u
2u1
u pu1
u1u2
u
2 2
upu2
u1u p
u
2u
p
u
2 p
1
1
I 1
二、一般的正态分布
设随机向量 x (x1, x2 , , x p ) ,若其的密度函数为
f(x1,x2,L,xp)
(2 ) p 2 Σ 1 2 exp[ 1 (x - μ)Σ-1(x - μ)]
E (x) (Ex1, Ex2 , , Ex p ) (1, 2 , , p )
x的协方差矩阵为
V a r ( x ) E ( x ) ( x )
EAuuA AEuuA
AIA AA Σx
其密度函数为
J(u x) A 1 AA 1 2
f (x1, x2 , , xp )
Σ1 Σ0111
0 Σ212
ΣΣ11Σ22
Σ1 Σ111
Σ212
f
(x1, x2 ,
, xp )
(2 ) p
2
1 2
exp[ 1 (x 2
μ)Σ 1 (x
μ)]
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 (x 1 μ 1 ) (x 2 μ 2 ) Σ 1 1 1 Σ 2 2 1 ( ( x x 2 1 μ μ 1 2 ) ) ]
若 rank (A) p( p q)，则Σ－1存在，x Au 是非退化 p 元正态分布；
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
六、x~Np(μ,Σ)，则(x -μ )Σ -1 (x -μ )~2 (p ) 分布。
1
yΣ2(xμ)
1
Va (y)rVa [Σr2(xμ])
1
1
Σ2Va(rxμ)Σ2
1 1
Σ2ΣΣ2 Ι
y是 p维标准正态 yy服 分从 （ 布 2 p)分 ，布 故。
七、将 x,,作如下的分块：
1211
12 k 22kp
(xp p)2
称 x (x1, x2 , , x p ) 服从均值为E(X)，协方差为的正态分布。
三、一般的p维正态和p维标准正态的关系 设 x Au ，其中 A 是一个 p 阶非退化
矩阵，u (u1,u2 , ,u p ) 服从 p 维标准正态分布，则
x Au
服从p维正态分布，且均值向量为
( 2 ) p 2 e x p [ 1 ( x μ ) A 1 A 1 ( x μ ) ] |J | 2
(2 ) p 2 Σ 1 2 exp[ 1 (x μ)Σ1(x μ)]
2
值得注意
设随机向量 u ~ Nq (0, I ) ，μ是常数向量，A 是一
个 p*q的常数矩阵，则 x Au 服从正态分布，记 为 x ~ Np ( , ) ，其中 AA( p * p)
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 (x 1 μ 1 )Σ 1 1 1 (x 2 μ 2 )Σ 2 2 1 ( (x x 2 1 μ μ 1 2 ) ) ]
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 ( x 1 μ 1 ) Σ 1 1 1 ( x 1 μ 1 ) ( x 2 μ 2 ) Σ 2 2 1 ( x 2 μ 2 ) ]
第二章 多元正态分布及其抽样分布
第一节 第二节 第三节 第四节
内容
多元正态分布的定义 多元正态的性质 多元正态参数的极大似然估计 多元正态的样本分布
第一节 多元正态分布的定义
一、标准多元正态分布
设随机向量 u (u1,u2 , ,u p ) 其分量独立同分布于 N (0,1)
则 u (u1,u2 , ,u p ) 密度函数为
三、 X服从 p 维正态分布，则 y Cx b ，其中C为 r p 常数矩阵，b为 r 维的常数向量，则
y ~ N r (C b,CC)
四、设 x ~ N p (,) ，则 x 的任何子向量也服从多元正态 分布，其均值为 的相应子向量，协方差为 的相应子矩 阵。
x x1 k μ μ1 k
2
xi
其中 x (x1, x2 , , x p ) 的均值为E (x) (1, 2 , , p )
协方差为
(x1 1)2
(x1 1)(x2 2 )
E (x2 2 )(x1 2 )
(x2 2 )2
(xp
)(x1
1 )
(xp p )(x2 2 )
(x1 1)(xp p ) (x2 2 )(xp p )