第二章 多元正态分布及其抽样分布
合集下载
多元统计分析：第二章 多元正态分布及
1 其中A O O . p
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).
如例2.1.1,证明了X1,X2均为一元正态 分布,但由(X1,X2) 联合密度函数的形式易见 它不是二元正态.
24
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
1 2 2 ( x1 x2 ) 2 1 2 2 ( x1 x2 ) 2
例2.1.1 (X1,X2)的联合密度函数为
12
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2
e
( x )2 itx 2 2
e
dx
u ( x ) /
性质1的证明
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为 ΦX(t)= E(eitX)= E(eit (AU+μ) ) it AU 令t′A=s′=(s ,…s ) q 1
exp(it ) E(e ) i ( s1U1 s qU q ) exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).
如例2.1.1,证明了X1,X2均为一元正态 分布,但由(X1,X2) 联合密度函数的形式易见 它不是二元正态.
24
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
1 2 2 ( x1 x2 ) 2 1 2 2 ( x1 x2 ) 2
例2.1.1 (X1,X2)的联合密度函数为
12
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
(t ) E (e )
itX
1 2
e
( x )2 itx 2 2
e
dx
u ( x ) /
性质1的证明
根据随机向量特征函数的定义和性质，经计算即可 得出X的特征函数为 ΦX(t)= E(eitX)= E(eit (AU+μ) ) it AU 令t′A=s′=(s ,…s ) q 1
exp(it ) E(e ) i ( s1U1 s qU q ) exp( it ) E (e ) isqU q is1U1 exp( it ) E (e e )
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
理论分布和抽样分布
所构成，其中事件A包含有m个基本事件，
则事件A的概率为m/n，即
P（A）=m/n
这样定义的概率称为古典概率。
13
2.1 概率的统计学意义
例如，在有两个孩子的家庭中，孩子性别
的组成有四种类型。即：男男、男女、女
男、女女。它们是四个基本事件，而且是
互不相容且等可能的，那么两个男孩的事
件A1为四个基本事件(n)中的一个(m) ， A1的概率
27
第二章 理论分布和抽样分布
将Y的一切可能y1值 y2 ， ，…，以及取得这些 值的概率p( y1) 、p( y2 ) …，排列起来， 就构成了 离散型随机变量的概率分布(probabiit distribution)。
表2-2 离散型随机变量的概率分布表。
Y
y1
y2
…
P(yi) p( y1 ) p( y2 )
本章在介绍概率论中最基本的两个概念——事件、概 率的基础上，重点介绍生物科学研究中常用的几种随 机变量的概率分布：间断性变数总体的理论分布：二 项分布、泊松分布；连续性变数总体的理论分布，即 正态分布； 从这两类理论分布中抽出的样本统计数的
分布，即抽样分布和t分布。
2
2.1 概率的统计学意义
一、事 件 1. 必然现象与随机现象 在自然界与生产实践和科学试验中，人们会观察到各种
这里的0.05或0.01称为小概率标准，生物 试验研究中通常使用这两个小概率标准。
21
2.3 理论分布
事件的概率表示了一次试验某一个结果发 生的可能性大小。若要全面了解试验，则 必须知道试验的全部可能结果及各种可能 结果发生的概率，即必须知道随机试验的 概率分布(probability distribution)。为 了深入研究随机试验 ，我们先引入随机变 量(random variable)的概念。
第二章多元正态分布及其抽样分布
若 rank (A) p( p q)，则Σ－1存在，x Au 是非退化 p 元正态分布；
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
f (x1, x2 , , xp )
n
i1
1
2
exp(
1 2
xi2
)
(2 ) p
2 exp( 1 2
p i 1
xi2 )
ui i 1,2,, p
其中的
u (u1, u2 ,, u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
协方差矩阵为
u12 u1u2 u1u p
2
xi
其中 x ( x1, x2 ,, x p ) 的均值为E (x) (1, 2 ,, p )
协方差为
(x1 1)2
E (x2
2
)( x1
2)Leabharlann (x1 1)(x2 2 ) (x2 2 )2
(x1 1)(xp p )
(x2 2 )(xp p )
(xp
Σ1
Σ1 11 0
0
Σ1 22
Σ Σ11 Σ22
Σ1
Σ1 11
Σ
1 22
f
(
x1,
x2
,,
x
p
)
(2
)
p
2
1 2
exp[
1 2
(x
μ)Σ 1
(x
μ)]
(2 ) p 2 Σ11 1 2 Σ22 1 2
exp[
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
f (x1, x2 , , xp )
n
i1
1
2
exp(
1 2
xi2
)
(2 ) p
2 exp( 1 2
p i 1
xi2 )
ui i 1,2,, p
其中的
u (u1, u2 ,, u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
协方差矩阵为
u12 u1u2 u1u p
2
xi
其中 x ( x1, x2 ,, x p ) 的均值为E (x) (1, 2 ,, p )
协方差为
(x1 1)2
E (x2
2
)( x1
2)Leabharlann (x1 1)(x2 2 ) (x2 2 )2
(x1 1)(xp p )
(x2 2 )(xp p )
(xp
Σ1
Σ1 11 0
0
Σ1 22
Σ Σ11 Σ22
Σ1
Σ1 11
Σ
1 22
f
(
x1,
x2
,,
x
p
)
(2
)
p
2
1 2
exp[
1 2
(x
μ)Σ 1
(x
μ)]
(2 ) p 2 Σ11 1 2 Σ22 1 2
exp[
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
多元正态分布(新)
1 X12 n
X 22
X n2
X
2
X
X1 p X 2 p X np
X
p
样本离差阵
n
S pp ( X (i) X )( X (i) X ) i 1
X i1 X1
0
)
二元正态分布曲面(
11
2,
2 22
4, 12
0.75
)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为此时：
f (x1, x2)
2
1
11
22
exp{
( x1
1)2 (x2
2121
2 22
2
样本协方差矩阵
V 1S n
或
V 1 S n 1
样本离差阵用样本资料阵表示为：
S
X (In
1 n
1n1n
)
X
因为
n
S ( X (i) X )( X (i) X ) i 1
n
( X (i)
X
)(
X
(i
)
X
)
i 1
n
(X
(
i
)
X
(i
)
X (i) X
二、多元正态分布的性质
性质1：若 X (X1,X p) ~ Np(μ,，) 是对角矩阵，则 X1,X p 相互独立。
多元正态分布的检验精品PPT课件
139..2376
199.26 88.38
S d
88.38
418.61
T 2 11 9.36
13.27
0.0055 0.0012
00.0.0002162 139..2376 13.6
取 0.05，求得
n2 i 1
yi
s12
1 n1 1
n1 i 1
( xi
x)2,
s22
1 n2 1
n2 i 1
( yi
y)2
sw2
1 n1 n2 2
(n1 1)s12 (n2 1)s22
或检验统计量：
F
t2
1 n1
1 n2
1
xy sw
2
x
y
1 n1
1 n2
s2w
1
x
y
当F Fα(1,n1 n2 2)时，拒绝H 0
i
2
n
i
i
2
n
i 的T 2 联合置信区间为：
1
1
Xi
T
S2 ii n
i
Xi
T
S2 ii n
i 的Bonferroni 联合置信区间为：
1
1
Xi
t (n 1)
2p
S2 ii n
i
Xi
t (n 1)
2p
S2 ii n
§2.2 两个正态总体均值 的成组比较
一元情形的回顾
设 x1, x2 ,, xn1和 y1, y2 ,, yn2 分别取自于
F
(
p,
n1
n2
p
1).
均值差的T2置信区间
两个p维总体均值差 11 12，21 22，， p1 p2 的10（0 1）% T 2 联合置信区间为：
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元统计分析多元正态分布
为X的方差或协方差矩阵
D(X) 或∑
X，Y的协方差矩阵
定义7
设X=( X1，…，Xp )´Y=( Y1，…，Yp )´称
Cov(X,Y)=E(X-E(X))(Y-E(Y))´
Cov(X1, Y1) Cov(X1, Y2) … Cov(X1, Yp)
= Cov(X2, Y1) Cov(X2, Y2) … Cov(X2, Yp)
合并距离最近的两类为一新类 计算新类与当前各类的距离。再合并、计算， 直至只有一类为止
画聚类图，解释
类与类之间的距离
1.最短距离法(single linkage) 2.最长距离法(complete linkage) 3.中间距离法(median method) 4.重心法(centroid method) 5.类平均法(average linkage) 6.可变类平均法(flexible-beta method) 7.可变法 8.离差平方和法(Ward's minimumvariance method)
（2）相似系数
研究样品间的关系常用距离，研究指标（ 变量）间的关系常用相似系数。 相似系数常用的有：夹角余弦与相关系数
2、对指标（变量）分类（R型）
相似系数的定义
夹角余弦（Cosine）
相似矩阵
变量间相似矩阵
相关系数
ij
( x x )( x x )
1 i i j j n
Vij=
样本相关矩阵定义
R=(rij)p×p
rij =
3、 µ 和∑的估计及性质
最大似然法求出µ 和∑的估计量为
估计量的性质
1、 ,
,
是μ的无偏估计量
不是Σ的无偏估计量
多元正态分布
图1-2
2019/3/1
随机向量
x1 p x2 p (x1 , x 2 , xnp
/ x(1) / x(2) ,xp) x/ (n)
• 因此,样本资料矩阵可用矩阵语言表示为:
若无特别说明，本书所称向量均指列向量
定义1.1 设 x1 , x2 , , x p为p个随机变量，由它们组成 的向量 (x1, x2 , , x p ) 称为随机向量。
p
1 . 6
是一个p维向量，称为均值向量. 当 A 、B 为常数矩阵时，由定义可立即推出如下性质：
(1) E ( AX ) AE ( X ) (2) E ( AXB) AE ( X ) B
2019/3/1
1.7
(1.8)
目录 上页 下页 返回
10
结束
§1.1.4
随机向量的数字特征
15
结束
§1.2 统计距离和马氏距离
欧氏距离 马氏距离
2019/3/1
目录 上页 下页 返回
16
结束
§1.2 统计距离和马氏距离
欧氏距离
在多指标统计分析中,距离的概念十分重要,样品间的不 少特征都可用距离去描述。大部分多元方法是建立在简单 的距离概念基础上的。即平时人们熟悉的欧氏距离,或称 直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的 欧氏距离,依勾股定理有
2019/3/1
目录 上页 下页 返回
6
结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X (x1 , x2 , 函数是 式中： 是以随机向量，它的多元分布 , x p )
生物统计学正态分布和抽样分布PPT课件
u而符是合服从N（具0有，（1）n-分1）布自，由t度则的不服t 分从布标，准其正中态分s 布， （P样n理四4=、（一本论、2保-03） 方 平 正险、s均态1u公2样数分和司3本（布s）赔2平总表2=偿，均体（0损.则数平累失标的均积的准分数函数化布）数学后表期的）望样的本查方法差之比称为 F。
1、单侧分位数 上侧分位数： 当 P(Uu)时的 u 下侧分位数： 当 P(Uu)时的 u
0.05
u0.05 2、双侧分位数
当 P(U u)
2
时的 u 2
3、正态分布上侧分位数（u）表的查法：
1
u2
e 2 du
2 u
0 .0 0 5
u 2 .5 7 6
0 .0 1 0
2 .3 2 6
四、正态分布表（累积函数表）的查法
1、标准正态分布 随机变量落在某区间（a，b）内的概率，可以从标准正态 分布表中查出。
附表 2 列出了对于 -2.99 U 2.99时的（u）的值。
附表2 正态分布表
u
0 .0 0
0 .0 1 0 .0 2 0 .0 3 0 .0 4 0 .0 5
-1 .2 0 .11 5 0 7 0 .11 3 1 4 0 .111 2 3 0 .1 0 9 3 5 0 .1 0 7 4 9 0 .1 0 5 6 5
生物界乃至整个自然界中，符合正态分布的现 象非常之多，所以正态分布是生物统计学的基 础。
复习思考题 ①什么是随机变量？举例说明随机变量的种类？ ②举例说明如何利用随机变量表示一个事件？如何利用随机变 量定义总体和样本？ ③为什么连续型随机变量取得某一具体观测值的概率是0？ ④离散型随机变量和连续型随机变量的累积函数有何区别？ ⑤累计函数和分布曲线的主要用途。 ⑥二项分布的应用前提和条件？泊松分布和二项分布概率函数 的关系？ ⑦正态分布的意义和特点。 ⑧正态分布的密度函数和分布曲线的特点。 ⑨什么是正态分布的分位数？都有哪些种？
多元正态分布
则称X服从p元正态分布，记作X~Np (μ, Σ)，其中，参数μ 和Σ分别为X的均值和协差阵。
例1（二元正态分布 ）
设X~N2(μ, Σ)，这里
X1 X , X2
1 μ , 2
12 1 2 Σ 2 2 1 2
12 22 32 42
13 23 33 43
14 24 34 44
2
x2 2 x2 2 2 ； c 2 2
X 1 （ii） X 4
1 11 14 ； N2 , 4 41 44
上述等高线上的密度值
2 1 c f x1 , x2 exp 2 2 2 1 2 1 2 1
2
2
4
二元正态分布的密度等高线族 （由10000个二维随机数生成） 0
0
2
0
y
-2
-2 0 2 -2 0 2 4 |ρ|越大，长轴越长 ，短轴越短，即椭圆越扁平； x
（ 2）
1 AX 0
其中
X1 0 0 X 1 AΣA ) X 2 X ~ N (Aμ , 0 1 3 X3 1 0 0 1 2 0 1 3 3
第二章 多元正态分布
§2.1 多元正态分布的定义 §2.2 多元正态分布的性质
§2.3 复相关系数和偏相关系数
§2.4 极大似然估计及估计量的性质
§2.5 X 和(n − 1) S的抽样分布
§2.1 多元正态分布的定义
多元正态分布
1
n1
n
)
X
二、多元正态总体的最大似然估计及其性质
利用最大似然法求出 μ和 的最大似然估计为：
μˆ X
ˆ 1S n
求解过程
似然函数为：
L (, ) f(x ( 1 ))f(x (2 )) f(x (n ))
n (2) p2 1 2ex 1 (x p [) 1 (x)]
2
22 n
（引理：设A为p阶正定矩阵，则 tr(A)lnAp 当A=I
等号成立。
A1/2S n1/2Ip时等号成 立 n S ，即
最大似然估计的性质
1. E(X)μ ，即 X 是 μ的无偏估计 。
E(1nS)nn1，即
1S n
不是 的无偏估计。
E( 1 S) n1
样本均值向量可以用样本矩阵表示出来，即
X
p 1
1 n
X
1 n
1n (1,1, ,1)
因为：
X 11
1 n
X 1n
1 n
X
12
X
1n
X 21 X 22
X 2n
X p1 X p2
X pn
1 1
n
独立同分布于 Np(μ,)， 则随机矩阵 W (i)(i) 服从自由度
为n的非中心维斯特分布，记为
i1
W~Wp(n,,μ)
随机矩阵的分布：
X11 X12 X1p
X
X21
X22
X2p
多元统计分析---第二章 抽样分布_OK
第2章 抽样分布
Sampling Distributions
§1 ห้องสมุดไป่ตู้本的联合概率密度函数
设x ~ N p (,), 0, 则总体的密度函数为
f
( x1 ,
x2 ,,
xp
)
(2
)
p
2
1
2
exp[
1 2
(x
) 1 ( x
)]
X1，X2，……，Xn是从总体中抽取的一个简单随机样本，满足X1，
X2，……，Xn相互独立，且同正态分布 设x ~ N p (,).
X
n1
X n2
X
np
n
p
X
(n)
独立同分布于
N p (μ,)
，则随机矩阵
n
i
i
i1
5
A X X
x11 x21 xn1 x11 x12 x1p
x12
x22
xn 2
x21
x22
x2
p
x1
p
x2 p
xnp
xn1
xn 2
xnp
n
X il X lj
l 1
服从自由度为 n 的非中心维斯特分布，记为 ~ Wp (n,,。μ)
(Xi )1(Xi
)]
为样本联合密度函数。
3
§2 样本分布
一、维希特（Wishart）
1、定义随机矩阵的分布
x11 x12 x1p
设随机矩阵X
x21
x22
x2
p
xn1
xn2
xnp
矩阵中的每一个元素均为随机变量，则矩阵X的分布是其列 向量拉长，组成一个长向量
x x11
Sampling Distributions
§1 ห้องสมุดไป่ตู้本的联合概率密度函数
设x ~ N p (,), 0, 则总体的密度函数为
f
( x1 ,
x2 ,,
xp
)
(2
)
p
2
1
2
exp[
1 2
(x
) 1 ( x
)]
X1，X2，……，Xn是从总体中抽取的一个简单随机样本，满足X1，
X2，……，Xn相互独立，且同正态分布 设x ~ N p (,).
X
n1
X n2
X
np
n
p
X
(n)
独立同分布于
N p (μ,)
，则随机矩阵
n
i
i
i1
5
A X X
x11 x21 xn1 x11 x12 x1p
x12
x22
xn 2
x21
x22
x2
p
x1
p
x2 p
xnp
xn1
xn 2
xnp
n
X il X lj
l 1
服从自由度为 n 的非中心维斯特分布，记为 ~ Wp (n,,。μ)
(Xi )1(Xi
)]
为样本联合密度函数。
3
§2 样本分布
一、维希特（Wishart）
1、定义随机矩阵的分布
x11 x12 x1p
设随机矩阵X
x21
x22
x2
p
xn1
xn2
xnp
矩阵中的每一个元素均为随机变量，则矩阵X的分布是其列 向量拉长，组成一个长向量
x x11
第二章多元正态分布
联合概率分布
均值向量量是向
协方差矩阵Σ
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
若某个随机变量X 的密度函数是
1
1(x)2
f(x)22 ex2 p{ 2 },x (, )
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N(。,2)
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ， 它2 是一非负数 。
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
联合分布函数的定义：
设 X(X 1,X 2,..X .p,) 是一随机向量， 它的联合分布函数定义为
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X(X 1,X 2,..X .p,) 服从p元正态分布，
第二章多元正态分布
第二章多元正态分布（一）教学目的通过本章的学习，要求对多元分布的基本概念有所了解，掌握多元正态分布数字特征及其参数估计,尤其是多元正态分布的假设检验。
（二）基本要求要求了解多元分布的基本概念，掌握多元正态分布的参数估计和假设检验。
（三）教学要点1、多维随机向量的边缘密度、条件分布、数字特征2、多元正态分布数字特征及其参数估计3、三个常用的抽样分布4、正态分布总体均值向量的检验（四）教学时数3课时(五）教学内容1、多元分布的基本概念2、多元正态分布数字特征及其参数估计3、三个常用的抽样分布及多元正态分布的假设检验第一节多元分布的基本概念多元统计分析主要方法是建立在多元正态分布的假设之上的。
而多元正态分布又是多元分布中应用最广泛的一种.为此，在介绍多元统计分析方法之前，首先有必要介绍多元正态分布的有关内容.另外，多元统计分析涉及到的都是随机向量或着将多个随机向量放在一起组成的随机矩阵。
为此，学习多元正态分布还需要首先从随机向量的基本概念开始。
多元统计分析，简称多元分析，是指当总体的分布是多维（多元）概率分布时，处理该类总体的数理统计理论和方法的总称，是统计学中的一个重要的分支学科。
早在19世纪就出现了处理二维正态总体的一些方法，但系统地处理多维概率分布总体的统计分析问题，则开始于20世纪。
人们常把1928年维希特（Wishart）分布的导出作为多元分析成为一个独立学科的标志。
20世纪30年代,R。
A。
费希尔、H。
霍特林、许宝騄以及S.N。
罗伊等人做出了一系列奠基性的工作,使多元统计分析在理论上得到了迅速的进展。
20世纪40年代，多元分析在心理、教育、生物等方面获得了一些应用。
由于应用时常需要大量的计算,加上第二次世界大战的影响，使其发展停滞了相当长的时间。
50年代中期，随着电子计算机的发展和普及，它在地质、气象、标准化、生物、图像处理、经济分析等许多领域得到了广泛的应用,也促进了理论的发展。
一、随机向量我们知道，所谓随机变量通俗理解就是“其值随机会而定”的变量.比如,在某厂大批产品中随机地抽取出100个，其中所含废品数X 就是一个随机变量。
2多元正态分布
证：只要验证满足密度函数两个条件即可
（1）显然，当 x1 0, x2 0 时有 f (x1, x2 ) 0
（2）
e(x1x2 )dx1dx2
e(x1x2 )dx1dx2
00
e( x1 x2
)dx1
dx2
0 0
ex2 dx2
ex2
0
1
0
定义 4 设 X ( X1, X 2 , , X p ) 是 p 维随机向量，称由 它 的 q( p) 个 分 量 组 成 的 子 向 量
定义 1 将 p 个随机变量 X1, X 2 , , X p 的整体称为 p 维随机
向量，记为 X ( X1, X 2 , , X p ) 。
在对随机向量的研究仍然限于讨论离散型和连续型两类随机 向量。
先回顾一下一元统计中分布函数和密度函数的定义。
设 X 是一个随机变量，称 F(x) P(X x) 为 X 的概率分布
互独立易推得 Cov(X ,Y ) 0 ，即 X 和Y 不相关；但反过
来，当 X 和Y 不相关时，一般不能推知它们独立。
当 A 、B 为常数矩阵时，由定义可以推出协方差阵有如下
性质：
（1）对于常数向量 a ，有 D( X a) D( X )
（2） D(AX ) AD(X )A AΣA
（3） Cov(AX, BY ) ACov(X,Y )B
f
( x1 ,
x2 )
1
21 2 (1
2 )1/ 2
exp
1
2(1 2 )
(
x1
1)2
2 1
2
( x1
1 )( x2 1 2
2 )
( x2
2
2 2
)2Leabharlann 对于 0 ，那么 X1 与 X 2 是相互独立的；若 0 ，则 X1 与
（1）显然，当 x1 0, x2 0 时有 f (x1, x2 ) 0
（2）
e(x1x2 )dx1dx2
e(x1x2 )dx1dx2
00
e( x1 x2
)dx1
dx2
0 0
ex2 dx2
ex2
0
1
0
定义 4 设 X ( X1, X 2 , , X p ) 是 p 维随机向量，称由 它 的 q( p) 个 分 量 组 成 的 子 向 量
定义 1 将 p 个随机变量 X1, X 2 , , X p 的整体称为 p 维随机
向量，记为 X ( X1, X 2 , , X p ) 。
在对随机向量的研究仍然限于讨论离散型和连续型两类随机 向量。
先回顾一下一元统计中分布函数和密度函数的定义。
设 X 是一个随机变量，称 F(x) P(X x) 为 X 的概率分布
互独立易推得 Cov(X ,Y ) 0 ，即 X 和Y 不相关；但反过
来，当 X 和Y 不相关时，一般不能推知它们独立。
当 A 、B 为常数矩阵时，由定义可以推出协方差阵有如下
性质：
（1）对于常数向量 a ，有 D( X a) D( X )
（2） D(AX ) AD(X )A AΣA
（3） Cov(AX, BY ) ACov(X,Y )B
f
( x1 ,
x2 )
1
21 2 (1
2 )1/ 2
exp
1
2(1 2 )
(
x1
1)2
2 1
2
( x1
1 )( x2 1 2
2 )
( x2
2
2 2
)2Leabharlann 对于 0 ，那么 X1 与 X 2 是相互独立的；若 0 ，则 X1 与
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
1 Σ11.2 Σ11 Σ12Σ 22 Σ21是x 2的条件下x1的条件协条件协方差。
十二、偏相关系数
矩阵Σ11.2称为条件协方差矩阵，它的元素用 ij.k 1,, p 表示。是当 x2 给定的条件下，xi 与 x j（ i, j k ）的偏相关
证：
令
x1 x I 0 x2 z Σ 21Σ
1 11
x1 I x2
I
x1 1 Σ Σ I 0 var cov(x1,z) 21 11 x2
x1 I 0 var x2 Σ11 I 0 Σ 21
1 2
1 1 1 exp[ (x1 μ1 )Σ11 (x1 μ1 ) ( x 2 μ 2 )Σ 22 ( x 2 μ 2 )] 2 1 1 k / 2 2 ( 2 ) 11 exp[ (x1 μ)Σ 1 (x1 μ)] 2
Байду номын сангаас11
.( 2 )
1 0 1 0 1 1 0 1 Σ AA 0 1 0 1 1 0 1 1 1 1 1 1 2 1 0 1 1 1 0 1 Σ 0 1 1 2 11 0 1 2 1 1 1 1 2
i 1 n
N ( 0,1)
u (u1 , u 2 , , u p ) 密度函数为
1 1 exp( xi2 ) 2 2
(2 )
p 2
1 p 2 exp( xi ) 2 i 1
ui
i 1, 2, , p
其中的
u ( u1 , u 2 , , u p )
1 2
1 2
七、将 x, , 作如下的分块：
11 21 12 k 1 k 22 k p 2 p k
x1 k x x 2 p k
子 x1 , x2 向量相互独立，当且仅当 12 0。 证：必要性
Σ11 Σ Σ 21
Σ12 k Σ 22 k p
μ1 k μ μ 2 p k
x1 k x x 2 p k
则给定 x 2 时 x1 的条件分布为 N k ( 12 , 112 ) ，其中
1 μ12 μ1 Σ12Σ 22 (x 2 μ 2 ).
xi
其中 x ( x1 , x 2 , , x p ) 的均值为 E ( x ) ( 1 , 2 , , p ) 协方差为
( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x1 1 )( x p p ) 2 ( x )( x ) ( x ) ( x )( x ) 2 2 1 2 2 2 2 2 p p E 2 ( x )( x ) ( x )( x ) ( x ) 1 1 p p 2 2 p p p
(2 )
p 2
Σ11
1 2
Σ22
1 2
(x1 μ1 ) 1 1 1 exp[ (x1 μ1 )Σ11 ( x 2 μ 2 )Σ 22 ] 2 (x 2 μ 2 )
(2 )
p 2
Σ11
1 2
Σ22
1, 2, , n 相互独立， 五、设 x1 , x 2 , , x n , x i ~ N p ( i , i ) i，
且，则对任意 n 个常数 k1 , , k n ，有
i 1
ki x i
n
~ N p ( i , k i2 i ).
i 1 i 1
n
p 元正态分布；
－1存在，x
Au 是非退化
若 rank ( A ) p ( p q ) ，则Σ 1不存在， x Au 是退化
p 元正态分布，不存在密度函数。
1 0 例：设随机向量 u ~ N 2 ( 0, I ) ， A 0 1 ，则 x 的分布是 x Au ， 退化的三元正态分布。 1 1
Σ
21
Σ
1 11
I
Σ12 1 Σ Σ 21 11 Σ 22
I
Σ11
1 Σ12 Σ11 Σ12 I
Σ12 Σ12 0
1 所以x1与x2 Σ21Σ11 x1相互独立。
十一、将 x, , 作如下的分块：
常数矩阵，b为 r 维的常数向量，则
y ~ N r ( C b , C C )
四、设 x ~ N p ( , ) ，则 x 的任何子向量也服从多元正态 分布，其均值为 的相应子向量，协方差为 的相应子矩 阵。
x1 k x x2 p k μ1 k μ μ2 p k Σ11 Σ Σ 21 Σ12 k Σ 22 p k
p 2
值得注意
设随机向量 u ~ N q (0, I ) ， μ 是常数向量，A 是一 个 p * q 的常数矩阵，则 x Au 服从正态分布，记 为 x ~ N p ( , ) ，其中 A A ( p * p ) 若 rank ( A ) p ( p q )，则Σ
1 1 I 1
二、一般的正态分布
设随机向量 x ( x1 , x 2 , , x p ) ,若其的密度函数为
f ( x1, x2 ,, x p )
(2 )
p 2
Σ
1 2
1 exp[ (x - μ)Σ -1 (x - μ)] 2
其密度函数为
J (u x ) A
1
AA
1 2
f ( x1 , x2 , , x p )
1 1 1 (2 ) exp[ ( x μ) A A ( x μ)] | J | 2 1 1 2 p 2 (2 ) Σ exp[ ( x μ )Σ 1 ( x μ )] 2
第二章 多元正态分布及其抽样分布
内
第一节 第二节 第三节 第四节
容
多元正态分布的定义 多元正态的性质 多元正态参数的极大似然估计 多元正态的样本分布
第一节
多元正态分布的定义
一、标准多元正态分布
设随机向量
u ( u1 , u 2 , , u p )
其分量独立同分布于 则
f ( x1 , x2 , , x p )
称 x ( x1 , x 2 , , x p ) 服从均值为E(X)，协方差为的正态分布。
三、一般的p维正态和p维标准正态的关系 设 x Au ，其中 A 是一个 p 阶非退化 矩阵， u (u1 , u 2 , , u p ) 服从 p 维标准正态分布，则
x Au
均值为 E(u) (Eu1 ,Eu 2 , ,Eu p ) 0
协方差矩阵为
u12 u1u 2 u1u p 2 u u u u u 2 1 2 2 p Var (u) E(uu) E 2 u u u u u p 2 p p 1
又
x1和 x2相互独立
Σ12 E[(x1 μ1 )( x2 μ 2 )] Σ12 E(x1 μ1 )E( x 2 μ 2 )] Σ12 0
充分性
Σ12 0
1 Σ 11 1 Σ 0
0 1 Σ 22
1 Σ 11 1 Σ
第二节
多元正态分布的性质
一、多元正态分布的特征函数
1 (t ) exp(it t t ) 2
二、x是一个服从p维正态分布，当且仅当它的任何
线性函数 ax 服从一元正态分布N p (μ , Σ )。
三、 X服从 p 维正态分布，则 y Cx b ，其中C为 r p
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
1 Σ11.2 Σ11 Σ12Σ 22 Σ21是x 2的条件下x1的条件协条件协方差。
十二、偏相关系数
矩阵Σ11.2称为条件协方差矩阵，它的元素用 ij.k 1,, p 表示。是当 x2 给定的条件下，xi 与 x j（ i, j k ）的偏相关
证：
令
x1 x I 0 x2 z Σ 21Σ
1 11
x1 I x2
I
x1 1 Σ Σ I 0 var cov(x1,z) 21 11 x2
x1 I 0 var x2 Σ11 I 0 Σ 21
1 2
1 1 1 exp[ (x1 μ1 )Σ11 (x1 μ1 ) ( x 2 μ 2 )Σ 22 ( x 2 μ 2 )] 2 1 1 k / 2 2 ( 2 ) 11 exp[ (x1 μ)Σ 1 (x1 μ)] 2
Байду номын сангаас11
.( 2 )
1 0 1 0 1 1 0 1 Σ AA 0 1 0 1 1 0 1 1 1 1 1 1 2 1 0 1 1 1 0 1 Σ 0 1 1 2 11 0 1 2 1 1 1 1 2
i 1 n
N ( 0,1)
u (u1 , u 2 , , u p ) 密度函数为
1 1 exp( xi2 ) 2 2
(2 )
p 2
1 p 2 exp( xi ) 2 i 1
ui
i 1, 2, , p
其中的
u ( u1 , u 2 , , u p )
1 2
1 2
七、将 x, , 作如下的分块：
11 21 12 k 1 k 22 k p 2 p k
x1 k x x 2 p k
子 x1 , x2 向量相互独立，当且仅当 12 0。 证：必要性
Σ11 Σ Σ 21
Σ12 k Σ 22 k p
μ1 k μ μ 2 p k
x1 k x x 2 p k
则给定 x 2 时 x1 的条件分布为 N k ( 12 , 112 ) ，其中
1 μ12 μ1 Σ12Σ 22 (x 2 μ 2 ).
xi
其中 x ( x1 , x 2 , , x p ) 的均值为 E ( x ) ( 1 , 2 , , p ) 协方差为
( x1 1 ) 2 ( x1 1 )( x2 2 ) ( x1 1 )( x p p ) 2 ( x )( x ) ( x ) ( x )( x ) 2 2 1 2 2 2 2 2 p p E 2 ( x )( x ) ( x )( x ) ( x ) 1 1 p p 2 2 p p p
(2 )
p 2
Σ11
1 2
Σ22
1 2
(x1 μ1 ) 1 1 1 exp[ (x1 μ1 )Σ11 ( x 2 μ 2 )Σ 22 ] 2 (x 2 μ 2 )
(2 )
p 2
Σ11
1 2
Σ22
1, 2, , n 相互独立， 五、设 x1 , x 2 , , x n , x i ~ N p ( i , i ) i，
且，则对任意 n 个常数 k1 , , k n ，有
i 1
ki x i
n
~ N p ( i , k i2 i ).
i 1 i 1
n
p 元正态分布；
－1存在，x
Au 是非退化
若 rank ( A ) p ( p q ) ，则Σ 1不存在， x Au 是退化
p 元正态分布，不存在密度函数。
1 0 例：设随机向量 u ~ N 2 ( 0, I ) ， A 0 1 ，则 x 的分布是 x Au ， 退化的三元正态分布。 1 1
Σ
21
Σ
1 11
I
Σ12 1 Σ Σ 21 11 Σ 22
I
Σ11
1 Σ12 Σ11 Σ12 I
Σ12 Σ12 0
1 所以x1与x2 Σ21Σ11 x1相互独立。
十一、将 x, , 作如下的分块：
常数矩阵，b为 r 维的常数向量，则
y ~ N r ( C b , C C )
四、设 x ~ N p ( , ) ，则 x 的任何子向量也服从多元正态 分布，其均值为 的相应子向量，协方差为 的相应子矩 阵。
x1 k x x2 p k μ1 k μ μ2 p k Σ11 Σ Σ 21 Σ12 k Σ 22 p k
p 2
值得注意
设随机向量 u ~ N q (0, I ) ， μ 是常数向量，A 是一 个 p * q 的常数矩阵，则 x Au 服从正态分布，记 为 x ~ N p ( , ) ，其中 A A ( p * p ) 若 rank ( A ) p ( p q )，则Σ
1 1 I 1
二、一般的正态分布
设随机向量 x ( x1 , x 2 , , x p ) ,若其的密度函数为
f ( x1, x2 ,, x p )
(2 )
p 2
Σ
1 2
1 exp[ (x - μ)Σ -1 (x - μ)] 2
其密度函数为
J (u x ) A
1
AA
1 2
f ( x1 , x2 , , x p )
1 1 1 (2 ) exp[ ( x μ) A A ( x μ)] | J | 2 1 1 2 p 2 (2 ) Σ exp[ ( x μ )Σ 1 ( x μ )] 2
第二章 多元正态分布及其抽样分布
内
第一节 第二节 第三节 第四节
容
多元正态分布的定义 多元正态的性质 多元正态参数的极大似然估计 多元正态的样本分布
第一节
多元正态分布的定义
一、标准多元正态分布
设随机向量
u ( u1 , u 2 , , u p )
其分量独立同分布于 则
f ( x1 , x2 , , x p )
称 x ( x1 , x 2 , , x p ) 服从均值为E(X)，协方差为的正态分布。
三、一般的p维正态和p维标准正态的关系 设 x Au ，其中 A 是一个 p 阶非退化 矩阵， u (u1 , u 2 , , u p ) 服从 p 维标准正态分布，则
x Au
均值为 E(u) (Eu1 ,Eu 2 , ,Eu p ) 0
协方差矩阵为
u12 u1u 2 u1u p 2 u u u u u 2 1 2 2 p Var (u) E(uu) E 2 u u u u u p 2 p p 1
又
x1和 x2相互独立
Σ12 E[(x1 μ1 )( x2 μ 2 )] Σ12 E(x1 μ1 )E( x 2 μ 2 )] Σ12 0
充分性
Σ12 0
1 Σ 11 1 Σ 0
0 1 Σ 22
1 Σ 11 1 Σ
第二节
多元正态分布的性质
一、多元正态分布的特征函数
1 (t ) exp(it t t ) 2
二、x是一个服从p维正态分布，当且仅当它的任何
线性函数 ax 服从一元正态分布N p (μ , Σ )。
三、 X服从 p 维正态分布，则 y Cx b ，其中C为 r p