第九章 多元正态分布与统计中的三大分布
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Γ(
m 和 n 的 F 分布，记为 Z ~ F (m, n) 。
m+n n m m+ n Γ( 2 ) m −1 − 2 2 2 m n y (my + n) 2 , y > 0 密度函数为 f mn ( y ) = m 。 F (m, n) 分布 n Γ ( 2 )Γ ( 2 ) 0, y ≤ 0
−1 −1 V11 − V12V22 µ2 V21 0 u µ1 − V12V22 u ，这表明 且 E = = = , ( ) ' Var BVar y B v µ 0 V22 2 v −1 Y1 − V12V22 Y2 和Y2 是独立的，因此给定 Y2 ， Y1 的条件分布是 p 维正态分布。 −1 −1 −1 E (Y1 | Y2 ) = E Y1 − V12V22 Y2 + V12V22 Y2 | Y2 = E (Y1 | Y2 ) = µ1 + V12V22 (Y2 − µ 2 ) −1 −1 −1 −1 Var (Y1 | Y2 ) = Var Y1 − V12V22 Y2 + V12V22 Y2 | Y2 = Var Y1 − V12V22 Y2 | Y2 == V11 − V12V22 V21
l =1
4
4 ∂ϕ 1 = ϕ (t1 , t 2 , t 3 , t 4 )[− (u1 + ∑ t k σ k1 )] ∂t1 2 k =1
1 = ϕ (t1 , t 2 , t 3 , t 4 )[− (u1 + u1 )] = −u1ϕ (t1 , t 2 , t 3 , t 4 ) 2 ∂u ∂ 2ϕ = − 1 ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 2 ∂t1 ∂t 2 = −σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2ϕ (t1 , t 2 , t 3 , t 4 ) ∂u u ∂ 3ϕ = u 3σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + 1 2 ϕ (t1 , t 2 , t 3 , t 4 ) − u1u 2 u 3ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 3 ∂t 2 ∂t1 ∂t 3 ∂u k = σ kj 。 ∂t j
∂ 4ϕ |t =0 = σ 12σ 34 + σ 13σ 24 + σ 23σ 14 ∂t1∂t 2 ∂t 3 ∂t 4
∂ 2ϕ Eξ k ξ l = |t =0 = −σ kl ， 1 ≤ k , l ≤ 4 ∂t l ∂t k
因此 Eξ1ξ 2ξ 3ξ 4 = Eξ1ξ 2 Eξ 3ξ 4 + Eξ1ξ 3 Eξ 2ξ 4 + Eξ 2ξ 3 Eξ1ξ 4 。
i =1
n
i
− X )2
，则
n −1
1)
X ~ N (µ , (n − 1) S 2
σ2
n
);
2) 3) 4)
σ
2
~ χ 2 (n − 1) ;
X 与 S 2 独立； n(X − µ) ~ t (n − 1) 。 S
2 定 理 2 ： 设 X 1 ,L X n i.i.d ~ N ( µ1 , σ 12 ) , Y1 , LYm i.i.d ~ N ( µ 2 , σ 2 ) 且 X 1 ,L X n 与
= u 3σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + (σ 13 u 2 + σ 23u1 )ϕ (t1 , t 2 , t 3 , t 4 ) − u1u 2 u 3ϕ (t1 , t 2 , t 3 , t 4 )
1
∂u ∂ 4ϕ = 3 σ 12ϕ (t1 , t 2 , t 3 , t 4 ) − u 3u 4σ 12ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4 ∂t 3 ∂t 2 ∂t1 ∂t 4 + [σ 12 − ∂u 2 ∂u + σ 23 1 ]ϕ (t1 , t 2 , t 3 , t 4 ) − (σ 13 u 2 + σ 23u1 )u 4ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4 ∂t 4
2 Y1 , LYm 独立。令 S X =
∑ (X i − X )2
i =1
n
n −1
2 , SY =
∑ (Y
i =1
m
i
− Y )2
，则
m −1
2 S Y2 / σ 2 ~ F (m, n) ；当 2 SX / σ 12
2 σ 12 = σ 2 时
nm(n + m − 2) [(X − Y ) − (µ1 − µ 2 )] n+m
0 n
1
Γ ( x )Γ ( y ) 。 Γ( x + y )
定义 1： 设 X 1 ,L X n i.i.d ~ N (0,1) ， 称 Y = ∑ X i2 的分布为具有 n 个自由度的 χ 2 分
i =1
布，或记为 Y ~ χ 2 (n) 。
y n − −1 1 2 2 e y ,y >0 n 密度函数为 k n ( y ) = 2 2 Γ( n ) 。 χ 2 分布的基本性质： 2 0, y ≤ 0
由度的 t 分布，记为 Z ~ t (n) 。
Hale Waihona Puke Baidu
n +1 ) n +1 y2 − 2 2 密度函数为 t n ( y ) = (1 + ) 。当 n = 1 时， t 分布的均值不存在， n n nπ Γ( ) 2 n (n > 2) 。 当 n > 1 时， t (n) 的均值为 0，方差为 n−2 X /m 定义 3：设 X , Y 独立且 X ~ χ 2 (m), Y ~ χ 2 (n) ，称 Z = 的分布为具有自由度 Y /n
Y1 µ1 V11 V12 定理 4：设 Y = V > 0 。则给定 Y2 时 Y1 Y ~ N ( µ , V ), 其中µ = µ ,V = 21 V22 2 q 2
的条件分布是 p 维正态分布，并且条件期望和方差分别为：
= σ 12σ 34ϕ (t1 , t 2 , t 3 , t 4 ) − σ 12 u 3 u 4ϕ (t1 , t 2 , t 3 , t 4 )
∂u1u 2 u 3 ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2 u 3 u 4ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4
1)
设 Y1 ,LYk 独立且 Yi ~ χ 2 (ni ) ，则 ∑ Yi ~ χ 2 (∑ ni ) ；
i =1 i =1
k
k
2)
χ 2 (n) 的均值为 n ，方差为 2n 。
X Y n
定义 2：设 X ~ N (0,1) ， Y ~ χ 2 (n) 且 X , Y 独立，称 Z =
的分布为具有 n 个自
−1 −1 E (Y1 | Y2 ) = µ1 + V12V22 (Y2 − µ 2 ), Var (Y1 | Y2 ) = V11 − V12V22 V21 。
p
u I p 证明：定义 v = 0
−1 −1 Y1 Y − V12V22 − V12V22 Y2 u = By = 1 ，则 v 是正态分布， Y Y Iq 2 2
Σ ≠ 0 ，则 X 的分布密度为 f ( x ) =
1 (2π )
n 2
Σ
1
2
1 exp − ( x − µ )' Σ −1 ( x − µ ) 。 2
定理 1：多元正态分布随机变量的边际分布仍然是正态分布。 定理 2： X ~ N ( µ , Σ) ⇔ 对任意n维向量t , t ' X ~ N (t ' µ , t ' Σt ) 。 定理 3：随机变量 ξ1 , ξ 2 的联合分布是正态分布，则 ξ1 , ξ 2 相互独立等价于 ξ1 , ξ 2 不 相关。 例 1 ： 若 ξ1 , ξ 2 , ξ 3 , ξ 4 的 联 合 分 布 为 零 均 值 的 正 态 分 布 ， 则 Eξ1ξ 2ξ 3ξ 4 = Eξ1ξ 2 Eξ 3ξ 4 + Eξ1ξ 3 Eξ 2ξ 4 + Eξ1ξ 4 Eξ 2ξ 3 。 证明：设其特征函数为
4
ϕ (t1 , t 2 , t 3 , t 4 ) = E exp(i ∑ t j ξ j ) = exp(− t ' Σt )
j =1
1 2
= exp(−
1 4 1 4 t σ t = − ) exp( ∑ k k ,l l ∑ tk uk ) 2 k =1 2 k ,l =1
（设 u k = ∑ σ kl t l ） 。
(
)
(
)
(
)
9.2 统计中三大分布 首先介绍 Γ 函数与 β 函数。 Γ 函数定义为 Γ( x) = ∫ e −t t x −1 dt , x > 0 ，基本性质：
0 ∞
1 Γ(1) = 1, Γ( ) = π , Γ( x + 1) = xΓ( x) 。 β 函数定义为： 2
2
β ( x, y ) = ∫ t x −1 (1 − t ) y −1 dt , x, y > 0 ， β ( x, y ) =
∑(X
i =1
n
i
− X ) + ∑ (Yi − Y )
2 i =1
m
~ t ( m + n − 2) 。
2
4
− (σ 14 u 2 u 3 + σ 24 u1u 3 + σ 34 u1u 2 )ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2 u 3u 4ϕ (t1 , t 2 , t 3 , t 4 )
从而 Eξ1ξ 2ξ 3ξ 4 =
+ (σ 13σ 24 + σ 23σ 14 )ϕ (t1 , t 2 , t 3 , t 4 ) − (σ 13 u 2 + σ 23 u1 )u 4ϕ (t1 , t 2 , t 3 , t 4 )
第九章 多元正态分布与统计中的三大分布
9.1 多元正态分布 设 X 是 n 维随机变量，称 X 服从 n 维正态分布，如果它的特征函数为 1 ϕ (t ) = exp{it ' µ − t ' Σt} ，并记为 X ~ N ( µ , Σ) 。易知， EX = µ , Var ( X ) = Σ 。如果 2
的均值为
n 2n 2 (m + n − 2) (n > 2) ，方差为 (n > 4) 。 n−2 m(n − 2) 2 (n − 4)
9.3 正态分布与三大分布的关系
3
定理 1：设 X 1 ,L X n i.i.d ~ N ( µ , σ 2 ) ，令 X =
∑ Xi
i =1
n
n
，S2 =
∑(X
m 和 n 的 F 分布，记为 Z ~ F (m, n) 。
m+n n m m+ n Γ( 2 ) m −1 − 2 2 2 m n y (my + n) 2 , y > 0 密度函数为 f mn ( y ) = m 。 F (m, n) 分布 n Γ ( 2 )Γ ( 2 ) 0, y ≤ 0
−1 −1 V11 − V12V22 µ2 V21 0 u µ1 − V12V22 u ，这表明 且 E = = = , ( ) ' Var BVar y B v µ 0 V22 2 v −1 Y1 − V12V22 Y2 和Y2 是独立的，因此给定 Y2 ， Y1 的条件分布是 p 维正态分布。 −1 −1 −1 E (Y1 | Y2 ) = E Y1 − V12V22 Y2 + V12V22 Y2 | Y2 = E (Y1 | Y2 ) = µ1 + V12V22 (Y2 − µ 2 ) −1 −1 −1 −1 Var (Y1 | Y2 ) = Var Y1 − V12V22 Y2 + V12V22 Y2 | Y2 = Var Y1 − V12V22 Y2 | Y2 == V11 − V12V22 V21
l =1
4
4 ∂ϕ 1 = ϕ (t1 , t 2 , t 3 , t 4 )[− (u1 + ∑ t k σ k1 )] ∂t1 2 k =1
1 = ϕ (t1 , t 2 , t 3 , t 4 )[− (u1 + u1 )] = −u1ϕ (t1 , t 2 , t 3 , t 4 ) 2 ∂u ∂ 2ϕ = − 1 ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 2 ∂t1 ∂t 2 = −σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2ϕ (t1 , t 2 , t 3 , t 4 ) ∂u u ∂ 3ϕ = u 3σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + 1 2 ϕ (t1 , t 2 , t 3 , t 4 ) − u1u 2 u 3ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 3 ∂t 2 ∂t1 ∂t 3 ∂u k = σ kj 。 ∂t j
∂ 4ϕ |t =0 = σ 12σ 34 + σ 13σ 24 + σ 23σ 14 ∂t1∂t 2 ∂t 3 ∂t 4
∂ 2ϕ Eξ k ξ l = |t =0 = −σ kl ， 1 ≤ k , l ≤ 4 ∂t l ∂t k
因此 Eξ1ξ 2ξ 3ξ 4 = Eξ1ξ 2 Eξ 3ξ 4 + Eξ1ξ 3 Eξ 2ξ 4 + Eξ 2ξ 3 Eξ1ξ 4 。
i =1
n
i
− X )2
，则
n −1
1)
X ~ N (µ , (n − 1) S 2
σ2
n
);
2) 3) 4)
σ
2
~ χ 2 (n − 1) ;
X 与 S 2 独立； n(X − µ) ~ t (n − 1) 。 S
2 定 理 2 ： 设 X 1 ,L X n i.i.d ~ N ( µ1 , σ 12 ) , Y1 , LYm i.i.d ~ N ( µ 2 , σ 2 ) 且 X 1 ,L X n 与
= u 3σ 12ϕ (t1 , t 2 , t 3 , t 4 ) + (σ 13 u 2 + σ 23u1 )ϕ (t1 , t 2 , t 3 , t 4 ) − u1u 2 u 3ϕ (t1 , t 2 , t 3 , t 4 )
1
∂u ∂ 4ϕ = 3 σ 12ϕ (t1 , t 2 , t 3 , t 4 ) − u 3u 4σ 12ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4 ∂t 3 ∂t 2 ∂t1 ∂t 4 + [σ 12 − ∂u 2 ∂u + σ 23 1 ]ϕ (t1 , t 2 , t 3 , t 4 ) − (σ 13 u 2 + σ 23u1 )u 4ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4 ∂t 4
2 Y1 , LYm 独立。令 S X =
∑ (X i − X )2
i =1
n
n −1
2 , SY =
∑ (Y
i =1
m
i
− Y )2
，则
m −1
2 S Y2 / σ 2 ~ F (m, n) ；当 2 SX / σ 12
2 σ 12 = σ 2 时
nm(n + m − 2) [(X − Y ) − (µ1 − µ 2 )] n+m
0 n
1
Γ ( x )Γ ( y ) 。 Γ( x + y )
定义 1： 设 X 1 ,L X n i.i.d ~ N (0,1) ， 称 Y = ∑ X i2 的分布为具有 n 个自由度的 χ 2 分
i =1
布，或记为 Y ~ χ 2 (n) 。
y n − −1 1 2 2 e y ,y >0 n 密度函数为 k n ( y ) = 2 2 Γ( n ) 。 χ 2 分布的基本性质： 2 0, y ≤ 0
由度的 t 分布，记为 Z ~ t (n) 。
Hale Waihona Puke Baidu
n +1 ) n +1 y2 − 2 2 密度函数为 t n ( y ) = (1 + ) 。当 n = 1 时， t 分布的均值不存在， n n nπ Γ( ) 2 n (n > 2) 。 当 n > 1 时， t (n) 的均值为 0，方差为 n−2 X /m 定义 3：设 X , Y 独立且 X ~ χ 2 (m), Y ~ χ 2 (n) ，称 Z = 的分布为具有自由度 Y /n
Y1 µ1 V11 V12 定理 4：设 Y = V > 0 。则给定 Y2 时 Y1 Y ~ N ( µ , V ), 其中µ = µ ,V = 21 V22 2 q 2
的条件分布是 p 维正态分布，并且条件期望和方差分别为：
= σ 12σ 34ϕ (t1 , t 2 , t 3 , t 4 ) − σ 12 u 3 u 4ϕ (t1 , t 2 , t 3 , t 4 )
∂u1u 2 u 3 ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2 u 3 u 4ϕ (t1 , t 2 , t 3 , t 4 ) ∂t 4
1)
设 Y1 ,LYk 独立且 Yi ~ χ 2 (ni ) ，则 ∑ Yi ~ χ 2 (∑ ni ) ；
i =1 i =1
k
k
2)
χ 2 (n) 的均值为 n ，方差为 2n 。
X Y n
定义 2：设 X ~ N (0,1) ， Y ~ χ 2 (n) 且 X , Y 独立，称 Z =
的分布为具有 n 个自
−1 −1 E (Y1 | Y2 ) = µ1 + V12V22 (Y2 − µ 2 ), Var (Y1 | Y2 ) = V11 − V12V22 V21 。
p
u I p 证明：定义 v = 0
−1 −1 Y1 Y − V12V22 − V12V22 Y2 u = By = 1 ，则 v 是正态分布， Y Y Iq 2 2
Σ ≠ 0 ，则 X 的分布密度为 f ( x ) =
1 (2π )
n 2
Σ
1
2
1 exp − ( x − µ )' Σ −1 ( x − µ ) 。 2
定理 1：多元正态分布随机变量的边际分布仍然是正态分布。 定理 2： X ~ N ( µ , Σ) ⇔ 对任意n维向量t , t ' X ~ N (t ' µ , t ' Σt ) 。 定理 3：随机变量 ξ1 , ξ 2 的联合分布是正态分布，则 ξ1 , ξ 2 相互独立等价于 ξ1 , ξ 2 不 相关。 例 1 ： 若 ξ1 , ξ 2 , ξ 3 , ξ 4 的 联 合 分 布 为 零 均 值 的 正 态 分 布 ， 则 Eξ1ξ 2ξ 3ξ 4 = Eξ1ξ 2 Eξ 3ξ 4 + Eξ1ξ 3 Eξ 2ξ 4 + Eξ1ξ 4 Eξ 2ξ 3 。 证明：设其特征函数为
4
ϕ (t1 , t 2 , t 3 , t 4 ) = E exp(i ∑ t j ξ j ) = exp(− t ' Σt )
j =1
1 2
= exp(−
1 4 1 4 t σ t = − ) exp( ∑ k k ,l l ∑ tk uk ) 2 k =1 2 k ,l =1
（设 u k = ∑ σ kl t l ） 。
(
)
(
)
(
)
9.2 统计中三大分布 首先介绍 Γ 函数与 β 函数。 Γ 函数定义为 Γ( x) = ∫ e −t t x −1 dt , x > 0 ，基本性质：
0 ∞
1 Γ(1) = 1, Γ( ) = π , Γ( x + 1) = xΓ( x) 。 β 函数定义为： 2
2
β ( x, y ) = ∫ t x −1 (1 − t ) y −1 dt , x, y > 0 ， β ( x, y ) =
∑(X
i =1
n
i
− X ) + ∑ (Yi − Y )
2 i =1
m
~ t ( m + n − 2) 。
2
4
− (σ 14 u 2 u 3 + σ 24 u1u 3 + σ 34 u1u 2 )ϕ (t1 , t 2 , t 3 , t 4 ) + u1u 2 u 3u 4ϕ (t1 , t 2 , t 3 , t 4 )
从而 Eξ1ξ 2ξ 3ξ 4 =
+ (σ 13σ 24 + σ 23σ 14 )ϕ (t1 , t 2 , t 3 , t 4 ) − (σ 13 u 2 + σ 23 u1 )u 4ϕ (t1 , t 2 , t 3 , t 4 )
第九章 多元正态分布与统计中的三大分布
9.1 多元正态分布 设 X 是 n 维随机变量，称 X 服从 n 维正态分布，如果它的特征函数为 1 ϕ (t ) = exp{it ' µ − t ' Σt} ，并记为 X ~ N ( µ , Σ) 。易知， EX = µ , Var ( X ) = Σ 。如果 2
的均值为
n 2n 2 (m + n − 2) (n > 2) ，方差为 (n > 4) 。 n−2 m(n − 2) 2 (n − 4)
9.3 正态分布与三大分布的关系
3
定理 1：设 X 1 ,L X n i.i.d ~ N ( µ , σ 2 ) ，令 X =
∑ Xi
i =1
n
n
，S2 =
∑(X