关于多维正态分布

3
关于多维正态分布
（共 7 页）
性质 1’： （正态分布在非退化仿射变换下的不变性，性质 1 的一般形式） 设 n 维随机向量 X ∼ N ( µ , Σ ) ， A 是 m × n 阶实数方阵，rankA = m （即 A 的行向量 是线性无关的） ， b ∈ R m 。则 Y = AX + b ∼ N ( Aµ + b, AΣA′) 。 证明：因为 A 是满行秩矩阵，所以 m ≤ n 。如果 m = n ，则 A 是可逆矩阵，这时 结论如 b 中形式。 如果 m < n ，则 A 的 m 个 n 维行向量线性无关，我们可以将它们扩充为 n 维 空间的一组基，也就是说存在 ( n − m) × n 矩阵 B 使得
关于多维正态分布
（共 7 页）
关于多维正态分布
定义 设 µ ∈ R n ， Σ 是 n 阶实对称正定方阵，称 n 维随机向量 X 服从正态分布
N ( µ , Σ ) ，如果 X 有以下形式的联合概率密度函数
f X ( x) = ⎛ 1 ⎞ exp ⎜ − ( x − µ ) ' Σ −1 ( x − µ ) ⎟ ⎝ 2 ⎠ (2π ) n det( Σ ) 1
1 ⎛ 1 ⎞ exp ⎜ − ( A−1 ( y − b ) − µ ) ' Σ −1 ( A−1 ( y − b ) − µ ) ⎟ × ⎝ 2 ⎠ | det A | (2π ) n det Σ ⎛ 1 ⎞ exp ⎜ − ( y − b − Aµ ) '( AΣA ') −1 ( y − b − Aµ ) ⎟ ⎝ 2 ⎠ (2π ) n det( AΣA ') 1
0 ⎞⎛ Σ11 ⎟⎜ I 2 ⎠⎝ Σ 21
Σ12 ⎞ ⎛ I1 ⎟⎜ −1 Σ 22 ⎠ ⎝ −Σ 21Σ11
0 ⎞⎞ ⎟⎟ I2 ⎠ ⎠
0 ⎞⎞ ⎟ −1 ⎟ Σ 22 − Σ 21Σ11 ⎠⎠
由性质 2 知， Y1 和 Y2 独立，并且 X 1 = Y1 ∼ N ( µ1 , Σ11 ) 。 用类似的办法可以证明
4
关于多维正态分布
（共 7 页）
性质 4： （正态分布参数的概率含义） 设 n 维随机向量 X ∼ N ( µ , Σ ) 。 则 E( X ) = µ （即 E ( X i ) = µi ， i = 1,..., n ） ， Σ 是 X 的协方差矩阵（即 Σi , j = Cov( X i , X j ) ，
a1 , a2 ,… , an 不全为零。则
a1 X 1 +
an X n + b ∼ N ( a1 µ1 +
an µn + b, a12σ 12 +
2 2 + an σn ) 。
证明：由独立性知，
f X1 ,…, X n ( x1 , , xn ) = f X1 ( x1 ) f X n ( xn ) = 1 (2π ) n σ 12 ⎛ 1 n ( x − µ )2 ⎞ exp ⎜ − ∑ i 2 i ⎟ 2 σi σn ⎝ 2 i =1 ⎠
证明：注意到 x = A−1 (Y − b ) ， x − µ = A−1 (Y − Aµ − b ) ，
det( AΣA ') = det( A) ⋅ det(Σ ) ⋅ det( A ') = det(Σ ) ⋅ det( A)2
所以，
fY ( y ) = f AX +b ( y ) = f X ( A−1 ( y − b )) × = = 1 1 | det A |
即
⎛ ⎛ µ1 ⎞ ⎛ σ 12 ⎜⎜ ⎟ ⎜ ( X 1 ,… , X n ) ′ ∼ N ⎜ ⎜ ⎟ , ⎜ ⎜⎜ µ ⎟ ⎜ ⎝⎝ n ⎠ ⎝
⎞⎞ ⎟⎟ ⎟⎟ ， 2 ⎟⎟ σn ⎠⎠
于是在性质 5 中取 A = ( a1 ,..., an ) 。因 a1 , a2 ,… , an 不全为零，故 A 满行秩。于是应 用性质 1’就得到这个结论。 教材相关内容：第 159 页例 3.3.6。
i =1
=Π
⎛ 1 ⎞ −1 xi ⎟ exp ⎜ − xi' Σii ⎝ 2 ⎠ (2π ) ni det Σii 1
易见
f X i ( xi ) =
从而
பைடு நூலகம்
⎛ 1 ⎞ −1 exp ⎜ − xi' Σii xi ⎟ , ni ⎝ 2 ⎠ (2π ) det Σii 1 f X1 , X 2 ( x1 , x2 ) = f X1 ( x1 ) ⋅ f X 2 ( x2 )
⎛ A⎞ ⎜ ⎟ ⎝ B ⎠ n× n
是可逆矩阵，由性质 1，
⎛ ⎛ Aµ + b ⎞ ⎛ A ⎞ ⎞ ⎛ ⎛ Aµ + b ⎞ ⎛ AΣA ' AΣB ' ⎞ ⎞ ⎛ Y ⎞ ⎛ A⎞ ⎛b⎞ ⎜ ⎟ = ⎜ ⎟ X + ⎜ ⎟ ∼ N ⎜⎜ ⎟ , ⎜ ⎟ Σ ( A ', B ') ⎟ = N ⎜ ⎜ ⎟ ,⎜ ⎟⎟ ⎝Z ⎠ ⎝ B⎠ ⎝ 0⎠ ⎝ ⎝ Bµ ⎠ ⎝ B ⎠ ⎠ ⎝ ⎝ Bµ ⎠ ⎝ BΣA ' BΣB ' ⎠ ⎠
0 ⎞⎞ ⎟⎟ Σ 22 ⎠ ⎠
其中 X 是 n 维随机向量，X 1 是 n1 维随机向量，X 2 是 n2 维随机向量；µi ∈ R ni ，Σii 是 ni 阶 实 数 矩 阵 ， i = 1, 2 。 则 Σii 是 对 称 正 定 矩 阵 ， X 1 与 X 2 独 立 ， 并 且
X i ∼ N ( µi , Σii ) ， i = 1, 2 。
i = 1, 2.
故 X 1 , X 2 独立，且 X i ∼ N ( µi , Σii ) 。
2
关于多维正态分布
（共 7 页）
性质 3： （正态分布随机向量的分量的独立化，正态分布的边缘分布仍是正态分 布） 设
⎛⎛ µ ⎞ ⎛ Σ ⎛X ⎞ X = ⎜ 1 ⎟ ∼ N ⎜ ⎜ 1 ⎟ , ⎜ 11 ⎝ X2 ⎠ ⎝ ⎝ µ2 ⎠ ⎝ Σ 21
X 2 ∼ N ( µ2 , Σ 22 ) 。
注记：这里使用的变量变换是从不独立（ X 1 , X 2 可能不独立）到独立（构造出来 的 Y1 , Y2 是独立的） ，而对正态分布随机向量的分量，独立与不相关是等价的（性 质 3） ，而不相关相当于几何上的垂直（关于 H 2 空间上的内积） ，因此这本质上 就是内积空间中向量组的 Gram-Schmidt 正交化过程。 这方法在教材第 141 页例 3.1.7、第 149 页例 3.2.5、第 174 页例 3.4.9、第 189 页例 3.5.4 中都有体现。 另外，这里得到的结论对应教材第 149 页例 3.2.5（二元正态的边缘分布） 。
证明：1、易见 Σii 是对称矩阵， i = 1, 2 。
0 ⎞⎛ x1 ⎞ ⎛Σ ′Σ11 x1 = ( x1′ 0 ) ⎜ 11 x1 ⎟⎜ ⎟ ≥ 0 ⎝ 0 Σ 22 ⎠ ⎝ 0 ⎠
而且 x1' Σ11 x1 = 0 当且仅当 x1 = 0 。因此 Σ11 是对称正定矩阵。类似可证 Σ 22 是对称正 定矩阵。 2、对
由性质 3 知，它的一个边缘分布为 Y = AX + b ∼ N ( Aµ + b, AΣA ') 。 一个常用的结论（性质 1’的特例） 设 X 1 , X 2 ,… , X n 独 立 ， X i ∼ N ( µi ,σ i2 ) ， i = 1, 2,…, n ， a1 , a2 ,… , an , b ∈ R ， 其 中
⎛Σ Σ = ⎜ 11 ⎝ 0 0 ⎞ ⎟， Σ 22 ⎠
自然有
⎛ Σ −1 Σ −1 = ⎜ 11 ⎝ 0 0 ⎞ , −1 ⎟ Σ 22 ⎠ det Σ = det Σ11 ⋅ det Σ 22
从而
f X1 , X 2 ( x1 , x2 ) =
2
⎛ 1 ⎛ x ⎞⎞ ' exp ⎜ − ( x1' , x2 ) Σ −1 ⎜ 1 ⎟ ⎟ ⎝ x2 ⎠ ⎠ (2π ) n det Σ ⎝ 2 1
i , j = 1,..., n ） 。
证明：因为 Σ 是 n 阶实对称正定方阵，所以存在 n 阶正交矩阵 C 使得
⎛ λ12 ⎜ C ' ΣC = ⎜ ⎜ ⎝
记
⎛ λ1 ⎜ Λ=⎜ ⎜ ⎝
⎞ ⎟ ⎟ ， λ1 > 0,..., λn > 0. 2 ⎟ λn ⎠
⎞ ⎟ ⎟ ， A = CΛ ， λn ⎟ ⎠
证明：根据性质 1，
0 ⎞ ⎛ X1 ⎞ ⎛ Y ⎞ ⎛ I1 Y =⎜ 1⎟=⎜ ⎟⎜ ⎟ −1 ⎝ Y2 ⎠ ⎝ −Σ 21Σ11 I 2 ⎠ ⎝ X 2 ⎠ ⎛ ⎛ I1 0 ⎞ ⎛ µ1 ⎞ ⎛ I1 ∼ N ⎜⎜ ⎟⎜ ⎟,⎜ −1 −1 ⎝ ⎝ −Σ 21Σ11 I 2 ⎠ ⎝ µ2 ⎠ ⎝ −Σ 21Σ11 ⎛⎛ µ1 ⎞ ⎛ Σ11 ,⎜ = N ⎜⎜ ⎟ −1 ⎝ ⎝ µ2 − Σ 21Σ11 µ1 ⎠ ⎝ 0
则 A 是 n 阶可逆矩阵， C ' ΣC = Λ 2 ，于是 Σ = C Λ 2 C ' = AA ' 。 令 Y = A−1 ( X − µ ) ，则由性质 1 知道
Y = A−1 X − A−1 µ ∼ N ( A−1 µ − A−1 µ , A−1ΣA−1' ) = N (0, I n )
其中 I n 是 n 阶单位矩阵。于是 Y 的联合概率密度函数为
5
关于多维正态分布
（共 7 页）
⎛ σ2 Σ=⎜ 1 ⎝ ρσ 1σ 2
ρσ 1σ 2 ⎞ ⎟， 2 σ2 ⎠
所以
Var ( X i ) = σ i2 ， Cov( X 1 , X 2 ) = ρσ 1σ 2 ，