北大随机过程课件：第 5 章 第 1 讲 高斯随机变量

数等于各自特征函数的乘积，它们是相互统计独立。
3.2 定理 2
若ξ是高斯分布的随机矢量，ξ1，ξ2 是两个子矢量，ξ＝（ξ1 ξ2）T 它们的协
方差矩阵是 B
=
⎜⎜⎝⎛
B B
11 21
B 12 B 22
⎟⎟⎠⎞
，其中
B11 和
B22 分别是ξ1，ξ2 的协方差矩阵，B12
和 B21 分别是ξ1，ξ2 的互协方差矩阵。B12＝(B21)H，ξ1，ξ2 相互统计独立的充要
r2)
⎡⎢⎜⎛ ⎢⎣⎝
x1 − μ σ1
1
⎞2 ⎟ ⎠
−
2r
⎛ ⎜ ⎝
x1 − μ σ1
1
⎞⎛ ⎟⎜ ⎠⎝
x2 − μ σ2
2
⎞ ⎟ ⎠
+
⎛ ⎜ ⎝
x2 − μ σ2
2
⎞2 ⎟ ⎠
⎤ ⎥ ⎥⎦
⎞ ⎟ ⎟⎠
2
( ) Φξη (u1, u2 )
=
exp⎜⎛ ⎝
j
μ 1u1
+
μ
2u2
−
1 2
[σ
2 1
u12
N
∑ η = anξ n = aT ξ ，aT＝（a1，a2， ，aN） n=1
高斯随机变量线性组合的均值，
∑ ∑ [ ] { } E
η
=
E
⎧ ⎨ ⎩
N n=1
anξ
n
⎫ ⎬ ⎭
=
N
anE ξ
n=1
n
N
∑ = an μ n = aT μ n=1
高斯随机矢量线性组合的协方差，
6
∑ ∑ Bη
=
E
⎧ ⎨ ⎩
考虑到矩阵是 B 正定对称的，则存在一个非奇异矩阵 L，使得 B=LLT，作线性变 换 L，
y = L−1 (x − μ X ) ， x = Ly + μ X ，
B −1 = (LLt ) −1 = (Lt ) −1 ⋅ L−1 = (L−1 )t L−1
(x − μ X )T B −1 (x − μ X ) = (x − μ X )T (Lt )−1 ⋅ L−1 (x − μ X ) = [L−1 (x − μ X )]T [L−1 (x − μ X )] = yTy
1
− x2
e2
2π
−u2
Φξ (u) = e 2
1
一元高斯随机变量 N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：
fξ (x) =
1
− ( x−μ )2
e 2σ 2
2πσ 2
jμ u−σ 2u 2
Φξ (u) = e 2
2.2 二元高斯随机变量
二元高斯随机变量ξ1 ,ξ 2 ，均值为零、协方差矩阵为：
上，这种分布是退化正态分布，或奇异正态分布。
3 N 维高斯随机变量的统计独立特性
ห้องสมุดไป่ตู้
3.1 定理 1
N 维随机变量ξ1，ξ2， ，ξN，相互统计独立的充要条件是它们两两互不相关。 证明，
首先证明必要性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立，则它们 N 个高斯分布随
机变量的概率密度函数，等于它们各自概率密度函数的乘积。 z N 维随机变量ξ1，ξ2， ，ξN，它们的特征函数等于各自特征函数的乘积。
N 元高斯随机变量的特征函数是:
∞∞
{ } ∫ ∫ Φξ (u) = E exp( juT x) = " exp( juT x) fξ (x)dx
−∞ −∞
∫ ∫ =
∞∞
" exp(
−∞ −∞
juT x)
⎡⎣( 2π
1
)n
B
⎤1/ 2 ⎦
exp
⎛ ⎜⎝
−
1 2
(x
− μ)T
B −1
(x
− μ)⎞⎟⎠dx
度函数 fi (x) 。
2 高斯分布的随机变量
典型高斯分布的随机变量的概率密度与特征函数的描述。
fξ (x) ，
{ } ∫ Φξ (u) = E e juξ
=
∞ −∞
e
jux
fξ
( x)dx
2.1 一元高斯随机变量
一元高斯随机变量Ｎ(0,1)，均值为零、方差为 1，其概率密度和特征函数：
fξ (x) =
N
∑ ς = anξ n = aT ξ 服从一元高斯分布。 n=1
证明： 首先证明必要性。
N
∑ 如果ξ的任意一个线性组合 ς = anξ n = aT ξ 服从一元高斯分布。 n=1 7
考虑到ζ的均值是 μς = aT μξ ，ζ的方差是 Bς = aT Bξa ，则ξ的特征函数是，
E{exp( juT ⋅ξ )}
Eη = E {Cξ} = CE {ξ} = Cμξ ，
协方差矩阵：
{ } D{(η− Eη} = E
(
η−
Eη)(η−
T
Eη)
{ } = E
(Cξ
−
ECξ)(Cξ
−
ECξ
T
)
{ } = E
C(ξ
−
μξ
)(ξ
−
μξ
T
)
CT
{ } = CE
(ξ
−
μξ
)(ξ
−
μξ
T
)
CT
= CBCT
4.3 定理 1
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是，μ＝（μ1，μ2， ， μN），协方差矩阵是 B。ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合
上述推导的第一步，是按照矢量点积的表达式写出的，
上述推导的第二步，是将 u = u0u′ 代入表达式的，
上述推导的第三步，是鉴于ζ的任意一个线性组合服从一元高斯分布，因而写出相 应的特征函数表达式，
上述推导的第四步，是再次将 u = u0u′ 代入表达式的，
推导的结果说明ξ的特征函数具有高斯矢量的形式，必要性得到证明。 其次证明充分性。
B = ⎜⎜⎝⎛1r
r1⎟⎟⎠⎞ ， B−1
=1 1− r2
⎛1
⎜ ⎝
−r
−r 1
⎞ ⎟ ⎠
，
B
=1− r2
其二元概率密度和特征函数为：
fξ1 ξ2 (x1, x2 ) = 2π
1 1− r2
exp⎜⎜⎝⎛ −
2(1
1 −
r
2
)
[
x12
− 2rx1x2
+
x22 ]⎟⎟⎠⎞
Φξ 1ξ
2
(u1, u2 )
对应这个变换的雅可比行列式是 ∂x = L = B 1/ 2 ∂y
[ ] fη (Y ) =
1
(2π )n B
1/ 2
exp⎜⎛ ⎝
−
1 2
(x
−
μ
X
)T
B −1 (x
−
μX
)⎟⎞ ⋅ ⎠
B 1/ 2
[ ] =
1
( ) 2π n 1/2
exp⎜⎛ − 1 yT y ⎟⎞ ⎝2 ⎠
3
[ ] ∑ =
1
值为η
= η1
+η2
+ " +ηn
，方差为 σ
2
=
σ
2 1
+ σ 22
+" + σ n2
，在一定的条件下，当
n
趋于
无穷时，x 的概率密度函数 f(x)趋向于具有相同均值和方差的高斯(正态)分布：
f (x) ≈
1
− ( x−η )2
e 2σ 2
σ 2π
中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目 n 依赖于概率密
1
σ
12σ
2 2
1− r2
⎛ ⎜⎜⎝
σ −rσ
2 2
1σ
2
−
rσ 1σ
σ
2 1
2
⎞ ⎟⎟⎠
( ) =
1 1− r2
⎛ ⎜⎜⎝
1 σ12 −r σ 1σ
2
−
r 1
σ 1σ
σ
2 2
2
⎞ ⎟⎟⎠
其二元概率密度和特征函数为
fξ 1ξ
2
(x,
y)
=
2πσ
1 1σ 2
× 1− r2
⎛ exp ⎜
⎜⎝
−
1 2(1 −
# bnn
⎟ ⎟⎟⎠
其 n 元概率密度和特征函数为
[ ] fξ (x) =
1
(2π )n B
1/ 2
exp⎜⎛ − ⎝
1 2
(x
−
μ)T
B −1 (x
−
μ)⎟⎞
⎠
Φξ
(U )
=
exp⎜⎛ ⎝
jμ T u
−
1 2
uT Bu ⎟⎞ ⎠
其中，
x = (x 1 x 2 " )xn T ， u = (u 1 u 2 " un )T
(2π )n
1/ 2
exp⎜⎛ − ⎝
1 2
N n=1
y
2 n
⎟⎞ ⎠
显然有
∞∞
∞∞
∫" ∫ fξ ( X )dX = ∫" ∫ fη (Y )dY
−∞ −∞
−∞ −∞
∞∞
∫ ∫ = " fη (Y )dy1dy2 "dyN = 1
−∞ −∞
2.4 n 元高斯随机变量的特征函数的计算
考虑以下的矩阵运算
N
∑ 如果ξ是 N 维高斯随机矢量，它的任意一个线性组合 ς = anξ n = aT ξ 的特征函 n=1
数是，
∑ { } E
exp ( juς )
=
高斯分布随机变量及其性质
¾ 中心极限定理 ¾ 高斯分布的随机变量 ¾ N 维高斯随机变量的统计独立特性 ¾ 高斯随机变量的线性变换 ¾ 高斯分布的随机变量的条件分布和边缘分布
1．引言．中心极限定理
给定 n 个独立的随机变量 xi , i = 1, 2," n，它们的和为： x = x1 + x2 +" + xn ，x 的均
N n=1
an
(ξ
N
n− μ n) ⋅ am (ξ
m=1
m
−
μ
m
)
⎫ ⎬ ⎭
NN
∑ ∑ =
anamE {(ξ m− μ m) ⋅ (ξ n− μ n)}
n=1 m=1
NN
∑ ∑ =
an ambnm
n=1 m=1
= aT Ba
4.2 高斯随机变量的线性变换
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN）， 协方差矩阵是 B。 线性变换 C，是 M*N 的矩阵，ξ经过线性变换 C 得到η＝Cξ， 均值：
∑ =
E
⎧ ⎨exp ⎩
⎛ ⎜⎝
j
N n=1
unξ
n
⎞⎫ ⎟⎠⎬⎭
∑ { ( )} =
E
⎧ ⎨exp ⎩
⎛ ⎜⎝
ju0
N n=1
un′ξ
n
⎞⎫ ⎟⎠⎬⎭
=
E
exp
ju0u′T ξ
( ) = exp ju0u′T ⋅ μ ξ− u′T Bξu′u02 / 2
( ) = exp juT ⋅μ ξ− uT Bξu / 2
=
exp⎜⎛ − ⎝
1 2
[u12
+
2ru1u2
+
u
2 2
]⎟⎞ ⎠
二元高斯随机变量ξ1 ,ξ 2 ，其均值、协方差矩阵为，
E⎜⎜⎝⎛
ξ1 ξ2
⎟⎟⎠⎞
=
⎜⎜⎝⎛
μ μ
1 2
⎟⎟⎠⎞
=
μ
,
( ) B
=
⎜⎜⎝⎛
σ
2 1
rσ 1σ
2
rσ 1σ
σ
2 2
2
⎟⎟⎠⎞
，
B
=
σ
12σ
2 2
1− r2
( ) B−1 =
+
2rσ
1σ
2 u1u2
+
σ
2 2
u
2 2
]⎟⎞ ⎠
2.3 n 元高斯随机变量
n 元高斯随机变量ξ ，其均值、协方差矩阵（正定的）为，
⎜⎛ μ 1 ⎟⎞
μ
=
⎜μ
⎜ ⎜⎜⎝
# μ
2 n
⎟⎟, ⎟⎟⎠
⎜⎛ b11
B
=
⎜ b12
⎜ ⎜⎜⎝
# bn1
b12 b22 #
bn 2
" "
b1n ⎟⎞ b2n ⎟
"
令 u = (u1 u 2 )T ，与相应分量的维数与ξ＝（ξ1 ξ2）T 一致，它们的特征函数，
( ) Φξ (u) = exp juTμ − uTBu 2
( ) = exp
ju1Tμ 1+
ju2Tμ
2− [u1TB11u1
+
u
T 2
B22u
2
]
/
2
( ) ( ) = exp ju1Tμ 1− [u1TB11u1] / 2 ⋅ exp ju2Tμ 2− [u2TB22u2 ] / 2
juT x = juT (Ly + μ X ) = juT Ly + juT μ X = jS T y + juT μ X
其中： S T = uT L, S = LT u
juT x
−
1 2
(x
−
μX
)T
B −1 (x
−
μX
)
= juT x − y Ty / 2
= juT μ X + jS T y − yT y / 2 = juT μ X − (y − jS )T (y − jS ) / 2 − S T S / 2
∫ ∫ =
∞∞
"
−∞ −∞
⎡⎣( 2π
1
)n
B
⎤1/ 2 ⎦
exp
⎛ ⎜⎝
juT x
−
1 2
(x
− μ)T
B−1 (x
− μ)⎞⎟⎠dx
∫ ∫ ( ) ∞ ∞
="
−∞
−∞
⎡ ⎣
1
2π
⎤n 1/ 2 ⎦
exp[ juT μ X
− ST S / 2]
exp[−(y − jS)T (y − jS) / 2]dy
= exp[ juT μ X − ST S / 2] = exp[ juT μ X − uT LLT u / 2] = exp[ juT μ X − uT Bu / 2]
4
Φξ
(u)
=
exp⎜⎛ ⎝
juT μ X
−
1 uT Bu⎟⎞
2
⎠
当协方差矩阵是非负定的，可以证明若它的秩为 r<n，它的概率分布集中在 r 维子空间
条件是 B12＝0
证明：
5
首先证明必要性。 若ξ1，ξ2 相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意 两个分量的协方差都是零，相应的协方差矩阵 B12＝0，B21＝0。 其次证明充分性。
若 B12＝0，B21＝0，相应ξ的相关矩阵 B
=
⎜⎜⎝⎛
B 11 0
0 B 22
⎟⎟⎠⎞
。
= Φξ1 (u1 ) ⋅ Φξ2 (u2 )
等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的。
4 高斯随机变量的线性变换
4.1 高斯随机变量的线性组合
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN）， 协方差矩阵是 B。 高斯随机变量ξ各个分量线性组合
对比高斯分布特征函数的表达式，它们的协方差矩阵是对角矩阵。 z N 维随机变量ξ1，ξ2， ，ξN，它们的协方差矩阵是对角矩阵，它们的互
相关为零，它们是统计独立的。 其次证明充分性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，是两两不相关，它们的协方差矩阵是对
角矩阵。 z 若 N 维随机变量ξ1，ξ2， ，ξN，协方差矩阵是对角矩阵，它们的特征函