第0 22_04讲高斯分布
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一元高斯随机变量Ｎ(0,1)，均值为零、方差为 1，其概率密度和特征函数：
f ξ ( x) = Φ ξ (u ) = e
1 2π
− u2 2
e
−
x2 2
一元高斯随机变量 N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：
f ξ ( x) = Φ ξ (u ) = e
1 2πσ 2
jμ u − 2
y = L−1 (x − μ X ) ， x = Ly + μ X ，
B −1 = ( LLt ) −1 = ( Lt ) −1 ⋅ L−1 = ( L−1 ) t L−1
(x − μ X ) T B −1 (x − μ X ) = (x − μ X ) T ( Lt ) −1 ⋅ L−1 (x − μ X ) = [ L−1 (x − μ X )]T [ L−1 (x − μ X )] = yT y
fξ1 ξ 2 ( x1 , x2 ) =
⎛ 1 2 2 ⎞ − [ x1 − 2rx1 x2 + x2 ] ⎟ exp⎜ 2 ⎟ ⎜ 2π 1 − r 2 ⎠ ⎝ 2(1 − r ) 1
⎛ 1 2 ⎞ Φ ξ 1ξ 2 (u1 , u 2 ) = exp⎜ − [u12 + 2r u1u 2 + u 2 ]⎟ ⎝ 2 ⎠
fξ 1ξ 2 ( x, y ) =
1 2πσ 1σ 2 1 − r 2
×
2 ⎛ ⎡⎛ x − μ ⎞ 2 ⎤⎞ ⎛ ⎞⎛ ⎞ ⎛ ⎞ x x x 1 − − − μ μ μ 1 1 1 1 2 2 2 2 ⎜ ⎢⎜ exp − ⎟ − 2r ⎜ ⎟⎜ ⎟+⎜ ⎟ ⎥⎟ ⎜ 2(1 − r 2 ) ⎢⎝ σ 1 ⎠ ⎟ σ σ σ 1 2 2 ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎥ ⎣ ⎦⎠ ⎝
fξ ( x) = 1
⎛ b11 b12 " b1n ⎞ ⎜ ⎟ b12 b22 " b2 n ⎟ ⎜ B= ⎜ # # # ⎟ ⎜ ⎟ ⎝ bn1 bn 2 " bnn ⎠
T ⎛ 1 ⎞ exp ⎜ − ( x − μ ) B −1 ( x − μ ) ⎟ ⎝ 2 ⎠
其 n 元概率密度和特征函数为
中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目 n 依赖于概率密 度函数 f i ( x) 。
4.2 高斯分布的随机变量
典型高斯分布的随机变量的概率密度与特征函数的描述。
fξ ( x ) ，
Φξ (u ) = E {e juξ } = ∫ e jux fξ ( x)dx
∞ −∞
4.2.1 一元高斯随机变量
1 ⎛ 2 2 ⎞ u 2 ]⎟ Φ ξ η (u1 , u 2 ) = exp⎜ j (μ 1u1 + μ 2 u 2 ) − [σ 12 u12 + 2rσ 1σ 2 u1u 2 + σ 2 2 ⎝ ⎠
4.2.3 n 元高斯随机变量
n 元高斯随机变量 ξ ，其均值、协方差矩阵（正定的）为，
⎛μ1 ⎞ ⎜ ⎟ μ μ = ⎜ 2 ⎟, ⎜# ⎟ ⎜ ⎟ ⎝μn ⎠
n =1
N
高斯随机变量线性组合的均值，
⎧N ⎫ N E{ η}= E ⎨∑ a nξ n ⎬ = ∑ a n E [ξ n ] ⎩ n =1 ⎭ n =1 = ∑ an μ n = aT μ
n =1 N
高斯随机矢量线性组合的协方差，
N ⎧N ⎫ Bη = E ⎨∑ an (ξ n − μ n ) ⋅ ∑ am (ξ m − μ m ) ⎬ m =1 ⎩ n =1 ⎭
=
显然有
∞
[(2π ) ]
1
n 1/ 2
⎛ 1 N 2⎞ exp⎜ − ∑ y n ⎟ ⎝ 2 n =1 ⎠
∞ ∞
−∞
∫ " ∫ f ξ ( X )dX = ∫ " ∫ fη (Y )dY
−∞ −∞ −∞
∞
= ∫ " ∫ fη (Y )dy1 dy 2 " dy N = 1
−∞ −∞
∞
∞
n 元高斯随机变量的特征函数的计算 考虑以下的矩阵运算
T T
{
T
}
ξ
ξ
T
T
ξ
ξ
T
= CBCT
4.4.3 定理 1:
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是，μ＝（μ1，μ2， ， μN） ，协方差矩阵是 B 。ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合
T
⎛ B 11
0 ⎞ ⎟。 B 22 ⎟ ⎠
T
令 u = (u 1 u 2 ) ，与相应分量的维数与ξ＝（ξ1 ξ2） 一致，它们的特征函数，
Φ ξ (u) = exp ( ju Tμ − u T Bu 2 ) = exp ( ju1Tμ 1+ ju 2 Tμ 2 − [u1T B11u1 + u 2 T B 22u 2 ] / 2 ) = exp ( ju1Tμ 1− [u1T B11u1 ] / 2 ) ⋅ exp ( ju 2 Tμ 2 − [u 2 T B 22u 2 ] / 2 ) = Φ ξ1 (u1 ) ⋅ Φ ξ 2 (u 2 )
⎡( 2π )n B ⎤ ⎣ ⎦
1/ 2
1 ⎛ ⎞ Φξ (U ) = exp ⎜ jμ Tu − u T Bu ⎟ 2 ⎝ ⎠
其中，
x = ( x 1 x 2 " x n ) ， u = (u 1 u 2 " u n )
T
T
考虑到矩阵是 B 正定对称的，则存在一个非奇异矩阵 L，使得 B=LLT，作线性变 换 L，
Eη = E {Cξ } = CE {ξ } = Cμ ξ ，
协方差矩阵：
D {( η− Eη} = E ( η− Eη)( η− Eη)
{ } = E {C(ξ − μ )(ξ − μ ) C } = CE {(ξ − μ )(ξ − μ ) } C
= E (Cξ − ECξ )(Cξ − ECξ )
4 高斯分布随机变量及其性质
中心极限定理 高斯分布的随机变量 N 维高斯随机变量的统计独立特性 高斯随机变量的线性变换 高斯分布的随机变量的条件分布和边缘分布
4.1 引言．中心极限定理
给定 n 个独立的随机变量 xi ,
i = 1, 2," ，它们的和为： x = x1 + x2 + " + xn ，这个随
ju T x = ju T ( L y + μ X ) = ju T L y + ju T μ X = jS T y + ju T μ X
其中： S
T
= u T L,
S = LT u
1 ju T x − (x − μ X ) T B −1 (x − μ X ) 2 = ju T x − y T y / 2
= ∑∑ an am E {(ξ m − μ m ) ⋅ (ξ n − μ n )}
n =1 m =1 N N
N
N
= ∑∑ an ambnm
n =1 m =1
= aT Ba
4.4.2 高斯随机变量的线性变换：
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN） ， 协方差矩阵是 B。 线性变换 C，是 M*N 的矩阵，ξ经过线性变换 C 得到η＝Cξ， 均值：
4.3.2 定理 2:
若ξ是高斯分布的随机矢量，ξ1，ξ2 是两个子矢量，ξ＝（ξ1 ξ2） 它们的协 方差矩阵是 B = ⎜ ⎜B ⎝ 21
T
⎛ B 11
B 12 ⎞ ⎟ ，其中 B11 和 B22 分别是ξ1，ξ2 的协方差矩阵，B12 B 22 ⎟ ⎠
和 B21 分别是ξ1，ξ2 的互协方差矩阵。B12＝(B21)H，ξ1，ξ2 相互统计独立的充要 条件是 B12＝0 证明： 首先证明必要性。 若ξ1，ξ2 相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意 两个分量的协方差都是零，相应的协方差矩阵 B12＝0，B21＝0。 其次证明充分性。 若 B12＝0，B21＝0，相应ξ的相关矩阵 B = ⎜ ⎜ 0 ⎝
=
−∞ ∞
T ∫ " ∫ exp( ju x) −∞ ∞
∞
1 ⎡( 2π )n B ⎤ ⎣ ⎦
1/ 2 1/ 2
T ⎛ 1 ⎞ exp ⎜ − ( x − μ ) B −1 ( x − μ ) ⎟dx ⎝ 2 ⎠
=
−∞ ∞
∫"∫ ⎡
−∞ ∞
1 2π ) B ⎤ ⎦
n
⎣(
1 T ⎛ ⎞ exp ⎜ juT x − ( x − μ ) B −1 ( x − μ ) ⎟dx 2 ⎝ ⎠
2 ⎛ σ2 − rσ 1σ 2 ⎞ 1 ⎟ 2 2 2 ⎜ 2 ⎟ σ 1 σ 2 (1 − r ) ⎜ ⎝ − rσ 1σ 2 σ 1 ⎠
2 1 ⎛ 1 σ 1 − r σ 1σ 2 ⎞ = ⎜ ⎟ 2 ⎟ (1 − r 2 ) ⎜ ⎝ − r σ 1σ 2 1 σ 2 ⎠
其二元概率密度和特征函数为
2 2 2 2
机变量的均值为η = η1 + η 2 + " + η n ，方差为 σ = σ 1 + σ 2 + " + σ n ，在一定的条件下， 当 n 趋于无穷时，x 的概率密度函数 f(x)趋向于具有相同均值和方差的高斯(正态)分布：
− 1 f ( x) ≈ e σ 2π ( x −η ) 2 2σ 2
对应这个变换的雅可比行列式是
ห้องสมุดไป่ตู้
∂x 1/ 2 = L = B ∂y
fη (Y ) = =
[(2π ) B ]
n
1
1/ 2
⎛ 1 ⎞ 1/ 2 exp⎜ − (x − μ X )T B −1 (x − μ X ) ⎟ ⋅ B ⎝ 2 ⎠
[(2π ) ]
1
n 1/ 2
⎛ 1 ⎞ exp⎜ − y T y ⎟ ⎝ 2 ⎠
等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的。
4.4 高斯随机变量的线性变换 4.4.1 高斯随机变量的线性组合：
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN） ， 协方差矩阵是 B。 高斯随机变量ξ各个分量线性组合
η = ∑ a nξ n = a T ξ ，aT＝（a1，a2， ，aN）
e
−
( x − μ )2 2σ 2
σ 2u 2
4.2.2 二元高斯随机变量
二元高斯随机变量 ξ 1 , ξ 2 ，均值为零、协方差矩阵为，
⎛1 r ⎞ 1 ⎛1 − r ⎞ −1 2 ⎟ B ， = B=⎜ ⎟ ， B = 1− r 2 ⎜ ⎜ r 1⎟ 1 − r ⎝ −r 1 ⎠ ⎠ ⎝
其二元概率密度和特征函数为
=
−∞
∫"∫ ⎡
−∞
1
n 1/ 2
2π ⎤ ⎣( ) ⎦ exp[−(y − jS )T (y − jS ) / 2]dy
exp[ juT μ X − S T S / 2]
= exp[ juT μ X − S T S / 2] = exp[ juT μ X − uT LLT u / 2] = exp[ juT μ X − uT Bu / 2] 1 ⎛ ⎞ Φ ξ (u) = exp⎜ ju T μ X − u T Bu ⎟ 2 ⎝ ⎠
二元高斯随机变量 ξ 1 , ξ 2 ，其均值、协方差矩阵为，
⎛ξ1 ⎞ ⎛ μ 1 ⎞ E⎜ ⎟=μ, ⎜ ⎟ ⎟=⎜ ⎜ξ ⎟ ⎝ 2 ⎠ ⎝μ 2 ⎠
⎛ σ 12 B=⎜ ⎜ rσ σ ⎝ 1
2
rσ 1σ 2 ⎞ ⎟， 2 ⎟ σ2 ⎠
2 B = σ 12σ 2 (1 − r 2 )
B −1 =
当协方差矩阵是非负定的，可以证明若它的秩为 r<n，它的概率分布集中在 r 维子空间
上，这种分布是退化正态分布，或奇异正态分布。
4.3 N 维高斯随机变量的统计独立特性 4.3.1 定理 1:
N 维随机变量ξ1，ξ2， ，ξN，相互统计独立的充要条件是它们两两互不相关。 证明， 首先证明必要性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立，则它们 N 个高斯分布随 机变量的概率密度函数，等于它们各自概率密度函数的乘积。 z N 维随机变量ξ1，ξ2， ，ξN，它们的特征函数等于各自特征函数的乘积。 对比高斯分布特征函数的表达式，它们的协方差矩阵是对角矩阵。 z N 维随机变量ξ1，ξ2， ，ξN，它们的协方差矩阵是对角矩阵，它们的互 相关为零，它们是两两不相关的。 其次证明充分性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，是两两不相关，它们的协方差矩阵是对 角矩阵。 z 若 N 维随机变量ξ1，ξ2， ，ξN，协方差矩阵是对角矩阵，它们的特征函 数等于各自特征函数的乘积，它们是相互统计独立。
= ju T μ X + jS T y − y T y / 2 = ju T μ X − (y − jS ) T (y − jS ) / 2 − S T S / 2
N 元高斯随机变量的特征函数是:
Φξ (u) = E {exp( ju x)} =
T ∞
∞
−∞
∫ " ∫ exp( ju
−∞
∞
T
x) fξ (x)dx
f ξ ( x) = Φ ξ (u ) = e
1 2π
− u2 2
e
−
x2 2
一元高斯随机变量 N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：
f ξ ( x) = Φ ξ (u ) = e
1 2πσ 2
jμ u − 2
y = L−1 (x − μ X ) ， x = Ly + μ X ，
B −1 = ( LLt ) −1 = ( Lt ) −1 ⋅ L−1 = ( L−1 ) t L−1
(x − μ X ) T B −1 (x − μ X ) = (x − μ X ) T ( Lt ) −1 ⋅ L−1 (x − μ X ) = [ L−1 (x − μ X )]T [ L−1 (x − μ X )] = yT y
fξ1 ξ 2 ( x1 , x2 ) =
⎛ 1 2 2 ⎞ − [ x1 − 2rx1 x2 + x2 ] ⎟ exp⎜ 2 ⎟ ⎜ 2π 1 − r 2 ⎠ ⎝ 2(1 − r ) 1
⎛ 1 2 ⎞ Φ ξ 1ξ 2 (u1 , u 2 ) = exp⎜ − [u12 + 2r u1u 2 + u 2 ]⎟ ⎝ 2 ⎠
fξ 1ξ 2 ( x, y ) =
1 2πσ 1σ 2 1 − r 2
×
2 ⎛ ⎡⎛ x − μ ⎞ 2 ⎤⎞ ⎛ ⎞⎛ ⎞ ⎛ ⎞ x x x 1 − − − μ μ μ 1 1 1 1 2 2 2 2 ⎜ ⎢⎜ exp − ⎟ − 2r ⎜ ⎟⎜ ⎟+⎜ ⎟ ⎥⎟ ⎜ 2(1 − r 2 ) ⎢⎝ σ 1 ⎠ ⎟ σ σ σ 1 2 2 ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎥ ⎣ ⎦⎠ ⎝
fξ ( x) = 1
⎛ b11 b12 " b1n ⎞ ⎜ ⎟ b12 b22 " b2 n ⎟ ⎜ B= ⎜ # # # ⎟ ⎜ ⎟ ⎝ bn1 bn 2 " bnn ⎠
T ⎛ 1 ⎞ exp ⎜ − ( x − μ ) B −1 ( x − μ ) ⎟ ⎝ 2 ⎠
其 n 元概率密度和特征函数为
中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目 n 依赖于概率密 度函数 f i ( x) 。
4.2 高斯分布的随机变量
典型高斯分布的随机变量的概率密度与特征函数的描述。
fξ ( x ) ，
Φξ (u ) = E {e juξ } = ∫ e jux fξ ( x)dx
∞ −∞
4.2.1 一元高斯随机变量
1 ⎛ 2 2 ⎞ u 2 ]⎟ Φ ξ η (u1 , u 2 ) = exp⎜ j (μ 1u1 + μ 2 u 2 ) − [σ 12 u12 + 2rσ 1σ 2 u1u 2 + σ 2 2 ⎝ ⎠
4.2.3 n 元高斯随机变量
n 元高斯随机变量 ξ ，其均值、协方差矩阵（正定的）为，
⎛μ1 ⎞ ⎜ ⎟ μ μ = ⎜ 2 ⎟, ⎜# ⎟ ⎜ ⎟ ⎝μn ⎠
n =1
N
高斯随机变量线性组合的均值，
⎧N ⎫ N E{ η}= E ⎨∑ a nξ n ⎬ = ∑ a n E [ξ n ] ⎩ n =1 ⎭ n =1 = ∑ an μ n = aT μ
n =1 N
高斯随机矢量线性组合的协方差，
N ⎧N ⎫ Bη = E ⎨∑ an (ξ n − μ n ) ⋅ ∑ am (ξ m − μ m ) ⎬ m =1 ⎩ n =1 ⎭
=
显然有
∞
[(2π ) ]
1
n 1/ 2
⎛ 1 N 2⎞ exp⎜ − ∑ y n ⎟ ⎝ 2 n =1 ⎠
∞ ∞
−∞
∫ " ∫ f ξ ( X )dX = ∫ " ∫ fη (Y )dY
−∞ −∞ −∞
∞
= ∫ " ∫ fη (Y )dy1 dy 2 " dy N = 1
−∞ −∞
∞
∞
n 元高斯随机变量的特征函数的计算 考虑以下的矩阵运算
T T
{
T
}
ξ
ξ
T
T
ξ
ξ
T
= CBCT
4.4.3 定理 1:
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是，μ＝（μ1，μ2， ， μN） ，协方差矩阵是 B 。ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合
T
⎛ B 11
0 ⎞ ⎟。 B 22 ⎟ ⎠
T
令 u = (u 1 u 2 ) ，与相应分量的维数与ξ＝（ξ1 ξ2） 一致，它们的特征函数，
Φ ξ (u) = exp ( ju Tμ − u T Bu 2 ) = exp ( ju1Tμ 1+ ju 2 Tμ 2 − [u1T B11u1 + u 2 T B 22u 2 ] / 2 ) = exp ( ju1Tμ 1− [u1T B11u1 ] / 2 ) ⋅ exp ( ju 2 Tμ 2 − [u 2 T B 22u 2 ] / 2 ) = Φ ξ1 (u1 ) ⋅ Φ ξ 2 (u 2 )
⎡( 2π )n B ⎤ ⎣ ⎦
1/ 2
1 ⎛ ⎞ Φξ (U ) = exp ⎜ jμ Tu − u T Bu ⎟ 2 ⎝ ⎠
其中，
x = ( x 1 x 2 " x n ) ， u = (u 1 u 2 " u n )
T
T
考虑到矩阵是 B 正定对称的，则存在一个非奇异矩阵 L，使得 B=LLT，作线性变 换 L，
Eη = E {Cξ } = CE {ξ } = Cμ ξ ，
协方差矩阵：
D {( η− Eη} = E ( η− Eη)( η− Eη)
{ } = E {C(ξ − μ )(ξ − μ ) C } = CE {(ξ − μ )(ξ − μ ) } C
= E (Cξ − ECξ )(Cξ − ECξ )
4 高斯分布随机变量及其性质
中心极限定理 高斯分布的随机变量 N 维高斯随机变量的统计独立特性 高斯随机变量的线性变换 高斯分布的随机变量的条件分布和边缘分布
4.1 引言．中心极限定理
给定 n 个独立的随机变量 xi ,
i = 1, 2," ，它们的和为： x = x1 + x2 + " + xn ，这个随
ju T x = ju T ( L y + μ X ) = ju T L y + ju T μ X = jS T y + ju T μ X
其中： S
T
= u T L,
S = LT u
1 ju T x − (x − μ X ) T B −1 (x − μ X ) 2 = ju T x − y T y / 2
= ∑∑ an am E {(ξ m − μ m ) ⋅ (ξ n − μ n )}
n =1 m =1 N N
N
N
= ∑∑ an ambnm
n =1 m =1
= aT Ba
4.4.2 高斯随机变量的线性变换：
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN） ， 协方差矩阵是 B。 线性变换 C，是 M*N 的矩阵，ξ经过线性变换 C 得到η＝Cξ， 均值：
4.3.2 定理 2:
若ξ是高斯分布的随机矢量，ξ1，ξ2 是两个子矢量，ξ＝（ξ1 ξ2） 它们的协 方差矩阵是 B = ⎜ ⎜B ⎝ 21
T
⎛ B 11
B 12 ⎞ ⎟ ，其中 B11 和 B22 分别是ξ1，ξ2 的协方差矩阵，B12 B 22 ⎟ ⎠
和 B21 分别是ξ1，ξ2 的互协方差矩阵。B12＝(B21)H，ξ1，ξ2 相互统计独立的充要 条件是 B12＝0 证明： 首先证明必要性。 若ξ1，ξ2 相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意 两个分量的协方差都是零，相应的协方差矩阵 B12＝0，B21＝0。 其次证明充分性。 若 B12＝0，B21＝0，相应ξ的相关矩阵 B = ⎜ ⎜ 0 ⎝
=
−∞ ∞
T ∫ " ∫ exp( ju x) −∞ ∞
∞
1 ⎡( 2π )n B ⎤ ⎣ ⎦
1/ 2 1/ 2
T ⎛ 1 ⎞ exp ⎜ − ( x − μ ) B −1 ( x − μ ) ⎟dx ⎝ 2 ⎠
=
−∞ ∞
∫"∫ ⎡
−∞ ∞
1 2π ) B ⎤ ⎦
n
⎣(
1 T ⎛ ⎞ exp ⎜ juT x − ( x − μ ) B −1 ( x − μ ) ⎟dx 2 ⎝ ⎠
2 ⎛ σ2 − rσ 1σ 2 ⎞ 1 ⎟ 2 2 2 ⎜ 2 ⎟ σ 1 σ 2 (1 − r ) ⎜ ⎝ − rσ 1σ 2 σ 1 ⎠
2 1 ⎛ 1 σ 1 − r σ 1σ 2 ⎞ = ⎜ ⎟ 2 ⎟ (1 − r 2 ) ⎜ ⎝ − r σ 1σ 2 1 σ 2 ⎠
其二元概率密度和特征函数为
2 2 2 2
机变量的均值为η = η1 + η 2 + " + η n ，方差为 σ = σ 1 + σ 2 + " + σ n ，在一定的条件下， 当 n 趋于无穷时，x 的概率密度函数 f(x)趋向于具有相同均值和方差的高斯(正态)分布：
− 1 f ( x) ≈ e σ 2π ( x −η ) 2 2σ 2
对应这个变换的雅可比行列式是
ห้องสมุดไป่ตู้
∂x 1/ 2 = L = B ∂y
fη (Y ) = =
[(2π ) B ]
n
1
1/ 2
⎛ 1 ⎞ 1/ 2 exp⎜ − (x − μ X )T B −1 (x − μ X ) ⎟ ⋅ B ⎝ 2 ⎠
[(2π ) ]
1
n 1/ 2
⎛ 1 ⎞ exp⎜ − y T y ⎟ ⎝ 2 ⎠
等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的。
4.4 高斯随机变量的线性变换 4.4.1 高斯随机变量的线性组合：
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN） ， 协方差矩阵是 B。 高斯随机变量ξ各个分量线性组合
η = ∑ a nξ n = a T ξ ，aT＝（a1，a2， ，aN）
e
−
( x − μ )2 2σ 2
σ 2u 2
4.2.2 二元高斯随机变量
二元高斯随机变量 ξ 1 , ξ 2 ，均值为零、协方差矩阵为，
⎛1 r ⎞ 1 ⎛1 − r ⎞ −1 2 ⎟ B ， = B=⎜ ⎟ ， B = 1− r 2 ⎜ ⎜ r 1⎟ 1 − r ⎝ −r 1 ⎠ ⎠ ⎝
其二元概率密度和特征函数为
=
−∞
∫"∫ ⎡
−∞
1
n 1/ 2
2π ⎤ ⎣( ) ⎦ exp[−(y − jS )T (y − jS ) / 2]dy
exp[ juT μ X − S T S / 2]
= exp[ juT μ X − S T S / 2] = exp[ juT μ X − uT LLT u / 2] = exp[ juT μ X − uT Bu / 2] 1 ⎛ ⎞ Φ ξ (u) = exp⎜ ju T μ X − u T Bu ⎟ 2 ⎝ ⎠
二元高斯随机变量 ξ 1 , ξ 2 ，其均值、协方差矩阵为，
⎛ξ1 ⎞ ⎛ μ 1 ⎞ E⎜ ⎟=μ, ⎜ ⎟ ⎟=⎜ ⎜ξ ⎟ ⎝ 2 ⎠ ⎝μ 2 ⎠
⎛ σ 12 B=⎜ ⎜ rσ σ ⎝ 1
2
rσ 1σ 2 ⎞ ⎟， 2 ⎟ σ2 ⎠
2 B = σ 12σ 2 (1 − r 2 )
B −1 =
当协方差矩阵是非负定的，可以证明若它的秩为 r<n，它的概率分布集中在 r 维子空间
上，这种分布是退化正态分布，或奇异正态分布。
4.3 N 维高斯随机变量的统计独立特性 4.3.1 定理 1:
N 维随机变量ξ1，ξ2， ，ξN，相互统计独立的充要条件是它们两两互不相关。 证明， 首先证明必要性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，相互统计独立，则它们 N 个高斯分布随 机变量的概率密度函数，等于它们各自概率密度函数的乘积。 z N 维随机变量ξ1，ξ2， ，ξN，它们的特征函数等于各自特征函数的乘积。 对比高斯分布特征函数的表达式，它们的协方差矩阵是对角矩阵。 z N 维随机变量ξ1，ξ2， ，ξN，它们的协方差矩阵是对角矩阵，它们的互 相关为零，它们是两两不相关的。 其次证明充分性。 z 若 N 维随机变量ξ1，ξ2， ，ξN，是两两不相关，它们的协方差矩阵是对 角矩阵。 z 若 N 维随机变量ξ1，ξ2， ，ξN，协方差矩阵是对角矩阵，它们的特征函 数等于各自特征函数的乘积，它们是相互统计独立。
= ju T μ X + jS T y − y T y / 2 = ju T μ X − (y − jS ) T (y − jS ) / 2 − S T S / 2
N 元高斯随机变量的特征函数是:
Φξ (u) = E {exp( ju x)} =
T ∞
∞
−∞
∫ " ∫ exp( ju
−∞
∞
T
x) fξ (x)dx