概率

由于 PX (∞) = 1 、 PX (−∞) = 0 ，所以概率密度函数的积分是 1：
∞
∫−∞ pX (x)dx = 1
(B-5)
在不致混淆的情况下，可以省略累积分布函数和概率密度函数中的下标 X ，写成 P(x) 和 p(x) 。
随机变量 X 的均值（mean）或期望值（expected value）是其概率平均，定义为：
∞
∫ pY ( y) = −∞ pXY (x, y)dx
(B-14) (B-15)
这样得到的分布 pX (x) 和 pY ( y) 也称为联合分布 pXY (x, y) 的边际(marginal)分布。注意联合
概率密度函数的积分必然是 1：
∞∞
∫ ∫−∞ −∞ pXY (x, y)dxdy = 1
(B-16)
(B.3)
p( A)
事件的独立性与概率测度 p(⋅) 有关，若 p( A ∩ B) = p( A) p(B) ，则事件 A 与事件 B 独立。 此时有 p(B A) = p(B) ， p( A B) = p( A) 。
B.2 随机变量
随机变量是在概率空间 (Ω,ε , p(⋅)) 上定义的。随机变量 X 是从样本空间 Ω 到实数轴的
∪ A1, A2 ,
，其中 Ai ∈ε ，有
∞ i =1
Ai
∈ε
。为了能定义随机事件的交、并的概率，ε
必须是 σ
域。我们还要求概率空间中的概率测度满足下列三个基本性质：
1． p(Ω) = 1。 2．对于任意事件 A ∈ε ，有 0 ≤ p( A) ≤ 1。 3．如果 A 和 B 是互斥的（即其交集为零），则 p( A ∪ B) = p( A) + p(B)
它 们 不 相 关 （ uncorrelated ）。 注 意 ， 对 于 两 个 不 相 关 的 随 机 变 量 （ 即
Cov[ XY ] E[ XY ] − μX μY = 0 ），若其均值不为零，则相关函数也不为零（ E[ XY ] ≠ 0 ）。
对于随机变量 X1, , X n ，其协方差矩阵（covariance matrix） Σ 定义为一个 n × n 的矩阵， 第 ij 个元素是 Σij = Cov[ XiYj ]。 ∑ 对角线上的第 i 个元素是 X i 的方差： Σii = Var[ X i ] 。
≥ p( X −1(−∞, x1)) = PX (x1) 。
随机变量 X 的概率密度函数（probability density function，pdf）定义为累积分布函数的
2/13
导数： pX (x)
d dx
PX
(x)
。对连续随机变量，
pX
(
x)
是整个实数轴上的函数。对离散随机
变量， pX (x) 是一组冲激函数，冲激位置在 X 的可能取值处。概率密度函数也称为 X 的概
x
n
p
X
(
x)dx
X 的方差是由其均值和二阶矩定义的：
(B-8)
Var[
X
]
=
σ
2 X
E[( X
−
μX
)2 ]
=
E[x2 ] −
μ
2 X
(B-9)
方差反映 X 与其均值 μX 之差的平方的均值。X 的标准差σ X 是方差的平方根。由期望算子 的 线 性 性 质 容 易 证 明 ， 对 任 意 常 数 c ， 有 E[cX ] = cE[ X ] 、 Var[cX ] = c2 Var[ X ] 、 E[ X + c] = E[ X ] + c 、 Var[ X + c] = Var[ X ] 。因此，给一个随机变量乘以一个常数将使
1 我们用 A ∩ B 表示A和B的交集，它是所有A和B的共同元素。A和B的并集记为 A ∪ B ，是所有或出现在 A中、或出现在B中的元素的集合。 A ⊂ Ω 的补集记为 Ac ，是所有在 Ω 中，但不在A中的元素。
1/13
n
∑ p( A1 ∪ A2 ∪ ∪ An ) ≤ p( Ai ) i =1
现在考虑联合的随机变量。为了能定义两个随机变量的联合分布，它们必须有相同的概
率空间。令 X 和Y 是定义在同一个概率空间 (Ω,ε , p(⋅)) 上的两个随机变量。它们的联合累 积分布函数定义为 PXY (x, y) p( X ≤ x,Y ≤ y) 。联合概率密度函数定义为累积分布函数的
导数：
4/13
其均值乘以相同的常数，使其方差乘以该常数的平方。给一个随机变量加上一个常数将使均
3/13
值加上相同的常数，而方差不变。
随机变量 X 的分布可以通过它的特征函数（characteristic function）来确定，特征函数 定义为：
∫ φX (v) = E[e jvX ] =
∞ −∞
pX
(x)e
附录 B 概率论、随机变量和随机过程
本附录简要介绍书中所用到的概率论、随机变量、随机过程方面的主要概念。有关这一 宽深主题的详细处理，以及本附录所给出的性质的证明，请参考[1~8]。
B.1 概率论
( ) 概率论是随机事件的数学描述。随机事件由概率空间 Ω,ε , p (⋅) 定义。概率空间由样
本空间 Ω 、随机事件的集合 ε 和概率测度 p(⋅) 组成。其中 Ω 是随机事件可能结果的集合。ε
率分布（probability distribution）或分布（distribution），它决定了 X 处于某一范围时的概率：
∫ p(x1 ≤ X ≤ x2 ) = p( X ≤ x2 ) − p( X ≤ x1) = PX (x2 ) − PX (x1) =
x2 x1
pX
( x)dx
(B-4)
表明
p(A ∩ B) = p( A B) p(B) = p(B A) p( A)
(B-2)
条件概率 p(B A) = p( A ∩ B) p ( A) 实际是用事件 A 的概率对事件 B 的概率进行了归一
化，因为我们知道 A 已经发生了。由(B-2)可得到贝叶斯准则（Bayes’ rule）：
p(A B) p(B) p(B A) =
n
∑ p( Ai ) = 1 ，称这样的集合{A1,..., An} 为 Ω 的一个划分（partition）。对于两个相交的集
i =1
合 Ai 和 Aj ，有 p( Ai ∪ Aj ) = p( Ai ) + p( Aj ) − p( Ai ∩ Aj ) ，这一点导出了联合界（union bound），其表述为：对于任意集合 A1, , An ，有
是集合的集合，任意随机事件 A∈ε 是 Ω 的子集。对每一个集合 A∈ε 定义了概率测度 p( A) 。概率空间要求集合 ε 是一个σ 域。直观地说，如果一个集合的集合 ε 包含了所有它 的元素的交集、并集和补集1， ε 就是一个σ 域。更准确地说， ε 是一个σ 域，如果：所有
可能结果构成的集合 Ω 是 ε 中的一个集合；若集合 A ∈ ε ，则 Ac ∈ε ；对于任意集合
∂vn
பைடு நூலகம்
v=0
令 X 是一个随机变量，g(x) 是一个实函数。令Y = g( X ) 就定义了另外一个随机变量，
g −1 ( y )
∫ ∫ 且有 PY ( y) = x:g(x)≤y pX (x)dx 。若 g 是一一映射的单调增函数，则 PY ( y) = −∞ pX (x)dx 。
∞
∫ 若 g 是一一映射的单调减函数，则 PY ( y) = g−1( y) pX (x)dx 。
于是，
pXY (x, y)
∂2PXY (x, y) ∂x∂y
(B-12)
xy
∫ ∫ PXY (x, y) = −∞ −∞ pXY (v, w)dvdw
(B-13)
对于联合随机变量 X 和 Y ，对联合概率密度函数求关于 Y 的积分可得到 X 的分布：
类似地，
∞
∫ pX (x) = −∞ pXY (x, y)dy
∫ μX
= E[ X ] =
∞
−∞ xpX (x)dx
(B-6)
期望算子 E[⋅] 是线性的，也可用于随机变量的函数。 X 的函数的均值为
∞
∫ E[g( X )] = −∞ g(x) pX (x)dx
一个有特别意义的函数是 X 的 n 阶矩（moment）：
(B-7)
∫ E[ X n ] =
∞ −∞
变量 X 和 Y 之间的独立性是其联合分布的函数。具体而言，若 X 和 Y 的联合分布 pXY (x, y) 可分解各自分布之积，即若 pXY (x, y) = pX (x) pY ( y) ，则 X 和 Y 是独立的随机变量。对于 独立随机变量，容易证明 E[ f ( X )g( X )] = E[ f ( X )]E[g( X )] ，其中 f (x) 和 g(x) 是任意
两个随机变量的联合累积分布函数和联合概率密度函数的定义可以直接扩展到任意有限个 随机变量。
和随机事件一样，观察一个随机变量的结果可能会影响另一个随机变量的概率。在随机
变量 X 的实现给定为 X =x 的条件下，随机变量 Y 的条件分布定义为
pY ( y X = x) = pXY (x, y) pX ( x) ，这也表明 pXY (x, y) = pY ( y X = x) pX (x) 。两个随机
本节只考虑 ε 中的集合，因为概率测度只定义在这些集合上。
从概率测度 p(⋅) 的基本性质可以推出一些重要特性，如 p( Ac ) = 1− p( A) 。再如，若 集 合 A1, , An 两 两 不 相 交 （ Ai ∩ Aj = 0/ ， i ≠ j ）， 则 当 A1 ∪ A2 ∪ ∪ An = Ω 时 ， 有
E[ X
n]
=
(−
j)n
∂nφX (v) ∂vn
v=0
X 的矩母函数（moment generating function，MGF）定义为 MX (v) E ⎡⎣evX ⎤⎦ ，它与特征
函数类似，但在某些 v 值处会发散。如果矩母函数在零附近是有限的，则 X 的 n 阶矩为：
E
⎡⎣
X
n
⎤⎦
=
∂nMX (v)
(B-1)
一个随机事件的发生能够影响另外一个随机事件发生的概率，这是因为观察到一个随机
事件的观察结果后，我们能够判定出 ε 中有哪些子集也包括这个观察结果。为了反映这一点，
定义事件 B 在事件 A 发生的条件下的概率为 p(B A) = p( A ∩ B) p ( A) ，设 p( A) ≠ 0 。这
函数。
设随机变量 X 和 Y 的联合概率密度函数是 pXY (x, y) ，定义其 ij 阶联合矩为：
∫ E[ X i X j ]
∞ −∞
xi
y
j
pXY
(x,
y)dxdy
(B-17)
X 和 Y 的 相 关 (correlation) 定 义 为 E[ XY ] ， 协 方 差 （ covariance ） 定 义 为
jvx dx
(B-10)
由(B-10)可见， X 的特征函数φX (v) 是其概率密度函数 pX (x) 的傅氏反变换在 v (2π ) 处的
值。因此通过φX (v) 可得到 pX (x) 为：
∫ pX
(x)
=
1 2π
∞ −∞
φX
(v)e−
jvx dx
(B-11)
上式在求随机变量之和的分布时特别有用。可以由φX (v) 得到 X 的 n 阶矩：
5/13
Cov[ XY ] E[( X − μX )(Y − μY )] 。注意若 X 和 Y 当中有一个是零均值，则它们的协方差 和相关值相等。 X 和 Y 的相关系数(correlation coefficient)由其协方差和标准差定义为
ρ Cov[ XY ] (σ XσY ) 。若 X 和Y 的协方差为零，或等效地说是若其相关系数为零，则称
子集的函数映射。如果 X 取实数轴上的离散值，称为离散（discrete）随机变量。如果 X 取 实数轴上的连续值，称为连续（continuous）随机变量。随机变量 X 的累积分布函数
（cumulative distribution function，cdf）定义为 PX (x) p( X ≤ x) ， x ∈ 。累积分布函数 可以从概率空间导出： p( X ≤ x) = p( X −1(−∞, x)) ， X −1(⋅) 是从实数轴到 Ω 的子集的逆映
射，即 X −1(−∞, x) = {ω ∈ Ω : X (ω) ≤ x} 。累积分布函数的性质基于概率测度的性质，首先
它满足 0 ≤ PX (x) = p( X −1(−∞, x)) ≤ 1 。其次，累积分布函数是不减函数：如果 x1 ≤ x2 ，
则
PX (x1) ≤ PX (x2 )
，
这
是
由
于
PX (x2 ) = p( X −1(−∞, x2 )) = p( X −1(−∞, x1)) + p( X −1(x1, x2 ))