1概率论的基础知识

可测空间
[定义] 设Ω 是一个集合，F 是Ω 的某些子集组成的集合族。 是一个集合， 的某些子集组成的集合族。 如果 （1） Ω ∈F ） （2）若A ∈ F ，则 A = (Ω − A ) ∈ F ） （3）若An ∈ F ，n=1, 2, …, 则 ）
UA
n =1
∞
n
∈F
代数（ 称为可测空间， 则称F 为σ-代数（事件域）。（Ω, F ）称为 代数 ）。（ ，
L C1n L C2 n O M L Cnn
为n 维随机变量 X = (X1, X2, …, Xn) 的协方差矩阵。 。
常见的连续型随机变量
分布 均匀分布 正态分布 指数分布 瑞利分布 Γ 分布 χ2 分布
1 f ( x) =
概率密度 (b − a ) , a < x < b 0, 其它
协方差矩阵
[定义] 设n 维随机变量 X = (X1, X2, …, Xn) 的二阶中心矩
C ij = E{[ X i − E ( X i )][ X j − E ( X j )]}, i , j = 1, 2, L , n
都存在，则称矩阵 都存在，
C11 C12 C21 C22 C = M M C n1 Cn 2
−∞ ∞
D( X ) = ∑ [ xk − E ( X )]2 pk
k =1
∞
相关
[定义] 设X 和 Y 是两个随机变量，则称 是两个随机变量 随机变量，
R XY = E [ X Y ]
为 X 和 Y 的相关。 。 不相关： 正交：
R XY = E [ XY ] = E [ X ] ⋅ E [Y ]
F ( x ) = P ( e : X ( e ) ≤ x ),
为随机变量X的 为随机变量 的分布函数。 。
−∞ < x < ∞
分布函数的性质
1) F(x)是非减函数，即当 x1 < x2 时，F(x1) ≤ F(x2) 是非减函数， 是非减函数 2) 0 ≤ F(x) ≤1，且 ，
F (−∞) = Lim F ( x) = 0, F (+∞) = Lim F ( x) = 1
F ( x) = ∫ f (t ) d t
−∞ x
分布函数
F ( x) =
xk ≤ x
∑p
k
n 维随机变量
[定义] 设(Ω, F , P)是概率空间，X = X(e) = (X1(e), …, Xn(e) ) 是概率空间， 是概率空间 上的n维空间 中取值的向量函数， 维空间R 是定义在Ω上的 维空间 n中取值的向量函数，如果对任意 x=(x1, x2, …, xn) ∈ Rn，{e: X1(e) ≤ x1, X2(e) ≤ x2, …, Xn(e) ≤ xn} 则称X ∈ F ，则称 = X(e) 为n 维随机变量。 。 称
2 1 e −( x−a ) 2π σ
期望 (a+b)/2 a 1/λ
方差 (b-a)2/12
f ( x) =
2σ 2
σ2
1/λ2
(2 − π 2)σ 2
f ( x ) = λ e − λx u ( x ) , λ > 0
x2 f ( x) = 2 exp − 2 u ( x) , σ > 0 2σ σ x xα −1 f ( x) = α exp − u ( x ) , α , β > 0 β β Γ (α ) x
C XY = E ( XY ) − E ( X ) E (Y ) = R XY − E ( X ) E (Y )
“独立” “不相关” 与 “正交”
P ( XY ) = P ( X ) P (Y )
一个变量零均值， 一个变量零均值， 另一变量均值有限
独立
联合高 斯分布 充分条件
RXY = E ( XY ) = 0
正交
不相关
R XY = E ( XY ) = E ( X ) E (Y )
一个变量零均值， 一个变量零均值， 另一变量均值有限
矩
[定义] 设X, Y是随机变量，若下列期望值存在，则 是随机变量，若下列期望值存在， 。 称 E ( X k ) 为X 的k 阶原点矩。 称 E {[ X − E( X )] k } 为X 的k 阶中心矩。 。 称 E ( X k Y l ) 为X 和Y 的k+l 阶混合矩。 称 E {[X − E(X )]k [Y − E(Y )]l } 为X 和Y 的k+l 阶中心混合矩。 阶原点矩， 数学期望 E(X ) 为X 的一阶原点矩，方差 D(X ) 为X 的二 阶中心矩， 的的二阶中心混合矩。 阶中心矩，协方差 CXY 为 X 和Y 的的二阶中心混合矩。
n P I Ai = i =1
∏ P(A
i =1
n
i
)
则称g为 则称 为独立事件族。 。 独立性： 独立性： P(AB) = P(A)⋅P(B) ⋅
1.2 随机变量及其分布
[定义] 设（Ω, F , P）是概率空间，X =X(e)是定义在Ω上 ）是概率空间， 是定义在 的实函数， 的实函数，如果对任意实数 x，{ e: X(e) ≤ x } ∈ F ，则 ， 称X(e)是F 上的 是 上的随机变量。 。 称函数
−∞
∞
为X 的特征函数。 。 为离散型随机变量， 当X 为离散型随机变量， 分布列为p 分布列为 k，则
Φ (ω ) =
为连续型随机变量， 当X 为连续型随机变量， 概率密度为 f(x)，则 ，
∑
∞
k =1
pk e
jω x k
Φ (ω ) = ∫
∞
−∞
f ( x ) e jωx d x
= FT{ f ( x )} ω = −ω
k/p
b−a 1 P X = a + i , i = 0, 1, L, n = n n +1
(a+b)/2
1.4 特征函数
[定义] 设随机变量 的分布函数为F(x)，则称 设随机变量X的分布函数为 的分布函数为 ，
Φ (ω ) = E (e
jωX
) = ∫ e jωx d F ( x ), − ∞ < ω < +∞
随机过程
Random Processes
参考书
刘次华， 随机过程及其应用》 第四版）， 刘次华，《随机过程及其应用》（第四版）， 高等教育出版社， 高等教育出版社，2008.8 L. C. Ludeman著，《随机过程 随机过程——滤波、估 滤波、 著 滤波 计与检测》 电子工业出版社， 计与检测》，电子工业出版社，2005.2 周荫清，《随机过程导论》，清华大学出版 周荫清， 随机过程导论》 社，
π 2σ
βα
N
α α+β
β 2α
2N
αβ (α + β ) 2 (α + β + 1)
x ( N / 2 ) −1 x f ( x) = N / 2 exp − u ( x ) , N > 0 2 Γ ( N / 2) 2
Γ (α + β ) α −1 x (1 − x ) β −1 , 0 < x < 1 f ( x ) = Γ (α ) Γ ( β ) , α, β > 0 0, 其它
x → −∞ x→ +∞
3) F(x)是右连续的，即 F(x+0) = F(x) 是右连续的， 是右连续的
随机变量的类型
连续型随机变量
概率分布——概率密度 概率密度 概率分布
离散型随机变量
概率分布——分布列 分布列 概率分布
pk = P ( X = xk ), k = 1, 2, L
f (x)
分布函数
1 预备知识
——概率论的基础知识
内容提要
概率论的基本概念 随机变量及其分布 随机变量的数字特征 特征函数 正态分布 条件概率与条件期望
1.1 概率论的基本概念
确定性现象 ——在一定条件下必然发生（或必然不发生） 在一定条件下必然发生（或必然不发生） 在一定条件下必然发生 随机现象 ——在个别试验中呈现出不确定性，在大量重 在个别试验中呈现出不确定性， 在个别试验中呈现出不确定性 复试验中又具有统计规律性
F 中的元素称为事件。 中的元素称为事件。
概率空间
[定义] 设（Ω, F ）是可测空间，P( )是定义在 上的实值函 是可测空间， 是定义在F上的实值函 是定义在 数。如果 (1) 任意A ∈ F ， 0 ≤ P ( A ) ≤ 1 任意 (2) P ( Ω ) = 1 (3) 对两两互不相容事件 1, A2, …（当i ≠ j 时 Ai ∩ Aj = ∅） 对两两互不相容事件A （ 有
D ( X ) = E [ X − E ( X )] 2 = E ( X 2 ) − [ E ( X )] 2
为X的方差。 的 。 称 σ ( X ) = D ( X ) 为X的标准差（或均方差）。 的 （ ） 连续型随机变量： 连续型随机变量： 离散型随机变量： 离散型随机变量：
D ( X ) = ∫ [ x − E ( X )]2 f ( x ) d x
R XY = E [ XY ] = 0
协方差
[定义] 设X, Y是随机变量，若E(X2)<∞， E(Y2)<∞，则称 是随机变量， ∞ ∞
C XY = E{[ X − E ( X )][Y − E (Y )]}
为X , Y的协方差。 的 。 称
ρ XY =
C XY D ( X ) D (Y )
。 为X , Y的相关系数。 若 ρXY = 0，则称 X , Y 不相关。 的 ， 。
∞ P U Ai = i =1