随机过程讲义全套

第一章 概率论基础知识

1. 事件、概率和概率空间

1.1 随机事件的运算和概率

1.2 σ代数(域)和Borel 集

设全集为， 为一些的子集构成的集类，若满足 ΩF ΩF 1)

F ∈Ω2) 对任意F ∈A ，F ∈A

3)

对任意有限或至多可数的{}F ⊂n A ，F ∈n n

A U

则称为一个F σ代数(域)

给定一个集合Ω，就可以构造一个包含它的一个σ代数。

推广：给定一个集类，可以构造一个的一个C F C ⊂σ代数。包含C 的最小的F σ代数，称为由C 生成的σ代数，记作()C σ。例如设R =Ω，

{}R b a a b b a R A A ∈∞−∞==,),,(),(),[:任意或或或C

为R 上的一个集类，()C σ中的集合称为Borel 集，()C σ称为直线上的Borel 域，记为。

)(R B

1.3 Kolmogorov 概率公理化定义

给定全集和其子集构成的一个Ωσ代数，若定义在上的函数满足

F F )(⋅P 1) 任意，F ∈A 1)(0≤≤A P ；

2) ； 1)(=ΩP 3)

对任意两两不交的至多可数集{}F ⊂n A ，

∑=⎟⎠⎞⎜⎝⎛n

n n n A P A P )(U 称为上的概率测度，)(⋅P F ),,(P F Ω称为概率空间。

1.4 随机变量的概念

定义：设为一概率空间，(P ,,F Ω))(w X X =为Ω上的一个实值函数，若对任意实数x ，，则称()F ∈−∞−),(1x X X 为()P ,,F Ω上的一个（实）随机变量。称()()()

),()),(()(1x X P x X P x X P x F −∞=−∞∈=<=−为随机变量X 的分布函数。

随机变量实质上是到()F ,Ω())(,R R B 上的一个可测映射(函数)。记

{}

F B ⊂∈=−)()()(1R B B X X σ，称)(X σ为随机变量X 所生成的σ域。

推广到多维情形，随机向量是T n X X X X ),,(21L =()F ,Ω到()

)(,n n R R B 上的一个可测映射。由可测映射在()

)(,n n R R B 上诱导出一个概率测度：

X P ())()(),(1B X P B P R B X n −=∈∀B

1.5 全概率公式和Bayes 公式

设{为的一个分割，即}k B Ω{}k B 两两不交且。

Ω=U k

k B 全概率公式：∑⋅=k

k k B P B A P A P )()()(

Bayes 公式：∑⋅⋅=

i

i

i

k k k B P B A P B P B A P A B P )

()()

()()(

2. 特征函数和母函数

2.1 特征函数

设X 为维实随机向量，称为n X

jw

T

Ee w =)(φX 的特征函数(characteristic

function )。性质：

1) 1)0(=ϕ；

2) (有界)n R w w ∈∀≤,1)(ϕ 3) (共轭对称)；

_______

)()(w w −=ϕϕ4) (非负定)对任意给定正整数m ，任意和任意复数

n m R t t t ∈L 21,

m αααL 21,，0)(11

≥−∑∑==m l m

k k l k l t t ααϕ；

5) )(w ϕ为n R 上的连续函数。

6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积； 7) 设为维随机向量，特征函数为(T

n X ξξL ,1=)n ),(1n w w L ϕ,则

n

n n

n

s s t n s n s s s s n s j

w w w w E ++=++∂∂∂=L L L L L 11

110111),,(ϕξξ，若∞

Bocher 定理：n R 上的函数)(t ϕ是某个随机变量的特征函数当且仅当)(t ϕ连续非负定且1)0(=ϕ。 例如：

设X 服从二项分布，，

),(p n B 1;,1,0,)(=+=⎟⎟⎠⎞⎜⎜⎝⎛==−q p n k q p k n k X P k

n k L 其特征函数

n jw pe q w )()(+=φ设X 服从参数为λ的Poisson 分布，其特征函数[]

)1(exp )(−=jw e w λφ

设X 服从正态分布，其特征函数),(2σµN )2

1

exp()(22w jw w σµφ−=

2.1 母函数(概率生成函数)

在研究只取非负的整数值的随机变量时，以母函数来代替特征函数比较方便。假设随机变量L ,2,1,0X 的分布为L ,2,1,0),(===k k X P p k ，其中

称

,10

=∑∞

=k k

p

1,)(0

≤==∑∞

=s s p Es s k k k X

ϕ

为随机变量X 的母函数(概率生成函数)(probability generating function)。 性质：

1) )(,1)1(s ϕϕ=在1≤s 绝对且一致收敛； 2) )(s ϕ唯一决定随机变量X 的分布；