随机过程讲义

i 1
则对于任意事件B，有
P（B） P（B Ai )
i 1
三、条件概率
1．定义 设E为随机试验，为其样本空间，A、B
为任意两个事件， 若 P（A） 0
则称
P（B
|
A）
P（AB） P（A）
为事件A出现的情况下，事件B的条件概率，或 简称事件B关于事件A的条件概率。
2．基本公式
定理1（乘法公式）
假设 A1，A2，，An为任意n个事件（ n 2 ），
i1 j 1
2．二维分布密度
连续型
如果存在一个非负的二元函数f（x，y）,使对 任意的实数x，y有
F(x，y) x y f (u,v)dudv
则称（X，Y）为二维连续型随机变量，f（x，y）称为 （X，Y）的概率密度，满足：
f (x, y) 0
f (x, y)dxdy 1
3．边缘分布及独立性
随机变量
取到次品的个数 顾客数 销售量 猜对的题数
可能的取值
0, 1, 2, …, 100 0, 1, 2, … 0, 1, 2, … 0, 1, ... , 10
3．分布密度
连续型 随机变量
如果对于随机变量X的分布函数为F（x）， 存在非负的函数f（x）,使对任意的实数x 有
x
F(x) f (t)dt
果是确定的，称为随机性现象。如掷硬币。 模糊性现象：在相同的条件下出现不确定的结果，称
为模糊性现象。如人的美与丑。
不同现象与研究方法
现象
研究方法
确定性现象 －－－ 经典数学
随机性现象 －－－ 概率统计学
模糊性现象 －－－ 模糊数学
研究随机性世界的步骤
随机试验 随机事件及其概率
随机变量及其概率分布 随机过程
f X (x) f (x, y)dy
fY ( y) f (x, y)dx
分别称为（X，Y）关于X和Y边缘概率密度。
X和Y相互独立的充要条件是 f (x, y) f X (x) fY ( y)
第三节 随机变量的数字特征
一、期望和方差
1．期望
则
设离散型随机变量X的分布律为
P(X xk ) pk k 1,2,
1}
1 n
随机过程 Stochastic processes
1
参考教材
随机过程，刘次华著，华中科技大学出版社，第四版 随机过程及其在金融领域中得应用， 王军，王娟著，清
华大学出版社
人类社会的三类现象
在自然界和人类社会活动中，普遍存在三类现象： 确定性现象：在相同的条件下出现相同的结果，称为
确定性现象或必然现象。如早上太阳在东方升起。 随机性现象：在相同的条件下出现不同的结果，但结
离散型随机变量的方差
（实例）
X = xi
100 10 1 0
P(X =xi)=pi
0.001 0.01 0.5 0.489
解：数学期望为：E ( X
)
4
xi
pi
100 0.001
0 0.489 0.7元
i 1
方差为：
D(
X
)
4
xi
E(
X
)2
pi
i 1
(100 0.7)2 0.001
(0 0.7)2 0.489 11.0（1 元2）
2．独立性的性质
定理3 若事件A，B相互独立，则A与B ；A与B ；
A与B 分别也相互独立。
定理4 设事件A1，A2，，An 相互独立，若其中
任意 m(1 m n)个事件相应地换成它们的
对立事件，则所得的n个事件仍然相互独立。
第二节 随机变量及其分布
一、一维随机变量的分布
1．随机变量
设随机试验的样本空间为 ，如果对于每一
若 P（A1 A2 An） 0
则
P（A1 A2 An） P(A1)P(A2 | A1)P(A3 | A1 A2 )
P（An | A1 A2 An1）
定理2（全概率公式与贝叶斯公式）
n
设事件 B1，B2，，Bn 两两互不相容， Bi i 1 P（Bi） 0 i 1，2，, n
则（1）对任意事件A，有
例2（匹配问题）
在一次集会上，n个人把他们的帽子放到房间的 中央混合在一起，而后每个人随机地选取一项，求 拿到自己的帽子的人数X的均值和方差。
解 利用表达式 X X1 X 2 X n
其中
Xi
1，如果第i个人拿到自己的帽子
0，其它
即求期望和方差
因
P(X i 1) 1/ n
故
E(Xi ) 1/ n
2．样本空间 3．随机事件
随机试验所有可能结果的集合， 记为。其中每一个结果，称 为样本点 。
样本空间的一个子集 A 。
4．概率
对样本空间的每一个事件A，都有 一实数P（A）与之对应，且满足：
（1） 0 P（A） 1
（2） P（） 1
（3）对两两互不相容的事件序列 A1，A2，
P（ Ai） P（Ai )
2．二维分布密度
离散型
设（X，Y）所有可能的取值为 (xi , y j )，而 pij
是（X，Y）取值 为 (xi , y j ) 的概率，即
P( X xi ,Y y j ) pij (i 1,2, j 1,2,)
则称上式为二维离散型随机向量（X，Y）的联合分布律。
它满足
pij 0
pij 1
P( X xi ,Y y j ) pij
则 pi P(X xi ) pij (i 1,2,
j 1
p j P(Y y j ) pij
j 1,2,)
i1
分别称为（X，Y）关于X和Y的边缘分布律。
X和Y相互独立的充要条件是 pij pi p j
连续型 则
若随机变量（X，Y）的概率密度为 f (x, y)
E(X )
xk pk
k 1
设连续型随机变量X的概率密度为 f (x) ，
则
E(X )
xf (x)dx
函数期望 Y g(X )
当 X为离散型随机变量
则 E(Y ) E[g(X )] g(xk ) pk k 1
当X为连续型随机变量，
则
Hale Waihona Puke BaiduE(Y
)
E[ g ( X
)]
g(x)
f
(x)dx
2. 方差
边缘分布
设（X，Y）的分布函数为 F(x，y)，则X，Y 的分布函数 FX (x)、FY ( y)，依次称为关于X和关于Y
的边缘分布函数，且有
FX (x) F(x,) FY ( y) F(, y)
独立性
F(x，y) FX (x) FY ( y)
则称随机变量X和Y是相互独立的。
离散型 若随机变量（X，Y）的联合分布律
线性相关，即
P(Y aX b) 1
离散型随机变量的方差
（实例）
某人花2元钱买彩票，他抽中100元奖的概率 是0.1%，抽中10元奖的概率是1%，抽中1元奖的 概率是0.5，求：
此人收益的概率分布； 此人收益的期望值和方差。
X = xi P(X =xi)=pi
100 10 1 0 0.001 0.01 0.5 0.489
则称X为连续型随机变量，f（x）称为X的概率密 度，且满足
f (x) 0
f (x)dx 1
连续型随机变量
连续型随机变量的一些例子
试验
随机变量
可能的取值
抽查一批电子元件 使用寿命(小时)
X0
新建一座住宅楼
半年后工程完成的百分比 0 X 100
测量一个产品的长度 测量误差(cm)
X0
二、随机变量的联合分布
称随机变量 [X E(X )]2的期望为X的
方差，即
D(X ) E[(X E(X ))2 ]
计算方差时通常用下列关系式：
D(X ) E[X 2 ] [E(X )]2
3．性质
（1） E(C) C D(C) 0
E(CX ) CE(X ) D(CX ) C 2D(X )
n
n
（2） E( X i ) E(X i )
（2）每次试验的结果不止一个，并能事先明确 试验的所有可能的结果；
（3）每次试验前不能确定哪个结果会出现。
随机试验
为研究随机现象的规律性，往往进行试验。例如： 1. 抛一枚硬币，观察正面、反面出现的情况。 2.抛一枚骰子，观察出现的点数。 3.记录某段时刻来某个银行办理业务的顾客数。 4. 记录车站售票处一天内售出的车票数。 5. 在一批灯泡中任意抽取一只，测试它的寿命。 6. 记录某地一昼夜的最高温度和最低温度。
设 xk (k 1,2,) 是离散型随机变量X的
所有可能的取值， pk 是 xk 的概率：
P( X xk ) pk (k 1,2,)
则称上式为X的概率分布或分布率 。且满足
pk 0
pk 1
k 1
离散型随机变量
离散型随机变量的一些例子
试验
抽查100个产品 一家餐馆营业一天 电脑公司一个月的销售 猜10道选择题的答案
1．联合分布函数
设 X1，X 2，，X n 是样本空间的n个随机
变量，x1，x2，，xn为任意实数，则称
F(x1，x2 ,, xn ) P(X1 x1, X 2 x2 ,, X n xn )
为随机变量的n维联合分布函数 。
特别地 F(x，y) P(X x,Y y)
即是X，Y的二维联合分布函数。
i 1
i1
（3） 若X和Y相互独立，则
E(XY ) E(X )E(Y )
（4） D(X ) 0 的充要条件是 P[X E(X )] 1
二、协方差和相关系数
1．协方差
Cov(X ,Y) E[(X E(X ))(Y E(Y))]
计算协方差时通常用下列关系式：
Cov(X ,Y ) E(XY ) E(X )E(Y)
2. 相关系数
rXY
Cov(X ,Y ) D(X )D(Y )
3．性质
n
n
n
（1） D( X i ) D(X i ) 2 Cov(X i , X j )
i1
i1
i, j1
i j
（2）若X和Y相互独立，则
Cov( X ,Y ) 0
（3）| rXY | 1
（4） | rXY | 1 的充要条件是X与Y以概率1
s (2 s n) 和 1 i1 i2 is n ，有 P（Ai1 Ai2 Ais） P（Ai1）P（Ai2）P（Ais）
则称事件 A1，A2，，An 相互独立。
美国有一对夫妻连续生了8个儿子。他们原本只想要4 个小孩，但是当前面4个小孩都是男孩时，他们想再生一 个女孩，直到连续生了7个男孩。后来他们的医生都保证 说，按照平均数定律，下次生女孩的概率是99％。不幸的 是，第8次还是男孩。因为生孩子和扔硬币一样，连续8个 男孩的概率固然很小，但是在已经生了7个男孩之后，下 一个是女孩的概率仍然是50％。
D( X i
)
1 n
(1)2 n
n 1 n2
又
Cov( X i , X j ) E( X i X j ) E( X i )E(X j )
而
XiX j
1，如果第i个人与第j个人都拿到自己的帽子
0，其它
得 E(X i X j ) P{X i 1，X j 1}
P{X i
1}P{X
j
1|
Xi
n
P( A) P（Bi）P（A | Bi ) i 1
（2）对任意事件A ，若 P（A） 0 ，有
P(Bi | A)
P（Bi）P（A | Bi )
n
P（Bi）P（A | Bi )
i 1
四、独立性
1．定义
如果事件A，B满足
P（AB） P（A）P（B）
则称事件A，B相互独立。 设 A1，A2，，An 是n个事件，如果对于任意
第一章 预备知 识
第一节 概 率 第二节 随机变量及其分布 第三节 随机变量的数字特征 第四节 矩母函数和特征函数 第五节 条件期望 第六节 指数分布 第七节 n维正态分布
第八节 收敛性和极限定理
第一节 概 率
一、基本概念 ：
1．随机试验 其结果在事先不能确定的试验。 具有三个特性：
（1）可以在相同的条件下重复进行；
2
F (x) 是非递减函数，即当 x1 x2 时，有
F(x1 ) F(x2 )
3
lim F(x) 0 lim F(x) 1
x
x
4
F（x）是右连续的，即 F(x 0) F(x)
3．分布密度
最常见的随机变量是离散型和连续型两种。
离散型
随机变量X的可能取值仅有有限
随机变量 个或可列无穷多个。（例子）
个 都有唯一的一个实数 X () 与之对应，这 种对应关系称为一个随机变量，记作X () 或X。
2．分布函数
随机变量X取值不超过x的概率 P(X x)， 称
为X的分布函数（其中x为任意实数），记为
F(x) 即 F(x) P(X x) x
分布函数F（x）具有下列性质：
1
0 F(x) 1 x
i 1
i 1
则称P（A）为事件A的概率。
二、概率的性质：
1 P（） 0 2 P（A B） P（A） P（B） P（A B）
3 P(Ac ) 1 P(A)
4 设 A1，A2， ，An 两两互不相容 ，则
n
n
P（ Ai） P（Ai )
i 1
i 1
5 设两两互不相容的事件 A1，A2， ， Ai