随机过程-第一章 预备知识及补充
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
-2-
lim P( An ) p(lim An )
n n
证明： 首先假设 An , n 1 是递增的事件序列，并定义事件 Cn , n 1 为
C1 A1
c Cn An ( Ai )c An An 1 , n 1 i 1 n 1
即 Cn 由包含在 An 中但不在任何前面的 Ai (i n) 中的元素组成。容易验证 Cn 是互不相容事 件（请验证） ，满足
n
可以证明
lim inf An An
n k 1 n k
命题 1.2（波莱尔－坎泰利（Borel-Cantelli）第一引理） ：设 An , n 1 为一事件序列，
且 A limsup An 。若
P( A ) ，则
n n
P An , i.o. P( A) 0
证： 记 An X n 0 ，因 ，由波莱尔二坎泰利第一引理可知， P( A ) （为什么？）
n 1 n
无穷多个 X n 等于 0 的事件发生；又因
P( A ) ，所以也有无穷多个 X
c n 1
n
n
等于 1 的事件
发生。因此，以概率 1 断定有无穷多个 X n 等于 0 及无穷多个 X n 等于 1 发生，即当 n 时，以概率 1 断定 X n 的极限不存在。
i 1 i 1 i 1 n i 1 n i 1 n i 1 n
这证明了 An , n 1 是递增的事件序列时的结论。 如果 An , n 1 是递减的事件序列时，则 An , n 1 是递增的事件序列，因此
c
P( Aic ) p(lim Anc )
A ) P( A ) （Boole's inequality，布尔不等式：
n n 1 n 1 n
假定一些事件组成了一个可数的集合， 那么这集合中的至少一个事件发生的概率不大于每个事件 发生的概率的和。 ） ；
当 An , n 1, 2, 两两互不相容时，则 P(
A ) P( A ) ；
无穷多个 X n 等于 0 的概率为 0。因此，对于充分大的 n ， X n 必须等于 1，从而可以概率 1 断定有
lim X n 1
n
例 1.2：设 X1 , X 2 , 独立且使得 P( X n 0)
1 1 P( X n 1), n 1 。试证明 n
X n 的极限不存在
定 义 1.2 ： 设 。 由 所 有 半 无 限 区 间 ( , x ) 生 成 的 - 代 数 （ 即 包 含 集 族
(, x), x 的最小 -代数）称为 上的波莱尔（Borel） -代数，记为 B() ，其中
的元素称为波莱尔集合。类似地可定义 上的波莱尔 -代数 B( ) 。
i 1 n
但因
Aic ( Ai )c ，则
i 1 i 1
1 P( Aic ) 1 p(lim An ) P( Ai ) p(lim An )
i 1 n i 1 n
An , n 1 是递减的事件序列时的结论得证。
定义 1.4 ：设 An F , n 1 ，所有属于无限多个集合 An 的 的集合称为事件序列
-5-
1.2 随机变量和分布函数
定义 1.5： 设 ( 取值于实数集 的函数， ,F , ) P 是完备的概率空间，X 是定义在 上，
) x F ，则称 X ( ) 是 F 上的随机变量，简称为随 如果对任意实数 x ，有 : X(
机变量。函数
F ( x) P : X () x , x
称为随机变量 X 的分布函数。 一个随机变量 X 的可能取值的集合是可数的，则该随机变量称为离散的。对于离散型 随机变量有
pk P( X xk ), k 1, 2, F ( x)
xk x
p
k
连续型随机变量 X 的概率分布用概率密度 f ( x) 描述，其分布函数
F ( x) f ( x)
由 An , n 1 的独立性且
P( A ) 可得
n 1 n
-4-
c c P( An ) P( An ) [1 P( An )] e P ( An ) exp( P( An )) 0 nk nk nk n k nk
该证明过程利用了不等式 1 x e 。
联合分布函数 F ( x1 , x2 ,, xd ) 具有如下几点特点： （1）单调递增性； （2）右连续性； （3）对 i 1, 2, , d 有
xi
lim F ( x1 ,, xi ,, xd ) 0 lim F ( x1 ,, xi ,, xd ) 1
x1 ,, xd
1.1 概率空间
概率论的一个基本概念是随机试验：其结果在事先不能确定的试验。随机试验具有三 个特征： （1）可以在相同的条件下重复进行； （2）每次试验的结果不止一个，但预先知道试验的所有可能的结果； （3）每次试验前不能确定哪个结果会出现。 随机试验的所有可能结果组成的集合称为该试验的样本空间，记为 。 中的元素 称为样本点或基本事件， 的子集 A 称为事件。样本空间 称为必然事件，空集 称为不 可能事件。 定义 1.1：设 是一个样本空间， F 是 某些子集组成的集合族，如果满足： （1） F ； （2）若 A F ，则 A \ A F ；
sup An 。可以证明 An , n 1 的上极限，记为 lim n
lim sup An An
n k 1 n k
可记为 An , i.o. 。
-3-
事件序列 An , n 1 的下极限定义为
liminf An : n0 , n n0 , An
n
n
定义 1.3：假设对样本空间 的每一个事件 A 定义了一个数 P( A) ，且满足以下三条公
理：
-1-
（1）非负性： 0 P( A) 1； （2）规范性： P() 1 ， P() 0 ； （3）可列可加性：对任意的两两互不相容事件 A1 , A2 , ，即 Ai Aj , i j ，有
x
f (t )dt
d F ( x) dx
对于随机向量 X ( X1 , X 2 ,, X d ) ，它的 d 维联合分布函数定义为
F ( x1 , x2 ,, xd ) P X 1 x1 , X 2 x2 ,, X d xd d 1, xk ,1 k d
x
例 1.1：设 X1 , X 2 , 使得 P( X n 0)
1 1 P( X n 1), n 1 。试证明 n2
lim X n 1
n
证： 记 An X n 0 ，因 ，由波莱尔－坎泰利第一引理可知， P( A ) （为什么？）
n 1 n
An , n 1 发生，则在 An , k 1 也同样发生，从而在 An 亦发生；另一方面，如果
nk k 1 n k
样本点 在
则对于 k 1 ， 从而对于 k 1 至少有一个 n k ， 在 An 发生， An ，
k 1 n k nk
k 1 n k k nk k n k k nk
第二引理证明：
c P( An ) P(lim An ) lim P( An ) lim[1 P( An )] k 1 n k k nk k n k k n k
Ci Ai , Ci Ai , n 1
i 1 i 1 i 1 i 1
n
n
则
n n n
P( Ai ) P( Ci ) P(Ci ) lim P(Ci ) lim P( Ci ) lim P( Ai ) lim P( An )
第一章 预备知识
随机过程通常被视为概率论的动态部分。在概率论中研究的随机现象，都是在概率空 间 (, F , P) 上的一个或有限多个随机变量的规律性。涉及中心极限定理时也不过是随机变 量序列的讨论。在实际问题中，我们还需要研究一些随机现象的发展和变化过程，即随时间 不断变化的随机变量，而且，所涉及的随机变量通常是无限多个（甚至有时与时间一样多， 因而是不可数的） 。
n
lim An Ai ；来自百度文库
n i 1
如果 An , n 1 是一递减的事件序列，那么我们定义一个新的事件，记为 lim An ：
n
lim An Ai 。
n i 1
现在，我们开始讨论以下几个命题：
命题 1.1：如果 An , n 1 是递增或递减的事件序列，则
c
（3）若 An F ， n 1, 2, ，则
A F 。
n n 1
则称 F 为 -代数。 (, F ) 称为可测空间， F 中的元素称为事件。 如果 F 为 -代数，则： （1） F ； 。 （2）若 An F ， n 1, 2, ，则
A F 。
n n 1
命题 1.3（波莱尔－坎泰利（Borel-Cantelli）第二引理） ：如果 An , n 1 为独立的事件
序列，使得
P( A ) ，则
n 1 n
P An , i.o. 1
第一引理证明： 根据定义 1.4 对事件序列 An , n 1 上极限的定义可知， 因为样本点 在无穷多个事件
即 n k ，使得 在 An 发生，因此有 在无穷多个 An 发生。 因为
是递减的事件序列，由命题 1.1 可得 A , k 1
n nk
P( An ) P(lim An ) lim P( An ) lim P( An ) 0
联合密度函数 边际分布
Fk1 ,,kn ( xk1 ,, xkn ) F (,, , xk1 , ,, , xk2 , ,, , xkn )
P( Ai ) P( Ai )
i 1 i 1
则称 P 是 (, F ) 上的概率， (, F , P) 称为概率空间， P( A) 称为事件 A 的概率。 由公理（1） （2 ） （3）及定义可知概率具有如下几点性质： （1）若 A, B F ，则 P( A B) P( A) P( B) P( A B) （加法公式） ； （2）若 A, B F ，且 A B ，则 P( A) P( B) （单调性） ； （3）若 A, B F ，则 P( B A) P( B) P( AB) ； 当 A B ，则 P( B A) P( B) P( A) （减法公式；差事件：B 发生而 A 不发生） ； （4）若 An F , n 1 ，则 P(
n n 1 n 1 n
概率函数 P 的一个重要性质是连续性，为了更精确地阐明这一性质，需要引进极限事 件的概念。定义如下： 若 An An1 , n 1 ，称事件序列 An , n 1 为递增的； 当 An An1 , n 1 ，则事件序列 An , n 1 为递减的。 如果 An , n 1 是一递增的事件序列，那么我们定义一个新的事件，记为 lim An ：
lim P( An ) p(lim An )
n n
证明： 首先假设 An , n 1 是递增的事件序列，并定义事件 Cn , n 1 为
C1 A1
c Cn An ( Ai )c An An 1 , n 1 i 1 n 1
即 Cn 由包含在 An 中但不在任何前面的 Ai (i n) 中的元素组成。容易验证 Cn 是互不相容事 件（请验证） ，满足
n
可以证明
lim inf An An
n k 1 n k
命题 1.2（波莱尔－坎泰利（Borel-Cantelli）第一引理） ：设 An , n 1 为一事件序列，
且 A limsup An 。若
P( A ) ，则
n n
P An , i.o. P( A) 0
证： 记 An X n 0 ，因 ，由波莱尔二坎泰利第一引理可知， P( A ) （为什么？）
n 1 n
无穷多个 X n 等于 0 的事件发生；又因
P( A ) ，所以也有无穷多个 X
c n 1
n
n
等于 1 的事件
发生。因此，以概率 1 断定有无穷多个 X n 等于 0 及无穷多个 X n 等于 1 发生，即当 n 时，以概率 1 断定 X n 的极限不存在。
i 1 i 1 i 1 n i 1 n i 1 n i 1 n
这证明了 An , n 1 是递增的事件序列时的结论。 如果 An , n 1 是递减的事件序列时，则 An , n 1 是递增的事件序列，因此
c
P( Aic ) p(lim Anc )
A ) P( A ) （Boole's inequality，布尔不等式：
n n 1 n 1 n
假定一些事件组成了一个可数的集合， 那么这集合中的至少一个事件发生的概率不大于每个事件 发生的概率的和。 ） ；
当 An , n 1, 2, 两两互不相容时，则 P(
A ) P( A ) ；
无穷多个 X n 等于 0 的概率为 0。因此，对于充分大的 n ， X n 必须等于 1，从而可以概率 1 断定有
lim X n 1
n
例 1.2：设 X1 , X 2 , 独立且使得 P( X n 0)
1 1 P( X n 1), n 1 。试证明 n
X n 的极限不存在
定 义 1.2 ： 设 。 由 所 有 半 无 限 区 间 ( , x ) 生 成 的 - 代 数 （ 即 包 含 集 族
(, x), x 的最小 -代数）称为 上的波莱尔（Borel） -代数，记为 B() ，其中
的元素称为波莱尔集合。类似地可定义 上的波莱尔 -代数 B( ) 。
i 1 n
但因
Aic ( Ai )c ，则
i 1 i 1
1 P( Aic ) 1 p(lim An ) P( Ai ) p(lim An )
i 1 n i 1 n
An , n 1 是递减的事件序列时的结论得证。
定义 1.4 ：设 An F , n 1 ，所有属于无限多个集合 An 的 的集合称为事件序列
-5-
1.2 随机变量和分布函数
定义 1.5： 设 ( 取值于实数集 的函数， ,F , ) P 是完备的概率空间，X 是定义在 上，
) x F ，则称 X ( ) 是 F 上的随机变量，简称为随 如果对任意实数 x ，有 : X(
机变量。函数
F ( x) P : X () x , x
称为随机变量 X 的分布函数。 一个随机变量 X 的可能取值的集合是可数的，则该随机变量称为离散的。对于离散型 随机变量有
pk P( X xk ), k 1, 2, F ( x)
xk x
p
k
连续型随机变量 X 的概率分布用概率密度 f ( x) 描述，其分布函数
F ( x) f ( x)
由 An , n 1 的独立性且
P( A ) 可得
n 1 n
-4-
c c P( An ) P( An ) [1 P( An )] e P ( An ) exp( P( An )) 0 nk nk nk n k nk
该证明过程利用了不等式 1 x e 。
联合分布函数 F ( x1 , x2 ,, xd ) 具有如下几点特点： （1）单调递增性； （2）右连续性； （3）对 i 1, 2, , d 有
xi
lim F ( x1 ,, xi ,, xd ) 0 lim F ( x1 ,, xi ,, xd ) 1
x1 ,, xd
1.1 概率空间
概率论的一个基本概念是随机试验：其结果在事先不能确定的试验。随机试验具有三 个特征： （1）可以在相同的条件下重复进行； （2）每次试验的结果不止一个，但预先知道试验的所有可能的结果； （3）每次试验前不能确定哪个结果会出现。 随机试验的所有可能结果组成的集合称为该试验的样本空间，记为 。 中的元素 称为样本点或基本事件， 的子集 A 称为事件。样本空间 称为必然事件，空集 称为不 可能事件。 定义 1.1：设 是一个样本空间， F 是 某些子集组成的集合族，如果满足： （1） F ； （2）若 A F ，则 A \ A F ；
sup An 。可以证明 An , n 1 的上极限，记为 lim n
lim sup An An
n k 1 n k
可记为 An , i.o. 。
-3-
事件序列 An , n 1 的下极限定义为
liminf An : n0 , n n0 , An
n
n
定义 1.3：假设对样本空间 的每一个事件 A 定义了一个数 P( A) ，且满足以下三条公
理：
-1-
（1）非负性： 0 P( A) 1； （2）规范性： P() 1 ， P() 0 ； （3）可列可加性：对任意的两两互不相容事件 A1 , A2 , ，即 Ai Aj , i j ，有
x
f (t )dt
d F ( x) dx
对于随机向量 X ( X1 , X 2 ,, X d ) ，它的 d 维联合分布函数定义为
F ( x1 , x2 ,, xd ) P X 1 x1 , X 2 x2 ,, X d xd d 1, xk ,1 k d
x
例 1.1：设 X1 , X 2 , 使得 P( X n 0)
1 1 P( X n 1), n 1 。试证明 n2
lim X n 1
n
证： 记 An X n 0 ，因 ，由波莱尔－坎泰利第一引理可知， P( A ) （为什么？）
n 1 n
An , n 1 发生，则在 An , k 1 也同样发生，从而在 An 亦发生；另一方面，如果
nk k 1 n k
样本点 在
则对于 k 1 ， 从而对于 k 1 至少有一个 n k ， 在 An 发生， An ，
k 1 n k nk
k 1 n k k nk k n k k nk
第二引理证明：
c P( An ) P(lim An ) lim P( An ) lim[1 P( An )] k 1 n k k nk k n k k n k
Ci Ai , Ci Ai , n 1
i 1 i 1 i 1 i 1
n
n
则
n n n
P( Ai ) P( Ci ) P(Ci ) lim P(Ci ) lim P( Ci ) lim P( Ai ) lim P( An )
第一章 预备知识
随机过程通常被视为概率论的动态部分。在概率论中研究的随机现象，都是在概率空 间 (, F , P) 上的一个或有限多个随机变量的规律性。涉及中心极限定理时也不过是随机变 量序列的讨论。在实际问题中，我们还需要研究一些随机现象的发展和变化过程，即随时间 不断变化的随机变量，而且，所涉及的随机变量通常是无限多个（甚至有时与时间一样多， 因而是不可数的） 。
n
lim An Ai ；来自百度文库
n i 1
如果 An , n 1 是一递减的事件序列，那么我们定义一个新的事件，记为 lim An ：
n
lim An Ai 。
n i 1
现在，我们开始讨论以下几个命题：
命题 1.1：如果 An , n 1 是递增或递减的事件序列，则
c
（3）若 An F ， n 1, 2, ，则
A F 。
n n 1
则称 F 为 -代数。 (, F ) 称为可测空间， F 中的元素称为事件。 如果 F 为 -代数，则： （1） F ； 。 （2）若 An F ， n 1, 2, ，则
A F 。
n n 1
命题 1.3（波莱尔－坎泰利（Borel-Cantelli）第二引理） ：如果 An , n 1 为独立的事件
序列，使得
P( A ) ，则
n 1 n
P An , i.o. 1
第一引理证明： 根据定义 1.4 对事件序列 An , n 1 上极限的定义可知， 因为样本点 在无穷多个事件
即 n k ，使得 在 An 发生，因此有 在无穷多个 An 发生。 因为
是递减的事件序列，由命题 1.1 可得 A , k 1
n nk
P( An ) P(lim An ) lim P( An ) lim P( An ) 0
联合密度函数 边际分布
Fk1 ,,kn ( xk1 ,, xkn ) F (,, , xk1 , ,, , xk2 , ,, , xkn )
P( Ai ) P( Ai )
i 1 i 1
则称 P 是 (, F ) 上的概率， (, F , P) 称为概率空间， P( A) 称为事件 A 的概率。 由公理（1） （2 ） （3）及定义可知概率具有如下几点性质： （1）若 A, B F ，则 P( A B) P( A) P( B) P( A B) （加法公式） ； （2）若 A, B F ，且 A B ，则 P( A) P( B) （单调性） ； （3）若 A, B F ，则 P( B A) P( B) P( AB) ； 当 A B ，则 P( B A) P( B) P( A) （减法公式；差事件：B 发生而 A 不发生） ； （4）若 An F , n 1 ，则 P(
n n 1 n 1 n
概率函数 P 的一个重要性质是连续性，为了更精确地阐明这一性质，需要引进极限事 件的概念。定义如下： 若 An An1 , n 1 ，称事件序列 An , n 1 为递增的； 当 An An1 , n 1 ，则事件序列 An , n 1 为递减的。 如果 An , n 1 是一递增的事件序列，那么我们定义一个新的事件，记为 lim An ：