第二讲-随机过程概要及概率基础
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散的： F x 连续的：
PX y
y x
F x f t dt
x
二、命题1.2.2 已给n元函数
( ⅰ)
F
x , ,x ，满足：
1 n
F x1 , ,xn 对任一 xi 是单调不减的，
(ⅱ )
(ⅲ )
F x1 , ,xn
P E i P Fi
i 1 i 1
PFi
i 1
可列可加
正项级数收敛 (不超过1) 考虑部分和数列
lim PFi
n n i 1
lim P Fi
n i 1 n
n
lim PE n
等价替换(后半部分用 对偶律)
六、若随机变量 X 1 , X 2 , , X n 相互独立，
fi 为
Borel 可测函数，
i 1,2, , n
，则
f1 X 1 , f 2 ( X 2 ) , f n X n
也相互独立.
例:1.2.8：已知n阶正定对称矩阵B，
a a1 , , an , x
其中，
FX j x j lim F x1 , , x n
xi i j
命题1.2.5至1.2.7知道结果就行.
五、 随机变量 X 1 , X 2 , , X n相互独立
对任意Ai B,
i 1,2,, n ,
n i 1
P( X 1 A1 , X 2 A2 ,, X n An ) P( X i Ai ).
三、初步概率论
X
离散的 期 望、 方 差、 矩
连续的
其它 协 方 差、 相 关 系 数
（随机向量） X
可数个
独 立、 极 限 定 理
不可数
随机过程
四、随机过程定义及分类
1、定义 定义域 T (Ω,F,B) 值域 (E,B) E：状态空间, 相空间, E 中元素叫状态.一般为 实数或复数. B为Borel可测集全体
注意: (ⅳ)不能由(ⅰ)、 (ⅱ)、 (ⅲ)推出 反例：定义
1 , x1 x2 0 F x1 , x2 0 , x1 x2 0
F x1 , x2 满足(ⅰ)、 (ⅱ)、 (ⅲ)，但是对
( x1 , x2 ) (1,1) ,
F 1,1 F 1,1 F 1,1 F 1,1 1 1 1 0 1
对任一 xi 是右连续的，
FX , , 1, i 1,2, n
FX x1 , ,xi 1 ,, xi 1 , , xn 0,
(ⅳ) 设
xi yi , i 1,2, , n
n i 1 i j
，则
n
n
概率是1(未必是必然事件),同时 P(lim sup( X n 1) 1.
n
无穷多个X n不出现的概率也是1(未必是必然事件).
十一、统计物理模型 解一（Maxwell-Boltzman) 质点可分辨，处于每个状态的质点个数任意。
解二（Bose-Einstein) 质点不可分辨，处于每个状态的质点个数任意。
五、
称概率空间，广义 (Ω ,F, P) 测度不保证非负, 不保证为1.
六、 性质 1、 E F P E P F 2、 P E 1 P E
单调不减 对立事件和为1
3、 Ei E j
n n ， i j ， P Ei P Ei i 1 i 1
x
dx 1
因为B对称正定，故存在正交阵T，使：
d 1 0 TBT D 0
0 d2 0
0 0 dn
其中 di 是B的特征值且d i 0 。 作变换 y x a T ,右乘T,T T I ,可得 x a yT 因为 x T 1 ，
xt ω,t T xt,ω,t T,ω Ω
2、分类 按定义域、值域分： （1）T及E都可列 （2）T可列， E非可列 （3）T及E都非可列 （4）T非可列， E可列 其中T可列，即（1）、（2）为随机序列（时 间序列）. 其中E可列, 即（1）、（4）为可列过程, E为 有限集时为有限过程.
偶然性
必然性
3 随机过程
Brown运动:
1827 年，Brown在显微镜下发现花 粉的无规则运动, 将此奇怪现象公诸于世, 无人能解 释原因. 1900年，法国数学家Bachelier给出 一维 Brown运动粗略模型, 其博士论文为《投机的理论》 ，研究证券价格的涨落，开创近代金融数学的先河， 但他的结果几十年之后才得到认可. 1905年,Einstein 首次进行量化分析, 认为花粉运 19 21 动源自分子无规则热运动, 每秒碰撞 10 10 次. Wiener 1918年发表系列论文, 成功解决这一问 题, 故称Wiener—Einstein过程.
y dy
利用密度函数的轮换对称性,可得Y边源密度也相同 均为1/2 + y .
四、事件独立：
n个事件独立，
P ( AB ) P ( A) P ( B)
2n n 1
个表达式。
随机变量独立：X 1 , X 2 , , X n 独立，要求 联合密度为边缘密度之积，即：
F x1 , , xn FX1 x1 FXn xn
F y1 , , y n Fi Fij 1 F x1 , , xn 0 其中Fi F y1 ,, xi ,, y n
则必存在概率空间 (Ω ,F, P)及其上 的随机向量 ξ ，使 ξ 的分布函数
Fξ x1 , , xn F x1 , , xn
( y1 , y2 ) (1, 1)
三、 (联合分布唯一确定边沿密度,反之不成立.)
x y, f x, y 0, 0 x, y 1 反之
y , 0 x, y 1 反之
1 1 x g x , y 2 2 0,
十、调和级数实例.
设X n (n 1, 2
1 1 ), P （X n 0） ，（ P Xn 1 ） 1 ， n n
故 P X n 0 （调和级数发散）；
n 1
同时， P X n 1 (一般项趋于1)，
n 1
Baidu Nhomakorabea
P(lim sup( X n 0) 1.这样无穷多个X n出现的
1.2 随机变量
F x f x
概率空间( , F , P) 实数a,{ : X ( ) a} F ; 讲Lebesgue 可测，是指： {x D : f ( x) a}为可测集 .
这里指的是可测集 《实变函数》《应用数 , 学基础》
一、存在性 命题1.2.1：设 F x,x R 是单调不减， F - 0 右连续的函数，且有 ， F () 1 ，则必存在概率空间及其上的一 个随机变量 ξ ，使 Fξ x F x 。 证明： （略）
Markov过程(1856—1922): 十九世纪末用 矩阵研究 马氏链, 开始随机过程理论. Erlang 因研究电话问题得到了Poisson过程 , 创立 了排队论. Feller研究了生灭过程. 平稳过程: 从辛欣研究大数定律开始，1934年完成. 鞅论: 莱维（Levy. Paul Pierre, 1886-1971） 1930－1955年创立. 杜悖( J. Doob )研究停时. 随机积分: 伊藤清(1915—日), 87年获Wolf奖,97 年有人 因 研究Ito微分方程的解而获诺贝尔经济奖. 最优停时: 1名秘书, 100人应征, 如何选? Gilbert 和 Mosteller1966年证明37%规则, 前37个不要, 第38个后开始超过前面就定下来, 选中最优率为 1/e=0.367879. 而随机取这一结果仅1%.
n i 1
En En1 ， 2、递减事件列： n 1， lim E n
n
En
n 1
九、P的连续性（P与lim可交换顺序）
lim P ( E ) P ( lim E ). n n n n
证明：
F1 E1
F2 E 2 E1 E 2 E1 F3 E 3 E 2 E 3 E 2 Fn E n E n 1 E n E n 1 Fi F j
按概率关系分 （1） Markov过程
独立增量过程
Poisson过程 Wiener过程 （2）正态过程,二项过程,负二项过程 （3）平稳过程,宽平稳过程(白噪声) （4）鞅 我国王梓坤为概率第一人.
应用随机过程
Applied stochastic processes
第一章 概率论的基本知识
第一章
1.1. 概率空间
一、随机试验： 可重复性（同一条件） 结果多个（不唯一） 试验前未知 二、样本空间Ω：随机事件A 为Ω的子集. ω：样本点 Ω={ω全体} 三、定义域、事件域（σ－代数） 1、Ω F A F A F 2、 3、 见下面
3、 Ai F
A
i 1
i
F
可列并封闭
应用随机过程
Applied stochastic processes
序言
二、随机数学发展概述
随机数学
stochastic mathematics
概率论
probability theory
数理统计
Mathematical statistics
随机过程
stochastic process
随机现象
内在规律
可测空间 (Ω ,F )：信息全体 四、值域、事件概率
1、0 P(A) 1 2、 P(Ω ) 1 3、 Ai Aj ， i (非负性) (规范性)
j ， i,j 1,2 ,......
P Ai P Ai (可列可加性) i 1 i 1
此例两个密度函数显然不同，密度函数非零区域相同. 边缘密度如下:
f x, y dy ( x y ) dy
1 0
X边缘密度:
1 x, 2
0 x 1
1 0
1 1 g x, y dy x 2 2 1 x, 0 x 1 2
f x 1
x , , x
1 n
2 2
n
B
1
2
1 1 exp x a B x a 2
是n维随机变量的密度。式中 B 表示B的行列式的值， C 1 表示矩阵C的转置矩阵， B 表示矩阵B的逆矩阵。下面 证明
Rn
f
Ei P Ei 4、 P i 1 i 1
有限可加性 无限次可加
七、选取方法 Ω 有穷 Ω 可列 不可列
F 为 Ω 子集全体
F 为 Ω 子集全体 F 为Lebesgue可测
Ω
八、极限事件 lim E n E n En En1 ，n 1 ， 1、递增事件列：
ni ! P ni gi
P
1 C
ni n i g i 1
适于光子、介子、核 子等Bose子。
解三（Fermi-Dirac) 质点不可分辨，每个状态只有一个质点。 适于电子、中子、 1 P ni 质子等Fermi子。
Cg i
随机变量X分布函数: F x PX x 满足： (ⅰ) 单调不减； (ⅱ) 右连续； (ⅲ) F 0 ； (ⅳ) F 1 ；
PX y
y x
F x f t dt
x
二、命题1.2.2 已给n元函数
( ⅰ)
F
x , ,x ，满足：
1 n
F x1 , ,xn 对任一 xi 是单调不减的，
(ⅱ )
(ⅲ )
F x1 , ,xn
P E i P Fi
i 1 i 1
PFi
i 1
可列可加
正项级数收敛 (不超过1) 考虑部分和数列
lim PFi
n n i 1
lim P Fi
n i 1 n
n
lim PE n
等价替换(后半部分用 对偶律)
六、若随机变量 X 1 , X 2 , , X n 相互独立，
fi 为
Borel 可测函数，
i 1,2, , n
，则
f1 X 1 , f 2 ( X 2 ) , f n X n
也相互独立.
例:1.2.8：已知n阶正定对称矩阵B，
a a1 , , an , x
其中，
FX j x j lim F x1 , , x n
xi i j
命题1.2.5至1.2.7知道结果就行.
五、 随机变量 X 1 , X 2 , , X n相互独立
对任意Ai B,
i 1,2,, n ,
n i 1
P( X 1 A1 , X 2 A2 ,, X n An ) P( X i Ai ).
三、初步概率论
X
离散的 期 望、 方 差、 矩
连续的
其它 协 方 差、 相 关 系 数
（随机向量） X
可数个
独 立、 极 限 定 理
不可数
随机过程
四、随机过程定义及分类
1、定义 定义域 T (Ω,F,B) 值域 (E,B) E：状态空间, 相空间, E 中元素叫状态.一般为 实数或复数. B为Borel可测集全体
注意: (ⅳ)不能由(ⅰ)、 (ⅱ)、 (ⅲ)推出 反例：定义
1 , x1 x2 0 F x1 , x2 0 , x1 x2 0
F x1 , x2 满足(ⅰ)、 (ⅱ)、 (ⅲ)，但是对
( x1 , x2 ) (1,1) ,
F 1,1 F 1,1 F 1,1 F 1,1 1 1 1 0 1
对任一 xi 是右连续的，
FX , , 1, i 1,2, n
FX x1 , ,xi 1 ,, xi 1 , , xn 0,
(ⅳ) 设
xi yi , i 1,2, , n
n i 1 i j
，则
n
n
概率是1(未必是必然事件),同时 P(lim sup( X n 1) 1.
n
无穷多个X n不出现的概率也是1(未必是必然事件).
十一、统计物理模型 解一（Maxwell-Boltzman) 质点可分辨，处于每个状态的质点个数任意。
解二（Bose-Einstein) 质点不可分辨，处于每个状态的质点个数任意。
五、
称概率空间，广义 (Ω ,F, P) 测度不保证非负, 不保证为1.
六、 性质 1、 E F P E P F 2、 P E 1 P E
单调不减 对立事件和为1
3、 Ei E j
n n ， i j ， P Ei P Ei i 1 i 1
x
dx 1
因为B对称正定，故存在正交阵T，使：
d 1 0 TBT D 0
0 d2 0
0 0 dn
其中 di 是B的特征值且d i 0 。 作变换 y x a T ,右乘T,T T I ,可得 x a yT 因为 x T 1 ，
xt ω,t T xt,ω,t T,ω Ω
2、分类 按定义域、值域分： （1）T及E都可列 （2）T可列， E非可列 （3）T及E都非可列 （4）T非可列， E可列 其中T可列，即（1）、（2）为随机序列（时 间序列）. 其中E可列, 即（1）、（4）为可列过程, E为 有限集时为有限过程.
偶然性
必然性
3 随机过程
Brown运动:
1827 年，Brown在显微镜下发现花 粉的无规则运动, 将此奇怪现象公诸于世, 无人能解 释原因. 1900年，法国数学家Bachelier给出 一维 Brown运动粗略模型, 其博士论文为《投机的理论》 ，研究证券价格的涨落，开创近代金融数学的先河， 但他的结果几十年之后才得到认可. 1905年,Einstein 首次进行量化分析, 认为花粉运 19 21 动源自分子无规则热运动, 每秒碰撞 10 10 次. Wiener 1918年发表系列论文, 成功解决这一问 题, 故称Wiener—Einstein过程.
y dy
利用密度函数的轮换对称性,可得Y边源密度也相同 均为1/2 + y .
四、事件独立：
n个事件独立，
P ( AB ) P ( A) P ( B)
2n n 1
个表达式。
随机变量独立：X 1 , X 2 , , X n 独立，要求 联合密度为边缘密度之积，即：
F x1 , , xn FX1 x1 FXn xn
F y1 , , y n Fi Fij 1 F x1 , , xn 0 其中Fi F y1 ,, xi ,, y n
则必存在概率空间 (Ω ,F, P)及其上 的随机向量 ξ ，使 ξ 的分布函数
Fξ x1 , , xn F x1 , , xn
( y1 , y2 ) (1, 1)
三、 (联合分布唯一确定边沿密度,反之不成立.)
x y, f x, y 0, 0 x, y 1 反之
y , 0 x, y 1 反之
1 1 x g x , y 2 2 0,
十、调和级数实例.
设X n (n 1, 2
1 1 ), P （X n 0） ，（ P Xn 1 ） 1 ， n n
故 P X n 0 （调和级数发散）；
n 1
同时， P X n 1 (一般项趋于1)，
n 1
Baidu Nhomakorabea
P(lim sup( X n 0) 1.这样无穷多个X n出现的
1.2 随机变量
F x f x
概率空间( , F , P) 实数a,{ : X ( ) a} F ; 讲Lebesgue 可测，是指： {x D : f ( x) a}为可测集 .
这里指的是可测集 《实变函数》《应用数 , 学基础》
一、存在性 命题1.2.1：设 F x,x R 是单调不减， F - 0 右连续的函数，且有 ， F () 1 ，则必存在概率空间及其上的一 个随机变量 ξ ，使 Fξ x F x 。 证明： （略）
Markov过程(1856—1922): 十九世纪末用 矩阵研究 马氏链, 开始随机过程理论. Erlang 因研究电话问题得到了Poisson过程 , 创立 了排队论. Feller研究了生灭过程. 平稳过程: 从辛欣研究大数定律开始，1934年完成. 鞅论: 莱维（Levy. Paul Pierre, 1886-1971） 1930－1955年创立. 杜悖( J. Doob )研究停时. 随机积分: 伊藤清(1915—日), 87年获Wolf奖,97 年有人 因 研究Ito微分方程的解而获诺贝尔经济奖. 最优停时: 1名秘书, 100人应征, 如何选? Gilbert 和 Mosteller1966年证明37%规则, 前37个不要, 第38个后开始超过前面就定下来, 选中最优率为 1/e=0.367879. 而随机取这一结果仅1%.
n i 1
En En1 ， 2、递减事件列： n 1， lim E n
n
En
n 1
九、P的连续性（P与lim可交换顺序）
lim P ( E ) P ( lim E ). n n n n
证明：
F1 E1
F2 E 2 E1 E 2 E1 F3 E 3 E 2 E 3 E 2 Fn E n E n 1 E n E n 1 Fi F j
按概率关系分 （1） Markov过程
独立增量过程
Poisson过程 Wiener过程 （2）正态过程,二项过程,负二项过程 （3）平稳过程,宽平稳过程(白噪声) （4）鞅 我国王梓坤为概率第一人.
应用随机过程
Applied stochastic processes
第一章 概率论的基本知识
第一章
1.1. 概率空间
一、随机试验： 可重复性（同一条件） 结果多个（不唯一） 试验前未知 二、样本空间Ω：随机事件A 为Ω的子集. ω：样本点 Ω={ω全体} 三、定义域、事件域（σ－代数） 1、Ω F A F A F 2、 3、 见下面
3、 Ai F
A
i 1
i
F
可列并封闭
应用随机过程
Applied stochastic processes
序言
二、随机数学发展概述
随机数学
stochastic mathematics
概率论
probability theory
数理统计
Mathematical statistics
随机过程
stochastic process
随机现象
内在规律
可测空间 (Ω ,F )：信息全体 四、值域、事件概率
1、0 P(A) 1 2、 P(Ω ) 1 3、 Ai Aj ， i (非负性) (规范性)
j ， i,j 1,2 ,......
P Ai P Ai (可列可加性) i 1 i 1
此例两个密度函数显然不同，密度函数非零区域相同. 边缘密度如下:
f x, y dy ( x y ) dy
1 0
X边缘密度:
1 x, 2
0 x 1
1 0
1 1 g x, y dy x 2 2 1 x, 0 x 1 2
f x 1
x , , x
1 n
2 2
n
B
1
2
1 1 exp x a B x a 2
是n维随机变量的密度。式中 B 表示B的行列式的值， C 1 表示矩阵C的转置矩阵， B 表示矩阵B的逆矩阵。下面 证明
Rn
f
Ei P Ei 4、 P i 1 i 1
有限可加性 无限次可加
七、选取方法 Ω 有穷 Ω 可列 不可列
F 为 Ω 子集全体
F 为 Ω 子集全体 F 为Lebesgue可测
Ω
八、极限事件 lim E n E n En En1 ，n 1 ， 1、递增事件列：
ni ! P ni gi
P
1 C
ni n i g i 1
适于光子、介子、核 子等Bose子。
解三（Fermi-Dirac) 质点不可分辨，每个状态只有一个质点。 适于电子、中子、 1 P ni 质子等Fermi子。
Cg i
随机变量X分布函数: F x PX x 满足： (ⅰ) 单调不减； (ⅱ) 右连续； (ⅲ) F 0 ； (ⅳ) F 1 ；