蒙特卡罗方法简介.ppt

蒙特卡罗方法是一种计算方法，但与一般 数值计算方法有很大区别。它以概率统计理论 为基础。由于蒙特卡罗方法能够比较逼真地描 述事物的特点及物理实验过程，解决一些数值 方法难以解决的问题，因而该方法的应用领域 日趋广泛。
1.蒙特卡罗方法的基本 思想
理论基础：大数定律；中心极限定理； F(X)~U(0,1)。
一般来说，降低方差的技巧，往往会使观察一个子样 的时间增加。在固定时间内，使观察的样本数减少。 所以，一种方法的优劣，需要由方差和观察一个子样 的费用（使用计算机的时间）两者来衡量。这就是蒙 特卡罗方法中效率的概念。它定义为 2 c 其中c是观察一个子样的平均费用。
3. 蒙特卡罗方法的特点
➢ 优点
Ω={(x,y):aaxb,0yM},并设(X,Y)是在Ω上均匀分
布的二维随机向量，其联合密度函数为
p
x, y
M
1 b a 1axb,0 yM
b
则易见， f xd是x Ω中曲线f(x)下方面积。
a
假设我们向Ω中投点，若点落在y=f(x)下方称为中的，
则点中的概率为
p
M
1
b
a
b
a
f
1
x 1ex , x
0
0 1已知。
注意到Βιβλιοθήκη x 11x 1ex
M
(x)
ex
0 x 1 x 1
c M xdx 1 e1
0
取
x 1
h
x
1 ex
e1
1 e1
0 x 1 x 1
则
g
x
ex x 1
0 x 1 x 1
于是， ,1 的随机数可如下抽取
1）由U(0,1) 抽取u， 2）由h(y)抽取y；（可使用逆变换法）
f
x
a
i.i.d
由大数定律，若 X1,..., X n ,... ~ U (a,b) ，则
ˆ2
ba n
n i 1
f
Xi P
(2.5.2)
MC方法为：
1) 独立产生n个U(a,b)随机数 X1,..., X n
2)按(2.5.2)估计θ。
可证，在0f(x)M条件下，
Var ˆ2
Var
蒙特卡罗方法简介
目录
• 第一章 蒙特卡罗方法概述 • 第二章 随机数的产生 • 第三章 EM算法和MCMC方法
参考书 :
1. 茆诗松等, 高等数理统计(第6章), 高等教育出版社,1998;
2.徐钟济，蒙特卡罗方法，上海科学技术出版社
第一章 蒙特卡罗方法概述
蒙特卡罗方法又称随机抽样技巧或统计试 验方法。
显然
min g
Var
ˆ3
min g
Var
f g
X X
Var
ˆ2
其方差与g(x)有关。问题变为，如何选择g(.)使估 计的方差最小。
从理论上看，因 Var ˆ2
g x
f
x
则有Var ˆ2
1 n
E
f g
X X
2
2
，若f(x)0,取
0 因为θ未知，这是作不到的，
jj
c
2 jl
l 1
至此，我们可以给出k维正态分布的抽样步骤：
1)迭代计算 cij ,i 1,..., k, j 1,..., i；
2)由N(0,1)分布独立抽取k个随机数 z z1,L , zk ；
3)计算 x Cz
2.5 随机模拟计算 2.5.1 随机投点法
b
考虑积分 f xdx ，设a,b有限，0f(x)M,令
定理2.4 设U1,…,Uk是独立同分布的U(0,1)变量， X1,…,Xk是方程
F ( X1) U1
Fi
X
i
|
X1,...,
X i1
Ui
i 2,..., k
(2.5)
的解，其中 Fi 是对应于 pi的分布函数，则X1,…,Xk的
分布为(2.4).
随机向量的逆变换抽样法：
1) 由U(0,1)分布独立地抽取u1,…,uk; 2) 用方程（2.5)解x1,…,xk
F1(x1 | x2 ) x12
1 x2
1 2 0x2 1x1
方程(2.5)变为
1
X
1
2
1
1
X2 2 X X 2 2
2 1
U1
U2
X
X1 2
1
1
1 1
1
U1 3
1
U1 3 U
1
2 2
对服从特定分布的随机向量有一些特殊的抽样方法。
例2.6 试生成k维正态分布 N ,的随机数。
则
lim P N
N
X N E( X ) x
1 x et2 / 2dt
2 x
当N充分大P时 X，N 有 E如(X下) 的z近N 似 式22
z 0
et2 / 2dt
1
它表明，误差收敛速度的阶为
以概率1-α成立。
通常，蒙特卡罗方法的误差ε定义为 z
N
关于蒙特卡罗方法的误差需说明两点：
解：注意到若 Z ~ N 0, Ik ，则存在下三角阵
c11 0 L 0 使
C c21 c22 L
0
L O L
X CZ ~ Nk ,
c11
c11 L
c11
其中C可由迭代实现：
首先，由 X1 c11Z1 1 ，有 11 Var( X1) c121 从而 c11 11 。因 X 2 c21Z1 c21Z1 2
存在一个函数M(x)，满足p(x)M(x),且 c M (x)dx
令h(x)=M(x)/c, 若h(x)易于抽样，则筛选抽样 变为 1）由U(0,1)抽取u，由h(y)抽取y； 2）如果up(y)/M(y),则x=y停止； 3）如果u> p(y)/M(y),回到1）。
例2.2 设
X
~
p(x)
但它提示我们取g(x)与f(x)形状接近，应能降低方差。 这就是重要抽样法的基本思想。
例2.1 设X的密度函数为
n
n
p x i pi x 其中，i 0, i 1
i 1
i 1
由合成法，X的随机数可如下抽取： i1
i
1）取u~U(0,1);
2)取0
0,确定i，使
j
j0
u j j0
3) 由pi(x)抽取x.
2.3 筛选抽样 当p(x)难以直接抽样时，如果可以将p(x) 表示成
定理2.1 设随机变量U服从U(0,1)分布，则X F1 U 的分布函数为F(x). 由定理2.1,要生成分布函数为F(x)的随机数，可先生 成U(0,1)随机数U，则可得到随机数X=F-1(U)
2.2 合成法 如果X的密度函数p(x)难于抽样,而X关于Y的条件 密度函数p(x|y)以及Y的密度函数g(y)均易于抽样， 则X 的随机数可如下产生： Step1 由Y的分布g(y)抽取y; Step2 由X关于Y的条件密度函数p(x|y)抽取x.
第一，蒙特卡罗方法的误差为概率误差，这与其他数值 计算方法是有区别的。 第二，误差中的均方差σ是未知的，必须使用其估计值
ˆ
1 N
N i 1
X
2 i
( 1 N
N i 1
Xi )2
来代替，在计算所求量的同时，可计算出ˆ 。
➢ 减小方差的各种技巧
显然，当给定置信度α后，误差ε由σ和N决定。 要减小ε，或者是增大N，或者是减小方差σ2。在σ 固定的情况下，要把精度提高一个数量级，试验次数 N需增加两个数量级。因此，单纯增大N不是一个有 效的办法。降低方差的各种技巧，引起了人们的普遍 注意。
此方程不易解，不妨交换两 自变量的次序
1 x2
p2 (x2 ) 6x1dx1 31 x2 2 0 x2 1
0
p1(x1 | x2 )
p x1, x2 p2 x2
2x1 1 x2 2 ,
0 x1 1 x2
相应的边际分布函数和条件分布函数分别为
F2 (x2 ) 1 1 x2 2 x12 10x11;
基本思想：
1.当所求问题的解是某个事件的概率，或者是某个随 机变量的期望，或与概率、数学期望有关的量时，通 过某种试验的方法，得出该事件发生的频率，或该随 机变量若干个观察值的算术平均值，根据大数定律得 到问题的解；
2. 要生成分布函数为F(x)的随机数，可先生成U(0,1)随 机数F，则可得到随机数X=F-1(F) 。
,
0 x2 1 x1
相应的边际分布函数和条件分布函数分别为
x1
F1(x1) 6t 1 t dx2 3x12 2x13, 0 x1 1
0
F2 (x2
|
x1)
x2 0
1 1
dt t
x2
1
x1 1
,
0 x2 1 x1
方程(2.5)变为
3
X
2 1
2
X
3 1
U1
X
2
1
X1
1
U2
例（利用MC进行欧式期权定价）设股票价格St服 从风险中性测度下的几何Brown运动：
dSt rStdt StdBt
其离散化形式为
Si1 (1 r)Si SiBi Bi ~ N (0,1) (1)
根据金融工程理论，设现在股票价格为S0，T时 刻到期（单位天），敲定价为K的欧式看涨期权
的价格为
C
erT E
ST
K
MC方案：按照（1）递推产生n条风险中性测度下的
轨道，提取出ST (n)；（2）Cˆ erT 1 n n i1
STi K
2. 蒙特卡罗方法的误差
根据中心极限定理如果随机变量序列X1，X2，…，XN 独立同分布，且具有有限非零的方差σ2 ，即
0 2 (x E(X ))2 f (x)dx
3）当y(0,1]时，如果 u e y ，则x=y，
否则转到1）；
4）当y>1时，如果 u y 1，则x=y，
否则转到1）；
2.4 随机向量的抽样法
设X1,…,Xk的联合概率密度为
p(x1,..., xk ) p1 x1 p2 x2 | x1 ...pk xk | x1,..., xk1 (2.4)
b
a
f g
x xg
x
dx
E
f g
X X
i.i.d
由大数定律，若 X1,..., X n ,... ~ g(x) ，则
ˆ3
1 n
n i 1
f Xi g Xi
P
E
f g
X X
(2.5.3)
MC方法为：
1)选择适当的g(x),独立产生n个g(x)随机数 x1,..., xn
2)由(2.5.3)估计θ。
➢ 缺点
1)能够比较逼真地描述具有 随机性质的事物的特点及 物理实验过程。
1) 收敛速度慢。 2) 误差具有概率性。
2)受几何条件限制小。
3)收敛速度与问题的维数无 关。
4)误差容易确定。
5)程序结构简单，易于实现。
2.1 逆变换法第二章 随机数的产生
设随机变量X的分布函数为F(x),定义
F 1( y) inf{x : F (x) y}, 0 y 1
例2.3 设X1,X2的联合密度函数为
p(x1, x2 ) 60x1
x1 x2 1, x1 0, x2 0 others
试生成X1,X2的随机数。
解：p1(x1) 1x1 6x1dx2 6x1 1 x1 0 x1 1
0
p2 (x2
| x1)
p x1, x2 p1 x1
1 1 x1
p(x)=ch(x)g(x),其中h(.)是一密度函数且易于抽样， 而0<g(x)1,c1是常数，则X~p(x)的抽样可如下进行 1）由U(0,1)抽取u，由h(y)抽取y； 2）如果ug(y),则x=y停止； 3）如果u>g(y),回到1） 上述方法就是筛选抽样法，它是一种非常重要的抽样 方法，可解决许多难以直接抽样的分布的抽样问题。
xdx
若我们进行了n次投点，其中n0次中的，则可以得
到一个估计 b
a
f
xdx
ˆ1
M
b a n0
n
(2.5.1)
不难看出，ˆ1 是θ的无偏估计，且其方差为
Var
ˆ1
n
M
b
a
O
n1
2.5.2 样本均值法
注意到，若X~U(a,b),则
E
f
X
b
a
f b
x
dx a
于是，积分
b
f
xdx
b aE
于是 22 Var( X 2 ) c221 c222 ,12 Cov( X1, X 2 ) c12c21
得
c21 12
11 , c22
22
2 12
11 .
依此类推，
一般迭代公式为
j 1
ij cilc jl
cij
l1 ,i 1,..., k, j 1,..., i j 1
b
n
a
n i 1
f
X
i
1 n
b
a
b a
f
2
x
dx
2
Var
ˆ1
2.5.3 降低方差的技术
Monte Carlo 方法中一类重要的研究课题是考虑一 些降低估计方差的技术。常用的方法有：重要抽样 法，分层抽样法，关联抽样法等。
一 重要抽样法 由上节，样本平均法比投点法有效，将样本平均法做 更一般的推广，设g(x)是(a,b)上的密度函数，改写
筛选抽样的理论依据如下： 定理 设X的密度函数为p(x),且p(x)=ch(x)g(x)，其中 0<g(x)1,c1 ,h(.)是一密度函数.令U和Y分别服从 U(0,1)和h(y)，则在Ug(Y)的条件下，Y的条件密度为
pY x |U g Y p(x)
h(x)的的选取有多种方法。一种直观的方法是：如果