第二章 蒙特卡罗方法

第二章蒙特卡罗方法（又统称：统计试验方法）

在第一章我们看到了关于解决反问题在概率分布模型空间最普遍的方案，当它的概率分布唯一时，在模型空间是非常简单的，（例如，它仅有一个最大值），可以用分析技术来表示。

对于一般的概率分布，需要在模型空间上广泛的探索，除去维数较小的，因为这样不能系统概括，（根据位数空间大量的点群）设计好随机（或非随机）可以探索解决了许多复杂的问题，这些随机方法被洛斯阿拉莫斯团队开玩笑的叫

做“蒙特卡洛方法”，Metropplis抽样算法，现在已经建立被叫做“蒙特卡罗”。

2.1 介绍

几个世纪前蒙特卡罗（即随机的）方法就被用于计算，例如，可以用蒙特卡罗方法来估算π：对于一个普通的楼层,等同宽度W的钢带，抛出长为W/2的针，

这个针相交的凹槽，在地板上的概率等于1（勒克莱尔，乔治.路易伯爵布冯

[1907至88年]）。以50为一系列做观察，做100次试验，在1850年由沃尔夫在苏黎世导致对3.1596±0.0524π的值。在数值方法中，针的行进被替换一个随机生成的数字，由计算机的代码一个域，

其中蒙特卡罗计算是平时对于数值计算大维空间积分：函数在一个普通的系统评价网格是不可能的（太多了点就被要求），并在蒙特卡罗采样功能可以提供的结果的估计值，连同误差的估计值（见附录6.9或了解更多详情，卡洛什和惠特洛克，1986）。对于反问题的解决方案采用蒙特卡罗方法是由开始Borok

andYanovsk（1967）和出版社（1968，1971）。最近的Keilis-ava

int是安德森和Seneta（1971，1972），罗斯曼（1985年，1985年b，rks

erestingwo

1986）和J e n s e n

1的等（1998）。这本书，过参数，其中概率分布的透视空

D a h-

间是核心，我们面临着如何使用它们的问题。对“中心估计”的定义（如均值或中位数）的“分散的估计”（如协方差和矩阵）缺乏通用性，因为它是很容易找到的例子（如多模态分布在高维空间），其中这些估计不能有任何有趣的含义。当一个概率分布已被定义在低维空间（比方说，从一维到四维），我们可以直接表示关联概率密度。这是微不足道的一维或两维。它很容易在三维空间中，并且一些花样可以允许我们表示了四维概率分布。此外，事件A的概率可直接通过一个整体的，使用标准来评价（非随机的）数值方法。图2.1。的采样 ,概率密度使我们在计算中引入了概率理论（计算一个事件的概率使用估计某些时刻，等）简单的统计。

在模型空间中有很高的维数，代表一个概率密度是不可能的，但我么可以，至少在原则上，做些变换在很大程度是等价的。我们可以用27

sample概率密度，如图2.1中的建议。优先考虑一组概率分布的样本是单个“点”来表示，通常如图像，如2.2 （2.5右边的图像）。

对于高维空间问题很容易被低估，他们通常是趋于空的，图2.3表明,偶然触及的概率(最大值)超球面镌刻在超立方体迅速降低到零维空间的生长。当目标不是一个大领域,但一个小区域图 2.3表明,偶然触及的概率(最大值)超球面镌刻在超立方体迅速降低到零维空间的生长。当目标不是一个大领域,但一个小区域

如图2.2，,9随机实现超过36的概率分布—三维空间。36值实际上是价值在6×6阵列，价值观是事实上的值在6-6矩阵，当值使用灰度等级表示，每个实现图像。请注意，大多数的图像提出了一个“十字”（突出）。同时，在下面的两行的像素，往往对应于较高的随机变量的值（灰色阴暗的等级）。给出了足够的样本，不同事件的概率可以被评估，例如，（i），希腊十字可能出现的概率，（ii）一个希腊十字架的概率图像的左边（通常是在右边）,(iii）的概率有希腊十字，在同一时间，在图表的底部低值的变量，等

图 2.3 ，高维空间往往是很空的。击球偶然的正方形的内切圆是很容易的。偶然的机会球内接打在一个立方体是一点点困难。当空间维度的增加,刻的超球面击中的概率在超立方体迅速趋向于零。在顶部,超球面的体积并给出了应用超立方体的一个函数维度的n,底部底部的体积比显示xplainswhy。这个数字解释了为什么探索随机在高维空间是很困难的，为什么要使用布朗运动解决随机探索。

→维数 立方体的超球面：)2

(22n n r n

n Γπ 立方体的体积：n r )2( 概率显示，它是很容易理解的，蒙特卡罗方法，可以用在高维空间是微不足道的。事实上，在一个大的三维空间中蒙特卡罗的抽样概率分布的两个问题:（i ）定位的区域（S ）的概率，和（ii ）采样的整个区域（S ）足够密度。寻找区域的位置是最困难的问题，数学是不能单独解决的（因为它大维空间大空）：它是特定的物理（或结构）的,在一方面，可能有助于这一问题。一旦你已经能够接近一个这些地区，下面描述的技巧（吉布斯抽样和Metropolis 算法）是能够执行一个随机变量，布朗运动的有效的探索区域，避免把它（从而进入空间的空旷地区）。

2.2电影策略的逆问题

在第一章我们看到逆命题的两个典型的输入一个是概率密度)(m M ρ,描述了检验信息的模型参数，和一个概率密度)(d D ρ,我们对参数信息进行描述,通过一些数据获得了, 逆问题的解决方案是由一个（后概率密度）概率密度)(m M σ等于(规范)先检验概率产品的密度, )(m M ρ次一个似然函数)(m L : ).()()(m L m M k m M ρσ= (2.1) 似然函数是衡量好模型m 拟合数据。的可以编写规范不变 )()(1m L m M dm m k ρ⎰=

在大多数集合中, 数据和模型参数之间的关系的概率并通过一个条件概率密代表θ(m d )。然后，似函数（见方程（1.89）-(1.91)） ⎰=D d D m d d D dd m L )

()()()(μθρ (2.2) 其中)(d D μ是在该数据流形的均匀概率密度。