蒙特卡洛方法.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(3)理解容易，因而容易编制程序。而且编制出 的程序结构清晰简单，占用内存单元较少，很容易 实现。
但是，传统蒙持卡洛搜索方法也有致命的弱点。 其局限性影响了它的广泛应用。
(1)任何一种传统蒙持卡洛搜索方法都不能保证搜 索的彻底性。在搜索过程中任何时候均可以停止按索 或继续搜索。谁也不能保证此时得到的结果已经“完 全”满意了。当然，这一局限性对于只欲求解的共性 而言相对来说要好一些，影响要小—些；而对于欲求 整体极值对应的所谓“最佳”解而言却是致命的、难 以解决的问题，必须另辟途径。
(1)选定待求的模型参数并建立起模型参数与观测数 据之间的理论关系。
(2)根据搜索问题的实际要求，选定适当的可接受标 准。
(3)在计算机中按给定的先验范围随机地生成模型。
(4)用观测数据和可接受的标准来检验生成的模 型．舍弃“失败者”，保留“成功者”。
(5)回到第(3)步，再随机地生成新的模型，又进行检 验。
传统蒙特卡洛搜索方法的特点和局限
首先，传统蒙特卡洛搜索方法的特点可以总结为：
(1)受问题的条件限制影响小，适应能力强。无 论对于多么复杂的非线性搜索问题都可以用它们解 决。多参数联合搜索与单参数搜索方法相同，仅计 算工作量不同而已；非线性搜索与线性搜索均能解 决，特别是当数据与模型之间的理论关系非常复杂， 以至于无法用数学解析或其他方式表现出来时，用 其他搜索方法往往无从下手，仅用蒙特卡洛搜索方 法没有丝毫困难。因此，从某种意义上说，蒙特卡 洛搜索方法是一种十分普遍适用的方法。当用其他 搜索方法无法解决问题时，不妨试一试蒙特卡洛搜 索方法。
蒙特卡洛方法
在任何一个阶段使用随机(或伪随机)生成元的方 法，为纪念著名的赌城蒙特卡洛．被命名为蒙特卡洛 方法。蒙特卡洛方法可以解决许多难以解决的问题。
传统蒙特卡洛搜索方法又可以称为“尝试和误 差”方法。它是在计算机中按一定的先验信息给出 的先验限制随机地生成大量可供选择的模型，计算 其理论数据值；将这些理论数据与实际观测数据进 行比较，并对一些先验约束进行检验；若比较和检 验符合了某些可接受的标准，则模型被接受，否则 被“排斥”并“遗忘”。因此，传统蒙特卡洛搜索 方法的主要步骤为：
(2)传统蒙特卡洛搜索方法的另一个局限性是收敛 速度太慢且误差不是确切的，仅具概率性质。
随着观测资料的急剧增加和观测精度的不断提
高，常规蒙特卡洛搜索方法越来越显得不适应了， 它们的应用受到了很大的限制，需要加以改进才能 适应发展的需要。改进的主要思路是在蒙特卡洛搜 索中不进行“盲目”的、完全随机的搜索，而进行 在一定先验知识引导下的有“方向”的随机搜索， 这就是所谓的启发式蒙特卡洛方法。根据“启发” 的思想不同发展了很多种方法，如以人工智能中推 理的思想进行启发的方法，以模糊数学的思想进行 启发的方法等。目前，应用效果最好，在实际工作 中已得到广泛应用的两种启发式蒙特卡洛搜索方法 是以统计物理学为基础的模拟退火法和以生物工程 为基础的遗传算法及它们的各种变种。
(6)反复不断地重复上述步骤，直至认为满足，可以 结束了为止。
传统蒙特卡洛搜索方法之所以比穷举法现实， 就在于它用随机抽样搜索代替了系统搜索。而能进 行这样的代替有一定的理论依据，即概率论中的大 数定理。
大数定理说明只要随机抽样的次数n相当多， 结果的算术平均值与数学期望接近，而随机事件的 频率在它的概率附近摆动。因此只要n足够大，可 以用随机抽样搜索代替系统搜索。若要对收敛的程 度进行研究，作出各种误差估计，则要用到中心极 限定理：
LAMOST是一台横卧于南北方向的中星仪式 反射施密特望远镜。如图所示，它由在北端的反 射施密特改正板MA、在南端的球面主镜MB和在 中间的焦面构成。球面主镜及焦面固定在地基上， 反射施密特改正板作为定天镜跟踪天体的运动， 望远镜在天体经过中天前后时进行观测。天体的 光经MA反射到MB，再经MB反射后成像在焦面 上。焦面上放置的光纤，将天体的光分别传输到 光谱仪的狭缝上，然后通过光谱仪后的CCD探测 器同时获得大量天体的光谱。
相应于5度视场，直径为1.75米的焦面上放置 4000根光纤。采用并行可控的光纤定位技术，可 在较短的时间里将光纤按星表位置精确定位，并 提供了光纤位置微调的可能。这将在光纤定位技 术上突破目前世界上同时定位640根光纤的技术。
中心极限定理表明：无论单个随机变量的分布如
何，许多独立随机变量之和总是满足高斯分布的。 高斯分布由给定的期望值和方差完全确定下来。由 此可以判断蒙特卡洛搜索方法的误差。
lim
பைடு நூலகம்n
p
1 n
n i 1
i
a
n
2
t2
e 2 dt
2 0
用蒙特卡洛搜索方法工作时，需要产生只有各种 概率分布的随机变量。最简单相最基本的随机变量是[0， 1]区间，均匀分布的随机变量。这些随机变量的抽样值 就称为随机数。真随机数列是不可预计的，因而也不 可能重复产生。这种随机数列只能用某些随机物理过 程产生。但这样作存在许多困难，无法满足我们在数 字计算机上进行蒙特卡洛搜索的需要。实际应用中的 随机数都是在计算机中用某些计算公式产生的。这样 占用内存少，速度快、又便于重复计算。但是，这样 产生的随机数显然不能满足随机数的要求。它由初始 数值确定，且存在着周期性重复。严格说己不是随机 的。因此一般称之为伪随机数。实际应用中，只要选 取得好，这样的伪随机数还是可以便用的。
(2)收敛速度与问题的维数(即搜索的模型参数个 数)无关。可以看出，在一定的置信水平下，蒙特卡 洛搜索方法的误差除与方差有关之外，只与试验次 数有关，而与模型空间的组成无关。无论模型参数 是几个，只要方差不变且试验次数n相同，则蒙特卡 洛搜索方法对模型空间搜索的程度就是相同的，即 误差不变。问题维数的变化只影响抽样时间的改变 以及演算时间的改变，不影响问题的误差。换言之， 要达到同一精度，搜索到同样程度，用蒙特卡洛搜 索方法需随机选取的点数n与问题的维数无关，计算 时间与维数成比例。因此，蒙特卡洛方法特别适宜 于大规模、多参数问题的搜索。
但是，传统蒙持卡洛搜索方法也有致命的弱点。 其局限性影响了它的广泛应用。
(1)任何一种传统蒙持卡洛搜索方法都不能保证搜 索的彻底性。在搜索过程中任何时候均可以停止按索 或继续搜索。谁也不能保证此时得到的结果已经“完 全”满意了。当然，这一局限性对于只欲求解的共性 而言相对来说要好一些，影响要小—些；而对于欲求 整体极值对应的所谓“最佳”解而言却是致命的、难 以解决的问题，必须另辟途径。
(1)选定待求的模型参数并建立起模型参数与观测数 据之间的理论关系。
(2)根据搜索问题的实际要求，选定适当的可接受标 准。
(3)在计算机中按给定的先验范围随机地生成模型。
(4)用观测数据和可接受的标准来检验生成的模 型．舍弃“失败者”，保留“成功者”。
(5)回到第(3)步，再随机地生成新的模型，又进行检 验。
传统蒙特卡洛搜索方法的特点和局限
首先，传统蒙特卡洛搜索方法的特点可以总结为：
(1)受问题的条件限制影响小，适应能力强。无 论对于多么复杂的非线性搜索问题都可以用它们解 决。多参数联合搜索与单参数搜索方法相同，仅计 算工作量不同而已；非线性搜索与线性搜索均能解 决，特别是当数据与模型之间的理论关系非常复杂， 以至于无法用数学解析或其他方式表现出来时，用 其他搜索方法往往无从下手，仅用蒙特卡洛搜索方 法没有丝毫困难。因此，从某种意义上说，蒙特卡 洛搜索方法是一种十分普遍适用的方法。当用其他 搜索方法无法解决问题时，不妨试一试蒙特卡洛搜 索方法。
蒙特卡洛方法
在任何一个阶段使用随机(或伪随机)生成元的方 法，为纪念著名的赌城蒙特卡洛．被命名为蒙特卡洛 方法。蒙特卡洛方法可以解决许多难以解决的问题。
传统蒙特卡洛搜索方法又可以称为“尝试和误 差”方法。它是在计算机中按一定的先验信息给出 的先验限制随机地生成大量可供选择的模型，计算 其理论数据值；将这些理论数据与实际观测数据进 行比较，并对一些先验约束进行检验；若比较和检 验符合了某些可接受的标准，则模型被接受，否则 被“排斥”并“遗忘”。因此，传统蒙特卡洛搜索 方法的主要步骤为：
(2)传统蒙特卡洛搜索方法的另一个局限性是收敛 速度太慢且误差不是确切的，仅具概率性质。
随着观测资料的急剧增加和观测精度的不断提
高，常规蒙特卡洛搜索方法越来越显得不适应了， 它们的应用受到了很大的限制，需要加以改进才能 适应发展的需要。改进的主要思路是在蒙特卡洛搜 索中不进行“盲目”的、完全随机的搜索，而进行 在一定先验知识引导下的有“方向”的随机搜索， 这就是所谓的启发式蒙特卡洛方法。根据“启发” 的思想不同发展了很多种方法，如以人工智能中推 理的思想进行启发的方法，以模糊数学的思想进行 启发的方法等。目前，应用效果最好，在实际工作 中已得到广泛应用的两种启发式蒙特卡洛搜索方法 是以统计物理学为基础的模拟退火法和以生物工程 为基础的遗传算法及它们的各种变种。
(6)反复不断地重复上述步骤，直至认为满足，可以 结束了为止。
传统蒙特卡洛搜索方法之所以比穷举法现实， 就在于它用随机抽样搜索代替了系统搜索。而能进 行这样的代替有一定的理论依据，即概率论中的大 数定理。
大数定理说明只要随机抽样的次数n相当多， 结果的算术平均值与数学期望接近，而随机事件的 频率在它的概率附近摆动。因此只要n足够大，可 以用随机抽样搜索代替系统搜索。若要对收敛的程 度进行研究，作出各种误差估计，则要用到中心极 限定理：
LAMOST是一台横卧于南北方向的中星仪式 反射施密特望远镜。如图所示，它由在北端的反 射施密特改正板MA、在南端的球面主镜MB和在 中间的焦面构成。球面主镜及焦面固定在地基上， 反射施密特改正板作为定天镜跟踪天体的运动， 望远镜在天体经过中天前后时进行观测。天体的 光经MA反射到MB，再经MB反射后成像在焦面 上。焦面上放置的光纤，将天体的光分别传输到 光谱仪的狭缝上，然后通过光谱仪后的CCD探测 器同时获得大量天体的光谱。
相应于5度视场，直径为1.75米的焦面上放置 4000根光纤。采用并行可控的光纤定位技术，可 在较短的时间里将光纤按星表位置精确定位，并 提供了光纤位置微调的可能。这将在光纤定位技 术上突破目前世界上同时定位640根光纤的技术。
中心极限定理表明：无论单个随机变量的分布如
何，许多独立随机变量之和总是满足高斯分布的。 高斯分布由给定的期望值和方差完全确定下来。由 此可以判断蒙特卡洛搜索方法的误差。
lim
பைடு நூலகம்n
p
1 n
n i 1
i
a
n
2
t2
e 2 dt
2 0
用蒙特卡洛搜索方法工作时，需要产生只有各种 概率分布的随机变量。最简单相最基本的随机变量是[0， 1]区间，均匀分布的随机变量。这些随机变量的抽样值 就称为随机数。真随机数列是不可预计的，因而也不 可能重复产生。这种随机数列只能用某些随机物理过 程产生。但这样作存在许多困难，无法满足我们在数 字计算机上进行蒙特卡洛搜索的需要。实际应用中的 随机数都是在计算机中用某些计算公式产生的。这样 占用内存少，速度快、又便于重复计算。但是，这样 产生的随机数显然不能满足随机数的要求。它由初始 数值确定，且存在着周期性重复。严格说己不是随机 的。因此一般称之为伪随机数。实际应用中，只要选 取得好，这样的伪随机数还是可以便用的。
(2)收敛速度与问题的维数(即搜索的模型参数个 数)无关。可以看出，在一定的置信水平下，蒙特卡 洛搜索方法的误差除与方差有关之外，只与试验次 数有关，而与模型空间的组成无关。无论模型参数 是几个，只要方差不变且试验次数n相同，则蒙特卡 洛搜索方法对模型空间搜索的程度就是相同的，即 误差不变。问题维数的变化只影响抽样时间的改变 以及演算时间的改变，不影响问题的误差。换言之， 要达到同一精度，搜索到同样程度，用蒙特卡洛搜 索方法需随机选取的点数n与问题的维数无关，计算 时间与维数成比例。因此，蒙特卡洛方法特别适宜 于大规模、多参数问题的搜索。