第十五讲非线性反演
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性反演问题满足：
不满足上面两个条件之一的所有问题都统称为非线 性问题。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 从模型参数m 到观测数据d 的变换(或映射) ，统 称为正演或正问题,并记为： 由观测数据d，反推模型参数m的变换(或映射) ， 叫反演或反问题。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 反演理论家R. L . Parker 在其著名的论文Understanding Inverse Theory中提出，地球物理反演理论必须回答以下 4 个问题：
• 1) 解的存在性（Existence）。即给定一组地球物理观测 数和据观：测数di据，的i =地1球, 物2 ,理3 模, ⋯型, Mm？之后，是否存在一个能拟
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 解决非线性问题有两种办法，一是把非线性问 题线性化，按线性问题解决，然后通过迭代的 办法，逐次逼近，求得反演问题的近似解；一 是不走线性化的路子，而按非线性的办法进行 反演。
• 非线性问题线性化的办法，简单、易行，在许 多情况下也可以取得较好的结果，但是在目标 函数具多极值的情况下，在反演迭代中，容易 陷入局部极小，而且反演结果极大的取决于初 始模型，也可能使反演出现不稳定，甚至无解。
2、数学类
1) 贝叶斯法 (Bayesian Inversion)
2) 同伦算法 (Homotopy Algorithm)
3) 多尺度非线性反演法 (Multi-Scale Algorithm)
4) 蒙特卡罗法 (Monte-Carlo)
3、仿生类
1) 粒子群算法 (Particle Swarm Optimization, PSO)
2) 免疫算法 (Immune Algorithm, IA)
3) 人工神经元法 (ANN)
4) 遗传算法 (GA)
5) 蚂蚁算法 (Ant Colony Optimization, ACO）
非线性反演概论
• 和线性反演一样，大多数非线性反演法都 是基于最优化的原理。即从大量已知模型 的正演结果中，选出方差（或其它范数规 则）为最小的那个模型作为待求模型的解。 因此，正演是反演的前提和瓶颈，成了提 高反演速度的关键。
3) 计算结果与系统大 小有关。
4) 具有同时计算多个方案与多 个未知量的能力。
5) 误差容易确定。
6) 程序结构简单，易于实现。
23个不同深度，共23*3=69个参数，随机生成500万个模型， 在满足一定先验条件的基础上，进行正演计算， 挑出可以接受的模型。
模拟退火算法
算法的提出 模拟退火算法最早的思想由Metropolis等（1953） 提出，1983年Kirkpatrick等将其应用于组合优化。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 资料处理的基础是时间（空间）序列分析。 • 反演解释的基础是反演理论。 • 地球物理观测数据和地球物理模型参数之间的数
学表达式，只有线性和非线性两大类。以d表示观 测数据向量，m表示模型参数向量，f表示联系d和 m的函数或泛函表达式。
2、试凑法-尝试法，从一个初始模型出发，反复计算比较，直 到找到最合适的模型。
3、蒙特卡路法-赌博法，将反演过程中任何一个阶段，用随机 发生器产生模型的方法通称为蒙特卡路法，它可以用来解 决高次非线性的、多参数、具有多个局部极小的非线性反演 问题。
蒙特卡洛算法
蒙特卡洛算法
在反演过程中的任何一个阶段，用随机（或伪随机）发生器产生模型、 以实现模型全空间搜索的方法统称蒙特卡洛反演法。
• 2) 解的非唯一性（Non-uniqueness）。如能求得能拟合 观测数据的地球物理模型，解是唯一的还是非唯一的？
• 3) 模型构制（Model Construction）。如何求得能拟和观 测数据的一个地球物理模型？
• 4) 解的评价（Appraisal） 。既然解是非唯一，地球物理 反演所获得的任一解又有何意义？
蒙特卡洛算法的主要步骤
目标函数 两者等价
王家映，2007
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
• 一些人进行了实验，其结果列于下表 ：
实验者
年份
投计次数
π的实验值
沃尔弗(Wolf)
1850
5000
3.1596
斯密思(Smith)
1855
3204
3.1553
• 大自然知道慢工出细活： 缓缓降温，使得物体分子在每一温度时，能够有足 够时间找到安顿位置，则逐渐地，到最后可得到最 低能态，系统最稳定。
Fra Baidu bibliotek
物理退火过程
• 模仿自然界退火現象而得，利用了物理中固体物质 的退火过程与一般优化问题的相似性。 从某一初始温度开始，伴随温度的不断下降，结合 概率突跳特性在解空间中随机寻找全局最优解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
1、物理类
1) 原子跃迁法
(Atomic Transition Algorithm, ATA)
2) 模拟退火法 （Simulated Annealing, SA）
3) 量子退火法 (Quantum SA)
4) 量子遗传算法 (Quantum GA)
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 一般说来，地球物理反演的目标函数都是高次非线性函数，有 多个极值。反演时，如初始模型选取不当，不靠近目标函数的 全局极小，因而在迭代过程中,只能在局部极小点附近搜索，很 难跳出局部极小的阱，这时，只能获得局部最优解；有的反演 方法，由于初始模型选取和参数修改的随机性，在搜索的过程 中，可能在模型空间全局寻优，其解就是全局最优解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 蒙特卡洛法(Monte-Carlo Method) , • 模拟退火法( Simulated Annealing) , • 人工神经元法(Artificial Neural Network) , • 遗传算法( Genetic Algorit hm) , • 多尺度反演法(Multi-Scale Inversion) , • 同伦反演法( Homotopy Method ) , • 非线性共轭梯度法( Non-Linear Conjugate Gradient Method) , • 原子跃迁法(Atomic Transition Algorithm) , • 量子退火法(Quantum Annealing) , • 量子遗传法(Quant um Genetic Algorithm) , • 蚂蚁觅食法(Ant Colony Optimization Algorithm) , • 免疫算法( Immune algorithm) , • 离子群算法( ParticleSwarm Optimization) , • 演化博弈算法( Evolutionary Game)
• 资料处理的目的是通过各种手段，去粗取精，去伪存真，压制干 扰，提高信噪比，使解释人员能从经过处理的资料(异常,或响应) 中、较准确的提取出测区的地质、地球物理信息。资料处理是从 原始观测数据到地球物理模型之间的必不可少的手段和过渡阶段。
• 反演解释的目的，用地球物理的术语来说，就是实现从地球物理 异常(或响应)到地球物理模型的映射，使解释人员能从经过处理 的地球物理资料(异常或响应)中提取出获得最接近真实情况的地 质、地球物理模型，圆满的完成提出的地质任务。
模拟退火算法
数学表述 在同一个温度T，选定两个能量E1<E2，有
P{E
E1}
P{E
E2}
1 Z (T )
exp
E1 kBT
1 exp
E2 E1 kBT
>0
<1
模拟退火算法基本思想：在一定温度下，搜索从一个状态
随机地变化到另一个状态；随着温度的不断下降直到最低温度， 搜索过程以概率1停留在最优解
目标函数极小对应的解，就是反演问题的解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
1、梯度法-Gradient method/the steepest descent/the steepest ascent,是一种传统的非线性反演法，它是从一个初始模型出发， 沿梯度方向搜索求取目标函数极小点的一种最优化方法。
第七章 非线性反演
计算地球物理学讲义
非线性反演概论
• 地球物理学家研究地球所依据的物性参数不同，方法各异，但就 工作程序而言，一般都可分为数据采集，资料处理和反演解释等 三个阶段。
• 数据采集就是按照一定的观测系统、一定的测线、测网布置,在 现场获得第一手、真实可靠的原始资料。所以数据采集是地球物 理工作的基础，是获得高质量地质成果的前提和条件。
模拟退火算法
Boltzman概率分布告诉我们：
（1）在同一个温度，分子停留在能量小状态的概率 大于停留在能量大状态的概率。 （2）温度越高，不同能量状态对应的概率相差越小； 温度足够高时，各状态对应概率基本相同。 （3）随着温度的下降，能量最低状态对应概率越来 越大；温度趋于0时，其状态趋于1。
算法的目的 解决NP复杂性问题； 克服优化过程陷入局部极小； 克服初值依赖性。
物理退火过程
物理退火过程 什么是退火： 退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，固体达到某种稳定状态。
物理退火过程
物理退火过程 加温过程——增强粒子的热运动，消除系统原先可 能存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系 统，系统状态的自发变化总是朝自由能减少的方向 进行，当自由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统 能量逐渐下降，从而得到低能的晶体结构。
模拟退火算法
数学表述 在温度T，分子停留在状态r满足Boltzmann概率分 布
P{E
E(r)}
1 Z (T )
exp
E(r) kBT
E表示分子能量的一个随机变量，E(r)表示状态r的能量，
kB 0为Boltzmann常数。Z (T )为概率分布的标准化因子：
Z
(T
)
sD
exp
E(s) kBT
福克斯(Fox)
1894
1120
3.1419
拉查里尼(Lazzarini) 1901
3408
3.1415929
蒙特卡洛算法的特点
➢ 优点
➢ 缺点
1) 能够比较逼真地描述具有随 1) 收敛速度慢。
机性质的事物的特点及物理 实验过程。
2) 误差具有概率性。
2) 受几何条件限制小。 3) 收敛速度与问题的维数无关。
假如我们已知待求模型的参数的上下界限，
minf m msup
式中， minf 代表第 个参数的下限 msup 代表第 个参数的上限
有两种方法对模型空间进行搜索，一种是彻底地搜索，把模型空间允许的范围 都搜索到，看哪一个模型，或哪一组模型的计算值d(m)和观测数据d拟合最好， 这种方法叫穷举法； 另一种搜索法是在模型空间允许的范围内随机地搜索，对每一个随机产生的模型 计算其理论值并把它与观测值进行比较，看其是否可以接受，这就是传统的蒙特 卡洛算法。
Metropolis准则（1953）——以概率接受新状态
物理退火过程
• 热力学中的退火现象指物体逐渐降温时发生的物理 現象： 温度越低，物体的能量状态越低，到达足够的低点 时，液体开始冷凝与结晶，在结晶状态时，系统的 能量状态最低。缓慢降温（退火，annealing）时， 可达到最低能量状态；但如果快速降温（淬火， quenching），会导致不是最低能态的非晶形。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 理论严格证明，给定一组地球物理观测数据以 后，总可以找到一个能拟合它的地球物理模型。 由于观测数据的个数并非无限，不构成一个数 据的完备群，加之每一个观测数据均有误差， 这就决定了地球物理反问题的解是非惟一的。 虽然，反演问题的解是非惟一的，但这个非惟 一解仍然是有意义的。
不满足上面两个条件之一的所有问题都统称为非线 性问题。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 从模型参数m 到观测数据d 的变换(或映射) ，统 称为正演或正问题,并记为： 由观测数据d，反推模型参数m的变换(或映射) ， 叫反演或反问题。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 反演理论家R. L . Parker 在其著名的论文Understanding Inverse Theory中提出，地球物理反演理论必须回答以下 4 个问题：
• 1) 解的存在性（Existence）。即给定一组地球物理观测 数和据观：测数di据，的i =地1球, 物2 ,理3 模, ⋯型, Mm？之后，是否存在一个能拟
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 解决非线性问题有两种办法，一是把非线性问 题线性化，按线性问题解决，然后通过迭代的 办法，逐次逼近，求得反演问题的近似解；一 是不走线性化的路子，而按非线性的办法进行 反演。
• 非线性问题线性化的办法，简单、易行，在许 多情况下也可以取得较好的结果，但是在目标 函数具多极值的情况下，在反演迭代中，容易 陷入局部极小，而且反演结果极大的取决于初 始模型，也可能使反演出现不稳定，甚至无解。
2、数学类
1) 贝叶斯法 (Bayesian Inversion)
2) 同伦算法 (Homotopy Algorithm)
3) 多尺度非线性反演法 (Multi-Scale Algorithm)
4) 蒙特卡罗法 (Monte-Carlo)
3、仿生类
1) 粒子群算法 (Particle Swarm Optimization, PSO)
2) 免疫算法 (Immune Algorithm, IA)
3) 人工神经元法 (ANN)
4) 遗传算法 (GA)
5) 蚂蚁算法 (Ant Colony Optimization, ACO）
非线性反演概论
• 和线性反演一样，大多数非线性反演法都 是基于最优化的原理。即从大量已知模型 的正演结果中，选出方差（或其它范数规 则）为最小的那个模型作为待求模型的解。 因此，正演是反演的前提和瓶颈，成了提 高反演速度的关键。
3) 计算结果与系统大 小有关。
4) 具有同时计算多个方案与多 个未知量的能力。
5) 误差容易确定。
6) 程序结构简单，易于实现。
23个不同深度，共23*3=69个参数，随机生成500万个模型， 在满足一定先验条件的基础上，进行正演计算， 挑出可以接受的模型。
模拟退火算法
算法的提出 模拟退火算法最早的思想由Metropolis等（1953） 提出，1983年Kirkpatrick等将其应用于组合优化。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 资料处理的基础是时间（空间）序列分析。 • 反演解释的基础是反演理论。 • 地球物理观测数据和地球物理模型参数之间的数
学表达式，只有线性和非线性两大类。以d表示观 测数据向量，m表示模型参数向量，f表示联系d和 m的函数或泛函表达式。
2、试凑法-尝试法，从一个初始模型出发，反复计算比较，直 到找到最合适的模型。
3、蒙特卡路法-赌博法，将反演过程中任何一个阶段，用随机 发生器产生模型的方法通称为蒙特卡路法，它可以用来解 决高次非线性的、多参数、具有多个局部极小的非线性反演 问题。
蒙特卡洛算法
蒙特卡洛算法
在反演过程中的任何一个阶段，用随机（或伪随机）发生器产生模型、 以实现模型全空间搜索的方法统称蒙特卡洛反演法。
• 2) 解的非唯一性（Non-uniqueness）。如能求得能拟合 观测数据的地球物理模型，解是唯一的还是非唯一的？
• 3) 模型构制（Model Construction）。如何求得能拟和观 测数据的一个地球物理模型？
• 4) 解的评价（Appraisal） 。既然解是非唯一，地球物理 反演所获得的任一解又有何意义？
蒙特卡洛算法的主要步骤
目标函数 两者等价
王家映，2007
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
蒙特卡洛算法
• 一些人进行了实验，其结果列于下表 ：
实验者
年份
投计次数
π的实验值
沃尔弗(Wolf)
1850
5000
3.1596
斯密思(Smith)
1855
3204
3.1553
• 大自然知道慢工出细活： 缓缓降温，使得物体分子在每一温度时，能够有足 够时间找到安顿位置，则逐渐地，到最后可得到最 低能态，系统最稳定。
Fra Baidu bibliotek
物理退火过程
• 模仿自然界退火現象而得，利用了物理中固体物质 的退火过程与一般优化问题的相似性。 从某一初始温度开始，伴随温度的不断下降，结合 概率突跳特性在解空间中随机寻找全局最优解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
1、物理类
1) 原子跃迁法
(Atomic Transition Algorithm, ATA)
2) 模拟退火法 （Simulated Annealing, SA）
3) 量子退火法 (Quantum SA)
4) 量子遗传算法 (Quantum GA)
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 一般说来，地球物理反演的目标函数都是高次非线性函数，有 多个极值。反演时，如初始模型选取不当，不靠近目标函数的 全局极小，因而在迭代过程中,只能在局部极小点附近搜索，很 难跳出局部极小的阱，这时，只能获得局部最优解；有的反演 方法，由于初始模型选取和参数修改的随机性，在搜索的过程 中，可能在模型空间全局寻优，其解就是全局最优解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 蒙特卡洛法(Monte-Carlo Method) , • 模拟退火法( Simulated Annealing) , • 人工神经元法(Artificial Neural Network) , • 遗传算法( Genetic Algorit hm) , • 多尺度反演法(Multi-Scale Inversion) , • 同伦反演法( Homotopy Method ) , • 非线性共轭梯度法( Non-Linear Conjugate Gradient Method) , • 原子跃迁法(Atomic Transition Algorithm) , • 量子退火法(Quantum Annealing) , • 量子遗传法(Quant um Genetic Algorithm) , • 蚂蚁觅食法(Ant Colony Optimization Algorithm) , • 免疫算法( Immune algorithm) , • 离子群算法( ParticleSwarm Optimization) , • 演化博弈算法( Evolutionary Game)
• 资料处理的目的是通过各种手段，去粗取精，去伪存真，压制干 扰，提高信噪比，使解释人员能从经过处理的资料(异常,或响应) 中、较准确的提取出测区的地质、地球物理信息。资料处理是从 原始观测数据到地球物理模型之间的必不可少的手段和过渡阶段。
• 反演解释的目的，用地球物理的术语来说，就是实现从地球物理 异常(或响应)到地球物理模型的映射，使解释人员能从经过处理 的地球物理资料(异常或响应)中提取出获得最接近真实情况的地 质、地球物理模型，圆满的完成提出的地质任务。
模拟退火算法
数学表述 在同一个温度T，选定两个能量E1<E2，有
P{E
E1}
P{E
E2}
1 Z (T )
exp
E1 kBT
1 exp
E2 E1 kBT
>0
<1
模拟退火算法基本思想：在一定温度下，搜索从一个状态
随机地变化到另一个状态；随着温度的不断下降直到最低温度， 搜索过程以概率1停留在最优解
目标函数极小对应的解，就是反演问题的解。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
1、梯度法-Gradient method/the steepest descent/the steepest ascent,是一种传统的非线性反演法，它是从一个初始模型出发， 沿梯度方向搜索求取目标函数极小点的一种最优化方法。
第七章 非线性反演
计算地球物理学讲义
非线性反演概论
• 地球物理学家研究地球所依据的物性参数不同，方法各异，但就 工作程序而言，一般都可分为数据采集，资料处理和反演解释等 三个阶段。
• 数据采集就是按照一定的观测系统、一定的测线、测网布置,在 现场获得第一手、真实可靠的原始资料。所以数据采集是地球物 理工作的基础，是获得高质量地质成果的前提和条件。
模拟退火算法
Boltzman概率分布告诉我们：
（1）在同一个温度，分子停留在能量小状态的概率 大于停留在能量大状态的概率。 （2）温度越高，不同能量状态对应的概率相差越小； 温度足够高时，各状态对应概率基本相同。 （3）随着温度的下降，能量最低状态对应概率越来 越大；温度趋于0时，其状态趋于1。
算法的目的 解决NP复杂性问题； 克服优化过程陷入局部极小； 克服初值依赖性。
物理退火过程
物理退火过程 什么是退火： 退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，固体达到某种稳定状态。
物理退火过程
物理退火过程 加温过程——增强粒子的热运动，消除系统原先可 能存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系 统，系统状态的自发变化总是朝自由能减少的方向 进行，当自由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统 能量逐渐下降，从而得到低能的晶体结构。
模拟退火算法
数学表述 在温度T，分子停留在状态r满足Boltzmann概率分 布
P{E
E(r)}
1 Z (T )
exp
E(r) kBT
E表示分子能量的一个随机变量，E(r)表示状态r的能量，
kB 0为Boltzmann常数。Z (T )为概率分布的标准化因子：
Z
(T
)
sD
exp
E(s) kBT
福克斯(Fox)
1894
1120
3.1419
拉查里尼(Lazzarini) 1901
3408
3.1415929
蒙特卡洛算法的特点
➢ 优点
➢ 缺点
1) 能够比较逼真地描述具有随 1) 收敛速度慢。
机性质的事物的特点及物理 实验过程。
2) 误差具有概率性。
2) 受几何条件限制小。 3) 收敛速度与问题的维数无关。
假如我们已知待求模型的参数的上下界限，
minf m msup
式中， minf 代表第 个参数的下限 msup 代表第 个参数的上限
有两种方法对模型空间进行搜索，一种是彻底地搜索，把模型空间允许的范围 都搜索到，看哪一个模型，或哪一组模型的计算值d(m)和观测数据d拟合最好， 这种方法叫穷举法； 另一种搜索法是在模型空间允许的范围内随机地搜索，对每一个随机产生的模型 计算其理论值并把它与观测值进行比较，看其是否可以接受，这就是传统的蒙特 卡洛算法。
Metropolis准则（1953）——以概率接受新状态
物理退火过程
• 热力学中的退火现象指物体逐渐降温时发生的物理 現象： 温度越低，物体的能量状态越低，到达足够的低点 时，液体开始冷凝与结晶，在结晶状态时，系统的 能量状态最低。缓慢降温（退火，annealing）时， 可达到最低能量状态；但如果快速降温（淬火， quenching），会导致不是最低能态的非晶形。
引自：王家映，地球物理反演问题概述，工程地球物理学报，4（1），2007
非线性反演概论
• 理论严格证明，给定一组地球物理观测数据以 后，总可以找到一个能拟合它的地球物理模型。 由于观测数据的个数并非无限，不构成一个数 据的完备群，加之每一个观测数据均有误差， 这就决定了地球物理反问题的解是非惟一的。 虽然，反演问题的解是非惟一的，但这个非惟 一解仍然是有意义的。