第五章 非线性反演问题

不同的特性。前者在远离极小点的地方收敛较快，而后者在极小
点附近收敛比梯度法要快。 图5-3是牛顿法搜索目标函数极小点的示意图。
图 5 3 牛 顿 法 搜 索 极 小 点 示 意 图
-
共轭梯度法
1、共轭向量的定义 设目标函数 x 为二次函数，即：
x x 0 g T x xT Hx

0 设目标函数 x 在 x 处是二次函数，即：





x x

0
1 T g x x Hx 2
T
共轭梯度法
2、共轭梯度法的原理
根据复合函数的极值理论
第一步，设
第三步，求 ρK 1 ， K 1, 2,, M 1
ρ K ! g K 1 r ρr
r 1 K
ρT Hg K 1 r r T ρr Hρr
按上述方法求得的向量 ρ1 , ρ2 ,, ρM 彼此是H的共轭向量
共轭梯度法
2、共轭梯度法的原理
第四步，沿共轭梯度方向上式目标函数的极小点。设
ρT Hg 2 1 ρ 1 Hρ1
T
g1
与 ρ1 是共轭的。 设已求出 ρ1 , ρ2 ,, ρM ，它们是彼此H共轭，求一个向量 ρK 1 与 ρ1 , ρ2 ,, ρK 都H共轭。即：
ρ K ! g K 1 r ρr
r 1 K
（5.13）
使 ρK 1 与 ρ1 , ρ2 ,, ρK 成H共轭，即有：

0
xN x2
x1xN 0 2 x x2xN 0 2 x xN xN

0

（Hessian矩阵）
牛顿法
对（5.8）式再求一次导数，并设：
x 0 x
10、R.Parker法
非线性反演方法
所谓非线性问题，是指观测数据 di i 1,2,, M 和模型参数
mj j 1,2,, M 之间不存在线性关系。这种非线性关系既可能
呈显式 d g m ，也可能呈隐式 F d, m 0 。本章要讲的是目 前地球物理资料反演中常用的一些非线性反演方法。它不涉及线 性化，而是直接解非线性问题，实现从数据空间到模型空间的直 接映射。 不管是哪一类的反演问题，归根结底，反演过程都是一个对 目标函数(或概率、概率密度)的最优化过程，只是实现最优的途 径和方法不同罢了。
共轭梯度法
ρT HρK 1 0 i
i 1, 2,, K
将（5.13）式代入上式，得：
ρT Hg K 1 i i T ρ i Hρi
i 1, 2,, K
（5.14）
将（5.14）式代入（5.13）式，得：
ρT Hg K 1 ρ K ! g K 1 i T ρi i 1 ρ i Hρi
2）关于H共轭的一组向量 ρ1 , ρ2 ,, ρM 的求法
设 g1 , g 2 ,, g M 是一组线性无关的向量，通过线性组合，可 得到一组M个彼此成H共轭的向量 ρ1 , ρ2 ,, ρM 。
共轭梯度法
1、共轭向量的定义
设 ρ1 g1 ，取 ρ1 gi i 1,2,, M ，求与 ρ1 共轭的向量 ρ2 取
xr
K 1
xr r ρr
K K
K
或
xr r ρr
K K
K
（5.16）
沿 ρr 方向进行第K次搜索时，应满足：
K
xrK 1 xrK r K ρrK min xrK r K ρrK
令：
梯度法
如将这些非线性函数过程下式，并称之为目标函数：
x Fi x
i 1
M
2
（5.3）
显然， x 的零极值点，就是方程（5.1）式的解。
当观测数据和模型参数呈显函数的情况下，在 L2 范数意义 下，目标函数写为：
x di di i 1
在模型参数 m 和观测数据 d 呈隐式的情况下，有：
F d, m 0
设：
（5.1） （5.2）
x d, m
F1 d, m F2 d, m F x F d, m FM d, m
ρ2 g2 ρ1
由于 ρ1 与 ρ2 对H共轭，故
ρT Hρ2 ρT Hg2 ρT Hρ1 0 1 1 1
所以：

ρT Hg 2 1 ρ 1 Hρ1
T
（5.12）
共轭梯度法
1、共轭向量的定义
故
ρ2 g 2 ρT Hg 2 1 ρ 1 Hρ1
T
ρ1 g 2
共轭梯度法
1、共轭向量的定义
与本节内容有关的共轭向量的性质及其求法：
1）设有一组M个N为向量 ρ1 , ρ2 ,, ρM 彼此相对H共轭，即：
ρT Hρ j 0 i
i j
i j ρT Hρ j 0 i 则 ρ1 , ρ2 ,, ρM 一定是线性无关的。
i, j 1, 2,, M
g x 0Fra bibliotek梯度法
沿 g 的方向是 值上升最快的方向。因此，其反方向为：
g x x0
x 就是 值下降最快的方向。梯度法，就是从一个初始模型出发，

0
g
0
x
（5.4）
沿负梯度方向搜索
函数极小点的一种最优化方法。
不难理解，沿目标函数 x 的负梯度方向搜索，只要步长适 当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法 反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负 梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：

1 2
（5.10）
式中 x 和 g 都是N 维的向量，H 为N*N 阶对称、正定矩阵，
x 0 为常数。定义：若存在：
ρT Hρ j 0 i
ρT Hρ j 0 i
i j

（5.11）
i j
ρTj Hρi 0
i, j 1, 2,, N
则称 ρ i ， ρ j 相对 H 是共轭的。
（5.7）

j 1
x j
Pj
第二种计算步长的方法是内插法。如对目标函数计算几个不同 的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是 最佳步长值。
第三种方法为固定步长法。即在整个搜索的过程中，步长保持
不变，只要每次迭代时满足 xi 1 xi


即可接受。
图5-1 目标函数空间曲面的示意图
图5-2 用等高线表示的目标函数
梯度法
在任意一个初始模型 x 0 处等高线的法向方向，就是 x 函 数在该点的梯度方向，即有：
0 x x1 g1 0 x x 0 g 2 0 g x x2 x g p 0 x x p
M
r 2
式中： d i 为观测值； di r 为在第 r 次迭代时之理论值。
梯度法
同样， x 的极小值所对应的模型参数 x ，就应该是待求模 型的解。在多维空间中，一般来说， x 函数是一个高次曲面。 以二维空间为例，此时 x1 , x2 所形成的曲面与平行 x1 x2 的平 面之切点就是它的极小值点（图5-1）。极小值点对应 x1 ，x2 ， 就是观测数据 d 对应模型 m 之值。
0 i
j

g x
0
T
1 x xT H 0 x 2
（5.8）
式中： g x 0
x 0 x 0 x 0 T （梯度向量） x1 x2 xN xT x1 x2 xN （模型参数的改正向量）
0
1
则得：
x
g x H
H
0
0
g x 0

写成递推公式，得：
x
K 1
x
K
H
K 1
g x K

K 1, 2,
（5.9）
牛顿法
牛顿法的不足之处在于Hessian短阵的计算工作量很大，而且 其逆往往会出现病态和奇异的情况。 梯度法和牛顿法利用了目标函数的不同性质，前者利用了目 标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯 度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有
牛顿法
设目标函数 x 在 x 0 点附近按台劳级数展开，并忽略二 次以上高阶项以后得：
x x
x
0

0
N i 1
x xi
x 1
0 i
2

i 1 j 1
N
N
2 x
xi x j
x x
x i T i i i i 1 x i x x j x g x x （5.6） x j j 1
L i
梯度法
将（5.5）式代入（5.6）式，则得步长计算式：
i 1 x i x i x i T i P x g x P
K
（5.15）
与 ρ1 , ρ2 ,, ρK 成H共轭。若取 K 1, 2,, M 1 ，便得到M个彼 此H共轭的向量 ρ1 , ρ2 ,, ρM 。
共轭梯度法
2、共轭梯度法的原理
x ρ1 g1 x1 ρT Hg 2 第二步，求 ρ2 g2 1ρ1 ，其中 1 1T ρ 1 Hρ1
梯度法
设第i次搜索迭代时 x 函数的负梯度方向的单位矢量为： g i g x g i x P i i g x g x

则模型参数的改正量 x i 为：
xi xi 1 xi P
（5.5）
式中： 称为搜索（或校正）步长。 将目标函数进行台劳级数展开有：
如果用 x ci （ ci 是常数，相当于一系列平行于 x1 x2
的平面），与空间曲面x x1, x2 曲线，将它们投影到1 x2 x 等高线族。由外向内， 函数的极值。 相截，可以得到一族平面 平面上，如图5-2所示，称为曲面的 值不断下降，当达到极小点时，即为
梯度法
梯度法又称最速下降法（the steepest descent method）、最 速上升法（the steepest ascent method）或爬山法。梯度法是一种 古老的反演方法，在地球物理的发展过程中曾起过重要的作用，
而且，直到目前仍有一些地球物理资料的反演问题仍采用梯度法
求解。
梯度法




牛顿法
H 0
2 x 0 x1x1 2 x 0 x x 2 1 2 x 0 xN x1

2 x

0
x1x2

2 x
2 x 0 x2x2 2 x
地球物理反演理论
武汉大学 测绘学院 地球物理反演理论课题组
非线性反演方法
1、梯度法 2、牛顿法 3、共轭梯度法（Conjugate Gradient Method） 4、变尺度法 5、蒙特卡洛法 6、模拟退火法 7、遗传算法（simulate annealing） 8、人工神经网络（ANN）法
9、多尺度反演（Multi-Scale Inversion）