04工程优化 第3章-2常用一维搜索牛顿法

由于
故新区间[a,b]=[x2,b]=[0.555,1]，
x2 x 0.607 0.555 0.052 0.2,
3
1
插值法---求二次插值多项式的极小点
所以
2 2 2 2 2 2 1 x2 x3 f1 x3 x1 f 2 x1 x2 f 3 x a1 / 2a2 2 x2 x3 f1 x3 x1 f 2 x1 x2 f 3
Newton法收敛速度快
插值法
给定一个初始的最优区间，找到两个试探点，通过比较这两
个点函数值的大小，缩短最优区间，当区间的长度充分小时，
可将区间中点取做极小点的近似点。 区间收缩法 可用成功失败法寻找初始的最优区间，x1 x2 x3， x2 可作 为一个试探点，只需找到另外一个试探点即缩短最优区间。 另外一个试探点利用插值法寻找 用 f x 在2 个或3 个点的函数值或导数值，构造2 次或3 次多项式作为 f x 的近似值，以这多项式的极小点作为一个 试探点。 3点2次，2点2次，4点3次，3点3次，2点3次等插值法. 下面以3点2次插值法（二次插值法）为例：
令 f '( x)=0 ，得到
f '( xk ) x xk f ''( xk )
当 f 是二次函数时，一次迭代就 可得到极小点。
牛顿法（Newton）---基本思想
取
f '( xk ) xk 1 =xk f ''( xk )
作为新的迭代点，继续迭代，直到达到精度，这样就得到了 函数 f 的一个驻点 x * 。以上过程即Newton法。 在一定条件下（例如 f ''( x*) 0 ），这个驻点是极小点。
f '( x3 ) x4 x3 f ''( x3 )
f '(4.010) 0.8436 4.010 =4.010 =4.00004 f ''(4.010) 84.7212
f '( x4 ) f '(4.00004) 0.0034 102 ,
得到近似解 x* 4.00004.
因此
c1 1 x a1 / 2a2 2 ( x1 x3 c ) 2 f1 f 2 c1 f1 f 3 x1 x2 c1 , c2 . x1 x3 x2 x3
(6)
插值法---求二次插值多项式的极小点
简化极小点的公式（4）到（6）
(1) (2) (3)
P x2 a0 a1 x2 a2 x2 2 f 2 f x2
P x3 a0 a1 x3 a2 x3 2 f 3 f x3
插值法---求二次插值多项式的极小点
从极值的必要条件 P x a1 2a2 x 0
Newton法----算例
f '( x2 ) x3 x2 f ''( x2 )
x2 4.163
f '(4.163) 14.666 4.163 4.163 4.010 f ''(4.163) 96.055
f '( x3 ) f '(4.010) 0.8436 103 , 继续迭代；
x1=0, x2=1, x3=2; f1=2, f2=1, f3=18
x 0.555, f (x ) 0.292,
由于 f (x ) 0.292<f 2 1, x 0.555 x2 1,
wenku.baidu.com
故新区间[a,b]=[a,x2]=[0,1]，
x2 x 1 0.555 0.445 0.2,
x 0.607, f (x ) 0.243,
x1=0, x2=0.555, x3=1; f1=2, f2=0.292, f3=1
x 0.607, f (x ) 0.243,
f (x ) 0.243<f 2 0.292, x 0.607 x2 0.555,
迭代终止。
联立方程组（1）、（2）、（3）, 可得
f f2 f1 f 3 a1 a2 x1 x2 1 : c3 : c1 , 从而 a1 a2 x1 x3 x1 x2 x1 x3 f1 f 2 f1 f 2 所以 c1 c1 x1 x2 x1 x2 a1 c1 a2 x1 x3 , a c1 c3 = : c2 2 x3 x2 x3 x2 x2 x3
3.若 x2 x ，则迭代结束，取 x* x ，否则在点
x1 , x2 , x3 , x 中，选取使f (x) 最小的点作为新的x2，并使新的
x 1 ， x3各是新的x2近旁的左右两点，继续进行迭代，直到满 足终止准则。
例
用二次插值法求函数f(x)=3x3-4x+2的极小点， 给定 x0=0, h=1, ε=0.2。
P x a0 a1 x a2 x 2
求得
x a1 / 2a2
求出系数 a1 和 a2 ，就可得到极小点的表达式。 联立方程组（1）、（2）、（3） 2 2 a1 x1 x2 a2 x1 P x2 f1 2a1 x11 x22 1x3 1 2 x2 1 f 2 （1） 2 1 a0 f , a a x 2 f a f 2 xx3 f3 x
2 2 2 2 2 2 x2 x3 f1 x3 x1 f 2 x1 x2 f 3 1
x a1 / 2a2
2 x2 x3 f1 x3 x1 f 2 x1 x2 f 3
(4)
c1 1 x a1 / 2a2 2 ( x1 x3 c ) 2 f1 f 2 c1 f1 f 3 x1 x2 c1 , c2 . x1 x3 x2 x3
解： f '( x) 4 x3 12 x 2 12 x 16, f ''( x) 12 x 2 24 x 12,
f '( x0 ) f '(6) 89 x1 x0 6 6 4.75 f ''( x0 ) f ''(6) 69
f '( x1 ) f '(4.75) 84.94 102 , 继续迭代； f '( x1 ) x2 x1 f ''( x1 ) f '(4.75) 84.94 4.75 =4.75 =4.163 f ''(4.75) 144.75 f '( x2 ) f '(4.163) 14.666 102 , 继续迭代；
f x x f a Px a a x a x f f x x x x x x x a x x a x x f f , x x f x x f x x f a a x x a x x f f x x x x x x
(6)
乘除的运算次数 从14降为5
插值法---算法思路：
1. 寻找满足如下条件的点（成功失败法寻找），成为两头大 中间小的点： x 1 < x 2 < x3，f (x1 ) > f (x2 ), f (x2 ) < f (x3 )
2. 两头大中间小，可得a2>0 , 则
x
为P(x)的极小值点，且
x x1 , x3
牛顿法（Newton）---基本思想
牛顿法是一种函数逼近法，基本思想是：在极小点附近用 函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数 的极小点的近似值。 对 f (x) 在 x k 点二阶泰勒展开：
1 f ( x) f ( xk ) f '( xk )( x xk ) f ''( xk )( x x k ) 2 o(( x x k ) 2 ) 2 略去高阶项得 1 f ( x) f ( xk ) f '( xk )( x xk ) f ''( xk )( x x k ) 2 2 两边对x求导， f '( x) f '( xk ) f ''( xk )( x x k )
(4)
(4)可以进一步简化 当x1 ,x2 , x3 等距时，即x2 -x1 = x3-x2 =h时，上面的式子可化简
1 h(2 x2 h) f1 2h x2 h x2 h f 2 h 2 x 2 h f 3 x 2 hf1 2hf 2 hf 3
2 2
1
x
P x2 a0 a1 x2 a2 x2 2 f 2 f x2
x
2 3
f x
1
2 3
x
3
（2） （3）
2 1
2
2
2 1
2 2
3
3
0
1
2
3
3
3
1
1
2
2
2 1
1
2
3
2 2 1
2
2
3
3
1
1 3
2 1
2
1
2
3
2
2 2 2
1 2 3
2
3
2
3
1
2
2
3
1 h( f1 -f 3 ) x2 + 2 f1 2 f 2 f 3
(5)
插值法---求二次插值多项式的极小点
简化极小点的公式（4）
2 2 2 a1 x1 x3 a2 x1 x3 f1 f 3 , a1 x1 x2 a2 x12 x2 f1 f 2
解：1）确定初始搜索区间 初始区间[a,b]=[0,2], 另有一中间点x2=1。 2）用二次插值法逼近极小点 (1) 相邻三点及其函数值: x1=0, x2=1, x3=2; f1=2, f2=1, f3=18. 根据公式计算差值多项式的极小点
1 c1 x a1 / 2a2 ( x1 x3 ), f1 f 2 2 c2 c1 f1 f 3 x1 x2 c1 , c2 x1 x3 x2 x3 x 0.555, f (x ) 0.292,
应继续迭代。
(2) 在新区间，相邻三点及其函数值: x1=0, x2=0.555, x3=1;
根据公式计算差值多项式的极小点 f1=2, f2=0.292, f3=1.
1 c1 x a1 / 2a2 ( x1 x3 ), f1 f 2 2 c2 c1 f1 f 3 x1 x2 c1 , c2 x1 x3 x2 x3
插值法
下面以3点2次插值法（二次插值法）为例： 利用 y f x 在区间 x1 x2 x3 的函数值 f x1 f x2 f x3 作出如下的二次插值多项式 P x a0 a1 x a2 x 2
它应满足条件
P x1 a0 a1 x1 a2 x12 f1 f x1
令 k k 1 ，转步骤2。 特点：收敛速度快，局部二阶收敛。 缺点：须计算二阶导数，工作量大；对初始点要求高，要求初 始点离极小点不太远，否则有可能使极小化发散或收敛到非极 小点；局部收敛。
Newton法----算例
例 ：试用Newton法求函数 f ( x) x 4 4 x3 6 x 2 16 x 4 的最优解。 x0 6, 102
牛顿法（Newton）---计算步骤
步骤1：给定初始点 x1 R， 0,令 k 1。
步骤2：计算 f '( xk ), f ''( xk )。
步骤3：若 f '( xk ) ，停止，x* xk，否则转步骤4。 步骤4：计算
f '( xk ) xk 1 =xk f ''( xk )