牛顿法的信赖域保护
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 141406, 故 x =
近似极小点。 参考文献:
[ 1 ] 席少霖. 赵风治最优化计算方法 [M ]. 上海: 上海科技出版社, 1983. [ 2 ] 解可新等. 最优化方法 [M ]. 天津: 天津大学出版社. 1997. 1062110. [ 3 ] 郑汉鼎、 刁在筠. 数学规划 [M ]. 济南: 山东教育出版社. 1997. 1972219.
g =
4x + y x + 2y + 2
3
, G =
的 区域, 又有f ( x 色 阵G 1 =
(1)
) = 0 确能使函数下降了, 计算在点x
(1)
=
1 (1) 处的梯度g = - 1
3 ,海 1
12 1 已经正定, 因此经过信赖域法保护后已使牛顿法走出困境, 下面用阻尼牛 1 2 5 23 (2) (1) (1) ,x = x + Κ ∆ = 9 23 5 Κ 23 9 - 1Κ 23
f ( x ) 的近似极小点 x
(k )
处, 用二次函数 qk ( ∆) = f ( x
(k )
Байду номын сангаас
)+ g
(k ) T
∆+
(Κ > 0)
到 f ( x ) 新的近似极小点 x 但当 G K 不正定时, 牛顿法无 = x + Κ k ∆ , 即为阻尼牛顿法。 (K ) 法找到下降方向 ∆ , 为此, 人们也采取了许多种保护措施, 本文对此采用信赖域法来进行保
2 判断 G K , 若 G K 不正定, 则计算 G K + v k E 并令 v k = 2v k 直到使 G K + v k E 正定, 否则
转7
3 求解方程组 (G K + v K E ) ∆= - g 4 计算 f ( x 5 若 0< 6 令 x
( x + 1) (k ) (k )
k k + ∆ ) , qk ( ∆ ) , Χ k
n
1 T ∆ G K ∆ 逼近 f ( x ) ( 其 2 (k ) (k ) (k ) (k ) 中 g 为 f ( x ) 在 x 处的梯度, G k 为 f ( x ) 在 x 处的海色矩阵) , 当 G k 正定时 ∆ = (k ) (k ) (k ) - 1 (k ) K, 得 G k g 必为 f (x ) 下降方向, 并以 ∆ 为搜索方向进行线性搜索m in f ( x + Κ ∆ )得 Κ
TRUST REG I O N PRESERVE O F NEW TO N MOD E
W A N G Y i 2tie
(D ep a rtm en t of M a them a tics, J inan U n iversity, J inan 25002, Ch ina )
Abstract: In uncond it ionna l m inm a l va lue of u se N ew ton m ode, a t face po in t of Fessian m a t rix no t po sit ive defin ite o r unu sua l, th is p ap erg ive t ru st reg ion p reserve let cou t go ahead. Key words: t ru st reg ion; H essian m a t rix; po sit ive defin ite
2
例: 求解 m in x + xy + ( 1+ y ) 度
4
2
4 2 , x , y ∈R , f ( x , y ) = x + xy + ( 1+ y ) ∴ 梯
12x 1 0 (0) , 今 取 x = , Ε= 0. 0 1 , 计 算 1 2 0 0 0 1 (0) (0) , G0 = , ∵G 0 不 正 定 , 今 用 信 赖 域 法 , 取 v 0 = 1 , 计 算 f (x ) = 1, g = 2 1 2 1 1 1 (0) (0) 故令 , 解 方 程 组 ( G0 + v0 E ) ∆ = - g , 得 ∆ = G0 + v0 E = 1 3 - 1 1 Α (1) (0) (0) (1) (0) (0) , 计算f ( x ) = 0, ∃ f = 1, 再计算∃ qk ( ∆ ) , 设∆= ,在 x = x + ∆ = - 1 Β Α 0 1 Α 1 (1) 2 0 2〕 + 〔 = 1 + 2 Β+ Α x 处 有 q 0 ( ∆) = 1 + 〔 5 Β〕 Β+ Β , 在 2 Β 1 2 Β 1 1 (0) (0) T 2 时 , ∃ q0 ( ∆ ) = 2 故而 Χ , 由此 v 0 = 1 所对应的 h 0 使 ∆ ∆≤ h 0 是可信赖 0= ∆ = 2 - 1
(K ) ‖∆ ‖减小, 故而相当于 ( 2) 式中的 h k 减小, 而 h k 越小, 表明二次函数 qk ( ∆) 更逼 f ( x ) , 为 (k ) ∃f (k ) (k ) (k ) (k ) (k ) 了控制 v K , 给出控制量 Χ , 其中 ∃ f = f (x ) - f ( x + ∆ ) , ∃ qk = f ( x ) - qk k= ∃ qk
( k + 1) (k ) (k )
护。 亦即 G K 不正定的 x
(k )
处, 求
( 1) 的极小点
(k ) ( x + 1) (k ) (k ) = x + ∆ 作为 f ( x ) 新的近似极小 ∆ ( 其中 h k 为给定正常数) , 而用 x ( k + 1) (k ) 点, 若 h k 选的合适, 既能使二次函数充分逼近 f ( x ) , 又能使 x 比 x 更接近最优解。从而
收稿日期: 1999211209 作者简介: 王一铁 ( 1942 ) , 男, 山东临朐人, 济南大学数学系副教授。
24
( ∆(k ) ) , 由此给出信赖域保护下的阻尼牛顿法程序, 给定 x (0) , v 0 > 0, Ε > 0令K= 0 (k ) (k ) (k ) (k ) 1 对于 x , 计算 g , G k , f ( x ) , 若‖g ‖< Ε则停。
(k )
, 设解 ∆
(k )
( )
( )
k < 0. 5, 则令 v K = 2v K 转 3 Χ
= x
(k )
+ ∆ 转8
(k ) - 1 (k )
7 计算 ∆ = - G k g 8 令 K = K + 1 转 1
, 搜索m in f ( x (Κ > 0)
(k )
(k )
k + Κ ∆ ) 得到 x
m in qk ( ∆) s . t‖∆‖≤h k
( 1)
能使牛顿法走出困境, 使迭代继续。 若用 G oidf eid 等人采用的 I 2 摸时, 上面 ( 1) 式化为
m in qk ( ∆) T 2 s. t ∆ ∆≤h k
(K )
( 2) ( 3)
他们已证明 ( 2) 式等价于解线性方程组 (G K + v K E ) ∆= - g 其 中 v K ≥ 0 为某个常数 , 而使G K + v K E 为正定的 , 由 ( 3 ) 式不难看出 , 当 v K 增大时将使
( )
( x + 1)
= x
(k )
+ Κ k∆
(k )
程序表明, 若 G K 正定, 则用 ∆ = - G k g
- 1
T
(k )
作为搜索方向, 若 G K 不正定, 则用信赖域法
保护, 由于 Χ ≤h K 是可信赖的, 且因 ( 2) 式的解总是存在的, 因此, 总能 k ≥0. 5, 故而区域 ∆ ∆ 使牛顿法摆脱困境。 故而有全局收敛性且保持快速收敛特点。
第 10 卷第 2 期 2000 年
济南大学学报 JO URNAL O F J INAN UN IVERS ITY
. 10 N o. 2 Vol 2000
牛顿法的信赖域保护
王一铁
( 济南大学 数学系, 山东 济南 250002)
摘 要: 在用牛顿法解无约束极值问题时, 在函数的海色阵不正定的点处, 本文采用信赖 域法进行保护, 使迭代继续下去。 关键词: 信赖域; 海色矩阵; 正定 中图分类号: O 221. 2 文献标识码: A 在无约束最优化问题 m in f ( x ) , x ∈R 求解法中牛顿法是收敛最快的算法, 它是在函数
顿法进行迭代, 取搜索方向
∆ = - G1 g = (1) - 1 (1)
1 2 - 1 23 - 1 12
3 = 1
1-
25
线性搜索m in f ( x (Κ > 0) 两分法得 Κ 1
(1)
’ 3 2 + Κ - 116. 8032= 0, 用 ∆ ) , 令 f Κ= 0 得 Κ- 13. 8Κ+ 116. 8032 Κ (1) (2)
0. 751868 (2) , f ( x ) = - 0. 568625, 由于 - 1. 446637 0. 253503 9. 022416 1 (2) , G 2= , G 2 正定, 再计算 g = - 0. 141406 1 2 - 0. 0380422 (2) (2) (2) (2) - 1 ’ , 线 性 搜 索m ∆ = - G2 g = in f ( x + Κ ∆ ) 并 令 f Κ= 0 得 (Κ > 0) 0. 089724 3 2 1. 2 0 9 3 7 5 , 从 而 2 Κ- 6 2. 1 2 5 Κ + 2 3 8 6. 3 7 5 Κ- 2 7 9 1. 2 5 = 0 , 用 两 分 法 得 Κ 0. 705861 0. 068624 (3) (2) (2) (3) (3) = , 计算 f ( x ) = - 0. 581958, g = , 2∆ x = x + Κ - 1. 338128 0. 029605 8. 470332 1 - 0. 006753 (3) (3) (3) - 1 (3) , 正定, 由此∆ = - G 3 g = , 求m G 3= in f ( x + Κ ∆ ), (Κ > 0) 1 2 - 0. 011426 0. 697953 (4) (3) (3) ’ 并令 f Κ= 0 得 Κ 1. 1711, 故有 x = x + Κ , 3 3∆ = - 1. 351509 0. 00849 (4) (4) (4) , ‖g ‖ 0. 009< 0. 01 则停, 若继续迭 f ( x ) = - 0. 582427 由于 g = 0. 005065 - 7 0. 6958844 0. 73×10 3 3 3 3 代可有 x = , f ( x ) - 0. 5824451, g = , x 为更好的 - 1. 3479422 0
26
近似极小点。 参考文献:
[ 1 ] 席少霖. 赵风治最优化计算方法 [M ]. 上海: 上海科技出版社, 1983. [ 2 ] 解可新等. 最优化方法 [M ]. 天津: 天津大学出版社. 1997. 1062110. [ 3 ] 郑汉鼎、 刁在筠. 数学规划 [M ]. 济南: 山东教育出版社. 1997. 1972219.
g =
4x + y x + 2y + 2
3
, G =
的 区域, 又有f ( x 色 阵G 1 =
(1)
) = 0 确能使函数下降了, 计算在点x
(1)
=
1 (1) 处的梯度g = - 1
3 ,海 1
12 1 已经正定, 因此经过信赖域法保护后已使牛顿法走出困境, 下面用阻尼牛 1 2 5 23 (2) (1) (1) ,x = x + Κ ∆ = 9 23 5 Κ 23 9 - 1Κ 23
f ( x ) 的近似极小点 x
(k )
处, 用二次函数 qk ( ∆) = f ( x
(k )
Байду номын сангаас
)+ g
(k ) T
∆+
(Κ > 0)
到 f ( x ) 新的近似极小点 x 但当 G K 不正定时, 牛顿法无 = x + Κ k ∆ , 即为阻尼牛顿法。 (K ) 法找到下降方向 ∆ , 为此, 人们也采取了许多种保护措施, 本文对此采用信赖域法来进行保
2 判断 G K , 若 G K 不正定, 则计算 G K + v k E 并令 v k = 2v k 直到使 G K + v k E 正定, 否则
转7
3 求解方程组 (G K + v K E ) ∆= - g 4 计算 f ( x 5 若 0< 6 令 x
( x + 1) (k ) (k )
k k + ∆ ) , qk ( ∆ ) , Χ k
n
1 T ∆ G K ∆ 逼近 f ( x ) ( 其 2 (k ) (k ) (k ) (k ) 中 g 为 f ( x ) 在 x 处的梯度, G k 为 f ( x ) 在 x 处的海色矩阵) , 当 G k 正定时 ∆ = (k ) (k ) (k ) - 1 (k ) K, 得 G k g 必为 f (x ) 下降方向, 并以 ∆ 为搜索方向进行线性搜索m in f ( x + Κ ∆ )得 Κ
TRUST REG I O N PRESERVE O F NEW TO N MOD E
W A N G Y i 2tie
(D ep a rtm en t of M a them a tics, J inan U n iversity, J inan 25002, Ch ina )
Abstract: In uncond it ionna l m inm a l va lue of u se N ew ton m ode, a t face po in t of Fessian m a t rix no t po sit ive defin ite o r unu sua l, th is p ap erg ive t ru st reg ion p reserve let cou t go ahead. Key words: t ru st reg ion; H essian m a t rix; po sit ive defin ite
2
例: 求解 m in x + xy + ( 1+ y ) 度
4
2
4 2 , x , y ∈R , f ( x , y ) = x + xy + ( 1+ y ) ∴ 梯
12x 1 0 (0) , 今 取 x = , Ε= 0. 0 1 , 计 算 1 2 0 0 0 1 (0) (0) , G0 = , ∵G 0 不 正 定 , 今 用 信 赖 域 法 , 取 v 0 = 1 , 计 算 f (x ) = 1, g = 2 1 2 1 1 1 (0) (0) 故令 , 解 方 程 组 ( G0 + v0 E ) ∆ = - g , 得 ∆ = G0 + v0 E = 1 3 - 1 1 Α (1) (0) (0) (1) (0) (0) , 计算f ( x ) = 0, ∃ f = 1, 再计算∃ qk ( ∆ ) , 设∆= ,在 x = x + ∆ = - 1 Β Α 0 1 Α 1 (1) 2 0 2〕 + 〔 = 1 + 2 Β+ Α x 处 有 q 0 ( ∆) = 1 + 〔 5 Β〕 Β+ Β , 在 2 Β 1 2 Β 1 1 (0) (0) T 2 时 , ∃ q0 ( ∆ ) = 2 故而 Χ , 由此 v 0 = 1 所对应的 h 0 使 ∆ ∆≤ h 0 是可信赖 0= ∆ = 2 - 1
(K ) ‖∆ ‖减小, 故而相当于 ( 2) 式中的 h k 减小, 而 h k 越小, 表明二次函数 qk ( ∆) 更逼 f ( x ) , 为 (k ) ∃f (k ) (k ) (k ) (k ) (k ) 了控制 v K , 给出控制量 Χ , 其中 ∃ f = f (x ) - f ( x + ∆ ) , ∃ qk = f ( x ) - qk k= ∃ qk
( k + 1) (k ) (k )
护。 亦即 G K 不正定的 x
(k )
处, 求
( 1) 的极小点
(k ) ( x + 1) (k ) (k ) = x + ∆ 作为 f ( x ) 新的近似极小 ∆ ( 其中 h k 为给定正常数) , 而用 x ( k + 1) (k ) 点, 若 h k 选的合适, 既能使二次函数充分逼近 f ( x ) , 又能使 x 比 x 更接近最优解。从而
收稿日期: 1999211209 作者简介: 王一铁 ( 1942 ) , 男, 山东临朐人, 济南大学数学系副教授。
24
( ∆(k ) ) , 由此给出信赖域保护下的阻尼牛顿法程序, 给定 x (0) , v 0 > 0, Ε > 0令K= 0 (k ) (k ) (k ) (k ) 1 对于 x , 计算 g , G k , f ( x ) , 若‖g ‖< Ε则停。
(k )
, 设解 ∆
(k )
( )
( )
k < 0. 5, 则令 v K = 2v K 转 3 Χ
= x
(k )
+ ∆ 转8
(k ) - 1 (k )
7 计算 ∆ = - G k g 8 令 K = K + 1 转 1
, 搜索m in f ( x (Κ > 0)
(k )
(k )
k + Κ ∆ ) 得到 x
m in qk ( ∆) s . t‖∆‖≤h k
( 1)
能使牛顿法走出困境, 使迭代继续。 若用 G oidf eid 等人采用的 I 2 摸时, 上面 ( 1) 式化为
m in qk ( ∆) T 2 s. t ∆ ∆≤h k
(K )
( 2) ( 3)
他们已证明 ( 2) 式等价于解线性方程组 (G K + v K E ) ∆= - g 其 中 v K ≥ 0 为某个常数 , 而使G K + v K E 为正定的 , 由 ( 3 ) 式不难看出 , 当 v K 增大时将使
( )
( x + 1)
= x
(k )
+ Κ k∆
(k )
程序表明, 若 G K 正定, 则用 ∆ = - G k g
- 1
T
(k )
作为搜索方向, 若 G K 不正定, 则用信赖域法
保护, 由于 Χ ≤h K 是可信赖的, 且因 ( 2) 式的解总是存在的, 因此, 总能 k ≥0. 5, 故而区域 ∆ ∆ 使牛顿法摆脱困境。 故而有全局收敛性且保持快速收敛特点。
第 10 卷第 2 期 2000 年
济南大学学报 JO URNAL O F J INAN UN IVERS ITY
. 10 N o. 2 Vol 2000
牛顿法的信赖域保护
王一铁
( 济南大学 数学系, 山东 济南 250002)
摘 要: 在用牛顿法解无约束极值问题时, 在函数的海色阵不正定的点处, 本文采用信赖 域法进行保护, 使迭代继续下去。 关键词: 信赖域; 海色矩阵; 正定 中图分类号: O 221. 2 文献标识码: A 在无约束最优化问题 m in f ( x ) , x ∈R 求解法中牛顿法是收敛最快的算法, 它是在函数
顿法进行迭代, 取搜索方向
∆ = - G1 g = (1) - 1 (1)
1 2 - 1 23 - 1 12
3 = 1
1-
25
线性搜索m in f ( x (Κ > 0) 两分法得 Κ 1
(1)
’ 3 2 + Κ - 116. 8032= 0, 用 ∆ ) , 令 f Κ= 0 得 Κ- 13. 8Κ+ 116. 8032 Κ (1) (2)
0. 751868 (2) , f ( x ) = - 0. 568625, 由于 - 1. 446637 0. 253503 9. 022416 1 (2) , G 2= , G 2 正定, 再计算 g = - 0. 141406 1 2 - 0. 0380422 (2) (2) (2) (2) - 1 ’ , 线 性 搜 索m ∆ = - G2 g = in f ( x + Κ ∆ ) 并 令 f Κ= 0 得 (Κ > 0) 0. 089724 3 2 1. 2 0 9 3 7 5 , 从 而 2 Κ- 6 2. 1 2 5 Κ + 2 3 8 6. 3 7 5 Κ- 2 7 9 1. 2 5 = 0 , 用 两 分 法 得 Κ 0. 705861 0. 068624 (3) (2) (2) (3) (3) = , 计算 f ( x ) = - 0. 581958, g = , 2∆ x = x + Κ - 1. 338128 0. 029605 8. 470332 1 - 0. 006753 (3) (3) (3) - 1 (3) , 正定, 由此∆ = - G 3 g = , 求m G 3= in f ( x + Κ ∆ ), (Κ > 0) 1 2 - 0. 011426 0. 697953 (4) (3) (3) ’ 并令 f Κ= 0 得 Κ 1. 1711, 故有 x = x + Κ , 3 3∆ = - 1. 351509 0. 00849 (4) (4) (4) , ‖g ‖ 0. 009< 0. 01 则停, 若继续迭 f ( x ) = - 0. 582427 由于 g = 0. 005065 - 7 0. 6958844 0. 73×10 3 3 3 3 代可有 x = , f ( x ) - 0. 5824451, g = , x 为更好的 - 1. 3479422 0
26