运筹学(最优化方法)第六章无约束优化信赖域法
北航刘红英数学规划教材课后习题参考答案
ri(x)∇ri(x)
=
2A(x)T r(x),
∇2f (x)
= =
2 2
∑m ∑mi=1
i=1
ri(x)∇2ri(x) ri(x)∇2ri(x)
+ +
2
∑n
i=1
∇ri
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
的最优值相同，将这个问题的最优解投影到 (x, y, z) 所在的空间可以得到原问题的解. 这个问题可以写成线性规划问题：
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, −t1 ≤ x ≤ t1, −t2 ≤ y ≤ t2, −t3 ≤ z ≤ t3.
解:
(a) ∇f (x) = a, ∇2f (x) = 0n×n; (b) ∇f (x) = (A + AT )x, ∇2f (x) = A + AT ;
6.2无约束优化(信赖域)
LM trajectory
s N = −(G ( k ) ) −1 g ( k )
ˆC x (k ) + s
x ( k ) ( s = 0)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题: 共轭梯度法
= min q (s) :
s ≤∆ 1 2
无约束优化：信赖域法
Trust Region Methods for Unconstrained Optimization
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
信赖域法的动机
Taylor展式： 信赖域(trust region)：使得Taylor展式(模型)有效的区域 其中 是信赖域半径. 信赖域子问题： 设信赖域子问题的解为 s(k)，根据 f(k)- f (x(k) + s(k)) 和 的吻合程度调整半径 真实下降量： 预计下降量： 定义
第 6 章 无约束优化：信赖域法
来度量
逼近
数学规划基础
的程度
LHY-SMSS-BUAA
一个原型算法
解的刻画/精确算法 Cauchy点/近似算法 收敛性(了解即可)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
一个信赖域原型算法
模型函数是二阶Taylor展式 精确求解子问题 特定的信赖域半径更新方式
s ≤∆ k
1 2
s T B ( k ) s + g ( k )T s + f ( k )
第 6 章 无约束优化：信赖域法
数学规划基础
无约束最优化的信赖域BB法_刘亚君
目
标 函 数 的 二阶 信 息 本 文 将
ｓｅ
，
法 与 信 赖 域方法 相 结 合 利 用
，
ＢＢ
步
，
长 的 倒 数去 近 似 目 标 函 数 的 Ｈｅ ｓ
矩 阵 同 时 利 用 信 赖 域子 问 题 更 加 灵 活 地 选 取 梯 度 法 的 步 长
ＢＢ
给 出 求 解无 约 束 最优 化 问 题 的 单 调 和 非 单 调 信 赖域
８
［
，
９
］
分 别 应用 公 式
后 步长 的 思 考
，
．
（
１
．
１
〇）
求 解 无 约 束优 化 问 题 和 界 约 束 优 化 问 题 对
． １ ，
ＢＢ
步长 的 研究 引 发 了 对滞
一
在梯 度 法 中 更 多滞 后 的 ＢＢ 步长被 研 究 气 并 得 出 与 Ｂ Ｂ 法 研 究发 现 更 多 的 滞 后 步 增 强 了 Ｂ Ｂ 法 的 非 单 调 性 因 此 可 能 加快 收 敛速 度 Ｐ
，
Ｈ ｅｓ ｓ ｅ
矩阵
Ｖ２／
（
：
ｒ ｆ ｃ
）
或其近
．
应 用 最广 的 修 正 公 式 是 Ｂ Ｆ ＧＳ 修 正 公 式 其 数值稳 定 性 比 其他 修 正 公 式 要好 心 被 称 为 信 赖域 半 径 被 称 为 信赖域 子 问 题 对 于 当 前 迭 代 点 ％ 通 过 求 解模 型
２０１ ６
年
２
月
计 算 数 学第
３８
卷第
．
１
期
．
Ｆ ｅｂ
．
北航最优化方法最新最全答案2015版
将此问题化成线性规划.
minimize f (x)
x∈Rn
subject to Ax = b
x ≥ 0.
5
解: 引入变量 t ，所给问题等价于
minimize t subject to f (x) = t,
Ax = b, x ≥ 0.
考虑问题
minimize t
subject to f (x) ≤ t, Ax = b,
4. 单纯形法的练习：习题2.10，习题2.11，习题2.12，习题2.13，习题2.20(说明单纯形 法的效率的一般性例子中，自变量为三个时所得问题)，习题2.21(说明单纯形法采用最小 相对费用系数进基原则确定进基变量时，如果所求解问题是退化的，则单纯形法会出现 循环！)，习题2.31.
5. 两阶段法的练习：习题2.14-习题2.16；大 M 法的练习：习题2.18.
2u1 − 2v1 + u3 − v3 = 3, ui, vi, s ≥ 0, i = 1, 2, 3.
方法2: 引入非负变量 t1, t2, t3 ，将原问题转化成等价问题
minimize t1 + t2 + t3 subject to x + y ≤ 1,
2x + z = 3, |x| = t1, |y| = t2, |z| = t3.
(c)
minimize subject to
x1 + 4x2 + x3 x1 − 2x2 + x3 = 4 x1 − x3 = 1
x2 ≥ 0, x3 ≥ 0.
解:
(c) 由于变量 x1 无限制，可利用约束 x1 = x3 + 1 对其消去. 因此，得其标准形
最优化方法——信赖域法
2012-2013（1）专业课程实践论文信赖域法董文峰，0818180123，R数学08-1班伊广旭，0818180113，R数学08-1班李超，0818180114，R数学08-1班一、算法理论信赖域方法与线搜索技术一样, 也是优化算法中的一种保证全局收敛的重要技术. 它们的功能都是在优化算法中求出每次迭代的位移, 从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向), 然后确定位移的长度(亦称为搜索步长)。
而信赖域技术则是直接确定位移, 产生新的迭代点。
信赖域方法的基本思想是:首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。
然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。
若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。
否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。
如此重复下去，直到满足迭代终止条件。
信赖域方法解决无约束线性规划f(x)R x ∈min的基本算法结构。
设k x 是第k 次迭代点，记)f(x f k k =，)f(x g k k ∇=，k B 是Hesse 阵)f(x k 2∇的第k 次近似，则第k 次迭代步的信赖域子问题具有如下形式：,21g (d)min T k d B d d q k T k += k d t s ∆≤..其中k ∆是信赖域半径，•是任一种向量范数，通常取2-范数或∞-范数。
定义k f ∆为f 在第k 步的实际下降量：),d f(x f Δf k k k k +=-定义k q ∆对应的预测下降量：()().-0k k k k d q q q =∆定义他们的比值为：kk k q f r ∆∆= 一般的，我们有0>∆k q 。
北航最优化方法作业答案uco_trustregion
理想特性: 在 x(k) 靠近局部解之前线搜索法用步长来限制 探搜索方向 p(k) 使 f(x) 获取充分下降; 而在 x(k)接近局部 解时, 该限制无效, 即步长为 1，迭代恢复为快速收敛的 基本牛顿法. 理想特性: 在 x(k) 靠近局部解之前信赖域法用信赖域约束 来限制探测步 s(k) 使 f(x) 获取充分下降; 而在 x(k)接近 局部解时, 该限制无效, 从而迭代恢复为快速收敛的基 本(即步长为 1)牛顿法.
基本信赖域法的收敛性
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
Steihaug-Conjugate Gradient Method
min = q (s) :
s ≤∆ 1 2
s Bs + g s
T T
q(s)
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
第 6 章 无约束优化：信赖域法
数学规划基础
LHY-SMSS-BUAA
近似求解信赖域子问题：dog-leg法
min q ( k ) ( s ) = :
s ≤∆ k 1 2
s T G ( k ) s + g ( k )T s + f ( k )
⊙ 近似方法 ：找 s(k) 使得 q(k) q(k) ⊙ dog-leg法(折线法)，适合 G(k) 正定的问题 当 ∆ k 较小时, 柯西点较恰当 − g ( k ) 当 ∆ k 较大时, 牛顿步较恰当
第 6 章 无约束优化：信赖域法 数学规划基础 LHY-SMSS-BUAA
原型算法的收敛性
信赖域型牛顿法！ 定理6.1.1 若算法6.1.1产生的序列 {x(k)}有界，且 f(x) 二次连 续可微. 则序列 {x(k)} 必有聚点 x*满足一阶和二阶最优性条 件，即 g*= 0 且 G* 半正定. 定理6.1.2 若定理6.1.1中的聚点 x*还满足二阶充分条件，即 g*= 0 且G*正定，则 (b) 对充分大的k，信赖域约束 收敛速度是二次的.
北航最优化方法最新最全答案2015版详解
部分习题参考解答
刘红英 编
北京航空航天大学数学与系统科学学院 2015 年 5 月
内容简介
本书是《数学规划基础》(刘红英，夏勇，周水生，北京航空航天大学出版社，2012.10)的 配套教学辅导材料，较详细地给出了该教材各章后部分习题的参考解答.
前言
本习题解答自 2008 年春季开始编写，当时由硕士研究生阎凤玉提供部分习题解答， 经讨论和确认后，由作者首次录入排版. 后来陆续参加习题解答修订的硕士研究生包括王 浩、欧林鑫、朱丽媛、易彩霞和杨茜，其中的数值结果由欧林鑫提供. 作者在此向他们的 辛勤劳动表示衷心的感谢.
本解答得到了？项目的资助，在此表示感谢. 由于这些参考解答尚未经过特别严格的校对，仅供参考. 任何意见、建议或其它反馈 都可以发送至liuhongying@，在此深表感谢.
刘红英 2015.5 于北京
目录
第一章 引言
1
第二章 线性规划: 基本理论与方法
3
第三章 线性规划：应用及扩展
maximize 200x + 60y + 206z
subject to 3x + y + 5z ≤ 8000000
5x + y + 3z ≤ 5000000
x, y, z ≥ 0, 且 x, y, z 是整数.
忽略掉整性要求后，调用 Matlab 中的 linprog.m 函数求解，得最优解 x = 0, y = 500000, z = 1500000，自动满足整性要求.
(x)(∇ri
(x))T
2A(x)T A(x).
1.6 考虑向量值函数 f (x) : Rn → Rm ，设 f 的每个分量函数 fi(x) 在 x′ 都可微. 写出 f 在 x′ 的Taylor展式，请用 A(x)T 表示 ∇f (x)T (= [∇f1(x), · · · , ∇fm(x)]).
最优化方法信赖域方法
最优化方法信赖域方法Trusted Domain Method of Optimization Methods一、概述信赖域（Trusted Domain）法是一种针对多目标最优化问题的优化方法，属于启发式优化技术，又被称为受信域法（Credible Domain）法或者受信域增强法（Credible Domain Enhancement）。
它由A.K.Chentsov在1980年提出，目前已经在工业优化、控制优化、混合模糊优化等领域有广泛的应用。
信赖域法使多目标最优化问题中的搜索变得更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
二、原理信赖域方法优化的原理是：在解空间中划分子空间，在每个子空间中进行最优优化，同时进行领域大小的优化，以找到最优解。
（1）划分的子空间划分的子空间由一组不可分割的解空间，即称为“信赖域（Trusted Domain）”确定，有一种收敛性的在同一信赖域上的解空间集合，该信赖域中必须包含一个或多个最优解点。
（2）之分的子空间有效性在信赖域中，有一种收敛性的解空间，该解空间必须包含一个或多个最优解点，且此处解的收敛性可以满足要求。
由此可以看出，划分的子空间有效的充分利用解空间，能够使对最优解的搜索效率更高，更快地找到最优解。
（3）领域大小的优化在划分解空间时，信赖域方法重点考虑领域大小的优化，以缩小搜索空间大小，并引导搜索过程朝最优解的方向发展。
三、应用1.工业优化信赖域方法已经在工业优化领域得到应用，使多目标工业优化问题中的搜索更加有效和快捷，可以很好地处理多目标最优化问题中的非凸性和高维问题，使最优解更容易被获取。
2.控制优化由于信赖域方法能够有效地处理多目标非凸性和高维问题，因此已经在控制优化中得到应用，用于设计准确性好的控制系统。
3.混合模糊优化信赖域方法在混合模糊优化领域也有应用，可以用来解决特殊类型的模糊控制优化问题，来有效地提高优化中的效率和准确性。
求解无约束最优化非单调自确定信赖域算法
作 者简 介 ：刘宁 （ ９ ３ ） 男 ，广 西 玉 林 人 ，硕 士 研 究 生 ，主 要 研 究方 向 为最 优 化 理 论 与 算 法 。Ｅ ｍａ ： １ ８ ７ ＠ １ ３ｔ ｍ １８一 ， — ｉ ｋ ３ ７ ５ ６ ．ｏ ｌ
“ 一 一
（ 一 ）
ｇ户＾ ÷（ｔ ＾ ≥ ： 一 ＢＰｔ ｌ ｋ ）
嚣 ［ 一Ｐ 吉
］ 一
（ △） ≥ ， Ｐ ） ／ ７ ｋ （ ’
令 厂（ ＝厂 ｚ（ ） ｍａ （ （ ｋｉ）ｍ（ ） ｆ） （ ｆ）一 ｔ ＾ ｘ ｆ ｘ－） ， 足 满足 （ ） Ｏ 一Ｏ ｍ（ ） ， 志 一ｍｉ 是 ） ， ］ （ 为 一 非 负 整 ｎ ｍ（ 一１ ＋１ ，
较 容易 出现 可行 域 中存 在细 长 弯 曲的峡 谷［ ， 时算 ６这 ３
பைடு நூலகம்
法 的有 效 性 就大 大 降 低 。因为 这 时 一 旦迭 代 进 入峡
谷 ， 就 只能 沿 着峡 谷 缓 慢 前 进 ， 样 就会 导 致 很 小 它 这 的步长 ， 至出现 锯齿 现 象 ［ 。针对 上 面所提 出的 困 甚 ７ ］
步骤 ５ 设 ｋ： ＋１ 转 步骤 １ 一五 ， 。
证毕。
（） ４
引理 ２ 算 法 １ 适 定的 ， 是 若假设 １中的条件 （ ） １
和 （） ２ 成立 。
步骤 ４ 利 用 Ｂ Ｇ Ｆ Ｓ公 式修正 ， 到 Ｂ 一 。 得
证 明 由中值定 理 以及假 设 １ 又 由于 厂 ≥厂 ， ， ｆ） ＾
ｖ ｒ ｅ ｅ ａ ｅ ａｓ ａｉ ｄ ｕｎｄ ｒ ｓ ｔ ｌ ｏ ｅ ｇ ｎｃ ｒ ｌｏ ｏｂｔ ｎｅ ｅ ｕｉａｂ ｅ ｃ ｎｄｉｉｎｓ ｔｏ ．
最优化方法第六讲 无约束(多维)最优化
step4. 若 || f ( xk1) || ,停止，x* xk1 ;
否则，令 k : k 1, 转step 2 。
14
➢算法框图
给定初始点x0和精度 || f ( x0 ) ||
停止，输出x1
否
是
| x1 x0 |
是 停止，输出x0
否 否
2 f (x0) 0
计算x1
x0
f ( x0 ) 2 f (x0)
1
13 62
x2
x1
1d 1
(
36 , 31
8 31
)T
7
三、最速下降法的特点
1.性质. 设 f ( x) 有一阶连续偏导数，若 步长 满足 k
f ( xk d k ) min f ( xk d k )
k
则有 f ( xk d k )T d k 0。 k
证明：令 ( ) f ( xk d k )，所以
5
一、梯度法（最速下降法）：
1. 搜索方向：d k f ( xk ) ,也称为最速下降方向；
2. 搜 索 步 长: k 取 最 优 步 长, 即 满 足
f (xk
kd k )
min
f
(xk
d k ) 。
二、梯度法算法步骤：
1. 给定初始点 x1 Rn ,允许误差 0, 令k 1。
2. 计算搜索方向 d k f ( xk ) ;
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
24
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
《无约束优化方法》课件
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。
无约束无导数最优化的改进信赖域算法
硕士学位论文
无约束无导数最优化的改进信赖域算法
学位申请人： 耿燕 指 导 教 师 ： 王熙照 教授
周庆华 副教授 学 位 类 别 ： 理学硕士 学 科 专 业 ： 基础数学 授 予 单 位 ： 河北大学 答 辩 日 期 ： 二〇一二年六月
Classified Index: U.D.C.:
最优化方法信赖域方法例题
最优化方法信赖域方法例题信赖域方法是求解无约束优化问题的一种常用方法，其基本思想是在当前点附近构造一个局部模型，并利用这个模型来引导下一步搜索方向，以期望加速收敛。
以下是一个信赖域方法的例题：假设要求解如下无约束优化问题：minimize f(x) = 2x1^2 + x2^2 - 2x1x2 - 4x1其中x = (x1, x2)T为变量向量。
根据信赖域方法的思路，首先需要在当前点xk处构造一个局部二次模型来近似目标函数f(x)，即：m(k)(p)=f(xk)+g(k)Tp+0.5TpTB(k)T p其中p表示搜索方向，g(k)和B(k)分别表示目标函数在xk处的梯度和Hessian矩阵。
然后，需要找到信赖域半径δk，使得在搜索方向p的范数不超过δk的条件下，局部模型能够较好地近似目标函数。
具体来说，需要最小化如下子问题：minimize m(k)(p)subject to ||p||<=δk对于上述例题，可以通过以下步骤来求解：1. 初始点为x0 = (0, 0)T，初始信赖域半径为δ0 = 1。
2. 计算目标函数在x0处的梯度和Hessian矩阵：g(0) = (-4, 0)TB(0) = [[4, -2], [-2, 2]]3. 解信赖域子问题，得到搜索方向pk和对应的模型改进量mk： pk = argmin m(k)(p)subject to ||p||<=δkpk = (0.5, -0.5)Tmk = -0.254. 计算实际改进量rk和相应的系数ηk：rk = f(xk) - f(xk+pk)γk = rk/mkif γk < 0.25:δk+1 = 0.5δkelse if γk > 0.75:δk+1 = 2δkelse:δk+1 = δk5. 根据信赖域半径更新规则，计算下一次迭代的点xk+1和信赖域半径δk+1：if γk > 0:xk+1 = xk + pkelse:xk+1 = xkδk+1 = δk6. 重复步骤2-5，直到收敛。
最优化方法 信赖域算法
算法概述
二 三 四
信 赖 域 算 法
算法思想 算法流程 算法收敛性
五
子模型求解
一、方法概述
信赖域算法概述
线搜索方法是把一个复杂的最优化问题转化成一系列简 单的一维寻优问题。方法的核心思想是先寻找“理想” 的下降方向，然后在确定的方向上确定长度。
信赖域方法是把最优化问题转化为一系列相对简单的局 部寻优问题。方法能够对局部的所有方向进行“搜索”， 进而同时确定“局部最好”的前进方向及长度。
k . sk ,
定义比值：
给定信赖域方法模型子问题的解
f xk f xk sk Ared k rk qk 0 qk sk Pred k
它衡量模型函数
qk s 与目标函数 f x 的一致性程度。
二、算法思想
f xk f xk sk Ared k rk qk 0 qk sk Pred k
三、算法流程
信赖域方法流程 步骤1: 给出
x0 R n , 信赖域半径的上界 , 0 0, , 0, 0 1 2 1, 0 1 1 2 , k 0.
g k , 停止． 求解子问题得到 sk .
如果
T k
步骤2: 步骤3:
1 T min qk s f k g s s Gk s 2
s.t
s k
步骤4:
计算
f xk sk 和 rk , 令：
xk sk xk rk 1 others
xk 1
四、算法流程
步骤5: 校正信赖域半径，令：
k 1 0, 1 k
rk 越接近于１， 表明模型函数 qk ( s )与目标函数 f ( x )
运筹学与最优化方法 第6章约束最优化方法
第六章
如果x
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件 (续)
l .opt .那么u i 0, i I , v j R, j 1,2, , l f ( x )
u i g i ( x )
iI
ㄡ ▽h(ㄡ )
最优性条件即：
▽h(x*)
f ( x*) j h j ( x*)
* j 1
h
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： 考虑问题 min f(x) (fg) s.t. gi(x) ≤0 i=1,2, …,m 设 x*∈S={x|gi(x) ≤0 i=1,2, …,m} 令 I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。 如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约 束时，才产生影响，如：
* 1 3
u1
*
1 3
u2
* 2 3
2 3
使
g 1 ( x )
g 2 ( x ) 0
用K-T条件求解：
2( x1 3) 2 x1 , g 1 ( x ) f ( x ) 2( x 2) 2x 2 2 1 0 , g 4 g 3 ( x ) 0 1 1 , g 2 ( 2) 2
定理： 问题( fgh)，x S {x | g ( x) 0, h( x) 0}, I为起作用集。
设g i ( x)(i I )在x 可微, g i ( x)(i I )在x 连续，h j，（j 1,2, , l） 在x 的某邻域内连续可微。（CQ, 约束规格）。 向量组{，g i ( x )(i I ), , h1 ( x ), , hl ( x )}线性无关。
最优化方法-3.1无约束最优化方法
min f ( x)或min f ( x)。
xR1
a xb
定义：若在a,b内 f ( x)有唯一极小点 x*，在 x*
的左边 f ( x)严格下降，在 x*的右边 f ( x)严格上升，
则称 f (x)在区间a,b上是下单峰函数。
a
b
下单峰函数的性质：在a,b内任取两点 x1, x2且
2. 一维搜索
最优化问题的算法一般迭代格式：
给定初始点 x0，令k 0。 (i)确定 xk 处的可行下降方向 pk ；
(ii)确定步长k 0，使得 f ( xk k pk ) f ( xk )； (iii)令 xk1 xk k pk ； (i )若 xk1满足某种终止准则，则停止迭代，以 xk1为近似最优解。否则令k k 1，转(i)。
如果对于任意初始点 x0 D，由算法产生的点 列都收敛于最优解 x*，则这个算法称为全局收敛。
3. 收敛速度
定义 1.2.3：设序列xk 收敛于 x*，而且
lim xk1 x* ，
k xk x*
若0 1，则称xk 为线性收敛的，称 为收敛比； 若 0，则称序列xk 为超线性收敛的。 若 1，则称序列xk 为次线性收敛的。
定义 1.2.1：在 xk 点处，对于 pk 0，若存在 0， 使 (0, )有
f ( xk pk ) f ( xk ) 成立，则称 pk 为 f ( x)在点 xk 处的一个下降方向。
当 f ( x)具有连续的一阶偏导数时，记f ( xk ) gk 。由
Taylor 公式 f ( xk pk ) f ( xk ) gkT pk o( )
a 2(b a)
关于无约束最优化问题的信赖域解法
无约束最优化问题的信赖域解法关于无约束最优化问题的信赖域解法一、引言无约朿优化问题是实际工程中最常见的问题之一。
这类问题虽然形式比较简单，但是对于某些大规模的或者非线性很强的问题，求解它们仍然是有相当难度的。
无约束问题的算法大致分成两类：一类在计算过程中要用到LI标函数的导数，另一类则只要求LI标函数值。
本文中所讲述的信赖域法，与牛顿法、最速下降法、共辘梯度法一样，同属于第一类方法。
二、信赖域法的主要内容2.1信赖域法的基本思想虽然信赖域法与最速下降法等同属于一大类，但是在基本思想上还是有所不同。
其他儿种方法的基本策略是：给定点宀后，定义搜索方向少,再从x的出发沿d （k）作一维搜索，信赖域法则不然，下面重点阐述一下其基本思想：首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。
然后，通过求解这个区域内的“信赖域子问题”（1」标函数的二次近似模型）的最优点来确定“候选位移”。
若候选位移能使U标函数值有充分的下降量，则接受该候选位移作为新的位移，并保持或扩大信赖域半径，继续新的迭代。
否则，说明二次模型与H标函数的近似度不够理想，需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。
如此重复下去，直到满足迭代终止条件。
2.2信赖域法的数学分析考虑无约束问题：min /（x）, xeR"（2-1）将f（x）在给定点x（k）展开，取二次近似可得：/37（严）+巧（严）匕-严）+斗匕-严）9予（占）匕-严）（2-2）记d=x- x （k ）,得到二次模型血）=/（严）+巧（■严）7 〃 +扣9丁（严）〃 乙 为了在x ⑹附近用輕“）近似f （x （k ）+d ）,限定d 的取值，令||d||<r k , rk 是给定的常数，称为信赖域半径，这样求函数f （x ）的极小点归结为解一系列子问题def 1min 探（d ） =+ ⑷『力 + — ”丁可’/匕⑹）〃 2M Mil" 若d （k ）是2-1式的最优解，则存在乘子enO,使得：V 2/(V ))6/,k>+V/(x a )) + ——-一 d ⑷=0(/叭/⑹)亍(2-5)讪严卜4) = 0得到护）为最优解的必要条件Py （严）（严>+血严=_yy （卅））负㈣-几）=0co>0严I"设0丁（严）+创可逆，由式2-7可得,Ill'll = ||（V 2/U （* ‘）+ 创尸巧（卅）||（2-8）由上述条件易知，式2-7的解d （k ）与信赖域半径rk 取值有关，如果Fk 充分大，"的 值有可能很小，从而d ⑹与牛顿法中的牛顿方向接近，即d (k} ^-v 2f (x ik)y l vf (x ik})如果以趋近于0,则可得：df —丄巧（泸）CO 山此可知，当信赖域半径n III 小到大逐渐增大时，d<k ）在最速下降方向与牛顿方 向之间连续变化。