第三章无约束非线性规划
合集下载
【课件】运筹学与最优化方法(华南理工)第3章(07-4)
的最优解S(k)和最优值
(k +1) (k ) (k )
q(S(k) )
(k + 1) (k )
) f (X = X + S 若 f (X (3)令 X 取 X * = X (k+1) ,停止,否则转(4) (4)计算 f = f (X (k) ) f (X (k+1) ), q = f (X (k) ) q(S(k) ) 1/ 2k ..若 f < 0.1q 令
第三章
无约束非线性规划
3.4 信赖域法, Matlab解无约束非线性规划
一.信赖域法: 1.思想: 1) 前两节方法的结构原理为用二次模型产生下降方 向,在下降方向上确定可接受的步长,得到新迭代点. 若二次模型不近似原目标函数,则在搜索方向上无 法找到满意的下降迭代点. 能否先指定步长的界,再用二次模型确定方向和步 长? *注:保证在下近似,可使f(x)与 二次模
y(1) = x +α(x xmax )
2 扩展:给定扩展系数 >1,计算.(加速) 扩展:给定扩展系数γ 计算.(加速) 计算.(加速
y(2) = x +γ ( y(1) x)
3.5 直接算法
一, 2,改进单纯形法: (续) ,改进单纯形法: (1)若f(y(1))<f(x min), 则 若 那么y 取代x 否则, 取代x 若f(y(1))> f(y(2)), 那么 (2)取代 max; 否则, y(1)取代 max (2)若max{f(x(i))| x(i) ≠x max } ≥ f(y(1)) ≥ f(x min), y(1)取代 max . 取代x 若 3° 收缩:若f(x max )> f(y(1)) > f(x(i)), x(i) ≠x max ,计算 ° 收缩: 计算
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
无约束非线性规划求解方法及其实现
无约束非线性规划求解方法及其实现作者：杨玲指导老师：陈素根摘要:非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划属于最优化方法的一种，是线性规划的延伸。
非线性规划研究一个n元实函数在一组灯饰或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
非线性规划是20世纪50年代才形成的一门新兴学科。
1951年H.W库恩和A.W塔克发表的关于最优性条件的论文是非线性规划正是诞生的一个重要标志。
在50年代还得出了可分离规划和二次规划的n种解法，它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。
50年代末到60年代末出现了许多解线性规划问题的有效的算法，70年代又得到进一步的发展。
非线性规划在工程，管理，经济，科研，军事等发面都有广泛的应用，为最优设计提供了有力的工具。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果，无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
关键词最优化共轭梯度法非线性无约束1 引言1.1 无约束非线性规划问题是最基本的非线性规划问题，在1959~1963年幼三位数学家共同研究成功求解无约束问题的DFP变尺度法，该算法的研究成功是无约束优化算法的一个大飞跃，引起了一系列的理论工作，并陆续出现了许多新的算法。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果。
无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
1.2 本文主要研究无约束非线性规划问题，将文章分成四个部分，首先会具体介绍无约束非线性规划的相关概念，并在此基础上研究非线性规划的相关理论与基本算法问题，接着详细介绍无约束非线性规划的几种主要的求解方法，最后举例说明他在实际生活中的应用，并编程实现它。
Chap3无约束非线性规划
3. 置 ak1 k ,bk1 bk , k1 k , 计算 k1 ak1 0.618(bk1 ak1) 及 f (k1), 转5；
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
第三章 非线性规划-无约束问题的最优化方法
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
本章主要介绍构造无约束问题(多维 搜索方向的方法 本章主要介绍构造无约束问题 多维)搜索方向的方法。这些方 多维 搜索方向的方法。 法大致可分为两类： 法大致可分为两类：
第一类：直接搜索方法。在搜索过程中， 第一类：直接搜索方法。在搜索过程中，只用到目标函 数值，不需要计算其导数。例如， 数值，不需要计算其导数。例如，变量轮换法 第二类：解析方法。在搜索过程中， 第二类：解析方法。在搜索过程中，要用到目标函数的 导数。例如最速下降法 牛顿法、共轭梯度法等 最速下降法、 导数。例如最速下降法、牛顿法、共轭梯度法等。
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
第三章无约束非线性规划课件
a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
《高级运筹学》无约束非线性规划
f ( x(k ) k d (k ) ) f ( x(k ) )
从而确定下一个点
x( k 1) x( k ) k d ( k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f ( x( k 1) ) ||
第二节：一维搜索
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f ( x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往 往化成求解 f ( x) 0 即
f ( x) x 0 1 f ( x) 0 x2 f ( x) x 0 n
f(x)
函数值：大—小—大
图形：高—低—高
单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
bk ak ,
1 x (ak bk ) 2
*
(1) 确定初始单谷区间的进退法
-0.236 0.236
-0.236 0.236 -0.236 0.056 0.056 0.056 0.168 0.168 0.236 0.168 0.236
经过6次迭代，b-a=0.111<0.16, 满足精度要求，取 1 x (0.168 0.279) 0.23 2 问题的精确最优解为 0.25。
牛顿法的计算步骤
(1)给定 0、，令k 0 (2)计算f '( k ), f "( k ) (3)求 k 1 f '( k ) k f ''( k )
非线性规划—无约束问题
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有 X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
《高级运筹学》无约束非线性规划
求解方法简介
梯度法
基于目标函数的梯度信息，通 过迭代更新搜索方向和步长， 逐步逼近最优解。
牛顿法
利用目标函数的二阶导数（海 森矩阵）信息，构造一个二次 逼近模型，通过迭代更新搜索 方向和步长，逐步逼近最优解 。
共轭梯度法
结合梯度法和牛顿法的思想， 通过迭代更新搜索方向和步长 ，逐步逼近最优解。该方法在 求解大规模问题时具有较好的 收敛性和计算效率。
到该问题的最优解。
案例三：实际应用中的无约束非线性规划问题
要点一
总结词
要点二
详细描述
通过解决一个实际应用中的无约束非线性规划问题，了解 无约束非线性规划在现实生活中的应用和价值。
该案例是一个实际应用中的无约束非线性规划问题，目标函 数为 f(x) = -(x1*x2*x3)，约束条件为 x1 + x2 + x3 = 1。 这个问题来自于化学反应优化领域，通过求解该问题可以找 到最优的反应条件，提高化学反应的效率和产物质量。
约束条件
等式约束
表示决策变量之间的关系，通常以等式形式给出。
不等式约束
表示决策变量的取值范围或与其他变量的关系，通 常以不等式形式给出。
无穷范数约束
对于一些特殊的无约束非线性规划问题，可能需要 考虑无穷范数约束，即决策变量的极限行为。
决策变量
连续型决策变量
在无约束非线性规划中，决策变量可以是连续的，也可以是 离散的。连续型决策变量通常在连续空间中进行优化。
案例一：简单的无约束非线性规划问题求解
总结词
通过求解一个简单的无约束非线性规划问，了解无约束非线性规划的基本概念和求解 方法。
详细描述
该案例是一个简单的无约束非线性规划问题，目标函数为 f(x) = x1^2 + x2^2 2*x1*x2，约束条件为 x1 + x2 = 1。通过使用非线性规划求解器，可以找到该问题的
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
《数学模型》课件数学模型课第三章无约束规划
2.2 黄金分割法
黄金分割数 w 5 1 0.618...
2
使用不变的区间缩短率0.618代替斐波那契每次不同的缩短 率，就得到了黄金分割法。
若区间[a,b]是初始区间，每次的缩短率记为w，n-1次缩短 后区间的最后长度为（b-a）wn-1.
若已知缩短的精度为d, 则搜索点的个数n通过下式计算： wn1 d
clc
1.0e-06 *
x=[2;2];
[f0,df]=detaf(x); k=0；
-0.3223
while norm(df)>1e-6
-0.0000
d=-df/norm(df);
t=1;f=detaf(x+t*d);
while f>f0
f0 =
t=t/2; f=detaf(x+t*d);
end
1.0389e-13
编写主程序newton.m如下
0
clc
0
x=[2;2];
[f0,g,G]=nwfun(x);
k=0;
f0 =
while norm(g)>1e-6
d=-inv(G)*g;
0
x=x+d;
[f0,g,G]=nwfun(x);
k=k+1;
k=
end
x, f0,k
1
定理3.3.1 给定对称正定矩阵Q Rnn及向量q Rn ,设 f (x) 1 xTQx qT x, 那么，从任意初始点x0出发，算
2.1 斐波那契法
引入斐波那契数列：令
F0=F1=1, Fn=Fn-1+Fn-2, n=2,3,4,… 即得数列：1，1，2，3，5，8，13，… 称Fn为第n个 斐波那契数。
6-3无约束非线性规划问题的求解
使得 f ( x k k d k ) min f ( x k d k )。
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
二、共轭梯度法 1. 共轭方向与正定二次函数 设A为n×n对称正定阵，X和Y是n维欧氏空间En中的两个 向量，若有 XTAY=0， 则称X和Y关于A共轭，或X和Y关于A正交。 n p , p , , p E 设A为n×n对称正定阵，若向量组 1 2 中任 n 意两个向量关于A共轭，即满足条件 piT Ap j 0 (i j; i, j 1,2,, n) ，则称该向量组为A共轭。 定理6-11 设为A为n×n对称正定阵，p1 , p2 ,, pn 为A共轭 的非零向量，则这一向量组线性无关。 证 设有实数k1 , k 2 ,, k n ，使得 k1 p1 k 2 p2 k n pn 0 0 i=1,2,…,n 用 piT A 左乘上式得： ki piT Api ， T 但 pi 0 且A为正定，从而 pi Api 0 故必有 ki 0 (i 1,2,, n) ，从而知 p1 , p2 ,, pn线性无关。
o
d (1)T Ad ( 2) 0,
即等值面上一点处的切 向量与由这一点指向极小点的向量关于A 共轭。
p0 , p1 ,, pk 1 (k n) 定理6-12 设 f ( X )是上面讲的二次正定函数， 为A共轭，则从任一点X 0出发，依次沿 p0 , p1 ,, pk 1 执行一维搜索，即 * min f ( X p ) f ( X k k k k pk )
2 f ( x ) A,
因为A 正定，所以 2 f ( x ) A 0 ,
x
第三节：非线性无约束最优化方法
0
进行一维搜索，即求，使得
f ( x ( k ) k g ( k ) ) min f ( x ( k ) g ( k ) )
令
x (k 1) x (k ) k g (k ) ,
置k=k+1
例2-1：用最速下降法求二元目标函数
的极小点，设初始点x(0)=(3,2)T,ε=10-3； 解：①▽f(x)=（ g 2 因为
返回
基本思想
坐 标 轮 换 法
求n元目标函数f(x)极小点的问题 沿坐标方向的 优化问题
1）坐标轮换法作为下降迭代算法，一般说来应该逐步逼近目 标函数的极小点，但在某些特殊情况下，有可能失效 如目标函数等高线图存在“脊线”， x 2 x* 迭代恰好是“脊线”上某个“脊点”P时， P 函数沿各坐标方向的一维搜索和探测 x1 都将失败，按算法规定，P即成为一 个极小点的近似点。 实际上这是一种假收敛，但这种情况较少见。
x(1)=x(0)-λ0g(0)=
②从x(1)出发进行第二轮迭代:
g(1)= ▽f(x(1))=(2/5,-2/5)T,
g ( 1 ) ,再求出 由于
f (X
(1)
2 2 8 1 g ) 15 25 5
(1)
的极小值为λ1=6/5,令
X
( 2)
X
(1)
1 g
迭 代 步 骤
x k 1 x k k Zk k : k 1
否
xmin xk
Zk 2f (xk )-1f (xk )
求k : minf(xk Zk ) f (xk k Zk )
是
f 例：( x) x
0.1
2 1
x x 2 x x 8x x
进行一维搜索，即求，使得
f ( x ( k ) k g ( k ) ) min f ( x ( k ) g ( k ) )
令
x (k 1) x (k ) k g (k ) ,
置k=k+1
例2-1：用最速下降法求二元目标函数
的极小点，设初始点x(0)=(3,2)T,ε=10-3； 解：①▽f(x)=（ g 2 因为
返回
基本思想
坐 标 轮 换 法
求n元目标函数f(x)极小点的问题 沿坐标方向的 优化问题
1）坐标轮换法作为下降迭代算法，一般说来应该逐步逼近目 标函数的极小点，但在某些特殊情况下，有可能失效 如目标函数等高线图存在“脊线”， x 2 x* 迭代恰好是“脊线”上某个“脊点”P时， P 函数沿各坐标方向的一维搜索和探测 x1 都将失败，按算法规定，P即成为一 个极小点的近似点。 实际上这是一种假收敛，但这种情况较少见。
x(1)=x(0)-λ0g(0)=
②从x(1)出发进行第二轮迭代:
g(1)= ▽f(x(1))=(2/5,-2/5)T,
g ( 1 ) ,再求出 由于
f (X
(1)
2 2 8 1 g ) 15 25 5
(1)
的极小值为λ1=6/5,令
X
( 2)
X
(1)
1 g
迭 代 步 骤
x k 1 x k k Zk k : k 1
否
xmin xk
Zk 2f (xk )-1f (xk )
求k : minf(xk Zk ) f (xk k Zk )
是
f 例：( x) x
0.1
2 1
x x 2 x x 8x x
非线性规划—无约束问题132页PPT
非线性规划—无约束问题
51、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
132
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
51、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
132
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束非线性规划
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x ) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
⑤ 令k k 1, 转② Nhomakorabeaak 1 ak b k 1 k ④ k 1 k k 1 ak 1 0.382(bk 1 ak 1 )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3 eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000 fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
牛顿法 用基本牛顿法求无约束问题 min f ( x), x R的基本算法步骤 step1.给定初始点x0 , 精度 0, 令k 0; step 2.若 | f ( xk ) | , 停止，极小点为xk ; f ( xk ) step3.令xk 1 = xk ； f ( xk ) step 4.令k k 1, 转step 2.
k T
q k (d ) =f ( xk ) + 2 f ( xk )d =0 得 d [ 2 f ( xk )]1 f ( xk )
#
一维搜索——牛顿法
即 d =xk 1 xk = [ 2 f ( xk )]1 f ( xk ) 从而 xk 1 = xk [ 2 f ( xk )]1 f ( xk ) 若f ( x)为一元函数，则有迭代式 f ( xk ) xk 1 = xk f ( xk )
#
• • • • • • • • • • • • • • • • • • • • • • • •
function [x,minf] = minNewton(f,x0,eps) format long; if nargin == 2 eps = 1.0e-6; end df = diff(f); d2f = diff(df); k = 0; tol = 1; while tol>eps dfx = subs(df,findsym(df),x0); if diff(d2f) == 0 d2fx = double(d2f); else d2fx = subs(d2f,findsym(d2f),x0); end x1 = x0 - dfx/d2fx; k = k + 1; tol = abs(dfx); x0 = x1; end x = x1; minf = subs(f,findsym(f),x); format short;
牛顿法程序
#
最速下降法和共轭梯度法
最速下降法是以负梯度方向作为下降方向的极小化 算法，又称梯度法，是1874年法国科学家Cauchy提出的。 最速下降法是无约束最优化中最简单的方法。
设目标函数f(x)在xk附近连续可微，且gk f ( xk ) 0. 将f ( x )在xk 处Taylor 展开,
x ( k 1) x ( k ) k d ( k ) 其中k 称为步长，d ( k ) 称为搜索方向。通过迭代方式得到点列{x ( k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x ( k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
的值越大，函数f ( x )在xk 处下降量越大。由Cauchy Schwartz 不等式：
T |gk d k | ||d k ||||gk || T T 可知，当且仅当d k gk时，gk d k 最小， gk d k 最大，从而
gk 是最速下降方向。以-gk 为下降方向的方法叫最速下降法。
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
② 否则，当f (k ) f ( k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
这就是牛顿法迭代公式。相应的算法成为牛顿法. 令Gk 2 f ( xk ), g k f ( xk ), 则牛顿法迭代公式为 xk 1 = xk Gk 1 g k
#
一维搜索——牛顿法
对于正定二次函数，牛顿法一步即可达到最优解。 对于一般非二次函数，牛顿法并不能保证经过有限次迭 代法求得最优解，但如果初始点充分靠近极小点，牛顿 法的收敛速度一般是很快的。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
#
一维搜索——牛顿法
牛顿法的基本思想是利用目标函数f ( x)在迭代点xk 处的 二次Taylor展开作为模型函数，并用这个二次模型函数 的极小点序列去逼近目标函数的极小点。
设f ( x)二次连续可微，xk R n , Hesse矩阵 2 f ( xk )正 定。我们在xk附近用二次Taylor展开近似f , 1 T 2 f ( xk d ) q (d ) f ( xk ) f ( xk ) d d f ( xk )d 2 其中d x xk , q k (d )为f ( x)的二次近似。将上式极小化, 即
end k = k+1; tol = abs(b - a); end if k == 100000 disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
#
最速下降法
事实上，最速下降方向也可以这样来考虑。因为目标函数 f 沿方向d的变化率是g ( xk )T d , 故最速下降的单位方向d 是问题 min d s.t. 的解。注意到
f ( x
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x ) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
⑤ 令k k 1, 转② Nhomakorabeaak 1 ak b k 1 k ④ k 1 k k 1 ak 1 0.382(bk 1 ak 1 )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3 eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000 fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
牛顿法 用基本牛顿法求无约束问题 min f ( x), x R的基本算法步骤 step1.给定初始点x0 , 精度 0, 令k 0; step 2.若 | f ( xk ) | , 停止，极小点为xk ; f ( xk ) step3.令xk 1 = xk ； f ( xk ) step 4.令k k 1, 转step 2.
k T
q k (d ) =f ( xk ) + 2 f ( xk )d =0 得 d [ 2 f ( xk )]1 f ( xk )
#
一维搜索——牛顿法
即 d =xk 1 xk = [ 2 f ( xk )]1 f ( xk ) 从而 xk 1 = xk [ 2 f ( xk )]1 f ( xk ) 若f ( x)为一元函数，则有迭代式 f ( xk ) xk 1 = xk f ( xk )
#
• • • • • • • • • • • • • • • • • • • • • • • •
function [x,minf] = minNewton(f,x0,eps) format long; if nargin == 2 eps = 1.0e-6; end df = diff(f); d2f = diff(df); k = 0; tol = 1; while tol>eps dfx = subs(df,findsym(df),x0); if diff(d2f) == 0 d2fx = double(d2f); else d2fx = subs(d2f,findsym(d2f),x0); end x1 = x0 - dfx/d2fx; k = k + 1; tol = abs(dfx); x0 = x1; end x = x1; minf = subs(f,findsym(f),x); format short;
牛顿法程序
#
最速下降法和共轭梯度法
最速下降法是以负梯度方向作为下降方向的极小化 算法，又称梯度法，是1874年法国科学家Cauchy提出的。 最速下降法是无约束最优化中最简单的方法。
设目标函数f(x)在xk附近连续可微，且gk f ( xk ) 0. 将f ( x )在xk 处Taylor 展开,
x ( k 1) x ( k ) k d ( k ) 其中k 称为步长，d ( k ) 称为搜索方向。通过迭代方式得到点列{x ( k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x ( k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
的值越大，函数f ( x )在xk 处下降量越大。由Cauchy Schwartz 不等式：
T |gk d k | ||d k ||||gk || T T 可知，当且仅当d k gk时，gk d k 最小， gk d k 最大，从而
gk 是最速下降方向。以-gk 为下降方向的方法叫最速下降法。
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
② 否则，当f (k ) f ( k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
这就是牛顿法迭代公式。相应的算法成为牛顿法. 令Gk 2 f ( xk ), g k f ( xk ), 则牛顿法迭代公式为 xk 1 = xk Gk 1 g k
#
一维搜索——牛顿法
对于正定二次函数，牛顿法一步即可达到最优解。 对于一般非二次函数，牛顿法并不能保证经过有限次迭 代法求得最优解，但如果初始点充分靠近极小点，牛顿 法的收敛速度一般是很快的。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
#
一维搜索——牛顿法
牛顿法的基本思想是利用目标函数f ( x)在迭代点xk 处的 二次Taylor展开作为模型函数，并用这个二次模型函数 的极小点序列去逼近目标函数的极小点。
设f ( x)二次连续可微，xk R n , Hesse矩阵 2 f ( xk )正 定。我们在xk附近用二次Taylor展开近似f , 1 T 2 f ( xk d ) q (d ) f ( xk ) f ( xk ) d d f ( xk )d 2 其中d x xk , q k (d )为f ( x)的二次近似。将上式极小化, 即
end k = k+1; tol = abs(b - a); end if k == 100000 disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
#
最速下降法
事实上，最速下降方向也可以这样来考虑。因为目标函数 f 沿方向d的变化率是g ( xk )T d , 故最速下降的单位方向d 是问题 min d s.t. 的解。注意到
f ( x