第三章一维优化方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章一维优化方法
(k+1) (k) (k) (k)
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三问章一维题优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，此区
间必须包含函数的极小点 x*，因此搜索区间必 须是单峰区间，即该区间内的函数值呈
插入点x1,x第2三的章一维位优化置方法 相对于区间[a,b]
第三章一维优化方法
黄金分割法
除对称性要求外，保留的区间内再插 入一点所形成的区间新三段，与原来区 间的三段应具有相同的比例分布。设原 区间长度为l如图3.8所示，保留区间长度
为，区间缩短率为 。进行第二次缩短
时，新点为x3 ,设y1>f(x3)则新区间为 [a,x1]为保持相同的区间缩短率，应有
一维优化方法
一维搜索方法概述
初始搜索区间的确定
一维搜索的最优化方法 1、格点法 2、黄金分割法 3、二次插值法 教学要求： 1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法
第三章一维优化方法
一维搜索方法概述
在优化设计的迭代运算中，在搜索方
向s(k)上寻求最优步长 (k) 的方法称一维
格点法流程图
第三章一维优化方法
黄金分割法
黄金分割法适用于[a,b]区间上的任 何单峰函数求极小值问题。对函数除要 求单峰外不作其它要求，甚至可以不连 续。因此，这种方法的适应面相当广。 一、黄金分割法的原理
在搜索区间[a,b]内适当插入两点 x1,x2 ，并计算其函数值。 x1,x2 将区间分 为三段，通过比较函数值的大小，删除 其中的一段，使搜索区间缩短。然后再 在保留下来的区间上作同样处理，如此 迭代下去，使搜索区间无限缩小，从而 得到极小点的近似值。
（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具 有相同的缩短率0.618。
x1=a+ 第0三.章3一8维优2化(方b法 -a)
第三章一维优化方法
黄金分割法
二、黄金分割法的搜索过程 1、给出初始搜索区间[a,b]及收敛精度。 2、按坐标点计算公式计算，并计算相应的函数值 3、缩短搜索区间 4、检查是否满足收敛条件 5、若满足收敛条件，则取最后两点的平均值作为极
搜索法。实际上一维搜索法就是一元函 数极小化的数值迭代算法，其求解过程 称为一维搜索。
一维搜索法是非线性优化方法的基本 算法，多元函数的迭代算法都可以归结 为在一系列逐步产生的下降方向上的一 维搜索。例如：下图所示的二维优化的 例子。
注意：二维优化问题的一维搜索方向 s(k)是由具体的优化方法决定的，迭代公 式
2、若y2>y3，则继续后退搜索，各点
变换如下： x1 x2 ，y1 y2 x2 x3 ，y2 y3
然后步长加倍，取新点x3，重复上述比 较y2与y3的大小，直至出现y1> y2<y3时， 令a x3，b 第三x章1一，维优化从方法而构成搜索区间
四、进退法确定搜索区间的流程图
第三章一维优化方法
如图所示两种情况 1、若y2 <y1 ，则极小点位于x1点右方，
应继续前进搜索。 2、若y2>y1 ，则极小点位于x1点左方，
应反向后退搜索。
第三章一维优化方法
确定初始搜索区间的进退法
第三章一维优化方法
确定初始搜索区间的进退法
二、前进搜索
令h h0，并使步长加倍h2h，取得
前进方向的x3点，x3 x2+h=x2+2h0，其 函数值y3与y2比较有如下情况：
现“高-低-高”的趋势。如图所示，通过 将搜索区间[a,b]逐渐缩小，直至足够小，就可以得
到近似最优点。
第三章一维优化方法
确定初始搜索区间的进退法
一、试探搜索极小点位置 设函数为 y=f(x) ,给定初始点为x1 ，选
定的初始步长为h0。
由初始点x1沿x轴正向取x2点，
x2=x1+h0，计算x1 、x2的函数值y1 、y2 ， 比较y1 、y2 的大小，则极小点的位置有
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛精 度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … , xn。
区间被分为n+1b等分a，个分点坐标为 x1an1k (k1,2,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取最 小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内 必包含极小点，取[x m-1 , xm+1]为缩短后新区间，若新
第三章一维优化方法
一维搜索的最优化方法
在确定了搜索区间以后，一维优化的 任务是采用某种方法将此区间逐步缩小， 在满足收敛精度或迭代精度的情况下， 使其达到包含极小点的一个很小的邻域， 以取得一个近似的最优点。
一维优化的方法有如下几种： 1、格点法 2、黄金分割法 3、二次插值法
第三章一维优化方法
1、若y2<y3，则有y1> y2<y3，此时函 数f(x)在[x1,x3]必有极小点，故令a x1， b x3，从而构成搜索区间[a,b]
2、若y2>y3，则继续前进搜索，各点
变换如下： x1 x2 ，y1 y2 x2 x3 ，y2 y3
然后步长加倍，取新点x3，重复上述比 较y2与y3的大小，直至出现y1> y2<y3时， 令a x1，b 第三x章3一，维优化从方法而构成搜索区间
确定初始搜索区间的进退法
三、后退搜索 令h -h0，并将x1与 x2对调，使步长
加倍h2h，取得x3点，x3 x2+h，其
函数值y3与y2比较有如下情况： 1、若y2<y3，则有y1> y2<y3，此时函
数f(x)在[x3,x1]必有极小点，故令a x3， b x1，从而构成搜索区间[a,b]
区间满足收敛条件x m+1- x m+1 ，则最优解为x* xm ，
y* ym 若不能满足精度要求，把当前区间作为初始搜索区间， 重复上述步骤直至满足精度为止。
第三章一维优化方法
格点法
y1 新区间
a x1
ym-1 xm-1
ym xm
ym+
1
xm+1
Fra Baidu bibliotek格点法的区间缩短
第三章一维优化方法
yn xn b
(k+1) (k) (k) (k)
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三问章一维题优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，此区
间必须包含函数的极小点 x*，因此搜索区间必 须是单峰区间，即该区间内的函数值呈
插入点x1,x第2三的章一维位优化置方法 相对于区间[a,b]
第三章一维优化方法
黄金分割法
除对称性要求外，保留的区间内再插 入一点所形成的区间新三段，与原来区 间的三段应具有相同的比例分布。设原 区间长度为l如图3.8所示，保留区间长度
为，区间缩短率为 。进行第二次缩短
时，新点为x3 ,设y1>f(x3)则新区间为 [a,x1]为保持相同的区间缩短率，应有
一维优化方法
一维搜索方法概述
初始搜索区间的确定
一维搜索的最优化方法 1、格点法 2、黄金分割法 3、二次插值法 教学要求： 1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法
第三章一维优化方法
一维搜索方法概述
在优化设计的迭代运算中，在搜索方
向s(k)上寻求最优步长 (k) 的方法称一维
格点法流程图
第三章一维优化方法
黄金分割法
黄金分割法适用于[a,b]区间上的任 何单峰函数求极小值问题。对函数除要 求单峰外不作其它要求，甚至可以不连 续。因此，这种方法的适应面相当广。 一、黄金分割法的原理
在搜索区间[a,b]内适当插入两点 x1,x2 ，并计算其函数值。 x1,x2 将区间分 为三段，通过比较函数值的大小，删除 其中的一段，使搜索区间缩短。然后再 在保留下来的区间上作同样处理，如此 迭代下去，使搜索区间无限缩小，从而 得到极小点的近似值。
（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具 有相同的缩短率0.618。
x1=a+ 第0三.章3一8维优2化(方b法 -a)
第三章一维优化方法
黄金分割法
二、黄金分割法的搜索过程 1、给出初始搜索区间[a,b]及收敛精度。 2、按坐标点计算公式计算，并计算相应的函数值 3、缩短搜索区间 4、检查是否满足收敛条件 5、若满足收敛条件，则取最后两点的平均值作为极
搜索法。实际上一维搜索法就是一元函 数极小化的数值迭代算法，其求解过程 称为一维搜索。
一维搜索法是非线性优化方法的基本 算法，多元函数的迭代算法都可以归结 为在一系列逐步产生的下降方向上的一 维搜索。例如：下图所示的二维优化的 例子。
注意：二维优化问题的一维搜索方向 s(k)是由具体的优化方法决定的，迭代公 式
2、若y2>y3，则继续后退搜索，各点
变换如下： x1 x2 ，y1 y2 x2 x3 ，y2 y3
然后步长加倍，取新点x3，重复上述比 较y2与y3的大小，直至出现y1> y2<y3时， 令a x3，b 第三x章1一，维优化从方法而构成搜索区间
四、进退法确定搜索区间的流程图
第三章一维优化方法
如图所示两种情况 1、若y2 <y1 ，则极小点位于x1点右方，
应继续前进搜索。 2、若y2>y1 ，则极小点位于x1点左方，
应反向后退搜索。
第三章一维优化方法
确定初始搜索区间的进退法
第三章一维优化方法
确定初始搜索区间的进退法
二、前进搜索
令h h0，并使步长加倍h2h，取得
前进方向的x3点，x3 x2+h=x2+2h0，其 函数值y3与y2比较有如下情况：
现“高-低-高”的趋势。如图所示，通过 将搜索区间[a,b]逐渐缩小，直至足够小，就可以得
到近似最优点。
第三章一维优化方法
确定初始搜索区间的进退法
一、试探搜索极小点位置 设函数为 y=f(x) ,给定初始点为x1 ，选
定的初始步长为h0。
由初始点x1沿x轴正向取x2点，
x2=x1+h0，计算x1 、x2的函数值y1 、y2 ， 比较y1 、y2 的大小，则极小点的位置有
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛精 度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … , xn。
区间被分为n+1b等分a，个分点坐标为 x1an1k (k1,2,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取最 小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内 必包含极小点，取[x m-1 , xm+1]为缩短后新区间，若新
第三章一维优化方法
一维搜索的最优化方法
在确定了搜索区间以后，一维优化的 任务是采用某种方法将此区间逐步缩小， 在满足收敛精度或迭代精度的情况下， 使其达到包含极小点的一个很小的邻域， 以取得一个近似的最优点。
一维优化的方法有如下几种： 1、格点法 2、黄金分割法 3、二次插值法
第三章一维优化方法
1、若y2<y3，则有y1> y2<y3，此时函 数f(x)在[x1,x3]必有极小点，故令a x1， b x3，从而构成搜索区间[a,b]
2、若y2>y3，则继续前进搜索，各点
变换如下： x1 x2 ，y1 y2 x2 x3 ，y2 y3
然后步长加倍，取新点x3，重复上述比 较y2与y3的大小，直至出现y1> y2<y3时， 令a x1，b 第三x章3一，维优化从方法而构成搜索区间
确定初始搜索区间的进退法
三、后退搜索 令h -h0，并将x1与 x2对调，使步长
加倍h2h，取得x3点，x3 x2+h，其
函数值y3与y2比较有如下情况： 1、若y2<y3，则有y1> y2<y3，此时函
数f(x)在[x3,x1]必有极小点，故令a x3， b x1，从而构成搜索区间[a,b]
区间满足收敛条件x m+1- x m+1 ，则最优解为x* xm ，
y* ym 若不能满足精度要求，把当前区间作为初始搜索区间， 重复上述步骤直至满足精度为止。
第三章一维优化方法
格点法
y1 新区间
a x1
ym-1 xm-1
ym xm
ym+
1
xm+1
Fra Baidu bibliotek格点法的区间缩短
第三章一维优化方法
yn xn b