一维搜索--牛顿法
一维牛顿法
一维牛顿法也称为一维牛顿-拉夫逊方法，是一种迭代的优化算法，用于求解一维非线性函数的极值点。
这种方法通过利用函数的二阶导数信息来逼近极值点，并在每次迭代中更新搜索方向，以快速收敛到最优解。
一维牛顿法的具体步骤如下：
初始化：选择初始点x0，并设定迭代终止条件，如迭代次数或函数值的收敛阈值。
计算一阶和二阶导数：计算函数f(x)在当前点xk处的一阶导数f'(xk)和二阶导数f''(xk)。
更新搜索方向和步长：根据二阶导数的信息，计算搜索方向dk和步长αk。
更新当前点：计算新的点xk+1 = xk + αk * dk。
判断终止条件：检查是否满足终止条件，如果满足则停止迭代，否则返回步骤2。
例如，对于函数f ( x ) = x 3 −2 sin ( x ) f(x) = x^3 - 2\sin(x)f(x)=x3−2sin(x)，在A AA点处对函数f ( x ) f(x)f(x)展开，得到近似的二次函数φ( x ) \varphi(x)φ(x)，φ( x ) \varphi(x)φ(x)的最小值在B BB点处取得，高斯牛顿法的下一步迭代点即为与B BB点横坐标相等的C CC点。
如此，只需数次，迭代能够达到很高的精度，可见牛顿法收敛速度快。
第二章一维搜素解析
不存在极值点
当x x0时，f x 0，当x x0时，f x 0，则x0为极小值
当x x0时，f x 0，当x x0时，f x 0，则x0为极大值
又 f x lim f x f x0
xx0 0
x x0
0，极小值
一维函数极值条件： f x0 0，且f x 0，极大值
0，非极值
（1） 如 果 f1
f
，
2
则
留
下
的
区
间
为[a，x2
]
（2） 如 果 f1
f
，
2
则
留
下
的
区
间
为[ x1，b]
（3） 如 果 f1
f
，
2
则
留
下
的
区
间
为[ x1，x2
]
a) f a1 f b1
b) f a1 f b1
迭代
迭代是重复反馈过程的活动，
其目的通常是为了逼近所需目标或结果。
每一次对过程的重复称为一次“迭代”，
B. 当 f1> f2 时，极小点必在[x1, b]中，则
x1 a, x2 x1, f2 f1, x2 a 0.618(b a), f2 f (x2 )
（4）判断是否满足精度要求。若新区间已缩短至预 定精度要求，即 b a ，则转第5）步；否则 转第3）步，进行下一次迭代计算。
迭代
• %求第十个斐波那契数
• a0=0
• a1=1
• for i=2:10
•
a2=a0+a1
•
a0=a1;a1=a2;
• end
•
• %求不大于100的最大斐波那契数
最优化问题的算法迭代格式
最优化问题的算法迭代格式最优化问题的算法迭代格式最优化问题是指在一定的条件下，寻找使某个目标函数取得极值（最大值或最小值）的变量取值。
解决最优化问题的方法有很多种，其中较为常见的是迭代法。
本文将介绍几种常用的最优化问题迭代算法及其格式。
一、梯度下降法梯度下降法是一种基于负梯度方向进行搜索的迭代算法，它通过不断地沿着目标函数的负梯度方向进行搜索，逐步接近极值点。
该方法具有收敛速度快、易于实现等优点，在许多应用领域中被广泛使用。
1. 算法描述对于目标函数 $f(x)$，初始点 $x_0$ 和学习率 $\alpha$，梯度下降算法可以描述为以下步骤：- 计算当前点 $x_k$ 的梯度 $\nabla f(x_k)$；- 更新当前点 $x_k$ 为 $x_{k+1}=x_k-\alpha\nabla f(x_k)$；- 如果满足停止条件，则输出结果；否则返回第 1 步。
2. 算法特点- 沿着负梯度方向进行搜索，能够快速收敛；- 学习率的选择对算法效果有重要影响；- 可能会陷入局部极小值。
二、共轭梯度法共轭梯度法是一种基于线性方程组求解的迭代算法，它通过不断地搜索与当前搜索方向共轭的新搜索方向，并在该方向上进行一维搜索，逐步接近极值点。
该方法具有收敛速度快、内存占用少等优点，在大规模问题中被广泛使用。
1. 算法描述对于目标函数 $f(x)$，初始点 $x_0$ 和初始搜索方向 $d_0$，共轭梯度算法可以描述为以下步骤：- 计算当前点 $x_k$ 的梯度 $\nabla f(x_k)$；- 如果满足停止条件，则输出结果；否则进行下一步；- 计算当前搜索方向 $d_k$；- 在当前搜索方向上进行一维搜索，得到最优步长 $\alpha_k$；- 更新当前点为 $x_{k+1}=x_k+\alpha_k d_k$；- 计算新的搜索方向 $d_{k+1}$；- 返回第 2 步。
2. 算法特点- 搜索方向与前面所有搜索方向都正交，能够快速收敛；- 需要存储和计算大量中间变量，内存占用较大；- 可以用于非线性问题的求解。
-一维搜索示意图
xk 1
xk
f xk f xk
对于多元函数，在 xk 泰勒展开，得
f x x
f xk f xk T x xk 1 x xk T 2 f xk x xk 2 设 xk1 为函数的极小点，根据极值的必要条件
0
d k1 T d k 0
由此可知，在最速下降法中，相邻两个迭代点上的函数 梯度相互垂直。而搜索方向就是负梯度方向，因此相邻 两个搜索方向互相垂直。
例4-1 求目标函数 f x x12 25x22 的极小点。
第三节牛顿型方法
在第三章中，我们已经讨论了一维搜索的牛顿方法。 得出一维情况下的牛顿迭代公式
3、判断 f xk1 是否满足，若满足则打印 xk1
否则转4。
4、提供新的共轭方向 d k 1 ，使 d j T Gd k1 0
5、置 k k 1 ，转2。
第五节 共轭梯度法
共轭梯度法是共轭方向法的一种，共轭向量有迭代点 的负梯度构造出来，所以称共轭梯度法。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
一、尺度矩阵的概念 变量的尺度变换是放大或缩小各个坐标。 通过尺度变换可以把函数的偏心程度降低到最低限度。
对于一般二次函数
f x 1 xTGx bT x c
2 如果进行尺度变换
x1 x0 a0d 0
f f x1 T d 0 0
d x1
x* x1 a1d1
d1 应满足什么条件？
对于二次函数 f x 在 x* 处取得极小点的必要条件
f x* Gx* b 0
牛顿法
如前面所提到的，最速下降法在最初几步迭代中函数值下降很快外，总的说来下降的并不快，且愈接近极值点下降的愈慢。
因此，应寻找使目标函数下降更快的方法。
牛顿法就是一种收敛很快的方法，其基本思路是利用二次曲线来逐点近似原目标函数，以二次曲线的极小值点来近似原目标函数的极小值点并逐渐逼近改点。
一维目标函数()f x 在()k x 点逼近用的二次曲线（即泰勒二次多项式）为()()()()()()21()()()()()()2k k k k k k x f x f x x x f x x x ϕ'''=+-+- 此二次函数的极小点可由()()0k xϕ'=求得。
对于n 维问题，n 为目标函数()f X 在()k X 点逼近用的二次曲线为：()()()()()2()()1()()().[][].().[]2k k k k k T k k X f x f X X X X X f X X X ϕ⎡⎤=+∇-+-∇-⎣⎦令式中的Hessian 2()()()()k k f XH X ∇=，则上式可改写为：()()()()()()()1()()().[][].().[]2()k k k k k T k k X f x f X X X X X H X X X f X ϕ⎡⎤=+∇-+--⎣⎦≈当()0X ϕ∇=时可求得二次曲线()X ϕ的极值点，且当且仅当改点处的Hessian 矩阵为正定时有极小值点。
由上式得：()()()()()()[]k k k X f X H X X X ϕ∇=∇+-令()0X ϕ∇=，则()()()()()[]0k k k f X H X X X ∇+-=若()()k H X为可逆矩阵，将上式等号两边左乘1()()k H X -⎡⎤⎣⎦，则得1()()()()()[]0k k k n H X f X I X X -⎡⎤∇+-=⎣⎦整理后得1()()()()()k k k X X H X f X -⎡⎤=-∇⎣⎦当目标函数()f X 是二次函数时，牛顿法变得极为简单、有效，这时()()k H X 是一个常数矩阵，式()()()()()()()1()()().[][].().[]2()k k k k k T k k X f x f X X X X X H X X X f X ϕ⎡⎤=+∇-+--⎣⎦≈变成精确表达式，而利用式1()()()()()k k k X XH X f X -⎡⎤=-∇⎣⎦作一次迭代计算所得的X 就是最优点*X 。
最优化理论与方法——牛顿法
牛顿法牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。
结合着matlab 可以对其进行应用，求解方程。
牛顿迭代法（Newton Newton’’s s method method ）又称为牛顿-拉夫逊方法（Newton-Raphson method ）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor 展开，并将其极小化。
牛顿法使用函数()f x 的泰勒级数的前面几项来寻找方程()0f x =的根。
牛顿法是求方程根的重要方法之一，其最大优点是在方程()0f x =的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。
收敛。
牛顿法的几何解释：牛顿法的几何解释：方程()0f x =的根*x 可解释为曲线()y f x =与x 轴的焦点的横坐标。
如下图：轴的焦点的横坐标。
如下图：设k x 是根*x 的某个近似值，过曲线()y f x =上横坐标为k x 的点k P 引切线，并将该切线与x 轴的交点轴的交点 的横坐标1k x +作为*x 的新的近似值。
鉴于这种几何背景，牛顿法亦称为切线法。
牛顿法亦称为切线法。
2 牛顿迭代公式：（1）最速下降法：x-d gk k×Gg sks×GGd 101x x x -（1）令k k G v I k G -=+，其中：，其中：0k v =，如果k G 正定；0,k v >否则。
否则。
（2）计算_k G 的Cholesky 分解，_T k k k k G L D L =。
（3）解_k k G d g =-得k d 。
（4）令1k k k x x d +=+牛顿法的优点是收敛快，缺点一是每步迭代要计算()()'k k f x f x 及，计算量较大且有时()'k fx 计算较困难，二是初始近似值0x 只在根*x附近才能保证收敛，如0x 给的不合适可能不收敛。
凸优化之无约束优化（一维搜索方法：二分法、牛顿法、割线法）
凸优化之⽆约束优化（⼀维搜索⽅法：⼆分法、⽜顿法、割线法）1、⼆分法（⼀阶导）⼆分法是利⽤⽬标函数的⼀阶导数来连续压缩区间的⽅法，因此这⾥除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。
（1）确定初始区间的中点 x(0)=(a0+b0)/2 。
然后计算 f(x) 在 x(0) 处的⼀阶导数 f'(x(0))，如果 f'(x(0)) >0 , 说明极⼩点位于 x(0)的左侧，也就是所，极⼩点所在的区间压缩为[a0,x(0)]；反之，如果 f'(x(0)) <0，说明极⼩点位于x(0)的右侧，极⼩点所在的区间压缩为[x(0)，b0]；如果f'(x(0)) = 0，说明就是函数 f(x) 的极⼩点。
（2）根据新的区间构造x(1)，以此来推，直到f'(x(k)) = 0，停⽌。
可见经过N步迭代之后，整个区间的总压缩⽐为（1/2）N，这⽐黄⾦分割法和斐波那契数列法的总压缩⽐要⼩。
1 #ifndef _BINARYSECTION_H_2#define _BINARYSECTION_H_34 typedef float (* PtrOneVarFunc)(float x);5void BinarySectionMethod(float a, float b, PtrOneVarFunc fi, float epsilon);67#endif1 #include<iostream>2 #include<cmath>3 #include "BinarySection.h"45using namespace std;67void BinarySectionMethod(float a, float b, PtrOneVarFunc tangent, float epsilon)8 {9float a0,b0,middle;10int k;11 k = 1;12 a0 = a;13 b0 = b;14 middle = ( a0 + b0 )/2;1516while( abs(tangent(middle)) - epsilon > 0 )17 {18 #ifdef _DEBUG19 cout<<k++<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;20#endif2122if( tangent(middle) > 0)23 {24 b0 = middle;25 }26else27 {28 a0 = middle;29 }30 middle =( a0+b0)/2;31 }3233 cout<<k<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;34 }1 #include<iostream>2 #include "BinarySection.h"345float TangentFunctionofOneVariable(float x)6 {7return14*x-5;//7*x*x-5*x+2;8 }910int main()11 {12 BinarySectionMethod(-50, 50, TangentFunctionofOneVariable, 0.001);13return0;14 }1th iteration:x=0,f'(0)=-52th iteration:x=25,f'(25)=3453th iteration:x=12.5,f'(12.5)=1704th iteration:x=6.25,f'(6.25)=82.55th iteration:x=3.125,f'(3.125)=38.756th iteration:x=1.5625,f'(1.5625)=16.8757th iteration:x=0.78125,f'(0.78125)=5.93758th iteration:x=0.390625,f'(0.390625)=0.468759th iteration:x=0.195312,f'(0.195312)=-2.2656210th iteration:x=0.292969,f'(0.292969)=-0.89843811th iteration:x=0.341797,f'(0.341797)=-0.21484412th iteration:x=0.366211,f'(0.366211)=0.12695313th iteration:x=0.354004,f'(0.354004)=-0.043945314th iteration:x=0.360107,f'(0.360107)=0.041503915th iteration:x=0.357056,f'(0.357056)=-0.001220716th iteration:x=0.358582,f'(0.358582)=0.020141617th iteration:x=0.357819,f'(0.357819)=0.0094604518th iteration:x=0.357437,f'(0.357437)=0.0041198719th iteration:x=0.357246,f'(0.357246)=0.0014495820th iteration:x=0.357151,f'(0.357151)=0.0001144412、⽜顿法（⼆阶导）前提：f 在 [a0,b0] 为单峰函数，且[a0,b0] 在极⼩点附近，不能离的太远否则可能⽆法收敛。
黄金分割法 二次插值 牛顿 matlab 程序一维搜索方法比较
一维搜索方法应用比较一、黄金分割法（1）黄金分割法的起源黄金分割在文艺复兴前后，经过阿拉伯人传入欧洲，受到了欧洲人的欢迎，他们称之为"金法"，17世纪欧洲的一位数学家，甚至称它为"各种算法中最可宝贵的算法"。
这种算法在印度称之为"三率法"或"三数法则"，也就是我们现在常说的比例方法。
其实有关"黄金分割"，我国也有记载。
虽然没有古希腊的早，但它是我国古代数学家独立创造的，后来传入了印度。
经考证。
欧洲的比例算法是源于我国而经过印度由阿拉伯传入欧洲的，而不是直接从古希腊传入的。
因为它在造型艺术中具有美学价值，在工艺美术和日用品的长宽设计中，采用这一比值能够引起人们的美感，在实际生活中的应用也非常广泛，建筑物中某些线段的比就科学采用了黄金分割，舞台上的报幕员并不是站在舞台的正中央，而是偏在台上一侧，以站在舞台长度的黄金分割点的位置最美观，声音传播的最好。
就连植物界也有采用黄金分割的地方，如果从一棵嫩枝的顶端向下看，就会看到叶子是按照黄金分割的规律排列着的。
在很多科学实验中，选取方案常用一种0.618法，即优选法，它可以使我们合理地安排较少的试验次数找到合理的西方和合适的工艺条件。
正因为它在建筑、文艺、工农业生产和科学实验中有着广泛而重要的应用，所以人们才珍贵地称它为"黄金分割"。
我国数学家华罗庚曾致力于推广优选法中的"0.618法"，把黄金分割应用于生活实际及科学应用中。
黄金分割〔Golden Section〕是一种数学上的比例关系。
黄金分割具有严格的比例性、艺术性、和谐性，蕴藏着丰富的美学价值。
应用时一般取0.618 ，就像圆周率在应用时取3.14一样。
由于公元前6世纪古希腊的毕达哥拉斯学派研究过正五边形和正十边形的作图，因此现代数学家们推断当时毕达哥拉斯学派已经触及甚至掌握了黄金分割。
牛顿迭代法
4.优缺点 • 优点：收敛速度快，稳定性好，精度高
• 缺点：在重根附近收敛速度会降阶；每次都要计算函
数及其导数值，计算量大。
• 注解：牛顿法是局部收敛的，所以要求初值选在解的 附近，实际计算时，常先用简单迭代法算几步，估计 出一个质量较好的初值！！
5.牛顿迭代法的改进——弦割法
基本思想：牛顿迭代法每一步要计算 f 和 f ，为了避免计算 导数值，现用 f 的差商近似代替微商 f ，从而得到弦割法。
( x) x
1 f ( x*)2 f ( x*) f ( x*) 1 1 | ( x*) | 1 2 n f ( x*)
f ( x) f ( x )
，则
A1: 有局部收敛性，但重数 n 越高，收敛越慢。 Q2: 如何加速重根的收敛？ A2: 根的重数已知，可将 f 的重根转化为另一函数的单根。
从而可构造出相应的迭代法格式为
xk 1
f ( xk ) f ( xk ) xk [ f ( xk )]2 f ( xk ) f ( xk )
f ( xk ) f ( xk )
若已知根的重数为 n，可将迭代格式改为，
xk 1 xk n k 0,1, 2,
* 则 ( x ) 0 ，所以上述格式是平方收敛的。
割线 切线 收敛比牛顿迭代法慢，且对 初值要求同样高。 x2 x1 x0
切线斜率
割Hale Waihona Puke 斜率f ( xk )( xk xk 1 ) f ( xk ) f ( xk 1 )
f ( x1 )
f ( x1 ) f ( x0 ) x1 x0
xk 1 xk
需要2个初值 x0 和 x1。
最优化理论
一维搜索:1精确一维搜索精确一维搜索可以分为三类：区间收缩法、函数逼近法（插值法）、以及求根法。
区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。
包括：黄金分割法、成功失败法、斐波那契法、对分搜索法以及三点等间隔搜索法等。
优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。
确定初始区间的方法：进退法①已知搜索起点和初始步长；②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向；③如果函数值下降，则维持原来的试探方向，并将步长加倍。
1.1黄金分割法：黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。
具有对称性以及保持缩减比原则。
优点：不要求函数可微，除过第一次外，每次迭代只需计算一个函数值，计算量小，程序简单；缺点：收敛速度慢；函数逼近法（插值法）：用比较简单函数的极小值点近似代替原函数的极小值点。
从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。
1.2牛顿法：将目标函数二阶泰勒展开，略去高阶项后近似的替代目标函数，然后用二次函数的极小点作为目标函数的近似极小点。
牛顿法的优点是收敛速度快，缺点是需要计算二阶导数，要求初始点选的好，否则可能不收敛。
1.2抛物线法：抛物线法的基本思想就是用二次函数抛物线来近似的代替目标函数，并以它的极小点作为目标函数的近似极小点。
在一定条件下，抛物线法是超线性收敛的。
1.3三次插值法：三次插值法是用两点处的函数值和导数值来构造差值多项式，以该曲线的极小点来逼近目标函数的极小点。
一般来说，三次插值法比抛物线法的收敛速度要快。
精确一维搜索的方法选择：1如目标函数能求二阶导数：用Newton法，收敛快。
2如目标函数能求一阶导数：1如果导数容易求出，考虑用三次插值法，收敛较快；2对分法、收敛速度慢，但可靠；3只需计算函数值的方法：1二次插值法, 收敛快，但对函数单峰依赖较强；2黄金分割法收敛速度较慢，但实用性强，可靠；4减少总体计算时间：非精确一维搜索方法更加有效。
三章节一维搜索方法
f x ad f x adTf x 1 ad T G ad
2
f x dTf x 1 2dTGd
2
上式求α旳极值，即求α导数为零。
dTf x *d TGd 0
则
*
dTf x
d T Gd
从上式看，需要求导进行计算，对于函数关系复杂旳， 解析法十分不便。
数值法旳基本思绪：拟定 *旳搜索区间，在不断缩小
a2 a3 y1 a3 a1 y2 a1 a2
a1 a2 a2 a3 a3 a1
y3
所以
p
a1
/
2a2
1 2
a22 a32 a2 a3
y1 a32 a12 y1 a3 a1
y2 a12 a22 y2 a1 a2
y3 y3
令
c1
y3 a3
y1 a1
一、牛顿法（切线法）
一维搜索函数 y f ，假定一给出极小点旳一种很好旳近
似点0 ，因为一种连续可微旳函数在极小点附近与一种二次 函数很接近，所以，在0 点附近用一种二次函数 逼近。
f
f
0
f
0
0
1 2
f
0
0 2
求二次函数 旳极小点作为f 极小点旳新近似点1
1 0 即 f 0 f 0 0 0
P a0 a1 a2 2
它应满足条件 P 1 a0 a11 a212 y1 f 1 （1）
P 2 a0
a12
a2
2 2
y2
f
2
P 3
a0
a13
a2
ห้องสมุดไป่ตู้
2 3
y3
f
3
从极值旳必要条件求得
3.一维搜索方法
1.8 12.096 1.9 14.377
1.8 12.096 1.6 8.488
可得初始搜索区间
1.9 1.8
1.6 1.2
14.377 12.096
8.488 4.584
b 0 . 4 ,
1.6 8.488 1.2 4.584 0.4 5.992
1 . 6 .
a ,
y2 > y1
消去区间[a2,b]，新的搜索区间[a,b]的端点 a=-3不变，而b=a2=1.944
21
例题：黄金分割法（二）
• 依次重复黄金分割法的迭代过程，前五次迭代的结果
迭代序号 0 1 2 3 4 5 a -3 -3 -3 -1.832 -1.832 -1.386 a1 0.056 -1.111 -1.832 -1.111 -1.386 -1.111 a2 1.944 0.056 -1.111 -0.665 -1.111 -0.940 b 5 1.944 0.056 0.056 -0.665 -0.665 y1 0.115 -0.987 -0.306 -0.987 -0.851 比较 ＜ ＜ ＞ ＜ ＞ y2 7.667 0.115 -0.987 -0.888 -0.987
) = y1 - y2 ) = y2 - y3
a1 =
2 2 2 2 2 2 ( x 2 - x 3 )y 1 + ( x 3 - x 1 )y 2 + ( x 1 - x 2 )y 3
( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 ) ( x 2 - x 3 )y1 + ( x 3 - x1 )y 2 + ( x1 - x 2 )y 3 ( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 )
第3章一维优化方法
第3章一维优化方法一维优化方法是数学中用于求解最优化问题的一种重要技术。
在实际问题中，往往需要找到一个函数的最小值或最大值点，一维优化方法就是这样一种方法，可以找到函数在一些区间内的最小值或最大值点。
一维优化方法有很多种，常见的有穷举法、黄金分割法、斐波那契法、抛物线法、割线法、牛顿法等。
不同的方法有不同的适用范围和求解效率，我们可以根据具体问题的特点选择合适的方法进行求解。
穷举法是一种最简单的一维优化方法，它通过遍历函数在给定区间内的所有可能取值，找到其中的最小值或最大值。
穷举法的缺点是计算量大，当问题规模较大时，不适用。
但是它的优点是简单易懂，适用于初学者入门。
黄金分割法是一种较为常用的一维优化方法，它通过划分给定区间，选择区间内一些点进行迭代，不断缩小区间范围，直到找到最优解。
黄金分割法的优点是收敛速度较快，适用于一些比较复杂的问题。
斐波那契法是一种基于斐波那契数列的一维优化方法，它可以在一定程度上提高黄金分割法的效率。
斐波那契法的关键在于选择合适的斐波那契数列作为迭代次数，通过比较函数在斐波那契数列中两个相邻点的取值，确定新的区间范围。
抛物线法是一种通过拟合函数的抛物线来求解最优解的一维优化方法。
它通过选择合适的三个点，构造一个简单的二次函数，找到该函数的极小值点作为最优解。
抛物线法的优点是计算量相对较小，但是在一些复杂的问题中可能不适用。
割线法是一种通过逐步逼近函数极值点的一维优化方法。
它通过选择给定区间上两个初始点，不断用割线近似替代切线，找到极小值点。
割线法的优点是收敛速度快，但是需要在迭代过程中进行导数计算，对于一些无法求导的函数不适用。
牛顿法是一种通过利用函数在一些点处的一阶导数来逼近极值点的一维优化方法。
它通过选择给定区间上一个初始点，利用导数的概念找到极小值点。
牛顿法的优点是收敛速度非常快，但是对于一些无法求导的函数不适用。
综上所述，一维优化方法是数学中用于求解最优化问题的一种重要技术。
第三章-一维搜索方法
数值解法基本思路：
先确定 k 所在的搜索区间，然后根据区间消去法原理 不断缩小此区间，从而获得 k 的数值近似解。
一维搜索一般分为两大步骤： (1)确定初始搜索区间[a，b]，该区间应是包括一维函数 极小点在内的单谷区间。 (2)在单谷区间[a,b]内通过缩小区间寻找极小点。
x2 a 0.618(b a), y2 f (x2 )
否 ba
是
x 0.5(a b)
止
f f (x)
b x2, x2 x1, y2 y1 x1 a 0.382(b a), y1 f (x1)
f
也可采用迭代次数是否大于或等于 k 作终止准则。
y1 y2 x a x1 x2 b
当方向 d k 给定，求最佳步长 k 就是求一元函数
f x k1 f xk kd k k
的极值问题。这一过程被称为一维搜索。
第三章 一维搜索方法
f (x (k+1) ) = min. f (x (k) + α S (k) ) = f (x (k) + α(k) S ( k) )
一维搜索是优化搜索方法的基础。
第三章 一维搜索方法
求解一元函数 a 的极小点 a* ，可用解析法。 f x ad f x adTf x 1 ad T G ad
2
f x dTf x 1 2dTGd
2
上式求α的极值，即求α导数为零。
dTf x *dTGd 0
则
*
dTf x
d T Gd
第三章 一维搜索方法
5
-1.386 -1.111 -0.940 -0.665
最优化第3章一维搜索方法
§3.1 搜索区间的确定
根据函数的变化情况，可将区间分为单峰区间和多峰区间。 所谓单峰区间，就是在该区间内的函数变化只有一个峰值， 即函数的极小值。
§3.4 插值方法
一、牛顿法
f(x)
利用一点的函数值、 一阶导数以及二阶 导数构造二次多项 式。用构造的二次 多项式的极小点作 为原函数极小点的 近似。
φ0(x)
φ1(x) f(x)
x*
x2
x1
x0 x
§3.4 插值方法
一、牛顿法
设f(x)为一个连续可微的函数，则在点x0附近 进行泰勒展开并保留到二次项：
§3.1 搜索区间的确定
f(x)
f(x)
f(a0) f(a0+h)
f(a0+3h)
f(a0-h) f(a0)
f(a0+h)
0 a0 a
a0+h
a0+3h x b
0 a0-h
a0
a
进退试算法的运算步骤如下：
a0+h x b
(1)给定初始点α0和初始步长h (2)将α0及α0+h 代入目标函数 f(x) 进行计算并比较大小
φ0(x)
φ1(x) f(x)
f ′ (x)
x*
x2 x1
x0
φ ′ 1(x) f ′ (x)
x* x2
x1
x0
牛顿法程序框图
开始
x 给定初始点 ，误差 0
,
令k=0
常用的一维搜索方法
§4
牛顿法（Newton）和插值法
§4 .1、Newton法： 对 f (x) 在 x k 点展开： f (x )= f (xk )+ f ′(xk )( x-xk ) +(1/2) f ″(xk )(x-xk )2 + o ||(x- xk) 2 || 取二次式（略去高阶项） g(x) = f (xk) +f ′(xk)(x-xk) + (1/2)f ″(xk)(x-xk)2 用 g(x)作为f (x)的近似，当 f ″(xk) > 0时，其驻点为极小点： g′ (x)= f ′(xk) +f ″(xk)(x - xk )=0 得 xk +1= xk –f '(xk) /f ″(xk). 取 xk +1为新的迭代点。 以上过程即Newton法。 特点：收敛速度快，二阶收敛。缺点：须计算二次导数，对初 始点要求高、局部收敛。
西安电子科技大学 穆学文 18
Newton法算法框
初始 x1 ,ε1, ε2 >0 k=1
︱ f '(xk ) ︱<ε1?
y
停；解 xk
N
停k=k+1
Y
xk +1= xk - f′ (xk ) ／ f″(xk )
Y
| xk +1 - xk |< ε2
N
西安电子科技大学 穆学文 19
西安电子科技大学
穆学文
3
§1
“成功—失败” 法
以下方法称为“成功—失败”法（进退法）： 步骤1：选取初始点 x∈R , 初始步长 h > 0 及精度ε> 0， ϕ11 = f ( x). 步骤2：计算 ϕ22 = f ( x + h). 步骤3：若 ϕ 22 < ϕ11, 搜索成功, 转步骤4；否则，搜索失败， 转步骤5。 步骤4：令 x:= x + h, ϕ11 := ϕ 22, h := 2h 步骤5：判断 h ≤ ε ? 若 h ≤ ε , 停止迭代， x** = x ；否则令 h 转步骤 2。 h=− ,
一维搜索方法
一维搜索方法：（方法比较）“成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。
1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。
此方法可以求最优解所在区间，称为“搜索区间”。
2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。
3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。
以及对称原则、去坏留好原则。
W=0.6184、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。
5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。
把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。
6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。
优点是：收敛速度快，且不要求函数可微。
7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x，在四点中去坏留好，在余下的三点中再作二次插值……8、D.S.C—Powell组合法：几种方法比较：D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。
但：D.S.C—Powell法不一定能收敛到最优解。
最速下降法与修正牛顿法：对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。
目标函数的几种极值求解方法
目标函数的几种极值求解方法题目：()()2221122min -+-x x，取初始点()()Tx 3,11=，分别用最速下降法，牛顿法，共轭梯度法编程实现。
一维搜索法：迭代下降算法大都具有一个共同点，这确实是得到点()k x 后需要按某种规则确定一个方向()k d ，再从()k x 动身，沿方向()k d 在直线（或射线）上求目标函数的极小点，从而得到()k x 的后继点()1+k x ，重复以上做法，直至求得问题的解，那个地点所谓求目标函数在直线上的极小点，称为一维搜索。
一维搜索的方法专门多，归纳起来大体能够分为两类，一类是试探法：采纳这类方法，需要按某种方式找试探点，通过一系列的试探点来确定极小点。
另一类是函数靠近法或插值法：这类方法是用某种较简单的曲线靠近本来的函数曲线，通过求靠近函数的极小点来估量目标函数的极小点。
本文采纳的是第一类试探法中的黄金分割法。
原理书上有详细叙述，在那个地点介绍一下实现过程：⑴ 置初始区间[11,b a ]及精度要求L>0,运算试探点1λ和1μ，运算函数值()1λf 和()1μf ，运算公式是：()1111382.0a b a -+=λ，()1111618.0a b a -+=μ。
令k=1。
⑵ 若L a b k k <-则停止运算。
否则，当()K f λ>()k f μ时,转步骤⑶;当()K f λ≤()k f μ时,转步骤⑷ 。
⑶ 置k k a λ=+1,k k b b =+1,k k μλ=+1,()1111618.0++++-+=k k k k a b a μ,运算函数值()1+k f μ,转⑸。
⑷ 置k k a a =+1,k k b μ=+1,k k μμ=+1,()1111382.0++++-+=k k k k a b a λ,运算函数值()1+k f λ,转⑸。
⑸ 置k=k+1返回步骤 ⑵。
1. 最速下降法实现原理描述：在求目标函数极小值问题时,总期望从一点动身,选择一个目标函数值下降最快的方向,以利于尽快达到极小点,正是基于如此一种愿望提出的最速下降法,同时通过一系列理论推导研究可知,负梯度方向为最速下降方向。