最优化方法考试大纲

1. 下降算法一维搜索定义： ()min ()k k k k f x d f x d λλ+=+ ，若令()()k k f x d ϕλλ=+ ，则优化问题等价为: min ()RR R λϕϕλ∈→ 。

一维搜索的几何意义：在搜索方向上所得最优点处的梯度和该搜索方向正交：1()0k T k f x d +∇= 。

一维搜索的分类精确一维搜索(函数值下降最多)1) 区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。

2) 函数逼近法(插值法)：用比较简单函数的极小值点近似代替原函数的极小值点。

从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。

3) 利用《数值分析》中的求根法。

非精确的一维搜索通过计算少量的函数值，得到一步长k λ，使得后续迭代点1k k k x x d λ+=+满足1()()k k f x f x +<，即使目标函数要“充分”，下降。

Goldstein 准则 Armijo 准则 Wolfe 准则确定初始区间优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。

若一维搜索的最优解[a,b]λ*∈ ，则称区间[a ，b]为一维最优化问题的搜索区间；若进一步优化函数()ϕλ在区间[a,]λ*严格单调递减，[,]b λ*严格单调递增，则称区间[a ，b]为单峰区间，()ϕλ是[a,b]上的单峰函数。

精确一维搜索确定区间的方法进退法①己知搜索起点和初始步长；②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向； ③如果函数值下降，则维持原来的试探方向，并将步长加倍。

进退法计算流程：步骤1：选取初始点x R ∈，初始步长0h >及精度0ε>，计算0()f x ϕ=并记:0k =步骤2：令1k k h λλ+=+，计算11()k k f ϕλ++= .步骤3：若1k k ϕϕ+<搜索成功，转步骤4；否则，搜索失败，转步骤5 步骤4：1:k k ϕϕ+=，:2h h = ，1k k =+ 转步骤2步骤5：反向搜索，若0k =，令h h =-，转步骤2；否则停止迭代黄金分割法（0.618法）黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。

抛物线法抛物线法是插值方法的一种，其思想是利用多个函数值和导数值构造插值多项式，用多项式的最优值来逼近原函数的最优值。

抛物线法属于3点二次插值。

_11213212113121213231/2()2, c x a a x x c f f c f f x x c c x x x x ⎧=-=+-⎪⎪⎪-⎨-⎪--==⎪--⎪⎩抛物线法计算流程：三次插值法三次插值法的思想同样是利用多个函数值和导数值构造插值多项式，用多项式的最优值来逼近原函数的最优值，逼近函数是利用两点的函数值和导数值构造的3次插值多项式。

32()()()()p A a B a C a D αααα=-+-+-+a α=牛顿法根据最优性条件，一维搜索问题的最优解λ 应该满足'()0ϕλ= ，则问题转化为非线性方程求根问题。

'1''()()k k k k x x x x ϕϕ+=-牛顿法也可认为是一类函数逼近方法，一点2次插值。

'''21()()()()()()2k k k k k x x x x x x x x ϕϕϕϕ≈+-+-也可以根据函数连续性，用二分法进行非线性方程求根运算精确一维搜索的收敛性为了保证方法的下降性，避免搜索方向和负梯度方向正交的情形，假定,;0,[0,]22k k k ππθμμθ≤-∀>∈k θ 为搜索方向和负梯度方向的夹角。

定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索中采用精确搜索技术，则0k g = ，或(x )k f →-∞ 或0k g →不精确搜索1) 精确搜索计算量较大，特别是当迭代点远离最优解时，效率很低；而且，很多最优化方法的收敛速度并不依赖于精确一维搜索的过程。

2) 自从Armijo(1966), Goldstein(1965)提出了不精确线性搜索方法以后，不精确线性搜索由于计算量小、效率高成了现在流行的线搜索方法。

3) 在非精确一维搜索中，通常要求1()k f x + 比()k f x 下降一定的数量，从而使得1()()k k f x f x +-达到一个满意水平，此时的k λ 就是可接受步长，并非精确求解一维最优化问题。

4)实践证明：非精确一维搜索方法可大大节省计算量，且总体上有较快的收敛速度。

不用寻找单谷区间。

Armijo-Goldstein准则Armijo-Goldstein准则计算流程：Wolfe准则Wolfe准则计算流程：不精确一维搜索的收敛性 为了保证方法的下降性，避免搜索方向和负梯度方向正交的情形，假定,;0,[0,]22k k k ππθμμθ≤-∀>∈ k θ 为搜索方向和负梯度方向的夹角。

定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索中采用Goldstein 准则，则0k g = ，或(x )k f →-∞ 或0k g →定理：若目标函数连续可微有下界，且在水平集上一致连续，搜索方向满足夹角条件，一维搜索中采用Wolfe 准则，则lim 0k k g →∞=一维搜索方法评述1. 如目标函数能求二阶导数：用Newton 法，收敛快。

2. 如目标函数能求一阶导数 ：1) 如果导数容易求出，考虑用三次插值法，收敛较快；2) 对分法、收敛速度慢，但可靠；3) 二次插值法如割线法也可选择。

3. 只需计算函数值的方法 ：1) 二次插值法, 收敛快，但对函数单峰依赖较强；2) 黄金分割法收敛速度较慢，但实用性强，可靠；4. 减少总体计算时间：非精确一维搜索方法更加有效。

最速下降法假设f 连续可微，取()k k d f x =-∇ ,0()min ()k k k k k f x d f x d λλλ≥+=+ 步长k λ 由精确一维搜索得到。

从而得到第1k + 次迭代点，即：1()k k k k k k k x x d x f x λλ+=+=-∇负梯度方向()k k d f x =-∇是函数值减小最快的方向。

最速下降法的计算流程1) 选定某一初始点0x ，0ξ> 并令:0k =2) 若()k f x ξ∇≤ ，则k x x *≈ ，否则转（3）；3) ()k k d f x =-∇4) 由精确一维搜索确定步长k λ，即由一个极小化问题求得最佳步长min ()k k f x d λ+ ，令1k k k k x x d λ+=+，1k k =+ 转（2）.最速下降法的收敛性分析：（收敛性定理）设目标函数()f x 连续可微，且水平集{}0|()()L x f x f x =≤有界，则最速下降法或者在有限迭代步后终止；或者得到点列{}k x ，它的任何聚点都是()f x 的驻点。

（推论）在收敛定理的假设下，若()f x 为凸函数，则最速下降法或在有限迭代步后达到最小点；或得到点列{}k x ，它的任何聚点都是()f x 的全局最小点。

最速下降法的特征：1. 相邻两次迭代的方向互相垂直。

1) 最速下降法在两个相邻点之间的搜索方向是正交的。

2) 最速下降法向极小值点逼近是曲折前进的，这种现象称为锯齿现象。

2. 最速下降法收敛速度慢在最速下降法中，利用精确一维搜索求最佳步长，使得相邻两次迭代的搜索方向总是垂直的，使得逼近极小点过程是“之”字形，这样从任何一个初始点开始，都可以很快到达极小点附近，但是越靠近极小点步长越小，移动越慢，导致最速下降法的收敛速度很慢。

实际运用中，在可行的计算时间内可能得不到需要的结果。

3. 对正定二次函数，用最速下降法产生的点列：偶数项点列均在一条直线上，奇数项点列也均在一条直线上，且都过最优点。

最速下降法的优缺点：优点：理论明确，程序简单，每次的计算量小，所需的存储量小，对初始点要求不严格。

缺点：收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。

一些有效算法是通过对它的改进或利用它与其他收敛快的算法结合而得到的，因此它是无约束优化的方法之一。

最速下降法的改进1) 选择不同初始点2) 采用不精确的一维搜索采用非精确一维搜索求步长, 可使相邻两个迭代点处的梯度不正交，从而改变收敛性。

3) 采用加速梯度法负梯度方向和2k k k d x x -=- 结合。

由于最速下降法在极小点附近成“锯齿”状，因此下降过程中的搜索方向可适时改变搜索方向的正交特性。

开始取负梯度方向，每两步用2k k k d x x -=-产生新的搜索方向，然后继续使用最速下降方向。

两种方向交替使用，实践效果优于单纯使用最速下降方向。

可以利用最速下降法初期搜索效率高的特性，首先使用最速下降法，然后使用其它局部收敛速度快的计算方式。

Newton 法考虑从k x 到1k x+的迭代过程，在k x 点处对函数()f x Tayloy 展开： 221()()()()()()()()2k k T k k T k k k f x f x f x x x x x f x x x o x x =+∇-+-∇-+-略去高阶项21()()()()()()()()2k k T k k T k k f x Q x f x f x x x x x f x x x ≈=+∇-+-∇-令2()()()()0k k k Q x f x f x x x ∇=∇+∇-=，有2()()()k k k f x x x f x ∇-=-∇若Hesse 矩阵2()k f x ∇正定，则()12()k f x -∇存在，由此求出二次函数()Q x 的极小点为：()112()()k k k k x x f x f x -+=-∇∇ 以此1k x + 作为()f x 的极小点x *的一个新的近似。

Newton 法的几何意义二次函数()Q x 的等值线为椭圆族。

1k x +为椭圆中心。

椭圆等值线逼近目标函数等值线。

Newton 法的计算步骤已知目标函数()f x ，给定误差ξ步骤1.选定初始点0x ，计算00()f f x = ，:0k =步骤2.如果()k f x ξ∇≤ ，算法停止，k x x *= ，否则转步骤3.步骤3.计算搜索方向()12()()k k k d f x f x -=-∇∇步骤4.令1k k k x x d +=+，1k k =+ ，转步骤2.Newton 法的优缺点Newton 法的优点1) 当初始点离最优解很近时，算法收敛速度快；2) 算法简单，不需要进行一维搜索(确定步长=1)；3) 对正定二次函数，迭代一次就可得到最优解。