凸优化——无约束问题的梯度方法
无约束优化方法
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束优化方法
无约束优化方法
**一、最速下降法**
最速下降法（Gradient Descent）是一种迭代优化方法，它是在梯度下降算法的基础上，通过更新梯度的方式来实现最优化目标的过程。
它的思想是：从一个初始点出发，沿着梯度方向，使得目标函数值在末尾尽可能的小。
它可以用来优化非线性的最优化问题，此外，它还可以用于估计函数的最小值。
最速下降法中的基本概念是梯度和梯度下降。
梯度描述了梯度函数的变化情况，它可以衡量函数值在特定点的变化程度。
如果梯度更大，则说明函数值发生的变化更大。
梯度下降是按照梯度的反方向进行函数的，它的目标是出函数值较小的点，也就是最优解。
最速下降法的两个基本步骤是：
1）当前点求梯度之后，按梯度负方向，沿着函数曲面降低。
2）每次迭代，都是沿着相反于梯度的方向，更新当前点，并继续。
最速下降法的优势在于：它比较简单，实现方便，只需要计算梯度，就可以出最优解；且它不需要考虑约束条件，也不需要研究局部最优点，所以它的速度比较快。
但最速下降法也有一些缺点：它有可能陷入局部最优；它缺乏判断能力，只能当前梯度的方向。
第三章 无约束最优化--梯度方法(1)
2 做直线搜索 zk 1 LS( zk , - gk ), 计算f k 1 f ( zk 1 ), gk 1 g ( zk 1 ); 3 判定终止准则H是否满足，若满足则打印最优解 z k+1 , f k+1， 终止。否则转2。 将最速下降法用于具有对称正定矩阵Q的二次函数： 1 T f ( z ) z Qz bT z c，可以推出步长公式来 : 2 设第 k 次迭代点为zk 。下面求zk 1的表达式:
f z k f z k 1 f z k f z k f zk
但λ到底取多大，没有统一的标准， λ取小了，收敛太慢，而λ取大 了，又会漏掉极小点。
1 T f ( z ) z Qz , 定理：对于二次函数 2
四 用于二次函数时的收敛速度
为了清除最优步长最速下降法中两个搜索方向正交的不良 后果，人们发明了不少方法，如： （1）选择不同初始点。
例如：对问题： min
取初点
为求 z1 ，沿 f z0 方向从 z0 出发求 f z 的极点，即在线 搜索 min f ( z0 tf z0 )
f ( z) x 25x T z0 2,2 f z0 104 , f z0 4,100T
2 T
* T z ( 0 , 0 ) z 然后再从 1开始迭代，经过10次迭代，近似得最优解
f ( z1 ) 3.686164 .
计算中可以发现，开始几次迭代，步长比较大，函数值下将降 较快但当接近最优点时，步长很小，目标函数值下降很慢。如 T ,0)T虽然后一初点较前一 果不取初点为 z0 (2,2) 而取 z0 (100 初点离最优点 z * (0,0)T 远，但迭代中不出现锯齿现象。这时：
凸优化 梯度方法
凸优化梯度方法嘿，咱今儿来聊聊凸优化和梯度方法。
这俩家伙呀，就像是一对好搭档，在数学和算法的世界里可有着大作用呢！你想想看，凸优化就像是给我们指引了一条最平坦、最直接的路。
它让那些复杂的问题变得有章可循，有法可解。
就好比我们在迷雾中找到了那一束最亮的光，顺着它就能找到正确的方向。
而梯度方法呢，那就是我们前进的脚步呀！它就像是一个聪明的向导，带着我们一步一步地朝着目标前进。
它能告诉我们该往哪里走，怎么走才能最快到达目的地。
比如说吧，我们要去山顶看美丽的风景。
凸优化就帮我们找到了那条最容易爬上去的路，而梯度方法呢，就是我们的脚步，一步一步稳稳地往上走。
如果没有凸优化，我们可能会在山脚下瞎转悠，不知道该往哪里走；要是没有梯度方法，那我们就算知道了路，也没办法真正地走上去呀。
你再想想，在生活中我们不也经常遇到类似的情况吗？我们想要达成一个目标，凸优化就像是我们对目标的清晰认识和规划，知道该往哪个方向努力。
而梯度方法呢，就是我们实际行动中的每一个小步骤，每一次的努力和尝试。
有时候我们可能会遇到一些困难，就像爬山时遇到了陡峭的山坡。
但这时候梯度方法就会告诉我们，要慢慢地、稳稳地走，不要着急，一步一步总能走上去。
这多像我们在生活中遇到挫折时呀，不能一下子就放弃，得慢慢来，一点点地克服。
而且呀，凸优化和梯度方法的结合，那可是威力无穷呢！它们能帮我们解决各种各样的难题，让那些看似不可能的事情变得有可能。
这就像是我们有了一把神奇的钥匙，能打开各种紧闭的大门。
你说神奇不神奇？这就是数学的魅力呀！它能让我们的生活变得更加有序，更加高效。
所以呀，可别小看了这凸优化和梯度方法哦，它们可是有着大本事的呢！咱再想想，要是没有它们，那我们在面对那些复杂的问题时该咋办呢？肯定会手忙脚乱，不知所措吧。
但有了它们，我们就像是有了底气，有了信心，知道只要按照方法来，就一定能找到答案。
总之呢，凸优化和梯度方法就是我们在数学世界里的好伙伴，它们能帮我们披荆斩棘，走向成功。
梯度法求解无约束优化问题
梯度法求解无约束优化问题梯度法是一种常用的无约束优化算法，用于求解目标函数的最小值。
该方法基于目标函数在当前点的梯度方向进行迭代，直到达到最小值或满足停止条件。
下面将从算法原理、步骤、优缺点等方面介绍梯度法求解无约束优化问题。
一、算法原理梯度法是一种基于一阶导数信息的优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
在梯度法中，每次迭代的步长和方向都是由目标函数在当前点的梯度方向决定的。
二、步骤1. 初始化：选择一个初始点$x_0$，设置迭代次数$k=0$。
2. 计算梯度：计算目标函数在当前点$x_k$的梯度$\nabla f(x_k)$。
3. 更新变量：根据梯度方向和步长更新变量$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$，其中$\alpha_k$是步长，可以通过线性搜索或其他方法确定。
4. 判断停止条件：如果满足停止条件，算法结束；否则，令$k=k+1$，返回步骤2。
三、优缺点1. 优点：梯度法是一种简单、易于实现的优化算法，适用于大部分的连续可导函数。
2. 缺点：梯度法存在局部最优解的问题，容易陷入局部最优解而无法找到全局最优解。
此外，如果步长选择不当，可能会导致算法收敛速度慢或不收敛。
四、应用梯度法广泛应用于机器学习、深度学习、信号处理、图像处理等领域。
例如，在机器学习中，梯度法常用于求解线性回归、逻辑回归、神经网络等模型的参数。
总之，梯度法是一种常用的无约束优化算法，其基本思想是在当前点沿着目标函数的梯度方向进行迭代，以期望能够找到函数的最小值。
该算法简单易用，但存在局部最优解和步长选择不当等问题，需要根据具体问题进行调整和优化。
第4章 无约束优化方法
求
令
4 S 0 f X 0 2
0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4
0
f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0
因
5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k
1
由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0
凸优化之无约束优化（一维搜索方法：二分法、牛顿法、割线法）
凸优化之⽆约束优化（⼀维搜索⽅法：⼆分法、⽜顿法、割线法）1、⼆分法（⼀阶导）⼆分法是利⽤⽬标函数的⼀阶导数来连续压缩区间的⽅法，因此这⾥除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。
（1）确定初始区间的中点 x(0)=(a0+b0)/2 。
然后计算 f(x) 在 x(0) 处的⼀阶导数 f'(x(0))，如果 f'(x(0)) >0 , 说明极⼩点位于 x(0)的左侧，也就是所，极⼩点所在的区间压缩为[a0,x(0)]；反之，如果 f'(x(0)) <0，说明极⼩点位于x(0)的右侧，极⼩点所在的区间压缩为[x(0)，b0]；如果f'(x(0)) = 0，说明就是函数 f(x) 的极⼩点。
（2）根据新的区间构造x(1)，以此来推，直到f'(x(k)) = 0，停⽌。
可见经过N步迭代之后，整个区间的总压缩⽐为（1/2）N，这⽐黄⾦分割法和斐波那契数列法的总压缩⽐要⼩。
1 #ifndef _BINARYSECTION_H_2#define _BINARYSECTION_H_34 typedef float (* PtrOneVarFunc)(float x);5void BinarySectionMethod(float a, float b, PtrOneVarFunc fi, float epsilon);67#endif1 #include<iostream>2 #include<cmath>3 #include "BinarySection.h"45using namespace std;67void BinarySectionMethod(float a, float b, PtrOneVarFunc tangent, float epsilon)8 {9float a0,b0,middle;10int k;11 k = 1;12 a0 = a;13 b0 = b;14 middle = ( a0 + b0 )/2;1516while( abs(tangent(middle)) - epsilon > 0 )17 {18 #ifdef _DEBUG19 cout<<k++<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;20#endif2122if( tangent(middle) > 0)23 {24 b0 = middle;25 }26else27 {28 a0 = middle;29 }30 middle =( a0+b0)/2;31 }3233 cout<<k<<"th iteration:x="<<middle<<",f'("<<middle<<")="<<tangent(middle)<<endl;34 }1 #include<iostream>2 #include "BinarySection.h"345float TangentFunctionofOneVariable(float x)6 {7return14*x-5;//7*x*x-5*x+2;8 }910int main()11 {12 BinarySectionMethod(-50, 50, TangentFunctionofOneVariable, 0.001);13return0;14 }1th iteration:x=0,f'(0)=-52th iteration:x=25,f'(25)=3453th iteration:x=12.5,f'(12.5)=1704th iteration:x=6.25,f'(6.25)=82.55th iteration:x=3.125,f'(3.125)=38.756th iteration:x=1.5625,f'(1.5625)=16.8757th iteration:x=0.78125,f'(0.78125)=5.93758th iteration:x=0.390625,f'(0.390625)=0.468759th iteration:x=0.195312,f'(0.195312)=-2.2656210th iteration:x=0.292969,f'(0.292969)=-0.89843811th iteration:x=0.341797,f'(0.341797)=-0.21484412th iteration:x=0.366211,f'(0.366211)=0.12695313th iteration:x=0.354004,f'(0.354004)=-0.043945314th iteration:x=0.360107,f'(0.360107)=0.041503915th iteration:x=0.357056,f'(0.357056)=-0.001220716th iteration:x=0.358582,f'(0.358582)=0.020141617th iteration:x=0.357819,f'(0.357819)=0.0094604518th iteration:x=0.357437,f'(0.357437)=0.0041198719th iteration:x=0.357246,f'(0.357246)=0.0014495820th iteration:x=0.357151,f'(0.357151)=0.0001144412、⽜顿法（⼆阶导）前提：f 在 [a0,b0] 为单峰函数，且[a0,b0] 在极⼩点附近，不能离的太远否则可能⽆法收敛。
凸优化之无约束优化（最小二乘求解过定线性方程组；kaczmarz算法求解未定线性方程组）
凸优化之⽆约束优化（最⼩⼆乘求解过定线性⽅程组；kaczmarz算法求解未定线性⽅程组）1.最⼩⼆乘分析：线性⽅程组：Ax=b，其中，A∈R m×n,m≥n, rank(A)=n,rank(A|b)≠n(即b不属于矩阵A的值域空间b∉R(A)），⽅程组⽆解。
此时求解⽅程组就变成了寻找⼀个向量x，使得║Ax-b║2达到最⼩。
最⼩⼆乘解：如果x*能够使得║Ax-b║2达到最⼩，则称x*为⽅程组的最⼩⼆乘解。
当rank(A)=rank(A|b)=n时，⽅程组有唯⼀解，即为最⼩⼆乘解；当⽆解时，只能有最⼩⼆乘解；当有⽆穷多解时，最⼩⼆乘解有多个。
定理：矩阵A∈R m×n,m≥n，当且仅当rank（A T A）=n时，rank（A）=n；定理：对于Ax=b，当A∈R m×n,m≥n, rank(A)=n时，有唯⼀最⼩⼆乘解x*=（A T A）-1A T b；---（A T A称为格拉姆矩阵）计算机求解⽅法：（1）使⽤多维优化求解极值，如L-M Newton、ConjugateGrdient，QuasiNewton⽅法。
ƒ(x)=║Ax-b║2=(Ax-b)T(Ax-b)=1/2*x T(2A T A)x-x T(2A T b)+b T b（2）递推最⼩⼆乘法：利⽤当前⽅程组得到最⼩⼆乘解，去更新新增⽅程后整个⽅程组的最⼩⼆乘解。
若 x(0)=G0-1A0T b(0),其中，G0=A0T A0,使得║Ax-b║2最⼩，那么新增⽅程组A1x=b(1)（⽤A1和向量b(1)表⽰）后，那么整个问题就成为求解下⾯⽅程组最⼩⼆乘解：其解为：，其中。
做⼀些变换：；，其中因此：，其中其中b(k+1)-A k+1x(k)称为新息，如果新息为零，那么更新得到的x(k+1)就是以前的x(k)；上⾯的迭代公式中包含逆矩阵G k+1-1，下⾯给出其更新公式。
记G k-1为P k，当A k+1只有⼀⾏A k+1=a k+1T时,b(k+1)=b k+1：2.线性⽅程组最⼩范数解：线性⽅程组：Ax=b，其中，A∈R m×n,m≤n, rank(A)=m，⽅程数量不超过未知数数量，因此⽅程组可能存在⽆数个解，但只有⼀个最接近原点的解：minimize ║x║subject to Ax=b定理：Ax=b的解中范数最⼩的解x*是唯⼀的，x*=A T(AA T)-1b.计算机求解⽅法：（1）kaczmarz算法:令a j T表⽰矩阵A的第j⾏，b j表⽰向量b的第j个元素，µ为正实数，满⾜0<µ<2.当时x(0)≠0，算法收敛到集合{x：Ax=b}中唯⼀能够使得距离║x-x(0)║最⼩的点。
第三章--无约束最优化的梯度方法
第三章 无约束最优化的梯度方法1.最速下降法假定我们已经迭代了k 次，获得了第k 个迭代点k x 。
从k x 出发，显然应沿下降方向进行，由于负梯度方向是最速下降方向，因此沿负梯度方向应该是有利的。
因此，取搜索方向)(k k x f p -∇=。
)(1k k k k x f t x x ∇-=+此时有：0)()(1=∇∇+k T k x f x f如将该方法应用于二次函数c x b Qx x x f T T ++=21)(，则可求出k t 的显式表达式。
)()()())(()(1k k k k k k k k k k x f Q t x f x f Q t b Qx b x f t x Q b Qx x f ∇-∇=∇-+=+∇-=+=∇+0)()()()(=∇∇-∇∇k T k k k T k x f Q x f t x f x fkTk kTk k T k k T k k Qg g g g x f Q x f x f x f t =∇∇∇∇=)()()()( 2.Newton 法适用条件：如果目标函数)(x f 在n R 上具有连续的二阶偏导数，其Hesse 矩阵)(x G 正定。
基本想法：考虑从k x 到1+k x 的迭代过程。
在k x 点处用二次函数来逼近)(x f ，即：))(()(21)()()()()(k k T k k T k k x x x G x x x x x g x f x Q x f --+-+=≈0)())(()(=+-=∇k k k x g x x x G x Q)()(11k k k k x g x G x x x -+-==3.共轭方向法与共轭梯度法 1) 共轭方向法定义1:设Q 是n n ⨯对称正定矩阵。
若n 维空间中非零向量系110,...,,-m p p p 满足0=j T i Qp p ，)(1,...,2,1,j i m j i ≠-= ,则称110,...,,-m p p p 是Q 共轭的，或称110,...,,-m p p p 的方向是Q 共轭方向。
第4章 无约束优化方法--梯度法
4-1梯度法1(0,1,2,)k k k k s k α+=+=L xx 1()(0,1,2,)k k k k a f k +=−∇=L x x x 基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
()f −∇x 搜索方向s 取该点的负梯度方向(最速下降方向) ，使函数值在该点附近的范围内下降最快。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有()k f −∇x k α1()[()]min [()]min ()k k k k kk aa f f a f f a f ϕα+=−∇=−∇=x x x x x 根据一元函数极值的必要条件和多元复合函数求导公式，得{}'()[()]()0T k k kk f f f ϕαα=−∇−∇∇=x x x 1[()]()0k T kf f +∇∇=x x 1()0k T ks s +=方法特点（1）初始点可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。
（2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
00102()10424()50100x f x f x =⎡⎤⎡⎤∇==⎢⎥⎢⎥⎣⎦⎣⎦x x 沿负梯度方向进行一维搜索，有01000024()2100f ααα−⎡⎤=−∇=⎢⎥−⎣⎦x x x 0α为一维搜索最佳步长，应满足极值必要条件{}122()min (24)25(2100)min ()f ααααϕα=−+−=x 例4－1 求目标函数的极小点。
解取初始点则初始点处函数值及梯度分别为0[2,2]T=x 2212()25f x x =+x梯度法的特点z（1）理论明确，程序简单，对初始点要求不严格。
机器学习中的凸优化方法
机器学习中的凸优化方法随着大数据和人工智能时代的到来，机器学习已成为许多领域的重要工具和技术。
而在机器学习中，凸优化方法被广泛应用于解决各种问题，如回归分析、分类问题、聚类等。
本文将介绍机器学习中的凸优化方法，包括凸集、凸函数、凸性质、凸优化问题及其求解方法等相关内容。
一、凸集在理解凸优化方法之前，我们需要了解什么是凸集。
凸集是指在空间上的一类具有凸性质的集合，即对于任意两个元素x和y，集合中的所有元素都在x和y的连线上。
换句话说，凸集中的任意两个点都可以通过该点的线性组合得到集合中的任意一点。
凸集的一个重要性质是，凸集的交集仍然是凸集。
例如，在平面坐标系上，只要有一条直线能够将集合划分成两个凸集，那么这个集合就是凸集。
凸集的应用非常广泛，如在数据挖掘中，利用凸包算法可以实现图像处理和目标跟踪等任务。
二、凸函数凸函数也是凸优化方法中的重要概念。
在数学中，凸函数是指函数的对于任意两点的连线上的函数值都大于等于这两点对应函数值的线性组合。
简单来说，如果一个函数的上凸壳与下凸壳重合，就是凸函数。
凸函数具有以下性质：1.如果f(x)是一个凸函数，则在区间[x1,x2]上的任意两个点x1和x2都有f((x1+x2)/2)<= (f(x1)+f(x2))/2；2.如果f(x)是一个凸函数，则f的一阶导数f’也是单调不降的；3.如果f(x)是一个凸函数，则f的二阶导数f’’都大于等于0。
凸函数具有可推广性，它在不同领域中都有着广泛的应用。
在机器学习中，凸函数被广泛应用于解决回归分析、分类问题、聚类等。
三、凸优化问题凸优化问题是指最大化或最小化具有凸性质的目标函数的问题。
它由凸优化模型和算法两部分组成。
凸优化模型是根据凸性质建立的一个数学模型，而算法是用来求解凸优化模型的。
凸优化问题的一般形式为：minimize f(x)subject to g_i(x) <= 0, i = 1, 2, ..., mh_j(x) = 0, j = 1, 2, ..., p其中f(x)是需要最小化的目标函数，g_i(x)是约束条件，h_j(x)是等式约束。
凸优化之无约束优化（一维搜索方法：黄金分割法、斐波那契数列法）
凸优化之⽆约束优化（⼀维搜索⽅法：黄⾦分割法、斐波那契数列法）⽬标函数为⼀元单值函数f：R->R的最⼩化优化问题，⼀般不会单独遇到，它通常作为多维优化问题中的⼀个部分出现，例如梯度下降法中每次最优迭代步长的估计。
⼀维搜索⽅法是通过迭代⽅式求解的，这不同于我们⼈脑的直接通过解表达式求解⽅法。
迭代算法是从初始搜索点x(0)出发，产⽣⼀个迭代序列x(1),x(2),...。
在第k=0,1,2，...次迭代中，通过当前迭代点x(k)和⽬标函数 f 构建下⼀个迭代点x(k+1)。
某些算法可能只需要⽤到迭代点处的⽬标函数值，⽽另⼀些算法还可能⽤到⽬标函数的导数 f'(x)，甚⾄是⼆阶导数 f''(x)。
1、问题描述：如果⼀元单值函数 f:R->R 在闭区间[a0,b0]上是单峰的，求解 f 在该区间上的极⼩点。
2、计算机求解⽅法：以下⽅法的本质是：区间压缩(截取)法，通过不断缩⼩极⼩点所在的区间长度到⾜够的精度⽔平来逼近极⼩点。
（1）黄⾦分割法（每次区间截取⽐例为固定值）第⼀步：初始区间[a0,b0]，设定截取⽐例为 r，则第⼀次挑选两个中间点 a1和 b1，它们满⾜对称要求：a1-a0=b0-b1= r(b0-a0)，显然r<1/2，如果 f(a1) < f(b1)，那么极⼩点应该在区间 [a0,b1] 中; 否则，如 f(a1) >= f(b1)，极⼩点应该位于区间 [a1,b0] 中。
第⼆步：经过第⼀次压缩后，极⼩点所在区间变为[a0,b1]，或者[a1,b0]。
假定为[a0,b1]，下⾯需要第⼆次挑选中间点 a2和 b2 。
为了充分利⽤第⼀次的挑选点信息，减少计算次数，那么第⼆次挑选的点 b2可以取第⼀次的挑选点 a1，这样就只需要计算b2（即a1）在新区间上的对称点 a2 和 f(a2) 。
为了实现这样的想法，那么必须满⾜下⾯的要求: r(b1-a0)= b1 - b2=b1-a1 <=> r[b0-r(b0-a0)-a0]=(1-2r)(b0-a0)<=>r2-3r+1=0<=>1-r=(sqrt(5)-1)/2 = 0.618，即每次截取后保留⽐例为0.618 故称此⽅法为黄⾦分割法。
无约束最优化的常用方法
⽆约束最优化的常⽤⽅法11/22/2017 12:40:56 PM优化问题在很多领域有着重要的应⽤。
为了⽇后查阅⽅便，本⽂列举常见的⽆约束优化⽅法的计算公式。
需要说明的是，本⽂的⼤部分内容选⾃图书《算法笔记》。
⼀、梯度下降法梯度下降法（Gradient Descent Method）也叫做最速下降法（Steepest Descent Method），因为负梯度是函数局部下降最快的⽅向。
梯度下降梯度下降法的迭代格式为x k+1=x k−αk∇f(x k)梯度下降法⾮常简单，只需要知道如何计算⽬标函数的梯度就可以写出迭代格式。
因此，尽管在不少情况下梯度下降法的收敛速度都很慢，也依然不影响它在⼯业界的⼴泛应⽤。
梯度下降法应⽤到⼀些具体模型上有时也会被视作⼀类特定的算法，例如神经⽹络中的后向传导算法（Back Propagation Algorithm）。
随机梯度下降在机器学习中经常有f(x)=∑m i=1ℓi(x)，其中ℓi(x)是第i个训练样本的损失函数。
这时我们可以使⽤随机梯度下降法（Stochastic Gradient Descent Method）。
其迭代格式为x k+1=x k−αk∇ℓr(x k)其中r∈1,2,⋯,m为随机数。
这种做法可以理解为随机选择⼀个训练样本，进⾏⼀次梯度下降的训练。
在机器学习的问题中，我们通常不需要真的求得最优值，这样不精确的迭代，使得算法不容易过拟合。
由于随机梯度下降法的普及，与此相对的梯度下降法有时被称为批量梯度下降法（Batch Gradient Descent Method），因为它同时考虑所有训练样本。
介于批量梯度下降法和随机梯度下降法之间，还有⼩批量梯度下降法（Min-Batch Gradient Descent Method），也就是每次迭代选择若⼲个训练样本。
步长αk的选取梯度下降法可采⽤BB步长（Barzilai Borwein）。
BB步长有两个计算公式，选择其⼀即可。
无约束优化问题的求解方法
无约束优化问题的求解方法无约束优化问题是指在不考虑任何限制条件下，通过调整自变量来寻找函数的最大值或最小值的问题。
在数学和工程领域中，无约束优化问题是一个重要的研究方向，其解决方法也非常丰富和多样。
下面将介绍几种常用的无约束优化问题求解方法。
一、梯度下降法梯度下降法是一种基于一阶导数信息的优化算法。
其基本思想是通过不断迭代地朝着函数的负梯度方向进行搜索，从而找到函数的极小值点。
具体来说，梯度下降法的迭代公式如下：x_(x+1)=x_x−x∇x(x_x)，其中x_x代表第x次迭代的自变量的取值，x称为学习率，∇x(x_x)是函数x(x_x)在点x_x处的梯度。
梯度下降法是求解无约束优化问题的常用方法，具有易于实现和收敛性等优点。
但是，梯度下降法有时可能会陷入局部最优解，因此需要进行多次尝试或采用改进的算法。
二、共轭梯度法共轭梯度法是一种基于二阶导数信息的优化算法。
其基本原理是通过逆Hessian矩阵的乘法来更新自变量的取值，从而加速搜索速度。
具体来说，共轭梯度法的迭代公式如下：x_(x+1)=x_x−x_x,x∇x(x_x)，x_x,x=x∇x(x_x)+x_x,x−1共轭梯度法具有高效、迭代次数少、不需要存储Hessian矩阵等优点。
然而，共轭梯度法也存在一些问题，如对于某些特定的函数可能会陷入收敛困难、对于非二次函数可能收敛速度较慢等。
三、拟牛顿法拟牛顿法是一种综合利用一阶和二阶导数信息的优化算法。
其基本思想是通过利用函数在当前点处的一阶导数和二阶导数近似值来构造一个局部的二次模型，从而求解优化问题。
拟牛顿法的迭代公式如下：x_(x+1)=x_x−(x_x)^−1∇x(x_x)，x_x是拟牛顿法的Hessian矩阵近似值。
拟牛顿法具有利用了二阶导数信息、不需要进行二阶导数计算、有较好的全局收敛性等优点。
但是，拟牛顿法也存在一些问题，如需要存储和更新Hessian矩阵近似值、对于非光滑函数可能无法收敛等。
凸优化算法原理及讲解
凸优化算法原理及讲解
嘿，朋友们！今天咱来聊聊凸优化算法原理呀！这玩意儿就像是一把神奇的钥匙，能打开好多难题的大门呢！
你看啊，凸优化算法就好像是一个聪明的导航员。
咱平时出门找路，要是没有个靠谱的导航，那不得晕头转向呀！凸优化算法也是这样，它能在复杂的数据海洋里给咱指明方向。
想象一下，那些数据就像是一群调皮的小孩子，到处乱跑。
而凸优化算法呢，就能把这些小孩子都管得服服帖帖的，让它们按照一定的规则排好队，找到最优的解决方案。
它是怎么做到的呢？这就涉及到一些专业的知识啦！比如说，它会利用一些特殊的性质和规则，来判断哪个方向是最好的。
这就好像咱走路，肯定是挑平坦好走的路走呀，总不能专挑那些坑坑洼洼的吧！
凸优化算法还特别厉害的一点是，它能处理各种各样的问题。
不管是让工厂怎么安排生产最省钱，还是让物流怎么运输最快捷，它都能搞定！这多牛呀！
而且哦，凸优化算法可不是一成不变的。
它就像一个爱学习的好学生，会不断地改进自己，让自己变得更厉害。
随着科技的发展，它也在不断地进化呢！
咱生活中的很多地方都有它的影子。
比如说，咱手机上的那些智能应用，说不定就用到了凸优化算法呢！它在背后默默地工作，让咱的生活变得更方便、更高效。
说真的，凸优化算法真的是个宝呀！咱可得好好了解了解它，说不定哪天就能派上大用场呢！你说是不是？它就像一个隐藏的高手，不声不响地为我们解决着各种难题。
所以呀，别小看了这个凸优化算法哦！它虽然听起来有点高深莫测，但其实真的很有趣，也很有用呢！让我们一起好好探索它的奥秘吧！。
凸优化处理方法
凸优化处理方法凸优化是数学中的一种重要方法，广泛应用于工程、经济学、运筹学等领域。
凸优化处理方法是指在解决凸优化问题时所采用的一系列算法和技巧。
本文将介绍几种常用的凸优化处理方法，并分析其特点和适用范围。
一、梯度下降法梯度下降法是一种常用的凸优化处理方法，通过迭代的方式逐步优化目标函数。
其基本思想是沿着目标函数的负梯度方向进行搜索，不断更新参数，直到达到最优解。
梯度下降法具有收敛性好、计算简单等优点，适用于解决大规模的凸优化问题。
二、牛顿法牛顿法是一种基于二阶导数信息的凸优化处理方法。
其核心思想是利用目标函数的二阶导数矩阵信息进行迭代优化，通过求解线性方程组来更新参数。
牛顿法收敛速度较快，适用于解决高维、非线性的凸优化问题。
三、内点法内点法是一种近年来发展起来的凸优化处理方法，通过引入人工内点，将原凸优化问题转化为一系列的线性规划问题。
内点法具有全局收敛性和多项式时间复杂度等优点，适用于解决大规模的凸优化问题。
四、分裂算法分裂算法是一种将原凸优化问题分解为多个子问题进行求解的凸优化处理方法。
其基本思想是将原问题分解为几个较小的子问题，并通过迭代的方式逐步优化子问题，最终得到原问题的解。
分裂算法适用于解决具有一定结构的凸优化问题，能够提高算法的效率和收敛速度。
五、次梯度法次梯度法是一种求解非光滑凸优化问题的处理方法。
在非光滑凸优化问题中，目标函数可能不是处处可微的，此时无法使用传统的梯度下降法等方法。
次梯度法通过引入次梯度的概念，对非光滑点进行处理，从而求解非光滑凸优化问题。
六、对偶法对偶法是一种将原凸优化问题转化为对偶问题进行求解的凸优化处理方法。
通过构造拉格朗日函数和对偶函数，将原问题转化为对偶问题，并通过求解对偶问题来获取原问题的解。
对偶法能够有效地求解具有特殊结构的凸优化问题，提高算法的效率和精度。
七、凸松弛法凸松弛法是一种将原非凸优化问题转化为凸优化问题进行求解的处理方法。
通过对原问题进行适当的松弛，将其转化为一个凸优化问题，并利用凸优化方法来求解。
最优化理论与方法概述
最优化理论与方法概述
最优化理论与方法是应用数学中最重要的一个学科，也是数学应用的
一个重要组成部分。
最优化理论的研究主要是针对一定的目标函数（即要
达到的期望值），通过其中一种有效的算法或方法，来找到最优解或最优
化解（即最大值或最小值）。
最优化理论与方法分为三类：算法，凸优化，无约束优化。
一、算法：
算法是最优化理论的基础，是可以由人或计算机完成的一系列有限次
数的操作，用来解决特定的数学问题。
算法可分为数值算法、梯度下降算法、增量型算法、收敛算法、动态规划算法、局部算法、物体检索算法等。
二、凸优化：
凸优化是求解优化问题的一类重要技术，通过求解被称为凸集的函数
的极值来求解优化问题。
凸优化的重要方法包括拉格朗日算法、随机化算法、凸规划等。
三、无约束优化：
无约束优化是求解优化问题的一类重要技术，主要用于求解没有任何
约束条件的最优解，其中常见算法有弗拉马克（Frank-Wolfe）算法、拉
格朗日拉斯特（Lagrangian Relaxation）算法、新康登（Newton-Cotes）算法和模拟退火（simulated annealing）算法。
凸优化中的梯度下降算法
凸优化中的梯度下降算法1.引言概述部分应该对凸优化中的梯度下降算法进行简要介绍和概述。
下面是一种可能的写作方式，可以作为参考：1.1 概述凸优化问题是数学和计算机科学中的一个重要研究领域，广泛应用于各个领域，如机器学习、数据挖掘、信号处理等。
在处理凸优化问题时，梯度下降算法是一种常用且高效的优化方法之一。
梯度下降算法是一种迭代的优化算法，旨在通过迭代地沿着目标函数的负梯度方向逐步调整参数值，使目标函数的值逐渐下降，从而得到最优解或近似最优解。
该算法通常被广泛应用于求解无约束优化问题，而在凸优化问题中，梯度下降算法也被证明是一种有效的求解方法。
梯度下降算法所基于的关键概念是函数的梯度，即函数在某一点处的变化率。
通过计算目标函数相对于各个参数的梯度，可以确定当前参数值的更新方向和步长大小。
在凸优化问题中，由于目标函数是凸函数，因此梯度下降算法可以保证在迭代过程中得到全局最优解或者接近全局最优解。
本文将对梯度下降算法在凸优化中的应用进行深入研究。
首先，我们将介绍梯度下降算法的基本原理和相关概念。
然后，我们将详细讨论梯度下降算法的优点和不足之处。
最后，我们将探讨梯度下降算法在凸优化问题中的具体应用领域。
通过本文的阐述，读者将能够全面了解梯度下降算法在凸优化中的重要性和应用价值。
本文的结构如下：首先，在第2节中，我们将对梯度下降算法的原理进行详细介绍；然后，在第3节中，我们将分析梯度下降算法的优点和应用领域；最后，在第4节中，我们将总结梯度下降算法在凸优化中的重要性和局限性，并提出对未来研究的展望。
1.2文章结构文章结构部分的内容:本文将按照以下结构进行阐述梯度下降算法在凸优化中的重要性和应用。
首先，我们将在引言部分概述整篇文章，以及介绍文章的目的。
接着，在正文部分，我们将简要介绍梯度下降算法，并深入探讨它的原理。
在结论部分，我们将总结梯度下降算法的优点，以及它在凸优化中的广泛应用。
在正文部分的第2.1小节，我们将对梯度下降算法进行简单的介绍。
凸优化中的次梯度方法研究
凸优化中的次梯度方法研究凸优化问题是一类重要的数学优化问题，在现实生活和科学领域中具有广泛的应用。
对于凸优化问题的研究，次梯度方法是一种常用的求解工具。
本文将就凸优化中的次梯度方法展开研究，介绍其基本原理、使用场景与优缺点，并通过案例分析来验证其有效性。
一、基本原理在凸优化问题中，梯度是一种重要的工具，但是对于非光滑的凸函数，其梯度可能不存在或者不能提供有用的信息。
此时，次梯度方法作为一种非光滑优化方法被引入。
次梯度是对凸函数进行切线的一种推广，可以在非光滑点提供有用信息。
次梯度的定义如下：对于凸函数f(x)，x是其定义域内的一个点，如果存在向量g，对于任意的y，都满足f(y)≥f(x)+g^T(y-x)，则称g是函数f在点x的次梯度。
次梯度将凸函数在非光滑点进行线性近似，提供了相对于梯度更广泛的信息。
次梯度方法的基本思想是从一个初始点开始，通过不断利用次梯度的信息对目标函数进行近似，来逐步逼近最优解。
具体的更新规则可以通过次梯度下降或次梯度上升来确定。
二、使用场景次梯度方法在凸优化问题中广泛应用，特别适用于非光滑的凸函数。
以下是一些常见的使用场景：1. SVM（支持向量机）：SVM是一种非线性分类算法，在其对偶问题的求解过程中，次梯度方法可以用来逼近最优解。
2. LASSO（最小绝对收缩和选择算子）：LASSO是一种用于特征选择和稀疏估计的线性回归方法，次梯度方法可以用来求解其对偶问题。
3. 稀疏表示：在信号处理中，稀疏表示是一种重要的数据处理方式，次梯度方法可以用来求解稀疏表示的问题。
4. 最小二乘支持向量机：最小二乘支持向量机是一种利用核方法进行非线性分类的机器学习算法，次梯度方法可以用来近似求解其对应的优化问题。
三、优缺点分析次梯度方法作为凸优化问题的求解工具，具有以下优点：1. 适用性广泛：次梯度方法适用于非光滑的凸函数，可以应对一些传统优化方法难以处理的问题。
2. 收敛性：对于一般凸问题，次梯度方法在一致限制下具有收敛性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三周读书笔记
1. 牛顿法
Pure Newton's Method
在上一章中具体讨论了梯度方法，该类方法只应用了一阶最优条件的信息，即梯度。
此外，在讨论标度梯度法时还简单地讨论到Newton方法，该类方法进一步地应用到二阶最优条件地信息，即Hessian矩阵。
该章重点介绍牛顿法，与梯度方法利用梯度进行新点迭代的方法不同，牛顿法的点更新方法如下：若假设函数在处的Hessian矩阵是正定矩阵，即。
那上面的最小化问题有唯一的稳定点，也是全局最小点：
其中，向量也被称作牛顿方向，利用以上更新公式进行迭代的方法也被称作纯粹牛顿方法。
算法流程图如下：
牛顿法要求在每次更新处的Hessian矩阵为正定矩阵。
或者我们可以放宽一点条件——即在定义域内的任意点处的Hessian矩阵均为正定，这说明了存在一个唯一的最优解。
但是，这并不能保证算法的收敛性。
事实上，牛顿法在某些假设下具备很好的收敛性能（称局部二次收敛）——令在上二阶连续可导，假设：
存在，对任意有
存在，对任意，有
令是牛顿方法得到的序列，是在上唯一最小值。
那么对任意，以下不等式成立：
此外，如果，那么
证明如下：
事实上，对于某些不满足上述条件（正定、李普希兹连续）的优化问题，牛顿方法也能表现出收敛性。
但是，总的来说，当缺少这些严格假设时收敛性无法得到保障。
为了解决即使在Hessian矩阵正定也无法保障牛顿法的收敛性问题下，进一步地提出一种步长解决方案，即阻尼牛顿法。
阻尼牛顿法
在纯粹牛顿法的基础上，我们在进行迭代更新时，重新加入步长选择机制，如利用回溯法进行步长选择的阻尼牛顿法，算法流程如下：
cholesky分解
这一小节是针对前部分的补充知识——在利用牛顿法解决相关优化问题的时候，我们会遇到判断Hessian矩阵是否正定，以及求解线性系统的问题，这两个问题都可以通过cholesky分解来解决。
给定一个的正定矩阵，cholesky分解的形式为，其中是一个的下三角矩阵且其对角元素为正数。
一般利用cholesky分解去解决线性系统分为以下两步：
1. 找到的解
2. 找到的解
可以通过一个简单的递推公式计算cholesky因子。
如下：
在求解L的过程中，需要保证L的对角线元素为正数。
此前我们讨论的牛顿方法都是建立在Hessian矩阵正定的基础上，因此，可以改进牛顿方法——将其与梯度方法结合，判断Hessian矩阵是不是正定的。
若是正定则利用牛顿法迭代，若不是正定则利用梯度方法。
2.凸集
凸分析和凸优化的基础需要我们对基础的凸集理论知识有一定的认识，本章即介绍相关的知识点。
定义和例子
首先，定义凸集——如果集合C中任意两点之间的线段仍在C中，即对于任意和满足，有。
通俗的讲，即集合中的每一点都可以被其他点沿着它们之间的一条无阻碍的路径达到（所谓无阻碍，即整条路径都在集合中）。
例：（直线为凸集）
事实上，如果从直观的角度来看的话，直线中任意两点连成的线段一定在该直线上，因此，直线一定是一个凸集。
当然，也可以从定义的角度进行证明，首先，定义在上的直线可以用集合
来表示，接着证明其凸性。
任取两点，则两点依次对应使得。
对任意，有。
得证。
同样的，常见的凸集还有闭线段、开线段、空集、全空间、超平面以及半空间。
以下再给出两个典型的凸集
例：（范数球为凸集）
令且，为定义在上的范数。
则open ball为
closed ball为
以上均为凸集。
（利用凸集的定义、范数的齐次性以及三角不等式可证）例：（椭球为凸集）
首先，椭球的定义——椭球是具备以下形式的集合，
其中，为一个半正定矩阵，。
以下证明其为凸集。
凸集的代数运算
首先介绍交集这种保凸运算。
引理：令有限个集合均为凸集，那么他们的交集也是凸集。
由该引理可以得到一个主要的凸集——多面体。
上一节中，我们提到一个重要的凸集——半空间，有限个半空间的交集即为多面体，可用如下公式表示。
所以多面体是一个凸集。
当然，凸集不仅对交运算封闭，对加法、笛卡尔积、线性映射和逆线性映射也是封闭的。
凸包
首先，引入凸组合的概念——对于k个向量，凸组合可以表示为
，其中且和为1。
因此，之前提到凸集的定义可以重新定义为包含集合中任意两点凸组合的集合即为凸集。
该定义可以进一步引申为集合中任意数量的点。
定理如下：
令为一个凸集，其中有个点。
那么，对于任意和为1的，有。
（可用数学归纳法证明）
凸包的定义：集合S的凸包即为S中所有点的凸组合的集合，记为。
（其中，所有点的概念是指任意正数数量的点）。
凸包是包含集合S的最小凸集。
接下来是é。
可以解释为，某给定集合的子集的凸包中的任意元素可以用中不超过个矩阵的凸组合表示出来。
定理：令，并令。
那么存在，有
，即。
凸锥
集合，当它满足以下性质：对于任意，。
引理：当且仅当以下性质满足时，S是凸锥。
A:
B:
常见的凸锥有诸如非负象限、冰淇淋锥、非负多项式。
与凸集有凸组合一样，凸锥也有锥组合。
以下给出定义：
给定空间中的个点，这个点的锥组合可以表示为，其中为非负数。
进一步地，可以给出锥包的概念。
令，则由中所有点的锥组合的集合，通常记作。
有以下表达式：
锥包是包含的最小凸锥。
接下来是conic representation theorem。
令且，那么存在个线性无关的向量，有，即存在，使得。
基础可行解：令，其中。
假设的各行线性无关，其可行解中的正元素对应的A中的列线性无关。
可行解的相关定理：令，其中。
如果P有解，那么至少包含一个基础可行解。
凸集的拓扑性质
1. 闭合条件下的保凸性：若是一个凸集，那么它的闭包也是一个凸集。
（闭包是包含C
的最小闭集）
2. （line segment principle）令为一个凸集，假设的内部不为空集，且。
那么对于任意的，。
3. 若为一个凸集，那么它的内部也是一个凸集。
4. 令为一个凸集并且内部非空，那么。
5. 若为一个紧集，那么它的凸包为紧集。
6. 令，那么这些点的锥包是闭集。