机器学习优化课件

休息一下~
牛顿法
“牛顿法”与牛顿的关系？？ 牛顿法最初由艾萨克· 牛顿在《流数法》 （Method of Fluxions，1671年完成，在牛 顿去世后的1736年公开发表）中提出。
牛顿法
Do you remember 泰勒展开?
Do you remember Hessian matrix?
能保证是下降方向；
（3）二阶Hesse阵必须可逆，否则算法将无法进行下去； （4）对函数分析性质要求苛刻，计算量大，仅适合小规
模优化问题。
改进算法
1.阻尼牛顿法：
增加沿牛顿方向的一维搜索
2.Goldstein-Price方法: 将牛顿方法与最速下降法结合 3.其他改进
总结
作业
场景描述： 一组登山运动员，为到达山谷最低处寻找水源，通过 GPS定位当前位置的坐标为（0,1），海拔为2km。 专家分析，此山走势可用函数 z = (x-1)^4+y^2近似表达， 请帮助登上运动员确定行走路线，快速找到水源。 考察：分别运用最速下降法与牛顿法，比较收敛性。
2
T
基本函数名 x=fminbnd(‘F’,x1,x2) X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0) X=linprog(c,A,b) X=quadprog(H,g,A,b) X=fmincon(‘FG’,X0) X=fgoalattain(‘F’,x, goal,w) X=fminimax(‘FG’,x0)
其中X为n维变元向量，G(X)与Ceq(X)均为非线性函数组成 的向量。
Slide No. 67
Slide No. 68
Slide No. 69
作业
面积S=100，a=2 要求：采用lingo, matlab函数，自己选择优化算法求解均可。
Slide No. 70
实现方法: 在点 X k 处，将 f X ， g i X , h j X 按泰勒级数展开并取 一阶近似，得到近似线性规划问题：
min f X f X
k
f X X X
k T k
T
gi X gi X k gi X k hj X hj X
牛顿法
继续努力！！
二次规划
最简单的约束非线性规划问题.
二次规划
二次规划: 带有二次目标函数和线性约束的最优化问题.
二次规划
Slide No. 52
Matlab中求解二次规划
类 型
一元函数极小 无约束极小 线性规划
模 型 min F（x）s.t. x1<x<x2 min F(X) min c X s.t. AX≤b T T min 1 x Hx+g x
二次规划 约束极小 （非线性规划） 达到目标问题
s.t. Ax≤b min F(X) s.t. G(X)≤0 min r s.t. F(x)-wr≤goal min max {Fi(x)}
x {F (x)} i
极小极大问题
s.t. G(x)≤0
二次规划
[X,FVAL]=QUADPROG(H,g,A,b,Aeq,beq,LB,UB,X0,OPTIONS) X 的返回值是向量 x ，FVAL 的返回值是目标函数在 X 处的值。 （具体细节可以参看在 Matlab 指令中运行 help quadprog 后的帮 助） 。 例 求解二次规划
目标函数
问题来了，我们怎么求解呢？
冰山一角
梯度下降法、牛顿法
梯度下降法
梯度下降法
梯度下降法
J(0,1) 1
0
J(0,1) 1
0
梯度下降法
梯度下降法
梯度下降法
小试牛刀-编程实现
房屋价格预测问题： 请尝试不同的步长设置
最佳„步长‟…
最速下降法
最速下降法
最速下降法
1.9500 x , Min f ( x ) 11.0250 1.0500
非线性规划的基本概念
定义 如果目标函数或约束条件中至少有一个是非 线性函数,则最优化问题就叫做非线性规划问题．
一般形式:
m in f X
gi X 0 i 1,2,..., m; s.t. h j X 0 j 1,2,..., l. （1） n f , g ,h 其中 X x1 , x2 ,L , xn T R， i j是定义在 Rn 上的实值函数
min f ( x ) 2 x12 -4 x1 x2 4 x2 2 -6 x1-3x 2 x1 x 2 3 4 x1 x2 9 x1 , x2 0
二次规划
解 编写如下程序： h=[4,-4;-4,8]; g=[-6;-3]; A=[1,1;4,1]; b=[3;9]; [x,value]=quadprog(h,g,A,b,[],[],zeros(2, 1)) 求得
最速下降法
最速下降法 Do you remember Hessian matrix?
原来如此简单~~~
最佳步长计算-编程试试看吧！！
计算最佳步长计算-试试看
参考例子： Matlab代码实现
Slide No. 28
clear syms x1 x2; %定义符号变量 fx=2*x1^2+x2^2; %定义符号函数 X0=[1,1]; %初值 g=jacobian(fx,[x1,x2]); %求符号函数的梯度 H=jacobian(g,[x1,x2]); %求符号函数的Hession矩阵 x1=X0(1,1);x2=X0(1,2); %赋初值 g0=eval(g);H0=eval(H); %求符号函数在x1=1、x2=1梯度、 Hession矩阵 k=0; fprintf('\n') while norm(g0)>eps %停机判断条件 lamda=g0*g0„/(g0*H0*g0‟); %求lamda fprintf(' k=%2d, lamda=%19.16f, x1=%19.16f, x2=%19.16f, fx=%19.16f, norm(p)=%19.16f\n', k,lamda,x1,x2,eval(fx),norm(g0)) X0=X0-lamda*g0; x1=X0(1,1);x2=X0(1,2); g0=eval(g);H0=eval(H); k=k+1; end
k j
X X 0
k k
i 1,, m j 1,, l ；
h X X X 0
k T
Matlab求解非线性规划问题
标准型为： min F(X) s.t． AX b
Aeq X beq G(X) 0
Ceq(X)=0 VLB X VUB
并没有结束…
前沿算法
梯度下降的各种变体 1.Momentum法 2.Nesterov加速梯度法 3.Adagrad法 4.Adadelta法 5.RMSprop法 6.适应性动量估计法（Adam） 其他手段： 1.对SGD进行平行或分布式运算 2.重排和递进学习 3.批量标准化 4.梯度噪声 ….
你发现了吗？
这个算法的优缺点？
梯度下降-远不止如此
（1）批量梯度下降 速度比较慢，受内存的限制，不能再运行中加入 新的样本进行运算 （2）随机梯度下降 随机梯度下降是通过每个样本来迭代更新一次 （3）小批量梯度下降 将批量梯度下降法中m替换成mini-batch，在此将 mini-bach的size远小于m的大小，循环 m/b次直到 收敛或是循环次数达到
Slide No. 57
罚函数法
罚函数法基本思想是通过构造罚函数把约束问
题转化为一系列无约束最优化问题，进而用无约束最
优化方法去求解．这类方法称为序列无约束最小化方
法．简称为SUMT法． 其一为SUMT外点法（惩罚函数法） 其二为SUMT内点法（障碍函数法）
惩罚函数法PK障碍函数法
障碍函数法
优化这件‘小事’…
内容介绍
你见过的优化？ 无约束优化
梯度下降法 牛顿法
约束优化
e
优化问题的表示
不专业的“定义”
最优化，就是… 1. 构造一个合适的目标函数，使得这个目标函数取得 你想要的“最优解”； 2. 找到一个能让这个目标函数取得最优解的方法；
核心：
在可行域X的内部与边界面较远的点上，障碍函数
与原目标函数应尽可能的接近，而在接近边界面的
点上，障碍函数取相当大的数值。
近似规划法
近似规划法的基本思想：将问题中的目标函数 f X 和约束条件 gi X 0 (i 1,...,m); hj X 0 (j 1,, l ) 近似为线性函数，并对变量的取值范围加以限制，从 而得到一个近似线性规划问题，再求解，把其符合原 始条件的最优解作为解的近似．
简单的计算步骤~
再现房屋价格预测问题
这个算法的特点？
牛顿法
牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数， 仅需一步迭代即可达到最优解，具有二次终结性。 牛顿法缺点： （1）牛顿法是局部收敛的，即初始点选择不当，可能会
导致不收敛；
（2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不