数学建模课件之无约束优化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
教学目的
1、了解无约束最优化基本算法。
2、掌握用数学软件包求解无约束最优化问题。
教学内容
1.无约束优化基本思想及基本算法。 2. MATLAB优化工具箱简介
3. 用MATLAB求解无约束优化问题。
无约束最优化问题
求解无约束最优化问题的的基本思想
*无约束最优化问题的基本算法
求解无约束最优化问题的基本思想 标准形式：
X0
0
x2
0
3 5
1
X1
X2
x1
唯一极小 (全局极小)
百度文库
2 f ( x1 x2 ) 2x12 2x1x2 x2 3x1 x2
f 0 f 0.298 f 0.298
多局部极小
搜索过程
min f ( x1 x2 ) 100( x2 x ) (1 x1 )
2 2 1
2
最优点 (1 1) 初始点 (-1 1)
x1
-1 -0.79 -0.53
x2
1 0.58
f 4.00
3.39 2.60
0.23 -0.18 0.00 0.09 -0.03 0.37 0.11 0.59 0.80 0.95
1.50 0.98
0.47 0.33 0.20 0.63 0.05 0.90 0.003
0.99 0.99 1E-4 0.999 0.998 1E-5 0.9997 0.9998 1E-8
无约束优化问题的基本算法
1．最速下降法（共轭梯度法）算法步骤： 0 n 0 ,令 k=0； ⑴ 给定初始点 X E ，允许误差
k ⑵ 计算 f X ； ⑶ 检验是否满足收敛性的判别准则：
； S k [ 2 f X k ]1 f X k （牛顿方向）
转向(3)；
(4) X k 1 X k S k , k k 1 ,转回(2).
如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代 就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收 敛速度还是很快的. 牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆， 要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.
H k 1
1 1 H I X 计算时可置 （单位阵） ，对于给出的 利
k k T k k k T k X ( X ) H f ( f ) H Hk k T k (f ) X (f k ) T H k f k
用上面的公式进行递推.这种方法称为拟牛顿法 .
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类 型
一元函数极小 无约束极小 线性规划
模 型 Min F（x）s.t.x1<x<x2 Min F(X) Minc X s.t.AX<=b 1 Min xTHx+cTx
2
T
基本函数名 x=fminbnd(‘F’,x1,x2) X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0) X=linprog(c,A,b) X=quadprog(H,c,A,b) X=fmincon(‘FG’,X0) X=fgoalattain(‘F’,x,goal,w) X=fminimax(‘FG’,x0)
X
k 1
X
k S k
0
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0； (2) 求 f X (3) 令
, f X
k
2
k
1
,检验：若 f X k ,则
停止迭代, X * X k .否则,
f X k ，
* k X X 若满足，则停止迭代，得点 ，否则进行⑷； k k k X S f X S k 进行一维搜索， ⑷ 令 ，从 出发，沿 k k k k k min f X S f X S 即求 使得： ； k
k
⑸ 令 ，k=k+1 返回⑵. 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最 速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛 慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值 点时，宜选用别种收敛快的算法.
H k 1
k T k k k k T ( f ) H f x ( x ) k H 1 ( f k ) T x k ( f k ) T x k x k ( f k ) T H k H k f k ( x k ) T ( f k ) T x k
牛顿方向改为：
G
k 1
S
k 1
从而得到下降方向.
k 1 k 1 通常采用迭代法计算G ， H ，迭代公式为: BFGS （Boryden-Fletcher-Goldfarb-Shanno）公式 f k ( f k ) T G k x k ( x k ) T G k k 1 k G G k T k ( f ) x ( x k ) T G k x k
DFP （Davidon-Fletcher-Powell）公式： k T k k k k T ( X ) G X f ( f ) k 1 k G G 1 k T k ( f k ) T X k ( X ) f
f k (X k ) T G k G k X k (f k ) T (X k ) T f k
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步 X k ，X k 1 ， f ( X k ) ，f ( X k 1 ) ，构造一个正定 和第 k+1 步得到的 矩阵 G
k 1
2 k H k 1 近似代替( 2 f ( X k )) 1 ，将 近似代替 f ( X ) ,或用 k 1 k 1 k 1 k 1 f ( X ) f ( X ) H =，S =-
其中
X E
minn f X
f : E n E1
X E X E
f X = － min [ f X ] 另外： max n n
求解的基本思想 ( 以二元函数为例 ) 连 续 可 微
x1
f ( x1 x2 )
x2
f ( X 0 ) f ( X1 ) f ( X 2 )
1、了解无约束最优化基本算法。
2、掌握用数学软件包求解无约束最优化问题。
教学内容
1.无约束优化基本思想及基本算法。 2. MATLAB优化工具箱简介
3. 用MATLAB求解无约束优化问题。
无约束最优化问题
求解无约束最优化问题的的基本思想
*无约束最优化问题的基本算法
求解无约束最优化问题的基本思想 标准形式：
X0
0
x2
0
3 5
1
X1
X2
x1
唯一极小 (全局极小)
百度文库
2 f ( x1 x2 ) 2x12 2x1x2 x2 3x1 x2
f 0 f 0.298 f 0.298
多局部极小
搜索过程
min f ( x1 x2 ) 100( x2 x ) (1 x1 )
2 2 1
2
最优点 (1 1) 初始点 (-1 1)
x1
-1 -0.79 -0.53
x2
1 0.58
f 4.00
3.39 2.60
0.23 -0.18 0.00 0.09 -0.03 0.37 0.11 0.59 0.80 0.95
1.50 0.98
0.47 0.33 0.20 0.63 0.05 0.90 0.003
0.99 0.99 1E-4 0.999 0.998 1E-5 0.9997 0.9998 1E-8
无约束优化问题的基本算法
1．最速下降法（共轭梯度法）算法步骤： 0 n 0 ,令 k=0； ⑴ 给定初始点 X E ，允许误差
k ⑵ 计算 f X ； ⑶ 检验是否满足收敛性的判别准则：
； S k [ 2 f X k ]1 f X k （牛顿方向）
转向(3)；
(4) X k 1 X k S k , k k 1 ,转回(2).
如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代 就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收 敛速度还是很快的. 牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆， 要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.
H k 1
1 1 H I X 计算时可置 （单位阵） ，对于给出的 利
k k T k k k T k X ( X ) H f ( f ) H Hk k T k (f ) X (f k ) T H k f k
用上面的公式进行递推.这种方法称为拟牛顿法 .
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类 型
一元函数极小 无约束极小 线性规划
模 型 Min F（x）s.t.x1<x<x2 Min F(X) Minc X s.t.AX<=b 1 Min xTHx+cTx
2
T
基本函数名 x=fminbnd(‘F’,x1,x2) X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0) X=linprog(c,A,b) X=quadprog(H,c,A,b) X=fmincon(‘FG’,X0) X=fgoalattain(‘F’,x,goal,w) X=fminimax(‘FG’,x0)
X
k 1
X
k S k
0
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0； (2) 求 f X (3) 令
, f X
k
2
k
1
,检验：若 f X k ,则
停止迭代, X * X k .否则,
f X k ，
* k X X 若满足，则停止迭代，得点 ，否则进行⑷； k k k X S f X S k 进行一维搜索， ⑷ 令 ，从 出发，沿 k k k k k min f X S f X S 即求 使得： ； k
k
⑸ 令 ，k=k+1 返回⑵. 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最 速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛 慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值 点时，宜选用别种收敛快的算法.
H k 1
k T k k k k T ( f ) H f x ( x ) k H 1 ( f k ) T x k ( f k ) T x k x k ( f k ) T H k H k f k ( x k ) T ( f k ) T x k
牛顿方向改为：
G
k 1
S
k 1
从而得到下降方向.
k 1 k 1 通常采用迭代法计算G ， H ，迭代公式为: BFGS （Boryden-Fletcher-Goldfarb-Shanno）公式 f k ( f k ) T G k x k ( x k ) T G k k 1 k G G k T k ( f ) x ( x k ) T G k x k
DFP （Davidon-Fletcher-Powell）公式： k T k k k k T ( X ) G X f ( f ) k 1 k G G 1 k T k ( f k ) T X k ( X ) f
f k (X k ) T G k G k X k (f k ) T (X k ) T f k
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步 X k ，X k 1 ， f ( X k ) ，f ( X k 1 ) ，构造一个正定 和第 k+1 步得到的 矩阵 G
k 1
2 k H k 1 近似代替( 2 f ( X k )) 1 ，将 近似代替 f ( X ) ,或用 k 1 k 1 k 1 k 1 f ( X ) f ( X ) H =，S =-
其中
X E
minn f X
f : E n E1
X E X E
f X = － min [ f X ] 另外： max n n
求解的基本思想 ( 以二元函数为例 ) 连 续 可 微
x1
f ( x1 x2 )
x2
f ( X 0 ) f ( X1 ) f ( X 2 )