matlab无约束最优化实现

计算时可置H 1 I （单位阵），对于给出的 X 1 利
用上面的公式进行递推.这种方法称为拟牛顿法.
返回
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类型
一元函数极小 无约束极小
线性规划
二次规划 约束极小 （非线性规划） 达到目标问题
极小极大问题
模
型
Min F（x）s.t.x1<x<x2
数学建模与数学实验
无约束最优化
实验目的
1、了解无约束最优化基本算法。 2、掌握用数学软件包求解无约束最优化问题。
实验内容
1、无约束优化基本思想及基本算法。 2、MATLAB优化工具箱简介 3、用MATLAB求解无约束优化问题。 4、实验作业。
无约束最优化问题
求解无约束最优化问题的的基本思想 *无约束最优化问题的基本算法
矩阵 G k1 近似代替 2 f ( X k ) ,或用H k1 近似代替( 2 f ( X k )) 1 ，将
牛顿方向改为：
G k 1 S k 1 =-f ( X k 1 ) ， S k 1 =-H k1 f ( X k 1 )
从而得到下降方向.
通常采用迭代法计算G k 1 ，H k 1 ，迭代公式为:
k

f (f
k (f k )T k )T X k
f k (X k )T G k G k X k (f k )T (X k )T f k
H k 1 H k X k (X k )T H k f k (f k )T H k
(f k )T X k
(f k )T H k f k
速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛
慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值
点时，宜选用别种收敛快的算法.
2．牛顿法算法步骤：
(1) 选定初始点 X 0 E n ，给定允许误差 0 ，令 k=0；
(2) 求f X k , 2 f X k 1 ,检验：若 f X k ,则
Min F(X)
Min cT X
s.t.AX<=b Min 1 xTHx+cTx
2
s.t. Ax<=b Min F(X)
s.t. G(X)<=0 Min r
s.t. F(x)-wr<=goal Min max {Fi(x)}
X {Fi(x)}
s.t. G(x)<=0
基本函数名 x=fminbnd(‘F’,x1,x2)
X0
31
X1
X2
x2
5
0
x1
唯一极小 (全局极小)
f 0.298
f 0
f (x1 x2 ) 2x12 2x1x2 x22 3x1 x2
多局部极小
f 0.298
搜索过程 min f (x1 x2 ) 100 (x2 x12 )2 (1 x1)2
x1 x2 f
BFGS（Boryden-Fletcher-Goldfarb-Shanno）公式
G k1 G k f k (f k )T G k x k (x k )T G k (f k )T x k (x k )T G k x k
H k 1

Hk
1
(f k )T H k f (f k )T x k
-1 1 4.00 -0.79 0.58 3.39 -0.53 0.23 2.60 -0.18 0.00 1.50 0.09 -0.03 0.98 0.37 0.11 0.47 0.59 0.33 0.20 0.80 0.63 0.05 0.95 0.90 0.003 0.99 0.99 1E-4 0.999 0.998 1E-5
0.9997 0.9998 1E-8
最优点 (1 1) 初始点 (-1 1)
返回
无约束优化问题的基本算法
1．最速下降法（共轭梯度法）算法步骤：
⑴ 给定初始点 X 0 E n ，允许误差 0 ,令 k=0；
⑵ 计算f X k ；
⑶ 检验是否满Baidu Nhomakorabea收敛性的判别准则：
f X k ，
停止迭代, X * X k .否则, 转向(3)；
(3) 令 S k [ 2 f X k ]1f X k （牛顿方向）；
(4) X k1 X k S k , k k 1 ,转回(2).
如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代 就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收 敛速度还是很快的.
若满足，则停止迭代，得点X * X k ，否则进行⑷；
⑷ 令 S k f X k ，从X k 出发，沿S k 进行一维搜索，
即求k 使得：
min f
0
X k S k
f
X k k S k
；
⑸最速令下X降k法1 是X一k种最k基S本k ，的k算=k法+1，返它回在⑵最.优化方法中占有重要地位.最
牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆， 要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步
和第 k+1 步得到的 X k ， X k1 ，f ( X k ) ，f ( X k1 ) ，构造一个正定
k

x k (f
(x k )T k )T x k
x k (f k )T H k H k f k (x k )T (f k )T x k
D F P （Davidon-Fletcher-Powell）公式：
G k 1
Gk
1
(X k )T G k X (X k )T f k
返回
求解无约束最优化问题的基本思想
标准形式：
其中
min f X
X E n
f : En E1
max f X = min [ f X ]
X E n
X E n
求解的基本思想 ( 以二元函数为例 )
f (x1 x2 )
连 续 可 微
0
x1
x2
f (X0) f (X1) f (X2)