无约束问题的最优化条件ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
|| f(x(0))||2(12(1)2)22
x(1 )x(0 ) f(x(0 )) 0 0 1 1
代入目标函数得：
f(x ( 1 )) f(x (0 ) f(x (0 )) )2 2
令 df(x(1))/d0
0 1
x (1)
1
1
f ( x ( 1 ) ) ( 1 , 1 ) T , || f ( x ( 1 ) ) || 2
f (xk )
(3) f (xk ) 。
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f (x) f (x0)
有界，则由最速下降法得到的迭代点列xk 具有如下性质： 1） 数列 f (xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f (x) 的驻点，
点，极小点或者鞍点。
定理 4 若 f (x) : Rn R 是连续可微的凸函数，则 x 是全局 极小点的充要条件是 f (x ) 0 。
证明：必要性由定理 1，充分性则由凸函数定义
f (x) f (x) f (x)T (x x) 可得。
5.2 最速下降法
自动化学院
5
；.
一. 最速下降法 ➢ 最速下降法又称为负梯度法，由Cauchy于1847年给出。是最为古老但
5.1 无约束问题的 最优性条件
自动化学院
1
；.
一、极小点的概念
1．局部极小点 2．严格局部极小点 3．全局（总体）极小点 4．严格全局（总体）极小点。 注：在非线性规划中，大多数算法都致力于求最优化问题的局部极小点， 一般求全局极小点极为困难，仅当问题为凸规划时，局部极小为全局极 小。
二、无约束问题最优性条件
0.01取初X 始 （ 0） 点 （ 0， 0） T
解: 1)计算
f
(x)
[(14x1
2x2,
速下降算法的收敛速度至少是线性的，且下面的界成立：
f (xk1) f (x*) ( 1)2 (1 n )2 ， xk1 x* ( 1)
f (xk ) f (x*) ( 1)2 (1 n)2 xk x*
( 1)
其中 1 n G G1 （ 为矩阵 G 的条件数）。
五.算法特点
相邻两次迭代的搜索方向是正交的,迭代点列呈锯齿形前进，迭代点越靠近 最优解附近,目标函数值下降的速度越慢，算法收敛速度慢。
设 xk 是当前迭代点， 2 f (xk ) 正定，
f
(x)
f
(xk ) f
(xk )T
(x
xk )
1 (x 2
xk )T 2
f
(xk )(x
xk )
Q(k) (x)
f
(xk ) f
(xk )T (x xk )
1 2
(
x
xk
)T
2
f
(xk )(x xk )
令
Q(k) (x) x
0
f
( xk
dk1 f (xk1) f (xk kdk )
k满足:
f (xk
dk ) 0
T f (xk k dk ) dk 0
dkT1 dk 0
5.3 牛顿法
自动化学院
1
；.
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f (x) 的近似极小点。
f (x ) 0 ，若 f (x) 为凸函数，则 x 为 f (x) 的最小值点。
证明：......
四.最速下降法的收敛速度
定理 6 对极小化问题 min f (x) 1 xTGx ，其中 G 为 n n 对称正定 2
矩阵， 1， n 分别为 G 的最大与最小特征值。设 x* 是最优解，则最
(f ,f ,...,f )T x1 x2 xn
☺梯度的方向与函数f 的等值线的一个法线方 向相同，从较低的等值线指向较高的等值线。
☺梯度的方向就是函数f 的值增加最快的方向， 其相反方向就是函数值降低最快的方向。
算法步骤：
1） 给出初始点 x0 Rn ，允许误差 0 ， k 0 ；
2） 计算 dk f (xk ) ，若 f (xk ) ，停，并令 x* xk ，否则转 3）；
继续迭代,计算可得
d(1) 1 1,11 5,x(2) 10.2.8
f ( x ( 2 ) ) ( 0 . 2 , 0 . 2 ) T , | | f ( x ( 2 ) ) | | 0 . 2 8 2 8 ,
二.算法终止标准
常用的算法终止准则有：
(1) xk1 xk ； (2) f (xk1) f (xk ) ；
3） 由一维搜索确定步长因子k ，使得
f
(xk
kdk
)
min
0
f
(xk
dk
)
4） 令 xk源自文库 xk k dk ， k k 1，转 2)。
例1:用最速下降法求
f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
的极小值,
0.01,x(0)(0,0)T ,只迭代一次
解: f ( x ) [ ( 1 4 x 1 2 x 2 , 1 2 x 1 + 2 x 2 ] T , f( x ( 0 ) ) ( 1 , 1 ) T
)
2
f
(
xk
)(
x
xk
)
0
x xk (2 f (xk ))1f (xk ) xk Gk1gk
牛顿迭代公式: xk 1 xk Gk1gk . 其中, Gk 2 f (xk ), gk f (xk )
例2:用牛顿法求 的极小值,
f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
定理 1（一阶必要条件）若 x 是局部极小点，则 f (x) 0 。 定理 2（二阶必要条件）若 x 是局部极小点，则 f (x) 0 ，
2 f (x ) 0 。（半正定） 定理 3 （二阶充分条件） x 是局部极小点的充分条件是： f (x) 0 ，且 2 f (x ) 正定。 注：使 f (x) 0 的点 x 称为函数的驻点。驻点可以是极大
又十分基本的一种方法。
➢ 最速下降法解决的是具有连续可微的目标函 数的无约束极值问题。
➢ 优点：迭代过程简单，使用方便。
➢ 最速下降法的基本思想：从当前点xk出发寻找 使得目标函数下降最快的方向，即负梯度方向。
➢ 关于梯度的复习： ☺梯度是一个向量。n元函数f(x1 ,x2 ,…xn)在点x处的梯度为：
x(1 )x(0 ) f(x(0 )) 0 0 1 1
代入目标函数得：
f(x ( 1 )) f(x (0 ) f(x (0 )) )2 2
令 df(x(1))/d0
0 1
x (1)
1
1
f ( x ( 1 ) ) ( 1 , 1 ) T , || f ( x ( 1 ) ) || 2
f (xk )
(3) f (xk ) 。
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f (x) f (x0)
有界，则由最速下降法得到的迭代点列xk 具有如下性质： 1） 数列 f (xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f (x) 的驻点，
点，极小点或者鞍点。
定理 4 若 f (x) : Rn R 是连续可微的凸函数，则 x 是全局 极小点的充要条件是 f (x ) 0 。
证明：必要性由定理 1，充分性则由凸函数定义
f (x) f (x) f (x)T (x x) 可得。
5.2 最速下降法
自动化学院
5
；.
一. 最速下降法 ➢ 最速下降法又称为负梯度法，由Cauchy于1847年给出。是最为古老但
5.1 无约束问题的 最优性条件
自动化学院
1
；.
一、极小点的概念
1．局部极小点 2．严格局部极小点 3．全局（总体）极小点 4．严格全局（总体）极小点。 注：在非线性规划中，大多数算法都致力于求最优化问题的局部极小点， 一般求全局极小点极为困难，仅当问题为凸规划时，局部极小为全局极 小。
二、无约束问题最优性条件
0.01取初X 始 （ 0） 点 （ 0， 0） T
解: 1)计算
f
(x)
[(14x1
2x2,
速下降算法的收敛速度至少是线性的，且下面的界成立：
f (xk1) f (x*) ( 1)2 (1 n )2 ， xk1 x* ( 1)
f (xk ) f (x*) ( 1)2 (1 n)2 xk x*
( 1)
其中 1 n G G1 （ 为矩阵 G 的条件数）。
五.算法特点
相邻两次迭代的搜索方向是正交的,迭代点列呈锯齿形前进，迭代点越靠近 最优解附近,目标函数值下降的速度越慢，算法收敛速度慢。
设 xk 是当前迭代点， 2 f (xk ) 正定，
f
(x)
f
(xk ) f
(xk )T
(x
xk )
1 (x 2
xk )T 2
f
(xk )(x
xk )
Q(k) (x)
f
(xk ) f
(xk )T (x xk )
1 2
(
x
xk
)T
2
f
(xk )(x xk )
令
Q(k) (x) x
0
f
( xk
dk1 f (xk1) f (xk kdk )
k满足:
f (xk
dk ) 0
T f (xk k dk ) dk 0
dkT1 dk 0
5.3 牛顿法
自动化学院
1
；.
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f (x) 的近似极小点。
f (x ) 0 ，若 f (x) 为凸函数，则 x 为 f (x) 的最小值点。
证明：......
四.最速下降法的收敛速度
定理 6 对极小化问题 min f (x) 1 xTGx ，其中 G 为 n n 对称正定 2
矩阵， 1， n 分别为 G 的最大与最小特征值。设 x* 是最优解，则最
(f ,f ,...,f )T x1 x2 xn
☺梯度的方向与函数f 的等值线的一个法线方 向相同，从较低的等值线指向较高的等值线。
☺梯度的方向就是函数f 的值增加最快的方向， 其相反方向就是函数值降低最快的方向。
算法步骤：
1） 给出初始点 x0 Rn ，允许误差 0 ， k 0 ；
2） 计算 dk f (xk ) ，若 f (xk ) ，停，并令 x* xk ，否则转 3）；
继续迭代,计算可得
d(1) 1 1,11 5,x(2) 10.2.8
f ( x ( 2 ) ) ( 0 . 2 , 0 . 2 ) T , | | f ( x ( 2 ) ) | | 0 . 2 8 2 8 ,
二.算法终止标准
常用的算法终止准则有：
(1) xk1 xk ； (2) f (xk1) f (xk ) ；
3） 由一维搜索确定步长因子k ，使得
f
(xk
kdk
)
min
0
f
(xk
dk
)
4） 令 xk源自文库 xk k dk ， k k 1，转 2)。
例1:用最速下降法求
f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
的极小值,
0.01,x(0)(0,0)T ,只迭代一次
解: f ( x ) [ ( 1 4 x 1 2 x 2 , 1 2 x 1 + 2 x 2 ] T , f( x ( 0 ) ) ( 1 , 1 ) T
)
2
f
(
xk
)(
x
xk
)
0
x xk (2 f (xk ))1f (xk ) xk Gk1gk
牛顿迭代公式: xk 1 xk Gk1gk . 其中, Gk 2 f (xk ), gk f (xk )
例2:用牛顿法求 的极小值,
f(x ) x 1 x 2 2 x 1 2 2 x 1 x 2 x 2 2
定理 1（一阶必要条件）若 x 是局部极小点，则 f (x) 0 。 定理 2（二阶必要条件）若 x 是局部极小点，则 f (x) 0 ，
2 f (x ) 0 。（半正定） 定理 3 （二阶充分条件） x 是局部极小点的充分条件是： f (x) 0 ，且 2 f (x ) 正定。 注：使 f (x) 0 的点 x 称为函数的驻点。驻点可以是极大
又十分基本的一种方法。
➢ 最速下降法解决的是具有连续可微的目标函 数的无约束极值问题。
➢ 优点：迭代过程简单，使用方便。
➢ 最速下降法的基本思想：从当前点xk出发寻找 使得目标函数下降最快的方向，即负梯度方向。
➢ 关于梯度的复习： ☺梯度是一个向量。n元函数f(x1 ,x2 ,…xn)在点x处的梯度为：