无约束极值问题

通常，我们把从初始点出发，依次沿某组共轭方向进行一 维搜索来求解无约束最优化问题的方法，称为共轭方向法
共轭梯度法
2、共轭梯度法
在共轭方向法中，如果取初始的搜索方向
p0 f ( X 0 )
而以下各共轭方向 pk 由k次迭代点的负梯度 f ( X k ) 与已经得到的共轭方向 pk 1的线性组合来确定，这样就 构成了一种具体的共轭方向法。因为每一个共轭方向 都依赖于迭代点的负梯度，所以称之为共轭梯度法。
最速下降法回顾
3、例子
用最速下降法求解问题
2 min f ( X ) 4 x12 x2 ,
其中X=(x1 , x2 )T .取初始点X 0 (1,1)T , 允许误差 0.1.
解：f 在点X 1 , x2 )T 处的梯度f ( X ) (8 x1 , 2 x2 )T . （x 第一次迭代： 令搜索方向p0 f ( X 0 ) (8, 2)T , p0 64 4 2 17 f ( X k )T f ( X k ) 故从点X 0出发沿p0作一维搜索，由公式k f ( X k )T Qf ( X k ) 有
最速下降法回顾
• 最速下降法存在的问题：
所谓最速下降方向 f ( X ) 仅仅反映了f 在点X 处的局部性质，
k k
对局部来说是最速的下降方向，但对整体求解过程并不一定 使目标值下降得最快。最速下降法逼近极小点 X的路线是锯齿 形的，当迭代点越靠近 X，其搜索步长就越小，因而收敛速度 越慢。
T p0 Qp1 0
T 上式两端左乘p0 , 有
这就是说，为使p1直指 X，p1必须与p0共轭。
共轭梯度法
综上所述，对于正定二次函数的无约束最优化问题，当n 2时， 从任选初始点X 0出发，沿任意下降方向p0，作一维搜索得X 1，再 从X 1出发，沿p0的共轭方向p1作一维搜索，所得到的X 2必是极小 点，即两次迭代就得到了最优解。 可以证明，当Q R nn时，则至多经过n次迭代可得到正定二次函 数的无约束最优化问题的最优解。
0 0.130769
X 1 11 T 0.13.769(8, 2)T (0.046152, 0.738462)T （， ）
最速下降法回顾
第二次迭代： 令搜索方向p1 f ( X 1 ) (0.369216, 1.476924)T , p1 2.18305 1.522375 从点X1出发沿p1作一维搜索， X 2 (0.101537, 0.147682)T 第三次迭代： 令搜索方向p2 f ( X 2 ) (0.369216, 1.476924)T , p2 0.747056 0.864329 X 3 ( 0.009747, 0.107217)T 第四次迭代： 令搜索方向p3 f ( X 3 ) (0.077976, 0.214434)T , p3 0.052062 0.228171 X 4 (0.019126, 0.027816)T 从点X 3出发沿p3作一维搜索， 从点X 2出发沿p2作一维搜索，
无约束极值的求解方法包括：
• 最速下降法 • 牛顿法 • 共轭梯度法
• 变尺度法
f X k

最速下降法回顾
对于无约束最优化问题：
min{ f (X)}, X = (x1 , x2 , …, xn)T
假设已经迭代了k次，第k次迭代点为 X ( k ) 且 f X k 0.

令X k 1 X k k pk , 为了让f X k 1 f X k 1 ， 需要进行以下步骤：
无约束极值问题
无约束极值问题
无约束极值问题可简单表述为： min f(X)，XRn （n维欧氏空间） X(k+1)=X(k)+p(k) 且满足 f [X(k+1)]< f [X(k)] 这样逐步迭代直至满足精度条件 ‖▽f [X(k+1)]‖< 1 (梯度绝对值<1)
无约束最优化方法
无约束极值问题的求解方法通常称为无约束最优化方法 (unconstrained optimization method) 如何选择搜索方向是无约束最优化方法的核心，且不同的 搜索方向形成不同的最优化方法。
共轭梯度法
如果沿最速下降方向-f ( X 1 )去搜索，就会发生锯齿现象。 为了避免这种现象的出现，我们希望下一次迭代的搜索方向 p1直指二次函数f 的最优点 X , 即有 X =X 1 +1 p1 又 得到 整理得 即 f ( X ) Q X b 0 Q X 1 +1 p1） b 0 （ QX 1 b+1Qp1 0 f ( X 1 ) 1Qp1 0
阻尼牛顿法一般步骤： Step 1 Step 2 选取初始数据。选取初始点X 0 , 给定允许误差 0，令k 0 检验是否满足终止准则。计算f ( X k ), 若 f ( X k ) , 迭代终 止，X k 为问题的近似最优解；否则，转Step3. Step 2 Step 2 构造牛顿方向。计算 2 f ( X k ) ，取 pk [ 2 f ( X k )]1 f ( X k ) 进行一维搜索。求k 和X k+1 , 使得 f ( X k k pk ) min f ( X k pk )
最速下降法回顾
第五次迭代： 令搜索方向p4 f ( X 4 ) (0.153008, 0.055632)T , p4 0.026506 0.162807 从点X3出发沿p3作一维搜索， X 5 (0.001835, 0.020195)T 此时， f ( X 5 ) 0.001847 , 满足精度要求，故得问题的最优解为 X 5 (0.001835, 0.020195)T 实际上，原问题的最优解为X (0, 0)T

最速下降法回顾
1、确定搜索方向，选取最快的下降方向
pk f ( X
2、确定步长
(k )
)
取步长k 为最优步长，使得 f ( X k k pk ) min f ( X k pk )
Biblioteka Baidu0
求出k，得到第k 1个迭代点 X k 1 X k k pk 直到 f ( X ( k ) ) (给定的误差值），迭代终止
于是得到n个搜索方向p0，p1，…，pn 1如下
共轭梯度法
考虑正定二次函数的无约束最优化问题 1 T X QX bT X c, 2 其中Q R nn为正定矩阵，b R n , c R min f ( X ) 这个问题有惟一的严格全局最优解 X Q 1b 我们不求Q 1，而是用迭代的方法求问题的最优解 当n=2时，任选初始点X 0 , 沿f 在点X 0处的某个下降方向p0做 做最优以为搜索，得到X 1，从而 f ( X 1 ) p0 0
T 2
其中X=(x1 , x2 )T .取初始点X 0 (1,1)T , 允许误差 0.1.
由于 f ( X 1 ) 0 0.1, 迭代结束，得X 1为问题的最优解。
牛顿法
• 以上例子说明，牛顿法比最速下降法收敛快。
有定理可以证明，当初始点X 0靠近极小点X时，牛顿法的收敛速度是 很快的。 但是，当X 0远离 X时，牛顿法可能不收敛，甚至连下降性也保证不了。 其原因是：迭代点X k 1不一定是目标函数f 在牛顿方向pk 上的极小点。
共轭梯度法
现针对正定二次函数最优化问题，给出共轭梯度法的推导
给定初始点X 0 R n , 取初始搜索方向 p0 f ( X 0 ), 从X 0出发，沿d 0 进行以为搜索，得迭代点X 1，以下按 pk 1 f ( X k 1 ) k pk , 来构造搜索方向， k的选取应使所产生的pk 1与pk 是Q共轭的， 即 所以有
T T pk 1Qpk f ( X k 1 )T Qpk k pk Qpk 0
f ( X k 1 )T Qpk k = T pk Qpk p0 f ( X 0 ) p f ( X ) p k 1 k k k 1 f ( X k 1 )T Qpk k = T pk Qpk
共轭梯度法
1、共轭方向法
定义 设Q R nn为正定矩阵，若R n中的向量组p0 , p1 ,…，pm 1满足 piT Qp j 0, i,j=0,1, 则称p0 , p1 , …，pm 1是Q共轭的。 当Q I n为单位矩阵时，则上式变为 piT p j 0，i,j=0,1,…，m-1, 即向量组p0 , p1 ,…，pm 1是正交的 由此可知，共轭是正交概念的推广。
牛顿法
• 牛顿法的基本思想
为了寻找收敛速度快的无约束最优化方法，我们考虑在 每次迭代时，用适当的二次函数去近似目标函数f，并用 迭代点指向近似二次函数极小点的方向来构造搜索方向， 然后精确地求出近似二次函数的极小点，以该极小点作 为f的极小点近似值。
牛顿法
• 假设目标函数f具有二阶连续偏导数，即 f ( X k ) 和 f ( X k ) 存在 此时，可以利用Taylor展开式作f在点 X k处的近似函数： 1 f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) ( X X k ) T 2 f ( X k ) T ( X X k )
0
1
X k 1 X k k pk 令k : k 1, 返回step 2
共轭梯度法
最速下降法和牛顿法是最基本的无约束最优化方 法，它们的特性各异： 最速下降法计算较小而收敛速度慢； 牛顿法虽然收敛速度快，但需要计算目标函数的 Hesse矩阵及其逆矩阵，故计算量大。 接下来将要介绍一类无需计算二阶导数并且收敛 速度快的方法——共轭梯度法。
牛顿法
其中，搜索方向 pk [2 f ( X k )]1 f ( X k ), 称为牛顿方向 且步长为1。
牛顿法
例子：
用牛顿法求解问题
2 min f ( X ) 4 x12 x2 ,
8 0 解： f ( X 0 ) (8, 2) , f ( X 0 ) ，故 0 2 0 1 1 2 1 2 1 8 [ f ( X 0 )] 1 ，p0 [ f ( X 0 )] f ( X 0 ) 1 0 2 X 1 X 0 p0 (1,1)T (1,1)T (0, 0)T
牛顿法
为了弥补牛顿法的上述缺陷，人们把牛顿法作了如下修正： 由X k 求X k 1时，不直接用迭代公式 X k 1 X k [ 2 f ( X k )]1 f ( X k )， 因为这个公式已经把步长限定为1。而是沿着牛顿方向pk 进行一维 搜索。这样就是所谓的阻尼牛顿法。
牛顿法
2 将求f ( X )的极小值转化为求 ( X )的极小值。 f ( X k ) 2 f ( X k（X X k ) 0 ) X X k [ 2 f ( X k )]1 f ( X k ) 为求 ( X )的极小值，可令 ( X ) 0 即 解得
2
若f 在点X k 处的二阶偏导数 2 f ( X k )为正定矩阵，则上式解出的 X 就是 ( X )的极小点，以它作为f 的极小点的第k 1次近似，记为X k 1，即 X k 1 X k [ 2 f ( X k )]1 f ( X k ) 这就是牛顿法的迭代公式。