变尺度法ppt课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
牛顿法特点
|| ||
xk1 x xk x*
* || ||2
,
0.
▪ 收敛速度快，为二阶收敛。 ▪ 初始点要选在最优点附近。
存在缺点及修正 (1) f ( xk1 ) f ( xk ) ?
xk 1
xk
Gk1
g
，
k
g
为梯度，
k
Gk1海塞阵的逆
(2) 初始点的选取困难，甚至无法实施。 (3) G1的存在性和计算量问题。
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
问题 : 如何确定一个合适的H ? k 8
DFP算法
一、DFP法的提出
（1） 1959年Davidon首次提出 （2） 1963年Fletcher和Powell做了改进 （3） 多变量无约束优化问题的一个重要工作
如 果 对Newton法 稍 作 修 正 ：
xk1 xk kd k tk : f ( xk kd k ) min f ( xk d k )
t
则有：f ( xk1 ) f ( xk )。
广义牛顿法
2
问 题 二 ： 如 何 克 服 缺 点 （2） 和 （3）? 4.5 拟牛顿法(变尺度法)
解得 0 0.13, 所以 x1 00.7.034864166。
x0
x1
x0
10..0246611564
,
14
g0
f
(
x1)
f
(x0
)
g1
g0
80..3562932038。
按 照DFP的 校 正 公 式 ：
H1
H0
x0T x0 x0T g0
H0g0g0T H0 g0T H0g0
1.00380 0.03149
一、拟牛顿法的思想
1. 先考虑Newton迭代公式：xk1 xk Gk1f ( xk )
在Newton迭代公式中 ，如果我们用正定矩阵Hk替代Gk1， 则有：
xk 1 xk Hkf ( xk )
2. 考虑更一般的形式：xk1 xk k Hkf ( xk )
3
xk1 xk k Hkf ( xk )
k
1
问题一：如何使得 f ( x k1 ) f ( x k ) ?
在Newton法中，有
x k1 x k G 1 g x k d k kk
当G 0 时，有 f ( xk )T d k f ( xk )T G1g g TG1g 0 ,
k
kk
k kk
当Gk正定时，d k是下降方向。
H k1( gk1 gk ) x k1 x k
这样我们想到
6
记gk gk1 gk , xk xk1 xk ,则有
拟Newton条件或拟Newton方程: Hk1gk xk . 二、拟Newton算法(变尺度法)的一般步骤 :
Step 1. 给定初始点 x0 ,正定矩阵 H0 , 误差 0，k : 0 Step 2. 计算搜索方向 dk H f ( xk );
（2）H 的计算量要小 H k1 H k H k k ( H k H k1 H k )
（3）收敛速度要快
Hk
G
1 k
如 何 保 证H k
0和H k
G
1 k
?
如 何 确 定H k？
5
拟Newton条件 Hk Gk1
分析 Gk1 需满足的条件，并利用此条件确定Hk 。
记g( x) f ( x), g f ( xk ) G f 2 ( xk ), 则因为
4.共轭方向法
对于极小化问题 min f ( x) 1 xT Ax bT x c , 2
23
定理 2. 设有函数
f ( x) 1 xT Ax bT x c ， 2
其中 A是 n阶对称正定矩阵。d (1) ,d (2) , ,d (k) 是 一组A共轭向量。
以任意的x(1) Rn为初始点，依次沿 d (1) ,d (2) , ,d (k) 进行搜索，
得到点 x(2) , x(3) , , x(k1) ,则 x(k1) 是函数 f ( x)在 x(1) Bk 上的 极小点，其中
18
6.5 共轭梯度法
一、共轭方向和共轭方向法
1．定义
设 A 是 n n 的对称正定矩阵，对于Rn中的两个非零向量d1 和 d 2，
若有 d1T Ad 2 0，则称 d1和d 2关于A共轭。
设 d1 , d 2 , ,d k 是 Rn 中一组非零向量，如果它们两两关于A 共轭，即 d iT Ad j 0, i j , i , j 1, 2 , , k 。
k
Bk { x| x id (i) ,i R }
i 1
是由 d (1) , d (2) , , d (k) 生成的子空间。特别地，当k n时，x(n1)是
f ( x)在Rn上的唯一极小点。
推论 在上述定理条件下，必有
f ( x(k1) )T d (i) 0H k 1
Hk
k xk xTk
Hk gk xTk xTk gk
xk gTk Hk
k
1
gTk Hk gk xTk gk
它是当前变度量方法中数值稳定性最好的。
17
六、变尺度法的主要特点
⑴只需用到函数的一阶梯度；（Newton法用到二阶 Hesse阵） ⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。
21
3. 几何意义
设有二次函数 f ( x) 1 ( x x)T A( x x) 2
其中 A 是 n n 对称正定矩阵， x 是一个定点。
则函数
f ( x)的等值面
1(x 2
x )T
A( x
x) c 是以 x 为中心的椭球面。
由于 f (x) A(x x) 0,
而 2 f ( x) A,
k
k
f ( x) f ( xk1 ) f ( xk1 )T ( x xk1 )
1 ( x xk1 )T 2 f ( x K 1 )( x xk1 ) 2
g( x) g( xk1 ) 2 f ( xk1 )( x xk1 )
gk gk1 Gk1 ( x k x k1 )
Gk11 ( gk1 gk ) x k1 x k ,
k
1 xTk gk
,
k
1 gTk Hk gk
。
根 据 上 述 推 导 ， 我 们 能够 得 到H k的DFP的 校 正 公 式 ：
H k 1
Hk
xTk xk xTk gk
Hk gk gTk Hk gTk Hk gk
DFP校正公式
性质： H0 0 Hk 0。
11
三、DFP算法的步骤 将拟牛顿法的第5 步：
满 足 上 述 方 程 的 解 很 多， 我 们 可 以 如 下 确 定 一组 解 ：
k uk uTk gk xk kvkvTk gk Hk gk
这样，我们可以取：
uk xk ,
k uTk gk 1,
vk Hk gk , kvTk gk 1。
10
即：
uk xk , vk Hk gk ,
Hk 1 Hk xk uTk Hk gk vTk 其中：
uk
ak xk
bk
H
T k
gk
vk
ck xk
dk
H
T k
gk
且满足：
uTk gk
vTk gk 1 这个公式含有5个参数
ak , bk , ck , dk ,
16
但有2个关系式，故有3个独立参数 较重要的三种公式是：
i 令 1，ck bk 0, 即DFP公式。 ii 令 1，bk ck , 即Broyden族公式。 iii 令 1，bk ck，dk 0, 即得重要的
00.1.023619479。
搜索方向d 1
H f 1
( x1 )
1.49416 0.09340
。
x2 x1 1d1 x1 0.49423d1 00..00000000 。
因为f ( x2 ) 0，所以x2是极小点。
15
4.6.3
五 变尺度算法的校正公式 一般的变尺度算法主要是Huang 族公式：
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
改为:
Step 5. 按照 DFP 的校正公式：
H k1
Hk
xkT xk xkT gk
H
k
gk
g
T k
H
k
gkT H k gk
N
x(k 1) x(k) ?
y x(k1) 解
13
例 用DFP算法求解min f ( x) x12 4x22, 初始点x0 11.
解
取H I , 0
f
(
x
)
2 8
x 1
x 2
。
第 一 步DFP算 法 与 梯 度 法 相 同 ： 因为
x0
f
(x0)
1 1
2t 8t
，
f ( x0 t0f ( x0)) min f ( x0 f ( x0)) (1 2t)2 4(1 8t)2
k
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
7
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
Step5. 令 gk1 f ( xk1), gk f ( xk ), gk f ( xk1) f ( xk ) gk1 gk , xk xk1 xk 。
则称这组方向是关于A共轭的，也称它们是一组A共轭方向。
注：如果A是单位矩阵，则
d 1T I d 2 0 d 1T d 2 0 d 1 d 2
共轭是正交的推广。
19
2．共轭方向 设直线 AB和CD过椭圆中心，且CD平行于椭圆在点 A，
B的切线，则称AB与CD为共轭直径，AB与CD 的方向
H I时 梯度法, k
最速下降方向 d k f ( xk ) , 度量为 x xT I x
Hk Gk1时 Newton法 最 速下 降 方 向d k Gk1f ( xk ), 度 量为 x xTGk1 x
也称拟Newton法为变尺度算法。
4
3. 如何对H 附加某些条件使得： k （1）迭代公式具有下降性质 Hk （ 0 正定）
二. 如何确定H ？ 秩2校正法 k Hk 1 Hk Hk Hk k uk ukT kvkvkT 待定：k，k R, uk，vk Rn 9
根据 拟Newton 条件：Hk 1gk xk，我们有
(Hk kukuTk kvkvTk )gk xk
即：k uk uTk gk k vk vTk gk xk H k gk
计算 H k ，k : k 1, 转 step 2.
12
四、变尺度法算法框图：
k k1
修正H (k ) 产生H (k 1)
x(1) , H (1)对 称
0, k 1
d (k ) -H (k )f ( x(k ) )
一 维 搜 索 得k x(k 1) x(k ) k d (k )
Stop
k id jT Ad i 0,
i 1
因为 d 1 ,d 2 , ,d k 是 k 个 A共轭的向量，所以上式可化简为
j d jT Ad j 0 . 因为d j 0,而 A是正定矩阵，所以 d jT Ad j 0，
所以
j 0, j 1,2, ,k。
因此 d1 ,d 2 , ,d k 线性无关。
为 共轭方向， 或 A, B的切线方向与 AB 的方向 称为共轭方向）见下图。
B C
D A
20
定理1 设 A是 n阶对称正定矩阵d，1 ,d 2 , ,d k 是k 个 A共轭的非零
向量，则这个向量组线 性无关。
证明 设存在实数1 ,2 , ,k ，使得
k
idi 0,
i 1
上式两边同时左乘d jT A，则有
因为A 正定，所以2 f ( x ) A 0, 因此 x 是 f ( x)的极小点。
x
22
设 x(0) 是在某个等值面上的一点，d (1) 是 Rn中的一个方向， x(0)沿着d (1) 以最优步长搜索得到点x(1) 。
则d (1)是点 x(1)所在等值面的切向量。
该等值面在点x(1) 处的法向量为
f ( x(1) ) A( x(1) x).
则 d (1) 与 f ( x(1) ) 正交，
即 d (1)T f ( x(1) ) 0,
令 d (2) x x(1) , 所以 d (1)T Ad (2) 0,
x2
x(0)
d (1)
x
d (2)
x (1)
o
x1
即等值面上一点处的切 向量与由这一点指向极 小点的向量关于 A 共轭。
|| ||
xk1 x xk x*
* || ||2
,
0.
▪ 收敛速度快，为二阶收敛。 ▪ 初始点要选在最优点附近。
存在缺点及修正 (1) f ( xk1 ) f ( xk ) ?
xk 1
xk
Gk1
g
，
k
g
为梯度，
k
Gk1海塞阵的逆
(2) 初始点的选取困难，甚至无法实施。 (3) G1的存在性和计算量问题。
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
问题 : 如何确定一个合适的H ? k 8
DFP算法
一、DFP法的提出
（1） 1959年Davidon首次提出 （2） 1963年Fletcher和Powell做了改进 （3） 多变量无约束优化问题的一个重要工作
如 果 对Newton法 稍 作 修 正 ：
xk1 xk kd k tk : f ( xk kd k ) min f ( xk d k )
t
则有：f ( xk1 ) f ( xk )。
广义牛顿法
2
问 题 二 ： 如 何 克 服 缺 点 （2） 和 （3）? 4.5 拟牛顿法(变尺度法)
解得 0 0.13, 所以 x1 00.7.034864166。
x0
x1
x0
10..0246611564
,
14
g0
f
(
x1)
f
(x0
)
g1
g0
80..3562932038。
按 照DFP的 校 正 公 式 ：
H1
H0
x0T x0 x0T g0
H0g0g0T H0 g0T H0g0
1.00380 0.03149
一、拟牛顿法的思想
1. 先考虑Newton迭代公式：xk1 xk Gk1f ( xk )
在Newton迭代公式中 ，如果我们用正定矩阵Hk替代Gk1， 则有：
xk 1 xk Hkf ( xk )
2. 考虑更一般的形式：xk1 xk k Hkf ( xk )
3
xk1 xk k Hkf ( xk )
k
1
问题一：如何使得 f ( x k1 ) f ( x k ) ?
在Newton法中，有
x k1 x k G 1 g x k d k kk
当G 0 时，有 f ( xk )T d k f ( xk )T G1g g TG1g 0 ,
k
kk
k kk
当Gk正定时，d k是下降方向。
H k1( gk1 gk ) x k1 x k
这样我们想到
6
记gk gk1 gk , xk xk1 xk ,则有
拟Newton条件或拟Newton方程: Hk1gk xk . 二、拟Newton算法(变尺度法)的一般步骤 :
Step 1. 给定初始点 x0 ,正定矩阵 H0 , 误差 0，k : 0 Step 2. 计算搜索方向 dk H f ( xk );
（2）H 的计算量要小 H k1 H k H k k ( H k H k1 H k )
（3）收敛速度要快
Hk
G
1 k
如 何 保 证H k
0和H k
G
1 k
?
如 何 确 定H k？
5
拟Newton条件 Hk Gk1
分析 Gk1 需满足的条件，并利用此条件确定Hk 。
记g( x) f ( x), g f ( xk ) G f 2 ( xk ), 则因为
4.共轭方向法
对于极小化问题 min f ( x) 1 xT Ax bT x c , 2
23
定理 2. 设有函数
f ( x) 1 xT Ax bT x c ， 2
其中 A是 n阶对称正定矩阵。d (1) ,d (2) , ,d (k) 是 一组A共轭向量。
以任意的x(1) Rn为初始点，依次沿 d (1) ,d (2) , ,d (k) 进行搜索，
得到点 x(2) , x(3) , , x(k1) ,则 x(k1) 是函数 f ( x)在 x(1) Bk 上的 极小点，其中
18
6.5 共轭梯度法
一、共轭方向和共轭方向法
1．定义
设 A 是 n n 的对称正定矩阵，对于Rn中的两个非零向量d1 和 d 2，
若有 d1T Ad 2 0，则称 d1和d 2关于A共轭。
设 d1 , d 2 , ,d k 是 Rn 中一组非零向量，如果它们两两关于A 共轭，即 d iT Ad j 0, i j , i , j 1, 2 , , k 。
k
Bk { x| x id (i) ,i R }
i 1
是由 d (1) , d (2) , , d (k) 生成的子空间。特别地，当k n时，x(n1)是
f ( x)在Rn上的唯一极小点。
推论 在上述定理条件下，必有
f ( x(k1) )T d (i) 0H k 1
Hk
k xk xTk
Hk gk xTk xTk gk
xk gTk Hk
k
1
gTk Hk gk xTk gk
它是当前变度量方法中数值稳定性最好的。
17
六、变尺度法的主要特点
⑴只需用到函数的一阶梯度；（Newton法用到二阶 Hesse阵） ⑵下降算法，故全局收敛； ⑶不需求矩阵逆；（计算量小） ⑷一般可达到超线性收敛；（速度快） ⑸有二次终结性。
21
3. 几何意义
设有二次函数 f ( x) 1 ( x x)T A( x x) 2
其中 A 是 n n 对称正定矩阵， x 是一个定点。
则函数
f ( x)的等值面
1(x 2
x )T
A( x
x) c 是以 x 为中心的椭球面。
由于 f (x) A(x x) 0,
而 2 f ( x) A,
k
k
f ( x) f ( xk1 ) f ( xk1 )T ( x xk1 )
1 ( x xk1 )T 2 f ( x K 1 )( x xk1 ) 2
g( x) g( xk1 ) 2 f ( xk1 )( x xk1 )
gk gk1 Gk1 ( x k x k1 )
Gk11 ( gk1 gk ) x k1 x k ,
k
1 xTk gk
,
k
1 gTk Hk gk
。
根 据 上 述 推 导 ， 我 们 能够 得 到H k的DFP的 校 正 公 式 ：
H k 1
Hk
xTk xk xTk gk
Hk gk gTk Hk gTk Hk gk
DFP校正公式
性质： H0 0 Hk 0。
11
三、DFP算法的步骤 将拟牛顿法的第5 步：
满 足 上 述 方 程 的 解 很 多， 我 们 可 以 如 下 确 定 一组 解 ：
k uk uTk gk xk kvkvTk gk Hk gk
这样，我们可以取：
uk xk ,
k uTk gk 1,
vk Hk gk , kvTk gk 1。
10
即：
uk xk , vk Hk gk ,
Hk 1 Hk xk uTk Hk gk vTk 其中：
uk
ak xk
bk
H
T k
gk
vk
ck xk
dk
H
T k
gk
且满足：
uTk gk
vTk gk 1 这个公式含有5个参数
ak , bk , ck , dk ,
16
但有2个关系式，故有3个独立参数 较重要的三种公式是：
i 令 1，ck bk 0, 即DFP公式。 ii 令 1，bk ck , 即Broyden族公式。 iii 令 1，bk ck，dk 0, 即得重要的
00.1.023619479。
搜索方向d 1
H f 1
( x1 )
1.49416 0.09340
。
x2 x1 1d1 x1 0.49423d1 00..00000000 。
因为f ( x2 ) 0，所以x2是极小点。
15
4.6.3
五 变尺度算法的校正公式 一般的变尺度算法主要是Huang 族公式：
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
改为:
Step 5. 按照 DFP 的校正公式：
H k1
Hk
xkT xk xkT gk
H
k
gk
g
T k
H
k
gkT H k gk
N
x(k 1) x(k) ?
y x(k1) 解
13
例 用DFP算法求解min f ( x) x12 4x22, 初始点x0 11.
解
取H I , 0
f
(
x
)
2 8
x 1
x 2
。
第 一 步DFP算 法 与 梯 度 法 相 同 ： 因为
x0
f
(x0)
1 1
2t 8t
，
f ( x0 t0f ( x0)) min f ( x0 f ( x0)) (1 2t)2 4(1 8t)2
k
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
7
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
Step5. 令 gk1 f ( xk1), gk f ( xk ), gk f ( xk1) f ( xk ) gk1 gk , xk xk1 xk 。
则称这组方向是关于A共轭的，也称它们是一组A共轭方向。
注：如果A是单位矩阵，则
d 1T I d 2 0 d 1T d 2 0 d 1 d 2
共轭是正交的推广。
19
2．共轭方向 设直线 AB和CD过椭圆中心，且CD平行于椭圆在点 A，
B的切线，则称AB与CD为共轭直径，AB与CD 的方向
H I时 梯度法, k
最速下降方向 d k f ( xk ) , 度量为 x xT I x
Hk Gk1时 Newton法 最 速下 降 方 向d k Gk1f ( xk ), 度 量为 x xTGk1 x
也称拟Newton法为变尺度算法。
4
3. 如何对H 附加某些条件使得： k （1）迭代公式具有下降性质 Hk （ 0 正定）
二. 如何确定H ？ 秩2校正法 k Hk 1 Hk Hk Hk k uk ukT kvkvkT 待定：k，k R, uk，vk Rn 9
根据 拟Newton 条件：Hk 1gk xk，我们有
(Hk kukuTk kvkvTk )gk xk
即：k uk uTk gk k vk vTk gk xk H k gk
计算 H k ，k : k 1, 转 step 2.
12
四、变尺度法算法框图：
k k1
修正H (k ) 产生H (k 1)
x(1) , H (1)对 称
0, k 1
d (k ) -H (k )f ( x(k ) )
一 维 搜 索 得k x(k 1) x(k ) k d (k )
Stop
k id jT Ad i 0,
i 1
因为 d 1 ,d 2 , ,d k 是 k 个 A共轭的向量，所以上式可化简为
j d jT Ad j 0 . 因为d j 0,而 A是正定矩阵，所以 d jT Ad j 0，
所以
j 0, j 1,2, ,k。
因此 d1 ,d 2 , ,d k 线性无关。
为 共轭方向， 或 A, B的切线方向与 AB 的方向 称为共轭方向）见下图。
B C
D A
20
定理1 设 A是 n阶对称正定矩阵d，1 ,d 2 , ,d k 是k 个 A共轭的非零
向量，则这个向量组线 性无关。
证明 设存在实数1 ,2 , ,k ，使得
k
idi 0,
i 1
上式两边同时左乘d jT A，则有
因为A 正定，所以2 f ( x ) A 0, 因此 x 是 f ( x)的极小点。
x
22
设 x(0) 是在某个等值面上的一点，d (1) 是 Rn中的一个方向， x(0)沿着d (1) 以最优步长搜索得到点x(1) 。
则d (1)是点 x(1)所在等值面的切向量。
该等值面在点x(1) 处的法向量为
f ( x(1) ) A( x(1) x).
则 d (1) 与 f ( x(1) ) 正交，
即 d (1)T f ( x(1) ) 0,
令 d (2) x x(1) , 所以 d (1)T Ad (2) 0,
x2
x(0)
d (1)
x
d (2)
x (1)
o
x1
即等值面上一点处的切 向量与由这一点指向极 小点的向量关于 A 共轭。