第十一章无约束问题的最优化方法

2
11.2.2 最速下降方向算法步骤
给定初始数据 求梯度向量的模.判断停止条件
构造最速下降方向 求得迭代步长，得到下一个数据
一些说明：
在接近极小点附近时，最速下降法会出现锯 齿现象
11.3 牛顿法
11.3.1 牛顿方向和牛顿法
主要思路：
用二次函数（二次泰勒多项式）近似目标函 数，搜索方向为迭代点处指向二次函数极小 点方向
X(
k
k
1) X (k ) k
f X (k ) T p(k) T A
p(k) p(k p(k )
)
k 0,1,...,n 1 k 0,1,...,n 1
p
(0)
f
X (0)
p
(k k
1)
f f X (k
p(k)
X (k 1) 1) T Ap(k T Ap(k )
11.2 最速下降法(梯度法)
11.2.1 基本原理
最速下降方向：
p(k) f X (k)
最优步长公式：
k f
f X (k ) T .f X (k ) X (k ) T .H X (k ) .f X (k )
back
最速下降方向：
p(k) f X (k)
f X p f X f X p f X p f X f X p 0 f X p 0 f X p f X p cos
p(1) , p(2) ,...,p(k)必线性无关k n
共轭方向的重要性质
定理11.4.2
设正定n维二次函数f X 1 X T AX bT X C,
2 A是n阶对称正定阵.又设向量p(1) , p(2) ,...,p(n-1) 关于A共轭，则从任一点X (0)出发，相继以 p(1) , p(2) ,...,p(n-1)为搜索方向的下述算法，经n
牛顿方向：
p(k) 2 f X (k) 1.f X (k)
步长：k 1
牛顿方向：
p(k) 2 f X (k) 1.f X (k)
f X
f X (k) f X (k) T X X (k) 1 X X (k) T H X (k) X X (k) 2
11.4.1 共轭方向与共轭方向法
定义11.4.1 设X ,Y是n维欧氏空间中两个向量，即X ,Y Rn , 若有X T Y 0 就称X与Y是两个正交的向量。又设A是一个n阶对称正定矩阵， 若有X T AY 0,则称向量X与Y关于A共轭正交，简称关于A共轭
定义11.4.2 设一组非零向量p(1) , p(2) ,...,p(n) Rn , A是一个n阶对称正定矩阵，
最优步长公式：
back
k f
f X (k ) T .f X (k ) X (k ) T .H X (k ) .f X (k )
f X f X f X f X T f X 1 f X T H X f X
2
f X λf X T f X 1λ2f X T H X f X
11.1 变量轮转法
算法主要思想：
将多变量函数的优化问题转化为一系列单变 量函数的优化问题
认为有利的搜索方向是各坐标轴的方向，因 此它轮流按各坐标轴的方向搜索最优点
算法：
给定初始点 从该点出发，沿各个坐标轴方向进行一 维搜索，求得最优步长，从而得到新点
判断停止条件
x5
x3
x4
x1 x2
作业
11.4 11.6
END☺
第十一章 无约束问题的最优化 方法
本节内容
11.0 无约束问题的最优化方法简介 11.1 变量轮转法 11.2 最速下降法 11.3 牛顿法 11.4 共轭梯度法
11.0 无约束问题的最优化方法简介
本章主要内容：
如何构造无约束问题搜索方向
方法分类：
直接搜索法---无需求导 解析法---------需要求导
次一维搜索可以收敛于f X 的极小点X *.
共轭方向法
从任一点X (0) Rn出发，相继以某组共轭方向 进行一维搜索求解非线性规划问题的方法.
11.4.2 正定二次函数的共轭梯度法
共轭梯度法：
用迭代点处的负梯度向量作为基础产生一组 共轭方向的方法，叫做共轭梯度法
共轭梯度法的公式
min f X 3x12 2x22 x32 初始点X (1) 1,2,3 T ,当 X (n1) X (1) 0.01时停止
初始点X (1) 1,2,3T
f X (1) 3x1 2 17 31 2 17
df 61 0 1
d
X (2) 0,2,3T f X (2) 17
)
k p(k k
)
0,1,
k ...
,n
0,1,. 2
.
.
,n
2
例子
f
X
3 2
x12
1 2
x22
x1x2
2 x1
取 10 4，X (0)Leabharlann Baidu [2,4]T
11.4.3 非二次函数的共轭梯度法
与原来方法的区别：
步长用其他一维搜索方法来确定； 凡是公式中用到矩阵A之处，都要改用当前
迭代点处的黑塞矩阵。 不一定能在n步内收敛到最优解
f X (k) f X (k) T X X (k) 1 X X (k) T H X (k) X X (k) 2 X
X 0 p(k)
牛顿法的算法步骤
给定初始数据 求梯度向量.判断停止条件
构造牛顿方向 迭代得到下一个数据
例子
min f X x12 25x22
f X (2) 3 0 2x2 2 32 22 2 9
df 42 0 2
d
X (3) 0,0,3T f X (2) 9
f X (3) 3 0 2 0 3 2 3 2
df 23 0 3
d
X (3) 0,0,0T f X (3) 0
选取X (0) [2,2]T , 106
11.3.3 修正牛顿法
给定初始数据 求梯度向量.判断停止条件
构造牛顿方向 进行一维搜索，迭代得到下一个数据
11.4 共轭梯度法
算法特点：
方法中的搜索方向是与二次函数系数矩阵有 关的所谓共轭方向。
用这类方法求解n元二次正定函数的极小问 题，最多进行n次一维搜索就可求得极小点
若下式成立：p(i) T A p( j) 0i j, j, j 1,2,...,n.
则称向量组p(1) , p(2) ,...,p(n)关于A共轭正交， 也称它们为一组A共轭方向。
共轭方向的重要性质
定理11.4.1 设A是n阶对称正定阵，p(1) , p(2) ,...,p(k)是k 个关于A共轭的非零n维向量，则向量组