yh1-2,3
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化问题的一般算法 定义1.2.1 定义1.2.1 在点 x k 处，对于向量 pk ≠ 0, 若存在 α > 0 ，使
§2
f ( xk +αpk ) < f ( xk ), ∀α ∈(0,α)
x k 的一个下降方向。
则称 pk 为函数 f(x) 在点
T
注： 记 f(x) 在点 x k 处的梯度为 ∇f ( x k ) = g k ，则也称满足关系
g k pk < 0 的方向 pk 为下降方向。 为下降方向。
定义1.2.2 定义1.2.2
xk +αpk ∈ D, ∀α ∈(0,α)
点 xk ∈ D ，对于向量 pk ≠ 0, 若存在 α > 0 ，使
则称 pk 为 x k 点处关于区域 D 的可行方向。 注： 对 D 的内点来说，任意的向量 pk 都是可行方向； 的内点来说， 都是可行方向； 的边界点来说，有些方向可行，有些不可行. 对 D 的边界点来说，有些方向可行，有些不可行 同时满足上述两个性质的方向称为可行下降方向. 同时满足上述两个性质的方向称为可行下降方向
2
1
• 1
x + x2 = 1
• •
•
3 1
•
x1
点是最优点， 从图中可以看出 B 点是最优点， 因此， 因此，最优解 x * = (0,−3)T , 最优值
E
f
*
= −3.
B
•
7
如何用图解法求解二维最优化问题？ 如何用图解法Fra Baidu bibliotek解二维最优化问题？ x2 max z = 50 x 1 + 100 x 2 s.t.
x 1 + x 2 ≤ 300, 2 x 1 + x 2 ≤ 400, x 2 ≤ 250, x 1 ≥ 0, x 2 ≥ 0.
400 • 300 •
•
2x1 + x2 = 400
p ≥ 1, 有 :
|| xk+1 − x* || lim = β ,0 < β < +∞, * p k→∞ || x − x || k
二阶收敛
阶收敛的. 则称序列 { x k } 为 p 阶收敛的 算法的终止准则： 算法的终止准则：
(1) x k + 1 − x k < ε 或
x k +1 − x k xk
的产生： 点列 {xk }的产生： (1) 在可行域内点 xk 处寻求一个下降方向 pk ，使点 xk 移动时， 有所下降； 沿 pk 移动时，f(x) 有所下降； (2) 以 xk 为出发点，以 pk 为方向作射线 xk +αpk (α > 0) 为出发点， 在此射线上求一点 xk+1 = xk +αk pk ，使得 f ( x k +1 ) < f ( x k ), 称为步长。 其中 αk 称为步长。
2
算法的迭代格式： 算法的迭代格式： 初始x 初始 0 ∈D, k =0
k=k+1
对xk点选择可行 下降方向pk 下降方向 一
αk f ( xk +αk pk ) < f ( xk ) xk+1 = xk +αk pk
no 是否满足停机条件？ 是否满足停机条件？ yes
维 搜 索
停
3
算法的有效性： 算法的有效性： (1) 收敛算法，即：算法构造出的点列 {xk } 能够在有限步 收敛算法， 有极限点， 之内得到最优化问题的最优解 x ，或者点列{xk } 有极限点， 并且其极限点是最优解 x* . 局部收敛： 局部收敛：只有当 x0 充分接近 x*时， xk }才收敛于 x* 。 时 { {xk } 均收敛于 x* 。 整体收敛 整体收敛：对任意初始点 x0 ∈ D, (2) 收敛速度 即：作为一个好算法，还必须以较快的速度 收敛速度. 作为一个好算法， 收敛到最优解. 收敛到最优解 定义1.2.3 定义1.2.3 设算法产生的点列 {xk} 收敛到 x* , 且
•(50,250) x2 = 250 •
•
解： 先画出可行域 D 先画出可行域 满足约束条件的点构成的集合 （阴影部分） 阴影部分） 1 1 z − x1 目标函数： 目标函数： x 2 = 100 2 平行直线束——目标函数等值线 平行直线束 目标函数等值线
200 • 100 •
•
x1 + x 2 = 300
< ε;
| f ( x k +1 ) − f ( x k ) | ( 2 ) | f ( x k + 1 ) − f ( x k ) |< ε 或 < ε; | f ( xk ) |
(3) ∇ f ( xk ) = gk < ε ;
（4）上述三种终止准则的组合 ）上述三种终止准则的组合.
5
§3
例
二维最优化问题的几何解释
1
迭代算法。 迭代算法 求解最优化问题的基本方法： 求解最优化问题的基本方法： ————迭代算法。 出发， 即：从给定的初始可行点 x0 ∈ D 出发，寻找一个可行点列
{ x k }, 使得某个 x k 恰好是该问题的一个最优解，或者该点列收 恰好是该问题的一个最优解，
x* 。 敛到该问题的一个最优解
• • • • •
100
200
300
400
x1
* 因此，最优解 x * = (50,250)T , 最优值 z = 27500 . 因此，
6
例1.3.3 min f = x1 + x2 ,
2
x2
s.t .
− x1 − x2 + 1 ≥ 0 , x1 + x2 − 9 = 0 .
2 2
A
•
3
•
解： 先画出可行域 先画出可行域 D 即圆弧 ABE. 目标函数： 目标函数：x 2 = − x1 + f .
*
|| xk+1 − x || lim = β, * k→∞ || x − x || k
*
1.线性收敛： 若0 < β < 1; 线性收敛： 线性收敛 3.次线性收敛： 若β = 1. 次线性收敛： 次线性收敛
2.超线性收敛： 若β = 0; 超线性收敛： 超线性收敛
4
定义1.2.4 定义1.2.4 设算法产生的点列 {xk} 收敛到 x* , 若对于某个实数
§2
f ( xk +αpk ) < f ( xk ), ∀α ∈(0,α)
x k 的一个下降方向。
则称 pk 为函数 f(x) 在点
T
注： 记 f(x) 在点 x k 处的梯度为 ∇f ( x k ) = g k ，则也称满足关系
g k pk < 0 的方向 pk 为下降方向。 为下降方向。
定义1.2.2 定义1.2.2
xk +αpk ∈ D, ∀α ∈(0,α)
点 xk ∈ D ，对于向量 pk ≠ 0, 若存在 α > 0 ，使
则称 pk 为 x k 点处关于区域 D 的可行方向。 注： 对 D 的内点来说，任意的向量 pk 都是可行方向； 的内点来说， 都是可行方向； 的边界点来说，有些方向可行，有些不可行. 对 D 的边界点来说，有些方向可行，有些不可行 同时满足上述两个性质的方向称为可行下降方向. 同时满足上述两个性质的方向称为可行下降方向
2
1
• 1
x + x2 = 1
• •
•
3 1
•
x1
点是最优点， 从图中可以看出 B 点是最优点， 因此， 因此，最优解 x * = (0,−3)T , 最优值
E
f
*
= −3.
B
•
7
如何用图解法求解二维最优化问题？ 如何用图解法Fra Baidu bibliotek解二维最优化问题？ x2 max z = 50 x 1 + 100 x 2 s.t.
x 1 + x 2 ≤ 300, 2 x 1 + x 2 ≤ 400, x 2 ≤ 250, x 1 ≥ 0, x 2 ≥ 0.
400 • 300 •
•
2x1 + x2 = 400
p ≥ 1, 有 :
|| xk+1 − x* || lim = β ,0 < β < +∞, * p k→∞ || x − x || k
二阶收敛
阶收敛的. 则称序列 { x k } 为 p 阶收敛的 算法的终止准则： 算法的终止准则：
(1) x k + 1 − x k < ε 或
x k +1 − x k xk
的产生： 点列 {xk }的产生： (1) 在可行域内点 xk 处寻求一个下降方向 pk ，使点 xk 移动时， 有所下降； 沿 pk 移动时，f(x) 有所下降； (2) 以 xk 为出发点，以 pk 为方向作射线 xk +αpk (α > 0) 为出发点， 在此射线上求一点 xk+1 = xk +αk pk ，使得 f ( x k +1 ) < f ( x k ), 称为步长。 其中 αk 称为步长。
2
算法的迭代格式： 算法的迭代格式： 初始x 初始 0 ∈D, k =0
k=k+1
对xk点选择可行 下降方向pk 下降方向 一
αk f ( xk +αk pk ) < f ( xk ) xk+1 = xk +αk pk
no 是否满足停机条件？ 是否满足停机条件？ yes
维 搜 索
停
3
算法的有效性： 算法的有效性： (1) 收敛算法，即：算法构造出的点列 {xk } 能够在有限步 收敛算法， 有极限点， 之内得到最优化问题的最优解 x ，或者点列{xk } 有极限点， 并且其极限点是最优解 x* . 局部收敛： 局部收敛：只有当 x0 充分接近 x*时， xk }才收敛于 x* 。 时 { {xk } 均收敛于 x* 。 整体收敛 整体收敛：对任意初始点 x0 ∈ D, (2) 收敛速度 即：作为一个好算法，还必须以较快的速度 收敛速度. 作为一个好算法， 收敛到最优解. 收敛到最优解 定义1.2.3 定义1.2.3 设算法产生的点列 {xk} 收敛到 x* , 且
•(50,250) x2 = 250 •
•
解： 先画出可行域 D 先画出可行域 满足约束条件的点构成的集合 （阴影部分） 阴影部分） 1 1 z − x1 目标函数： 目标函数： x 2 = 100 2 平行直线束——目标函数等值线 平行直线束 目标函数等值线
200 • 100 •
•
x1 + x 2 = 300
< ε;
| f ( x k +1 ) − f ( x k ) | ( 2 ) | f ( x k + 1 ) − f ( x k ) |< ε 或 < ε; | f ( xk ) |
(3) ∇ f ( xk ) = gk < ε ;
（4）上述三种终止准则的组合 ）上述三种终止准则的组合.
5
§3
例
二维最优化问题的几何解释
1
迭代算法。 迭代算法 求解最优化问题的基本方法： 求解最优化问题的基本方法： ————迭代算法。 出发， 即：从给定的初始可行点 x0 ∈ D 出发，寻找一个可行点列
{ x k }, 使得某个 x k 恰好是该问题的一个最优解，或者该点列收 恰好是该问题的一个最优解，
x* 。 敛到该问题的一个最优解
• • • • •
100
200
300
400
x1
* 因此，最优解 x * = (50,250)T , 最优值 z = 27500 . 因此，
6
例1.3.3 min f = x1 + x2 ,
2
x2
s.t .
− x1 − x2 + 1 ≥ 0 , x1 + x2 − 9 = 0 .
2 2
A
•
3
•
解： 先画出可行域 先画出可行域 D 即圆弧 ABE. 目标函数： 目标函数：x 2 = − x1 + f .
*
|| xk+1 − x || lim = β, * k→∞ || x − x || k
*
1.线性收敛： 若0 < β < 1; 线性收敛： 线性收敛 3.次线性收敛： 若β = 1. 次线性收敛： 次线性收敛
2.超线性收敛： 若β = 0; 超线性收敛： 超线性收敛
4
定义1.2.4 定义1.2.4 设算法产生的点列 {xk} 收敛到 x* , 若对于某个实数