北工大第一次最优化方法13
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化理论与算法
（54课时） ---绪论
李改弟 应用数理学院 ligd@bjut.edu.cn
最优化研究什么？
• 有选择的地方就有优化：田忌赛马 • 讨论在众多的方案中什么样的方案 最优以及怎样找出最优方案
城建规划：如何安排工厂、机关、学 校、商店、医院、住户和其他单位的布 局，方能方便群众，利于城市的房展 食谱问题：保证营养要求条件下最经济
优化实例2：选址问题(facility location problem)
有n个市场，第j个市场的位置为 (a j , b j ), 已知： 对某种货物的需要量是 q j ( j 1,2,, n)
计划建立 m个货栈，第 i个货栈的容量为 ci (i 1,2,, m).
目标：确定货栈的位置，使各货栈到各市场的运输量 与路程乘积之和最小。 变量： 第i个 货 栈 位 置 为 ( x i , y i )(i 1,2 , m ).
凸锥
1. 验证超平面 H { x | pT x }是凸集。
2. 验证半空间 H { x | pT x }是凸集。 3. 求集合 S {( x1 , x2 ) | x2 | x1 |} 的方向和极方向。
定理(表示定理)
设S {x | Ax b ,x 0}为 非 空 多 面 集 ， 则 有 ： (1)极 点 集 非 空 ， 且 存 在 限 有个 极 点 x (1),x ( 2 ), x ( k ). (2)极 方 向 集 合 为 空 集 的 要 充条 件 是 S有 界. 若S 无 界 ， 则存在有限个极方向 d (1),d ( 2 ), d (l ). (3)x S的 充 要 条 件 是 ： x
j 1
j x
k
(j )
j
l
j d ( j ),
1
j j
1
k
1 ; j 0,j 1, 2, k; j 0,j 1, 2, ,l .
2. 凸集分离定理
设S 1和S 2是R n中 两 个 非 空 集 合 , H { x | pT x }为 超平面 .如 果 对 每 个 x S1 , 都 有pT x , 对 于 每 个 x S 2 , 都 有pT x , 则 称 超 平 面 H分 离 集 合 S1和S 2。
, y S , 则存在唯一的点 x S , 使得 定理1 设S为Rn中闭凸集
|| y x || inf || y x ||
xS
证明：令 inf || y x || r 0,由下确界定义知
xS
｛x ( k )｝ S , 使得|| y x ( k ) || r .
优化实例１：运输问题(transportation problem)
背 数
景：化学制品公司考虑某种产品的产销问题. 据：
问
题：确定从每个工厂运送到每个销地的产品 数量，使其满足需求，同时极小化费用 变 量： 的产品数量
目标函数：
产量约束： 销量约束： 非负约束：
问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题.
qj , j 1,2 , n
货栈的容量
W
i 1
m
ij
市场的需要量
Wij 0, i 1,2, m; j 1,2n
目标函数和约束函数至少有一个是非线性函数， 此为非线性规划！
1.2 最优化问题的分类与特征
连续与离散
• 某些或全部变量取整数值才有意义--整数规划 (IP). (上述运输问题中，工厂生产拖拉机而非化 学产品). • 分为整数线性规划和整数非线性规划；整数规划 和混合整数规划；一般整数规划和0-1整数规划 • 简单松弛策略. 忽略整数要求，当成实变量来求 解问题，然后将所有分量舍入到最近的整数--可 给出问题的界.Lagrange松弛策略. • 整数规划属NP难问题. 常用算法：分支定界法、 或其他启发式算法(求解一系列连续优化问题)
优化问题的简单分类与求解难度
问题的求解难度依次增加！
1.3 优化算法和优化软件
◎ 优化算法
• 迭代法 • 从最优解的某个初始猜测出发，生成一个提高 的估计序列，直到达到一个解. • 大部分利用目标函数和约束，可能还有这些函 数的一阶和二阶导数. • 通常收敛到
(无约束问题)驻点或者 (约束问题)KKT点(极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点.
i 1
(i 1 , 2 ,, k ) 的凸组合。
i 1
（2）凸集：设集合 X R n ，如果 X 中任意两点的凸组合 仍然属于 X ，则称 X 为凸集。 (3) 凸集的顶点：不能表示成另外两个点的严格凸组合。
（4）凸集的方向、极方向
设D是闭凸集， 0 d R n . 如果对每个 x D, 有 x d D, 0, 则称d是凸集 D的方向。
Chap 1 预备知识
一、最优化问题的一般形式：
m in f ( x) n
xR
s.t. ci ( x ) 0, i 1,...,me ; ci ( x ) 0, i me 1,...,m .
决策变量，目标函数， 约束函数（等式，不等式）。
(p)
二、可行点与可行域
称满足约束条件的点为可行点 称可行点全体组成的集合为可行域, 记为D 三、（严格）局部极小点与（严格）全局极小点
则称 x 是
*
f ( x) 在可行域上的局部极小点。
四、向量范数、矩阵范数
1、向量范数定义三条件：
2、常见向量范数：
|| || || ||1 || ||2 || ||p
范数的等价性：
设 || || 和 || || 是R n上任意两个范数，如果 存在正数 c1和c 2 , 使得对每个x R n 成立 c1 || x || || x || c 2 || x ||
由平行四边形定律得 { x ( k ) }为Cauchy序列 , 故有极限 xS
唯一性由反正法得到.
◎ 优化软件
• AMPL: A Modeling Language for Mathematical Programming • Lindo/Lingo软件(\verb" http://www.lindo.com" • Matlab优化工具箱(见姜启源等编的《数学实验》, 高教出版社) • Cplex • 其它(Mathematica, Minos, Excel等的优化功能).
矩阵范数性质(4)
(1) || Ax |||| A || || x || ( 2) || A ||| | || A || ( 3) || A B |||| A || || B || (4) || AD |||| A || || D ||
常用的矩阵范数
m n
|| A ||1 max | aij |, || A ||2 AT A , || A || max | aij |
* f ( x ) f ( x ), 若存在x D ，使得 x D,均有
*
则称 x * 是
在可行域上的全局极小点。 f ( x)
若存在 x * D和x *的 0的 邻 域 N ( x * , ) { x | || x x * || }, 使得对 x D N ( x * , )成 立f ( x ) f ( x * ),
课程主题
介绍线性与非线性规划的－－ 基本理论、实用算法和部分应用 具体的主题包括：
• 线性规划 基本性质、单纯形法、对偶理论 • 非线性规划 最优性条件、凸性、Lagrange对偶 无约束优化的算法：线搜索法和信赖域法、直接法 约束优化的算法：可行方向法、罚函数法
先修课程：线性代数，高等数学，最好会某种高级语言
约束与无约束
无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划
局部与全局 单目标与多目标
多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解
随机与确定
有的问题进行优化建模时，模型与一些不能提前确定 的参数有关(运输问题中，零售市场的需求在实际中不能够 精确确定. 许多经济和金融规划模型也具有该特征, 哪里 经常与未来的利息率和经济的未来趋向有关).
j i 1 i j 1
4、向量序列的极限 极限、聚点、Cauchy序列
极限：设 {x ( k )}是R n中 一 个 向 量 序 列x ， R n ,如 果 对每个任给的 0存 在 正 整 数 K ,使 得 当 k K 时 就 有 || x
子序列 { x
(k j )
(k )
在R n中任何两种范数均等价
例如 || x || || x ||1 n || x || || x || || x ||2 n || x || || x || || x || p n || x ||
p
3.诱导矩阵范数
| | Ax | | | |A | | max , 其 中| | | |是 某 一 向 量 范 数 。 | |x | | x 0
课本与教辅材料：
1. 陈宝林，最优化理论与算法(第二版)，清华大学 出版社 2. 刘红英，数学规划基础，北京航空航天大学出 版社，2012
优化的数学描述与例子
•目 标：系统性能的一种“量的度 量”(利润、时间、势能)－－任何数量或 某些量的组合－－数 •变 量：目标所依赖的系统的“某些可 控的特征” • 约束条件：经常变量以某种方式受限制(分 子中电子密度的量、贷款利率的量，不能 是负的)－－---
第i个 货 栈 到 第 j个 市 场 的 货 物 量 为 W ij ( i 1,2 , m; j 1,2 , n)
minWij ( x i a j ) 2 ( y i b j ) 2
i 1 j 1
n
m
n
s.t .
W
j 1
ij
c i , i 1,2, m
定理： 设{ x ( j ) } Rn为Cauchy序列，则 { x ( j ) }的聚点为极限点。
开集、闭集、紧集
设S 为 R n中 的 一 个 集 合 ， 如 果 S中 每 个 收 敛 序 列 的极限均属于 S,则 称S为 闭 集 。 ˆ S， 0,使 得x ˆ 如果对每一点 x 的邻 域 ˆ, ) {x | || x x ˆ || N (x } S , 则 成S为 开 集 。 如 果S为 有 界 闭 集 ， 则 称 S为 紧 集 。
优化问题的一般模型－－数学规划问题
优化建模(modeling)：识别出给定 问题的目标、变量和约束的过程。
• 建立恰当模型：第一步、最重要的一步(太 简单－不能给实际问题提供有用的信息； 太复杂－不易求解)
• 选择特定算法：很重要--决定求解速度及质 量(无通用优化算法，有求解特定类型优化 问题的算法)
五、线性空间、欧式空间
在线性空间中，定义内积和2范数为度量，这样的 空间为欧式空间。 六、梯度、Hesse阵
例 求下列函数的梯度与Hesse阵
(1) f ( x ) a x;
T
(2) f ( x ) x来自百度文库Ax.
T
七. 凸集与凸函数
1.凸集 （1）凸组合：已知 X R n ，任取k个点 x i X ， 如果存在常数 k k ai 0(i 1 , 2 ,, k ) ， ai 1,使得 ai x i x ，则称 x 为 x i
x || ,则 称 序 列 收 敛 到 x.
n
聚点：设 { x }是R 中的一个向量序列，如 }, 使得 lim x
k j (k j )
(k )
果存在一个
ˆ , 则称 x ˆ是 x { x ( k ) }的聚点。
Cauchy序 列 ：设{ x ( k ) }是R n中 的 一 个 向 量 序 列 ， 果 如对 任意给定的 0, 总 存 在 正 整 数 K ,使 得 当 m, l K 时 ， 就 有 | x ( m ) x ( l ) | , 则{ x ( k ) }称 为Cauchy序 列 。
（54课时） ---绪论
李改弟 应用数理学院 ligd@bjut.edu.cn
最优化研究什么？
• 有选择的地方就有优化：田忌赛马 • 讨论在众多的方案中什么样的方案 最优以及怎样找出最优方案
城建规划：如何安排工厂、机关、学 校、商店、医院、住户和其他单位的布 局，方能方便群众，利于城市的房展 食谱问题：保证营养要求条件下最经济
优化实例2：选址问题(facility location problem)
有n个市场，第j个市场的位置为 (a j , b j ), 已知： 对某种货物的需要量是 q j ( j 1,2,, n)
计划建立 m个货栈，第 i个货栈的容量为 ci (i 1,2,, m).
目标：确定货栈的位置，使各货栈到各市场的运输量 与路程乘积之和最小。 变量： 第i个 货 栈 位 置 为 ( x i , y i )(i 1,2 , m ).
凸锥
1. 验证超平面 H { x | pT x }是凸集。
2. 验证半空间 H { x | pT x }是凸集。 3. 求集合 S {( x1 , x2 ) | x2 | x1 |} 的方向和极方向。
定理(表示定理)
设S {x | Ax b ,x 0}为 非 空 多 面 集 ， 则 有 ： (1)极 点 集 非 空 ， 且 存 在 限 有个 极 点 x (1),x ( 2 ), x ( k ). (2)极 方 向 集 合 为 空 集 的 要 充条 件 是 S有 界. 若S 无 界 ， 则存在有限个极方向 d (1),d ( 2 ), d (l ). (3)x S的 充 要 条 件 是 ： x
j 1
j x
k
(j )
j
l
j d ( j ),
1
j j
1
k
1 ; j 0,j 1, 2, k; j 0,j 1, 2, ,l .
2. 凸集分离定理
设S 1和S 2是R n中 两 个 非 空 集 合 , H { x | pT x }为 超平面 .如 果 对 每 个 x S1 , 都 有pT x , 对 于 每 个 x S 2 , 都 有pT x , 则 称 超 平 面 H分 离 集 合 S1和S 2。
, y S , 则存在唯一的点 x S , 使得 定理1 设S为Rn中闭凸集
|| y x || inf || y x ||
xS
证明：令 inf || y x || r 0,由下确界定义知
xS
｛x ( k )｝ S , 使得|| y x ( k ) || r .
优化实例１：运输问题(transportation problem)
背 数
景：化学制品公司考虑某种产品的产销问题. 据：
问
题：确定从每个工厂运送到每个销地的产品 数量，使其满足需求，同时极小化费用 变 量： 的产品数量
目标函数：
产量约束： 销量约束： 非负约束：
问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题.
qj , j 1,2 , n
货栈的容量
W
i 1
m
ij
市场的需要量
Wij 0, i 1,2, m; j 1,2n
目标函数和约束函数至少有一个是非线性函数， 此为非线性规划！
1.2 最优化问题的分类与特征
连续与离散
• 某些或全部变量取整数值才有意义--整数规划 (IP). (上述运输问题中，工厂生产拖拉机而非化 学产品). • 分为整数线性规划和整数非线性规划；整数规划 和混合整数规划；一般整数规划和0-1整数规划 • 简单松弛策略. 忽略整数要求，当成实变量来求 解问题，然后将所有分量舍入到最近的整数--可 给出问题的界.Lagrange松弛策略. • 整数规划属NP难问题. 常用算法：分支定界法、 或其他启发式算法(求解一系列连续优化问题)
优化问题的简单分类与求解难度
问题的求解难度依次增加！
1.3 优化算法和优化软件
◎ 优化算法
• 迭代法 • 从最优解的某个初始猜测出发，生成一个提高 的估计序列，直到达到一个解. • 大部分利用目标函数和约束，可能还有这些函 数的一阶和二阶导数. • 通常收敛到
(无约束问题)驻点或者 (约束问题)KKT点(极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点.
i 1
(i 1 , 2 ,, k ) 的凸组合。
i 1
（2）凸集：设集合 X R n ，如果 X 中任意两点的凸组合 仍然属于 X ，则称 X 为凸集。 (3) 凸集的顶点：不能表示成另外两个点的严格凸组合。
（4）凸集的方向、极方向
设D是闭凸集， 0 d R n . 如果对每个 x D, 有 x d D, 0, 则称d是凸集 D的方向。
Chap 1 预备知识
一、最优化问题的一般形式：
m in f ( x) n
xR
s.t. ci ( x ) 0, i 1,...,me ; ci ( x ) 0, i me 1,...,m .
决策变量，目标函数， 约束函数（等式，不等式）。
(p)
二、可行点与可行域
称满足约束条件的点为可行点 称可行点全体组成的集合为可行域, 记为D 三、（严格）局部极小点与（严格）全局极小点
则称 x 是
*
f ( x) 在可行域上的局部极小点。
四、向量范数、矩阵范数
1、向量范数定义三条件：
2、常见向量范数：
|| || || ||1 || ||2 || ||p
范数的等价性：
设 || || 和 || || 是R n上任意两个范数，如果 存在正数 c1和c 2 , 使得对每个x R n 成立 c1 || x || || x || c 2 || x ||
由平行四边形定律得 { x ( k ) }为Cauchy序列 , 故有极限 xS
唯一性由反正法得到.
◎ 优化软件
• AMPL: A Modeling Language for Mathematical Programming • Lindo/Lingo软件(\verb" http://www.lindo.com" • Matlab优化工具箱(见姜启源等编的《数学实验》, 高教出版社) • Cplex • 其它(Mathematica, Minos, Excel等的优化功能).
矩阵范数性质(4)
(1) || Ax |||| A || || x || ( 2) || A ||| | || A || ( 3) || A B |||| A || || B || (4) || AD |||| A || || D ||
常用的矩阵范数
m n
|| A ||1 max | aij |, || A ||2 AT A , || A || max | aij |
* f ( x ) f ( x ), 若存在x D ，使得 x D,均有
*
则称 x * 是
在可行域上的全局极小点。 f ( x)
若存在 x * D和x *的 0的 邻 域 N ( x * , ) { x | || x x * || }, 使得对 x D N ( x * , )成 立f ( x ) f ( x * ),
课程主题
介绍线性与非线性规划的－－ 基本理论、实用算法和部分应用 具体的主题包括：
• 线性规划 基本性质、单纯形法、对偶理论 • 非线性规划 最优性条件、凸性、Lagrange对偶 无约束优化的算法：线搜索法和信赖域法、直接法 约束优化的算法：可行方向法、罚函数法
先修课程：线性代数，高等数学，最好会某种高级语言
约束与无约束
无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划
局部与全局 单目标与多目标
多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解
随机与确定
有的问题进行优化建模时，模型与一些不能提前确定 的参数有关(运输问题中，零售市场的需求在实际中不能够 精确确定. 许多经济和金融规划模型也具有该特征, 哪里 经常与未来的利息率和经济的未来趋向有关).
j i 1 i j 1
4、向量序列的极限 极限、聚点、Cauchy序列
极限：设 {x ( k )}是R n中 一 个 向 量 序 列x ， R n ,如 果 对每个任给的 0存 在 正 整 数 K ,使 得 当 k K 时 就 有 || x
子序列 { x
(k j )
(k )
在R n中任何两种范数均等价
例如 || x || || x ||1 n || x || || x || || x ||2 n || x || || x || || x || p n || x ||
p
3.诱导矩阵范数
| | Ax | | | |A | | max , 其 中| | | |是 某 一 向 量 范 数 。 | |x | | x 0
课本与教辅材料：
1. 陈宝林，最优化理论与算法(第二版)，清华大学 出版社 2. 刘红英，数学规划基础，北京航空航天大学出 版社，2012
优化的数学描述与例子
•目 标：系统性能的一种“量的度 量”(利润、时间、势能)－－任何数量或 某些量的组合－－数 •变 量：目标所依赖的系统的“某些可 控的特征” • 约束条件：经常变量以某种方式受限制(分 子中电子密度的量、贷款利率的量，不能 是负的)－－---
第i个 货 栈 到 第 j个 市 场 的 货 物 量 为 W ij ( i 1,2 , m; j 1,2 , n)
minWij ( x i a j ) 2 ( y i b j ) 2
i 1 j 1
n
m
n
s.t .
W
j 1
ij
c i , i 1,2, m
定理： 设{ x ( j ) } Rn为Cauchy序列，则 { x ( j ) }的聚点为极限点。
开集、闭集、紧集
设S 为 R n中 的 一 个 集 合 ， 如 果 S中 每 个 收 敛 序 列 的极限均属于 S,则 称S为 闭 集 。 ˆ S， 0,使 得x ˆ 如果对每一点 x 的邻 域 ˆ, ) {x | || x x ˆ || N (x } S , 则 成S为 开 集 。 如 果S为 有 界 闭 集 ， 则 称 S为 紧 集 。
优化问题的一般模型－－数学规划问题
优化建模(modeling)：识别出给定 问题的目标、变量和约束的过程。
• 建立恰当模型：第一步、最重要的一步(太 简单－不能给实际问题提供有用的信息； 太复杂－不易求解)
• 选择特定算法：很重要--决定求解速度及质 量(无通用优化算法，有求解特定类型优化 问题的算法)
五、线性空间、欧式空间
在线性空间中，定义内积和2范数为度量，这样的 空间为欧式空间。 六、梯度、Hesse阵
例 求下列函数的梯度与Hesse阵
(1) f ( x ) a x;
T
(2) f ( x ) x来自百度文库Ax.
T
七. 凸集与凸函数
1.凸集 （1）凸组合：已知 X R n ，任取k个点 x i X ， 如果存在常数 k k ai 0(i 1 , 2 ,, k ) ， ai 1,使得 ai x i x ，则称 x 为 x i
x || ,则 称 序 列 收 敛 到 x.
n
聚点：设 { x }是R 中的一个向量序列，如 }, 使得 lim x
k j (k j )
(k )
果存在一个
ˆ , 则称 x ˆ是 x { x ( k ) }的聚点。
Cauchy序 列 ：设{ x ( k ) }是R n中 的 一 个 向 量 序 列 ， 果 如对 任意给定的 0, 总 存 在 正 整 数 K ,使 得 当 m, l K 时 ， 就 有 | x ( m ) x ( l ) | , 则{ x ( k ) }称 为Cauchy序 列 。