运筹学(最优化方法)第一章 引言
合集下载
最优化方法讲稿第一章
第一章 基本概念和预备知识
本章给出与最优化问题相关的基本概念和必要的预备知识， 内容包括最优化问题的几何 解法、多元函数的中值定理和 Taylor 公式、函数取极值的必要条件和充分条件、凸函数和 凸优化问题、最优化算法概述．本章内容是重要的，它是学习以后各章的理论和算法基础． §1 最优化问题及其几何解法 在介绍最优化问题的一般概念之前，为表述的方便，本文将 n 元函数 f ( x1 , x 2 , L , x n ) 视作向量 x = ( x1 , x 2 , L , x n ) T 的实值函数，记为 f ( x ) ． 最优化问题的一般形式是
例 2.3 设 f 在 a ∈ R n 的某邻域 D 内可微， h ∈ R n ，且
ϕ (t ) = f ( a + th) ,
其中 t ∈ R 使得 a + th ∈ D ， （1）求 ϕ ′(t ) ； （2）当 f 在 D 内二阶可微时，求 ϕ ′′(t ) ． 解 （1）记 a = (a1 , a 2 ,L a n ) T ， h = ( h1 , h2 ,L , hn ) T ， a + th = y = ( y1 , y 2 ,L , y n ) T ， 则
是实对称矩阵， b ∈ R ,
n
Байду номын сангаасc ∈ R ，则称(GOP)是二次规划问题．
S = {x ∈ R n | g i ( x) ≥ 0, i = 1,2,L, m; h j ( x) = 0, j = 1,2,L, l},
则称 S 是(GOP)的可行域，称 x ∈ S 是(GOP)的一个可行解（点） ．此时，最优化问题(GOP) 也可以改写为
(GOP)
⎧min ⎪ ⎨ s.t. ⎪ ⎩
运筹学最优化方法复习
第1章 最优化问题的基本概念§1.1最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
§1.2最优化问题的数学模型1.最优化问题的一般形式⎪⎪⎩⎪⎪⎨⎧===≤q v x x x h p u x x x g t s x x x f x x x find n v n u nn,,2,10),,,(,,2,10),,,(..),,,(min ,,,212121212.最优化问题的向量表达式⎪⎪⎩⎪⎪⎨⎧=≤0)(0)(..)(min X H X G t s X f X find式中：T n x x x X ],,,[21 =T p X g X g X g X G )](,),(),([)(21 = T p X h X h X h X H )](,),(),([)(21 =3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：由设计变量所确定的空间。
设计空间中的每一个点都代表一个设计方案。
§1.3优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法： 1按照模型中是否存在约束条件，分为约束优化和无约束优化问题 2按照目标函数和约束条件的性质分为线性优化和非线性优化问题 3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章 最优化问题的数学基础§2.1 n 元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，且D X ∈0。
若存在n 维向量L ，对于任意n 维向量P ，都有0)()(lim 000=--+→P P L X f P X f T P 则称)(X f 在0X 处可微。
2.梯度设有函数)(X F ，T n x x x X ],,,[21 =，在其定义域内连续可导。
运筹与优化第1-2章
◆锥、凸锥 定义2 . 1 . 2 设有集合C ⊂ E n，若对C 中每 一点x，当λ取任何非负数时，都有 λx∈C ，则称C 为锥，又若C 为凸集，则 称C为凸锥。
lim x
k→∞
(k )
=x
序列若存在极限，则任何子序列有相 同的极限，极限唯一
四、聚点
定义1.3.5设{x（k）}是Rn中的一个向量序 (k j ) 列，如存在一个子序列{x } ，使
k j →∞
lim x
(k j )
ˆ = x
ˆ 则称 x 是序列{x（k）}的一个聚点 • 如无穷序列有界，即存在正数M，使得 对所有k均有|| x（k） ||≤ M，则该序列必 有聚点
八、梯度
• 函数f在x处的梯度为n维列向量：
⎡ ∂ f ( x ) ∂f ( x ) ∇f ( x ) = ⎢ , , ∂x 2 ⎣ ∂x1
∂f ( x ) ⎤ , ⎥ ∂x n ⎦
T
九、Hesse矩阵
∂ f ( x) [∇ f ( x )]ij = ,1 ≤ i , j ≤ n ∂x i ∂x j
n×k
第2章 凸集与凸函数
§2.1凸集(Convex Set)
一、凸集的概念
◆
实空间上定义了+、数乘、内积
x(1)和 x(2)的凸组合(convex combination x(1) x(2) x(1) x(2)
●例2.1.1 集合H = { x | pTx = α}为凸集， 其中，p为n维列向量， α为实数。
• 设每人每天需要各种食品的数量分别为x1、 x2、…、xn • Min c1x1+ c2x2+ …+ cnxn a11x1 +a12x2+ …+ a1nxn≥b1 a21x1 +a22x2+ …+ a2nxn≥b2 s.t. … am1x1 +am2x2+ …+ amnxn≥bm x1 、x2、 … 、 xn≥ 0
运筹学与最优化方法第1章
与路程的乘积之和最小。
设第i个货栈的位置为（xi,yi)， i=1.2, …,m，第i个货栈供给第j 个市场的货物量为zij , i=1.2, …,m， j=1.2, …,n，第i个货栈到第j
个市场的距离为 由题意有，求
d ij ( xi a j ) 2 ( yi b j ) 2
z
n
且f(x)在S上是二阶可微的，若对任意的x∈S， f(x)的海 赛(Hesse)矩阵 在S上是半正定的，则称f(x)在S上是凸的.
例： 2 2 1) f(x)＝x1 +2x1x2+2x2 +10x1 - 4 ； 2 2 2 2) f(x)＝-3x1 +x1x2-x2 -2x3 -2x2x3+26 ; 3 3 3) z＝x +y -3x-12y
2 f 2 x 1 2 f H ( x) 2 f ( x) x2x1 2 f xn x1 2 f x1x2 2 f x2 2 2 f xn x2 2 f x1xn 2 f x2xn 2 f xn 2
•若不要求曲线（面）通过所有数据点，而是要求它反映对象 整体的变化趋势，这就是数据拟合，又称曲线拟合或曲面拟合。
曲线拟合问题最常用的解法——线性最小二乘法的 基本思路
第一步:先选定一组函数 r1(x), r2(x), …rm(x), m<n, 令
f(x)=a1r1(x)+a2r2(x)+ …+amrm(x) （ 1）
x(1) , x(2) S
(1) (1) (1) f ( x ) f ( x ) f ( x )T 其中 f ( x(1) ) ( , , , ) x1 x2 xn
设第i个货栈的位置为（xi,yi)， i=1.2, …,m，第i个货栈供给第j 个市场的货物量为zij , i=1.2, …,m， j=1.2, …,n，第i个货栈到第j
个市场的距离为 由题意有，求
d ij ( xi a j ) 2 ( yi b j ) 2
z
n
且f(x)在S上是二阶可微的，若对任意的x∈S， f(x)的海 赛(Hesse)矩阵 在S上是半正定的，则称f(x)在S上是凸的.
例： 2 2 1) f(x)＝x1 +2x1x2+2x2 +10x1 - 4 ； 2 2 2 2) f(x)＝-3x1 +x1x2-x2 -2x3 -2x2x3+26 ; 3 3 3) z＝x +y -3x-12y
2 f 2 x 1 2 f H ( x) 2 f ( x) x2x1 2 f xn x1 2 f x1x2 2 f x2 2 2 f xn x2 2 f x1xn 2 f x2xn 2 f xn 2
•若不要求曲线（面）通过所有数据点，而是要求它反映对象 整体的变化趋势，这就是数据拟合，又称曲线拟合或曲面拟合。
曲线拟合问题最常用的解法——线性最小二乘法的 基本思路
第一步:先选定一组函数 r1(x), r2(x), …rm(x), m<n, 令
f(x)=a1r1(x)+a2r2(x)+ …+amrm(x) （ 1）
x(1) , x(2) S
(1) (1) (1) f ( x ) f ( x ) f ( x )T 其中 f ( x(1) ) ( , , , ) x1 x2 xn
运筹学与最优化方法
n
五、基本概念和符号（续）
2、多元函数及其导数
(2) 梯度（一阶偏导数向量）： T n f ( x) ＝ ( f / x1 , f / x2 , … , f / xn ) R . 线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b f (x) = Qx + c m 向量值线性函数：F(x) = Ax + d R F / x = AT
( 1)
,d
(2)
,…,d
(m) m
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(2)
,…,d
(m)
)={ x = d j j =1
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
d 0 x x+(1/2)d
n
五、基本概念和符号（续）
1、向量和子空间投影定理
(2) 向量运算：x , y R
n
x,y
的内积：xTy
= i =1 xiyi = x1y1+ x2y2+ …+ xnyn
五、基本概念和符号（续）
2、多元函数及其导数
(2) 梯度（一阶偏导数向量）： T n f ( x) ＝ ( f / x1 , f / x2 , … , f / xn ) R . 线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b f (x) = Qx + c m 向量值线性函数：F(x) = Ax + d R F / x = AT
( 1)
,d
(2)
,…,d
(m) m
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(2)
,…,d
(m)
)={ x = d j j =1
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
d 0 x x+(1/2)d
n
五、基本概念和符号（续）
1、向量和子空间投影定理
(2) 向量运算：x , y R
n
x,y
的内积：xTy
= i =1 xiyi = x1y1+ x2y2+ …+ xnyn
最优化方法 1第一章
xyz 2 (3a yz ) 0， 2 xyz 2 (3 a zx) 0， 2 xyz 2 (3 a xy ) 0．
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化方法第一章
19
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化方法(刘)第一章
f x 1 y cT x 1 y cT x 1 cT y f x 1 f y
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
最优化理论 第一章
或稳定性等要求； 边界约束——只是对设计变量的取值范围加以限制的约 对轴段长度的限定范围就属于边界约束。
束称作边界约束。例如，允许机床主轴选择的尺寸范围，
(a)二变量问题的约束线
图1-2 优化问题中的约束面（或约束线）
(b) 三变量问题的约束面
可行域 : 在优化问题中，满足所有约束条件的点所构成的 集合。 如图1-3上画出了满足两项约束条件g1（X）=x12＋x22—16 ≤ 0和g2 （X）＝2—x2≤0的二维设计问题的可行域D，它位于x2=2的上面和 圆 x12＋x22=16的圆弧ABC下面并包括线段AC和圆弧ABC在内。
2.约束条件
优化问题中有些是工程上所不能接受的，在优化中
对优化变量取值有一些限制条件，这些限制条件称作 约束条件，简称约束。 约束又可按其数学表达形式分成等式约束和不 等式约束两种类型： (1)等式约束
h( x ) 0 g ( x) 0
(2)不等式约束
根据约束的性质可以把它们区分成： 性能约束——针对性能要求而提出的限制条件称作性能 约束。例如，选择某些结构必须满足受力的强度、刚度
求优化变量向量
使目标函数
满足约束条件 ：
X [ x1 , x2 , , xn ] f ( X ) min
g j (X ) 0
T
( j 1, 2,
, m)
hk ( X ) 0
(k 1,2, , l )
n
min f ( X ) f ( x1，x2， ，xn ), X R s.t. g j ( X ) 0 j 1,2, , m hk ( X ) 0 k 1,2, , l
一个优化问题可以用一组基本参数的数值来表示， 在优化过程中进行选择并最终必须确定的各项独立 的基本参数，称作优化变量，又叫做决策变量。
最优化计算方法-第1章(绪论)
第一章绪论§1.1引言最优化：就是从所有可能的方案中，选出最合理的，达到事先规定的最优目标的学科。
这样的问题称为最优化问题，达到最优目标的方案称为最优方案，寻找最优方案的方法称为最优化方法。
广义上：运筹学(Operation Research)狭义上：数学规划（programming)发展:(1)最优化问题是一个古老的问题。
早在17世纪，Newton和Leibniz已经提出了函数的极值问题，但没有系统的理论.因为算法不完善及计算工具不先进，以后二、三百年发展缓慢。
（2）第二次世界大战中由于军事上(战略、战术）的需要，如资源调配问题运输问题提出了许多不能用古典方法解决的问题，从而产生了线性规划，非线性规划、动态规划、组合优化等新方法，产生运筹学，（3）但直到20世纪40年代，最优化的理论和算法才得以迅速发展，并不断完善，逐步成为一门系统的学科。
在实际中最优化方法发挥的作用越来越大，其应用越来越广泛，尤其是在工程设计中的应用。
重要性：因为应用广泛所需数学知识：高等数学、线性代数§1.2 优化问题的模型举例例1 产品调运问题设某产品有个产地，各产地产品的产量分别为m 12,,,m a a a 有n 个销售地，每个销地的销量分别为12,,,n b b b 设由第i 个产地到第j 个销地的运费单价为ijc 问如何安排运输计划，使总运费最小（假设产销平衡）。
ij x 解设由第i 个产地到第j 个销地的运输量为1n j =∑1m i =∑min1(1,2,,)n ij i j x a i m ===∑ 1(1,2,,)m ij j i x b j n ===∑ ..s t ij ij c x 1a i a m a 1b j b n b ij c ij x例2将非线性方程组的求解转化为一优化问题。
11221212(,,,)0(,,,)0(,,,)0n n n n f x x x f x x x f x x x =⎧⎪=⎪⎨⎪⎪=⎩212121min (,,,)(,,,)nn i n i x x x f x x x ϕ==∑ 解非线性方程组在有解的情况下，等价于§1.3 优化问题的模型与分类1 根据问题不同特点的分类（1）无约束优化问题（unconstraint optimizationproblem ）12min (,,,)n f x x x 12(,,,)Tn x x x = x min ()n x R f ∈x min (),nf R ∈x x (P)(P)min ()..()0,1,2,,j f s t h j l ⎧⎨==⎩ x x min ()..()0,1,2,,i f s t g i m ⎧⎨≥=⎩ x x min ()..()0,1,2,,,()0,1,2,,i j f s t g i m h j l⎧⎪≥=⎨⎪==⎩ x x x （2）约束优化问题（constraint optimization problem ）(P 1)(P 2)(P 3)12(,,,)T n x x x = x 称为决策变量()f x 称为目标函数()j h x 称为约束函数()0(1,2,,),()0(1,2,,)i j g i m h j l ≥=== x x 称为约束条件()i g x 满足约束条件的点称为可行解（feasible solution ）{}|()0,1,2,,;()0,1,2,,i j R g i m h j l =≥=== x x x (P3)的可行域（feasible region ）2 根据函数类型分类1)线性规划（linear programming）.2)二次规划。
运筹学 第01章 线性规划问题
线性规划建模步骤
设定决策变量 明确约束条件并用决策变量的线性等式或 不等式表示 用变量的线性函数表示要达到的目标，并 确定是求极小还是求极大 根据变量的物理性质确定变量是否具有非 负性 注：其中最关键是设定决策变量这一步
生产计划问题(1)
某工厂用三种原料生产三种产品，已知的 条件如下表所示，试制订总利润最大的日 生产计划
线性规划问题解的有关概念(2)
基本解：令模型中所有非基变量的值等于零后，由 模型的约束方程组得到的一组解。 基本可行解：满足非负条件的基本解称为基本可行 解。 可行基：对应于基本可行解的基称为可行基。 退化解：基本可行解的非零分量个数小于m时，称 为退化解。 最优基：若对应于基B的基本可行解X是线性规划的 最优解，则称B为线性规划的最优基
人员安排问题(1)
医院护士24小时值班，不同时段需要的护 士人数不等（见下表）。每个护士每天连 续值班8小时，在各时段开始时上班。问最 少需要多少护士？
序号 1 2 3 4 时段 06—10 10—14 14—18 18—22 最少人数 60 70 60 50
5 6
22—02 02—06
20 30
人员安排问题(2)
设xj为第j时段开始值班的护士人数
目标函数为：使人数最少，则有
min f ( X ) x1 x2 x3 x4 x5 x6 x6 x1 60 x x 70 1 2 x2 x3 60 s.t. x3 x4 50 x x 20 5 4 x5 x6 30 x1 , x2 , x3 , x4 , x5 , x6 0且为整数
运筹学
第一章 线性规划问题
本章重点
线性规划建模 线性规划的图解法 线性规划的标准形式 单纯形法 两阶段法 大M法
第1讲最优化方法入门
1.发展历史 1.发展历史
第二次世界大战前后， 第二次世界大战前后，由于军事上的需要和科 学技术和生产的迅速发展， 学技术和生产的迅速发展，许多实际的最优化问题 已经无法用古典方法来解决， 已经无法用古典方法来解决，这就促进了近代最优 化方法的产生. 化方法的产生. 近代最优化方法的形成和发展过程中最重要的 事件有： Л.В.康托罗维奇和美国G.B. 康托罗维奇和美国G.B.丹 事件有： 以苏联 Л.В.康托罗维奇和美国G.B.丹 捷克为代表的线性规划；以美国库恩和塔克尔为代 捷克为代表的线性规划；以美国库恩和塔克尔为代 为代表的线性规划 库恩 表的非线性规划；以美国R.贝尔曼为代表的动态规 R.贝尔曼 表的非线性规划；以美国R.贝尔曼为代表的动态规 Л.С.庞特里亚金 划；以苏联Л.С.庞特里亚金为代表的极大值原理 以苏联Л.С.庞特里亚金为代表的极大值原理 等.
最优化问题根据其中的变量、约束、目标、 最优化问题根据其中的变量、约束、目标、问题 变量 性质、时间因素和函数关系等不同情况 因素和函数关系等不同情况， 性质、时间因素和函数关系等不同情况，可分成多 种类型（见表） 种类型（见表）.
最优化问题举例： 最优化问题举例： 1. 公共交通出行线路最优选择 (基于最小换乘次数的最优路径算法) 基于最小换乘次数的最优路径算法) 出行日期的选择? 2. 出行日期的选择? 出门走） （3 6 9 出门走）
最优选择： 天气晴朗，无雨、雪天气；避开 最优选择： 天气晴朗，无雨、雪天气； 人流高峰…… 人流高峰
3. 最佳约会策略 (脑力游戏) 脑力游戏)
现假设你征女朋友(男朋友) 或者以其它方式， 现假设你征女朋友(男朋友)，或者以其它方式，选定了 某些约会对象， 20个 约会当然得一个一个来， 某些约会对象，比如 20个.约会当然得一个一个来，那 么假设： 么假设： 可以将所有已约会的对象按优劣排序， 1. 可以将所有已约会的对象按优劣排序 ， 但无法得知他 们在所有的人里面的排名.在约会过程中， 们在所有的人里面的排名 . 在约会过程中 ， 你知道某人 是你目前已见到的最好的， 是你目前已见到的最好的，但当时还不能确定是不是所 有人里面最好的. 有人里面最好的. 如果你在约会当时决定放弃某人， 2.如果你在约会当时决定放弃某人，后面再没有机会和此 人和好——好马不吃回头草. 好马不吃回头草. 人和好 好马不吃回头草 选定意中人后，约会结束——骑驴找马是不道德的. 骑驴找马是不道德的. 3.选定意中人后，约会结束 骑驴找马是不道德的 排除一见钟情等特殊情况. 4.排除一见钟情等特殊情况.
运筹学课程01-绪论
应用实例
NEUQ
对美军来说，全部可能的方案如下： （N，N）方案：集中侦察北路，派少量侦察机侦察南路， 日舰也走北路。虽然天气不好，但可望一天内发现日舰， 有两天时间轰炸； （N，S）方案；集中侦察北路，派少量侦察机侦察南路， 日舰走南路。因南路天气晴好，少量侦察飞机用一天也能 发现日舰，轰炸时间也只有两天； （S，N）方案：集中侦察南路，派少量侦察机侦察北路， 日舰走北路。少量的飞机在阴雨的北路侦察，发现目标需 要两天，轰炸时间只有一天； （S，S）方案：集中侦察南路，派少量侦察机侦察北路， 日也舰走南路。能立即发现日舰，这样有三天的轰炸时间。
应用实例
NEUQ
沈括运军粮 北宋时战争中还没有特别重的军械，仅粮食一项就耗费大量
人力、物力和财力。运粮不仅费用多，而且难以载粮远行。
在运输粮食途中
时间长，路途远 运工要吃粮食 运工和牲畜都有损耗
结论：一般军队出行，从敌方获取军粮是最要紧的急务。
应用实例
NEUQ
围魏救赵 战国时期，魏将庞涓率军围攻赵国都城邯郸。赵求救于齐， 齐王命田忌、孙膑率军往救。 孙膑认为魏军主力在赵国，内部空虚，就带兵攻打魏国都城 大梁，因而，魏军不得不从邯郸撤军，回救本国，路经桂陵
应用实例
NEUQ
丁渭不拘一格，巧妙构思
先挖通沟道，用断砖筑窑，以焦木作柴，用挖沟道挖出 的土制作砖坯，就地烧制砖瓦。
挖开的沟道与汴河接通，装运石料、木材的木筏便可直 接驶到皇宫门前。 待工程完毕后，又将建筑废料全部填入深沟，恢复沟道 之前的原形。
结果，修复皇宫的工程既快又好地完成。
运筹学第一章
第一章、 线性规划和单纯形法1.1 线性规划的概念一、线性规划问题的导出1．(引例) 配比问题——用浓度为45%和92%的硫酸配置100t 浓度为80%的硫酸。
取45%和92%的硫酸分别为x1和x2t,则有： 求解二元一次方程组得解。
目的相同，但有5种不同浓度的硫酸可选（30%，45%，73%，85%，92%）会出现什么情况？设取这5种硫酸分别为 x1、x2、x3、x4、x5 t, 则有： ⎩⎨⎧⨯=++++=++++1008.092.085.073.045.03.01005432154321x x x x x x x x x x 请问有多少种配比方案？为什么？哪一种方案最好？假设5种硫酸价格分别为：400，700，1400，1900，2500元/t ，则有：2.生产计划问题如何制定生产计划，使三种产品总利润最大？考虑问题：⎩⎨⎧⨯=+=+1008.092.045.01002121x x x x ⎪⎩⎪⎨⎧=≥⨯=++++=++++++++=5,,2,1,01008.092.085.073.045.03.0100..250019001400700400543215432154321 j x x x x x x x x x x x t s x x x x x MinZ j（1）何为生产计划？（2）总利润如何描述？（3）还要考虑什么因素？（4）有什么需要注意的地方（技巧）？（5）最终得到的数学模型是什么？二、线性规划的定义和数学描述（模型）1．定义：对于求取一组变量xj (j =1,2,......,n)，使之既满足线性约束条件，又使具有线性表达式的目标函数取得极大值或极小值的一类最优化问题称为线性规划问题，简称线性规划。
2.配比问题和生产计划问题的线性规划模型的特点：用一组未知变量表示要求的方案，这组未知变量称为决策变量；存在一定的限制条件，且为线性表达式；有一个目标要求（最大化，当然也可以是最小化），目标表示为未知变量的线性表达式，称之为目标函数； 对决策变量有非负要求。
运筹学与最优化方法
( 1)
,d
(2)
,…,d
(m) m
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(2)
,…,d
(m)
)={ x = d j j =1
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
x
x+y
点列的收敛：设点列｛x(k)｝ R , x R 点列｛x(k)｝收敛到 x ，记 (k) = x lim‖x(k)- x‖ = 0 lim x (k) = x ,i lim x i k k ki
y
n
n
五、基本概念和符号（续）
1、向量和子空间投影定理
(3) 子空间：设 d
“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” n “若 xTy ≥ , yR 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ， 则 x L， ≤ 0 .”
一、什么是运筹学
为决策机构在对其控制下的业务活动进
行决策时，提供一门量化为基础的科学 方法。 或是一门应用科学，它广泛应用现有的 科学技术知识和数学方法，解决实际中 提出的专门问题，为决策者选择最优决 策提供定量依据。 运筹学是一种给出问题坏的答案的艺术， 否则的话，问题的结果会更坏。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数学规划基础
LHY-SMSS-BUAA
优化建模(modeling)：识别出给定问 题的目标、变量和约束的过程。
• 建立恰当模型：第一步、最重要的一步(太 简单－不能为实际问题提供有用的信息； 太复杂－不易求解)
• 选择特定算法：很重要--决定求解速度及质 量(无通用优化算法，有求解特定类型优化 问题的算法)
例4 机器学习问题中的函数估计问题 －在参数化的一族函数中找某种意义下最优的预测函数
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.1 数学描述与例子
数学规划问题(基本形式)
三要素
• 目 标：系统性能的一种“量的度量”(利润、时间、 势能)－－任何数量或某些量的组合－－量化
• 变 量：目标所依赖的系统的“某些可控的特征” • 约束条件：变量经常以某种方式受限制(如表示分子中电
第１章 引 言
优化实例１：田忌赛马
《史记》卷六十五：《孙子吴起列传第五》
齐使者如梁，孙膑以刑徒阴见，说齐使。齐使以为奇，窃载与之齐。齐 将田忌善而客待之。忌数与齐诸公子驰逐重射。孙子见其马足不甚相远，马 有上、中、下辈。于是孙子谓田忌曰：“君弟重射，臣能令君胜。”田忌信 然之，与王及诸公子逐射千金。及临质，孙子曰：“今以君之下驷(sì)与彼上 驷，取君上驷与彼中驷，取君中驷与彼下驷。”既驰三辈毕，而田忌一不胜 而再胜，卒得王千金。于是忌进孙子于威王。威王问兵法，遂以为师。
• 简单松弛策略. 忽略整数要求，当成实变量来求解问题 (习题1.2)，然后将所有分量舍入到最近的整数——可给出 问题的界.Lagrange松弛策略.
• 整数规划属NP难问题. 常用算法：分支定界法、或其他 启发式算法(求解一系列连续优化问题，3.4.2节)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
知己知彼，百战不殆！ → 从知己做起！
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.2 数学规划问题的分类
连续优化与离散优化
• 某些或全部变量取整数值才有意义--整数规划 (IP). (田 忌赛马)
• 分为整数线性规划和整数非线性规划；整数规划和混合整 数规划；一般整数规划和0-1整数规划 (3.4.1节)
控制问题(23页) 1. 连续和离散时间模型 2. 基于优化的控制综合 3. 分析和控制器设计的最优化
工程设计(34页) 1. 数字滤波器设计 2. 天线阵列设计 3. 数字电路设计 4. 航空器设计 5. 供应链管理
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
课程简介
数学规划(Mathematical programming)，也称数学最优化 (Mathematical Optimization)，是应用数学、计算数学与 运筹学的交叉领域。
参确定. 许多经济和金融规划模型也具有该特征, 哪里经常
与未来的利息率和经济的未来趋向有关).
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
1.3 优化算法和优化软件
◎ 优化算法
• 迭代法 • 从最优解的某个初始猜测出发，产生一个依次提高的
详见课程中心的“课程资源/阅读材料”
基于数据的学习(35页) 1. 监督学习 2. 基于多项式模型的最小二乘预测 3. 二分类问题(支撑矢量机、Logistic回归和Fisher判别) 4. 一般的有监督学习 5. 无监督学习(主成分分析、稀疏主成分分析、非负矩阵分解、
鲁棒主成分分析等)
计算金融(23页) 1. 单期证券优化 2. 鲁棒证券优化 3. 多期证券分配 4. 稀疏指标跟踪
解答. 用1, 2, 3分别表示上、中、下等马. 收益矩阵 (payoff matrix)
线 性 规 划
第 1 章 引言
指派问题(3.2.1节)
数学规划基础
0-1整数线性规划
LHY-SMSS-BUAA
优化实例2：数据拟合(data fitting problem)
已知：
推测：信号具有指数
y
衰减和振荡行为！
y3
y2 y1
模型函数(经验函数)：
t1 t2 t3
t tm
其中
第 1 章 引言
是待定参数
数学规划基础
LHY-SMSS-BUAA
变量： 余量/残差(residual)：
确定参数！
非线性最小二乘问题
注1.这里n = 6， m 很大(比如105). 它说明即使变量 数很小，计算目标函数也可能很昂贵.
注2. 数据拟合、参数估计、回归分析等许多问题中 均涉及此类优化问题.有专用的算法求解.(5.4节)
✓(Chap.8)线性约束优化算法：二次规划(消元法与积极集
法)
✓(Chap.9)非线性约束优化算法：罚函数法、SQP法
先修课程：线性代数，多变量微积分，一种高级编程语言
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
优化研究之数学规划和科学计算角度
• 数学规划层面
➢ 重点研究“优化问题和算法的基本性质”. ➢ 核心问题：解的存在性及描述、算法的收敛性和收敛速
子密度的量和贷款利率的量不能是负的)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
数学规划问题－一种方法、两个概念
可行域、可行解(点) 等高线(等值线) 解/最优解/极小点
图解法
画出可行域 做目函数的等高线 确定临界点
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
等高线
第 1 章 引言
• Matlab优化工具箱(见姜启源等编的《数学实 验》, 高教出版社)
• Lingo软件(\verb" “ • Cplex(科学研究论文的仿真中常用！) • AMPL: A Modeling Language for Mathematical
Programming • 其它(Mathematica, Minos, Excel等的优化功能).
或者
(见习题7.19)
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
变分法的例子
例3 图像处理的偏微分方程法 L.I. Rudin. Nonlinear total variation based noise removal algorithm, Physica D: Nonlinear Phenomena, 1992,60(1-4):259-268
估计序列，得到精确解或者逼近解. • 大部分利用目标函数和约束，可能还有这些函数的一
阶和二阶导数. • 通常收敛到
目标函数的驻点(无约束问题)或者 KKT点(约束问题的极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
◎ 优化软件
线性与非线性规划的－－基本理论、实用算法和部分应用
– 线性规划
✓ (Chap.2)基本性质、单纯形法、对偶理论
✓ (Chap.3)网络流问题、整数规划
– 非线性规划
✓(Chap.4&7)凸分析初步、最优性条件和Lagrange对偶 ✓(Chap.5&6)无约束优化算法：线搜索法(最速下降法和
共轭梯度法、牛顿法和拟牛顿法)、信赖域法、最小二乘
– 作为工程师理解并运用新的高效优化方法求解特定应用， – 为具有挑战性的科学问题、管理问题和工程问题研发更
好的方法，提供更恰当的表述方式.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
约束优化与无约束优化
无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划
局部优化与全局优化
单目标优化与多目标优化
多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解(讲第8章时用一个例子说明)
随机优化与确定优化
有的问题进行优化建模时，模型与一些不能提前确定的
分析基础
数学规划
计算基础
多元微积分的 最基本内容
线性代数的 最基本内容
计算方法的 最基本内容
高级语言程序设计(C
语言或Matlab均可)
非专题性课程，比如Convex optimization and approximation
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
课程主题
经典优化方法 vs 启发式优化方法 经典音乐 vs 流行音乐
课后，请自行选择优化软件，下载、安装并使用!!!
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
关于最优化模型与方法的应用
G.C. Calafiore and L. El Ghaoui. Optimization Models. Cambridge University Press. Oct. 2014.
• 工程层面 ➢ 将优化策略应用到具有挑战性的(通常定义的很差 的)实际问题中. ➢ 这个层次的优化知识混杂了可应用方法的有效性和 可靠性，主要研究内容：解的分析，求解方法失败 的诊断及恢复.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
学完课程后，有机会
– 作为数学最优化专家(应用数学和运筹学)发展更好的求 解方法，
度等.
• 科学计算层面
➢ 受数学性质和(为了有效和实用目的)实现的强烈影响. ➢ 研究问题：数值稳定性、算法步骤的病态性、计算复杂
度等.
第 1 章 引言
数学规划基础
LHY-SMSS-BUAA
优化研究之运筹和工程角度
• 运筹层面 ➢ 主要关注优化问题的表述并研发求解策略，通常使 用已经研究好的算法或者成熟软件. ➢ 这个层次碰到的许多问题含有线性约束和离散变量.