最优化方法教案

第一章最优化问题及数学预备知识
最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。

又称规划论。

应用最优化方法解决问题时一般有以下几个特点：
1. 实用性强
2. 采用定量分析的科学手段
3. 计算量大，必须借助于计算机
4. 理论涉及面广
应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战……。

§1.1 最优化问题实例
最优化问题：追求最优目标的数学问题。

经典最优化理论：
（1） 无约束极值问题：),,,(opt 21n x x x f
（),,,(m in 21n x x x f 或),,,(m ax 21n x x x f ）
其中，),,,(21n x x x f 是定义在n 维空间上的可微函数。

解法（求极值点）：求驻点，即满足
⎪⎪⎩⎪⎪
⎨
⎧='='='0
),,(0),,(0
),,(1
1121n x n x n x x x f x x f x x f n
并验证这些驻点是否极值点。

（2） 约束极值问题：),,,(opt 21n x x x f
s.t. )(,,2,1,0),,,(21n l l j x x x h n j <==
解法：采用Lagrange 乘子法，即将问题转化为求Lagrange 函数
)
,,(),,,(),,;,,,(11
21121n j j l
j n l n x x h x x x f x x x L λλλ∑=+=的无约束极值问题。

近代最优化理论的实例：
例1 (生产计划问题) 设某工厂有3种资源B 1，B 2，B 3，数量各为b 1，b 2，b 3，要生产10种产品A 1，…，A 10 。

每生产一个单位的A j 需要消耗B i 的量为a ij ，根据合同规定，产品A j 的量不少于d j ，再设A j 的单价为c j 。

问如何安排生产计划，才能既完成合同，又使总收入
最多？（线性规划问题）
数学模型：设A j 的计划产量为 j x ，z 为总产值。

目标函数： max 10
1
j
j j x c z ∑==
约束条件： ⎪⎩⎪⎨⎧=≥=≤∑=10
,,2,1,3,2,1,10
1
j d x i b x a j j
j i j ij
线性规划问题通常采用单纯形法来求解。

例2 (工厂设址问题) 要在m 个不同地点计划修建m 个规模不完全相同的工厂，他们的生产能力分别是m a a a ,,21 （为简便起见，假设生产同一种产品），第i 个工厂的建设费用m i f i ,,2,1, =。

又有n 个零售商店销售这种产品，对这种产品的需求量分别为
n b b b ,,21 ，从第i 个工厂运送一个单位产品到第j 个零售商店的运
费为c ij 。

试决定应修建哪个工厂，使得既满足零售商店的需求，又使建设工厂和运输的总费用最小。

（混合整数规划问题）
数学模型： 设第i 个工厂运往第j 个零售商店的产品数量为x ij
（i=1，…，m ；j=1，…，n ），且
m i i y i ,,1,
,0
,1 =⎩⎨⎧=否则个工厂如果修建第
目标函数： min 11∑∑==⎪⎪⎭
⎫
⎝⎛+=m
i n j ij ij i i x c y f z
约束条件：⎪⎪⎪⎪⎩⎪
⎪⎪⎪⎨⎧==≥===≥=≤∑∑==n
j m i x m i y n
j b x m i y a x ij i m i j ij n
j i i ij ,,1;,,1 ,0,,1 ,1 0,,1 ,,,1 ,11 或
整数规划问题通常可用分枝定界法或割平面法来求解。

例3 (投资计划问题) 假设某一个生产部门在一段时间内可用于投资的总金额为a 亿元，可供选择的项目总共有n 个，分别记为1，2，…n 。

并且已知对第j 个项目的投资总数为j a 亿元，而收益额总数为j c 亿元。

问如何使用资金a 亿元，才能使单位投资获得的收益最大。

（非线性规划问题）
数学模型：设n j j x j ,,1 ,
,0
,1 =⎩⎨⎧=否则个项目投资对第 目标函数：
max 1
1
∑∑===
n
j j
j n
j j
j
x
a x
c z
约束条件： ⎪⎩⎪⎨⎧==≤∑=n j x a x a j
n
j j j ,,1 ,1 01
或
非线性规划问题的求解方法很多，是本课的重点。

动态规划是解决“多阶段决策过程”的最优化问题的一种方法，基于“Bellman 最优性原理”，例如：资源分配问题，生产及存储问
题。

例 4 (多参数曲线拟合问题)已知热敏电阻R 依赖于温度T 的函数关系为
3
21x T x e
x R += （*）
其中，321,,x x x 是待定的参数，通过实验测得T 和R 的15组数据列表如下，如何确定参数321,,x x x ？
建立数学模型：测量点),(i i R T 及曲线)(T R 对应的点产生“偏差”，即
2
15
1
1][32
∑=+-=i x T x i i e
x R S
得如下无约束最优化问题：
2
15
1
1][)(min 32
∑=+-=i x T x i i e
x R x f
通常采用最小二乘法。

§1.2 最优化问题的数学模型
一、 最优化问题的数学模型
1. 定义1：设向量T
21T 21],,,[ ,],,,[m
m b b b a a a ==βα. 若),,2,1( m i b a i i =≤，则记βα≤或αβ≥； 若),,2,1( m i b a i i =<，则记βα<或αβ>。

2．一般模型： m ax )m in ()(opt 或或x f ，n
x R ∈ （1）
s.t. ⎩⎨⎧===≥)3( ,,1 ,0)()2(
,,1 ,0)(l j x h m i x S j
i 其中，T 21],,,[n
x x x x =；)( x f ，)(x S i ，)(x h j 是关于变量n x x x ,,,21 的实值连续函数，一般可假定它们具有二阶连续偏导数。

3．向量模型： m ax )m in ()(opt 或或x f ，n
x R ∈ （1）
s.t. ⎩
⎨⎧===≥)3( ,,1 ,0)()2(
,,1 ,0)(l j x h m i x S
其中，)(x f 称为目标函数；
)( x S i ，)( x h j 称为约束函数；
满足约束条件（2），（3）的点称为容许解或容许点（或可行解）； 可行解的全体称为容许域（或可行域），记为R ；
满足（1）的容许点称为最优点或最优解（或极小（大）点），记
为*
x ；)(*x f 称为最优值；
不带约束的问题称为无约束问题，带约束的问题称为约束问题； 若目标函数)(x f ，约束函数)( x S i ，)( x h j 都是线性函数，则称为线性规划；若其中存在非线性函数，则称为非线性规划；
若变量只取整数，称为整数规划； 若变量只取0，1，称为0—1规划。

注：因0)( =x h ⇔0)(≥x h ，0)(-≥x h ，则最优化问题一般可 写成
⎩⎨⎧≥0
)( ..)
(opt x S t s x f
二、 最优化问题的分类
⎪⎪
⎪⎩⎪⎪⎪⎨⎧⎪⎪⎩⎪⎪⎨
⎧⎩⎨⎧⎩⎨
⎧动态规划
非线性规划线性规划约束问题维问题一维问题无约束问题静态规划最优化问题n
§1.3 二维问题的图解法
例1. 32m ax 21x x z +=
0,164 82 ..2
1121⎪⎩⎪
⎨⎧≥≤≤+x x x x x t s
解：1. 由全部约束条件作图，求出可行域R ：凸多边形OABC 2. 作出一条目标函数的等值线：设 63221=+x x ，作该直线即为一条目标函数的等值线，并确定在可行域内，这条等值线向哪个方向平移可使z 值增大。

3. 平移目标函数等值线，做图求解最优点，再算出最优值。

顶
点)2,4(B 是最优点，即最优解T x ]24[=*，最优值14=*z 。

分析： 线性规划问题解的几种情况 （1） 有唯一最优解（上例）；
（2） 有无穷多组最优解：目标函数改为 42m ax 21x x z += （3） 无可行解：增加约束52≥x ，则Φ=R 。

（4） 无有限最优解（无界解）：例 m ax 21x x z +=
0,2- 4
2 ..2
12121⎪⎩⎪
⎨⎧≥≤+≤-x x x x x x t s
结论：（1）线性规划问题的可行域为凸集，特殊情况下为无界域或空集。

（2）线性规划问题若有最优解，一定可在其可行域的顶点上得到。

例2.
1)-()2m in(2221x x +-
0,05 05 ..212122
21⎪⎩
⎪
⎨⎧≥≥-+=-+x x x x x x x t s
解：目标函数等值线： 11)-()2(2
221=+-x x
C 为最优点 0
50
52122
21⎩⎨
⎧=-+=-+x x x x x ，得T x ]14[=* 定义2：在三维及三维以上的空间中，使目标函数取同一常数的点集{}
是常数r r x f x ,)(=称为等值面。

§1.4 预备知识
（一） 线性代数
一、 n 维向量空间n
R
1. 向量的内积：设T
21T 21],,,[ ,],,,[n n y y y y x x x x ==，则
内积为
∑==+++=n
i i i n n T
y x y x y x y x y x 1
2211
2. 向量的范数（或长度或模）：设n
x R ∈，若实数x 具有以下
性质：（1）,0≥x 当且仅当0=x 时0=x ；
（2）
R ,∈∀=αααx x ；
（3
）n
y x y x y x R ,,∈∀+≤+.
则称x 为n
R 上的向量的范数，简记为⋅。

规定了向量范数的线性空间n
R 称为线性赋范空间,记
为
3. 常见的向量范数 向量的p L 范数：p
n
i p i p
x x
1
1⎪⎭
⎫
⎝⎛=∑=，∞<≤p 1 三个重要的向量范数：1x ，2x ，∞
x
注：若无特殊说明，本书中的⋅指的是2x 。

4. y x ,间的距离：y x -
5. x 及y 正交：0=y x T
若非零向量组)1(x ，…，)
(k x 的向量两两正交，称它们是正交向
量组。

6. 标准正交基：)1(e ，…，)
(n e
是n 个正交的单位向量，即
⎩
⎨⎧≠==j i j i e
e
j i T
,0 ,1)
()(
二、 特征值和特征向量
定义：设A 为n 阶方阵，存在数λ和非零向量x ，使
x Ax λ=，
则称λ为矩阵A 的特征值，非零向量x 为矩阵A 属于特征值λ的特征向量。

三、 正定矩阵
定义：设A 为n 阶实对称方阵，若对任意非零向量x ，均有
0>Ax x T ，则称Ax x T 为正定二次型，A 为正定矩阵，记A >0。

；若0≥Ax x T ，半正定二次型，A 为半正定矩阵。

类似有负定（半负定）二次型，负定（半负定）矩阵的概念。

性质：实对称方阵A 为正定矩阵（负）⇔A 的特征值均为正（负）
⇔
A 的各阶顺序主子式均为正
（奇数阶为负，偶数阶为正）
实对称方阵A 为半正定矩阵⇔A 的特征值均非负
⇔
A 的各阶顺序主子式均为非负
（二） 数学分析
一、 梯度和海色（Hesse ）矩阵
1. 多元函数的可微性
可微定义：设1
R R :→⊆n D f ，D x ∈0，若存在n 维向
量l ，对n
p R 0∈≠∀，总有
0)()(lim T 000=--+→p
p l x f p x f p （1） 则称函数)(x f 在点0x 处可微。

式（1）等价于
()p p l x f p x f 0)()(T 00+=-+ （2）
其中，()
p 0
是p 的高阶无穷小。

定理1：（可微的必要条件）若函数)(x f 在点0x 处可微，则)
(x f
在该点关于各个变量的偏导数存在，且
T
02010)(,,)(,)(⎥⎦⎤⎢⎣
⎡∂∂∂∂∂∂=n x x f x x f x x f l
2. 梯度 （1）概念 梯度：令
T
21
)(,,)(,)()(⎥⎦⎤
⎢⎣⎡∂∂∂∂∂∂=∇n x x f x x f x x f x f
则称)(x f ∇为n 元函数)(x f 在x 处的梯度（或记为)(grad x f ）。

又称为)(x f 关于x 的一阶导数。

注：式（2）等价于
()p p x f x f p x f 0)()()(T 000+∇+=+ （3）
等值面：在三维和三维以上的空间中，使目标函数取同一 数值的点集},)({R r r x f x ∈=称为等值面（曲面）。

方向导数：设1R R :→n f 在点0x 处可微，向量n
p R 0∈≠，e
是p 方向上的单位向量，则极限
t
x f te x f t )
()(lim 000
-++
→
称为函数)(x f 在点0x 处沿p 方向的方向导数，记作p
x f ∂∂)
(0。

方向导数的几何解释：方向导数p
x f ∂∂)
(0表示函数)(x f 在点0x 处
沿方向的p 的变化率。

函数的下降（上升）方向：设1
R R :→n f 是连续函数，点
n x R 0∈，n p R 0∈≠为一方向，若存在0>δ，对于),0(δ∈∀t ，
都有
)()(00x f tp x f <+（)()(00x f tp x f >+）
则称p 方向是函数)(x f 在点0x 处的下降（上升）方向；
结论1：若方向导数
0)
(0<∂∂p x f ，则方向p 是)(x f 在点0x 处的下降方向；若方向导数
0)
(0>∂∂p
x f ，则方向p 是)(x f 在点0x 处的上升方向；
（2）性质
【性质1】：梯度)(0x f ∇为等值面)()(0x f x f =在点0x 处的 切平面的法矢（向）量。

【性质2】：梯度方向是函数具有最大变化率的方向。

定理2：设1
R R :→n f 在点0x 处可微，则方向导数
θcos )()()
(0T 00x f e x f p
x f ∇=∇=∂∂ 其中，e 是p 方向上的单位向量，θ为梯度及p 的夹角。

结论2：1）及梯度)(0x f ∇方向成锐角的方向是上升方向；及梯度)(0x f ∇方向成钝角的方向是下降方向；
2）梯度方向是函数值上升最快的方向，称为最速上升方向；负梯度方向是函数值下降最快的方向，称为最速下降方向。

（3）几种特殊函数的梯度公式
（1）0
=∇C ，C 为常数；
（2）b x b =∇)(T
，其中[]T
21,,,n b b b b =；
（3）x x x 2)(T
=∇；
（4）若Q 是对称方阵，则
Qx Qx x 2)(T =∇. 例
3. 泰勒（Taylor ）公式及Hesse 矩阵
性质1：设R R :)(→n
x f 具有一阶连续偏导数，则
p f x f p x f T )()()(ξ∇+=+ （*）
其中，)10( <<+=θθξp x ，即介于x 及 p x +之间。

性质2：设
R R :)(→n
x f 具有二阶连续偏导数，则 p f p p x f x f p x f )(2
1)()()(2
T T ξ∇+
∇+=+ （*‘ ） 其中
⎥⎥
⎥⎥⎥
⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=∇2
2
2
2
1
222
222122122122122
)()()()()
()
()()
()()(n n n n n x x f x x x f x x x f x x x f x x f x
x x f x x x f x x x f x x f x f
为函数)(x f 关于x 的二阶导数，称为)(x f 的海色（Hesse ）矩阵。

结论1：当2)(C x f ∈时，
n j i x x x f x x x f i
j j i ,,1, ,)()(2
2 =∂∂∂=∂∂∂（即
海色矩阵对称）。

注1：1) 设向量函数T
21)](,),(),([)(x g x g x g x g m =时，
⎥⎥⎥
⎥⎥⎥⎥⎥
⎦
⎤⎢⎢⎢⎢⎢⎢⎢
⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=∇n m n
n
m m x x g x x g x x g x x g x x g x x g x x g x x g x
x g x g )()()()()()
()()
()
()(212222
11121
1
称为向量函数)(x g 在点x 处的导数（梯度）。

2) 向量函数T
21)](,),(),([)(x g x g x g x g m =在点0x 处可微是指所有分量都在点0x 处可微。

关于向量函数常见的梯度：
（1）n C 0=∇，n
C R ∈； （2）n I x =∇)(，n
x R ∈； （3）
,)(T
A Ax =∇n m A ⨯∈R （4）设)()(0tp x f t +=ϕ，其中1R R :→n f ，1
1R R :→ϕ，
则
p tp x f t T 0)()(+∇='ϕ，p tp x f p t )()(02T +∇=''ϕ
例：
（三） 极小点的判定条件（求)(min x f ）
一、 基本概念
1. 点0x 的邻域：{}
0, ),(00><-=δδδx x x x N
2. 局部极小点：设1R R :→⊆n D f . 若存在点D x ∈*
和数0>δ，对D x N x ⋂∈∀),(*δ 都有)()(*x f x f ≥，则称*
x 为)(x f 在D 上的（非严格）局部极小点；若)()(*x f x f >（*x x ≠），则称*x
为)(x f 在D 上的严格局部极小点。

3. 全局极小点：设1R R :→⊆n D f . 若存在点D x ∈*
，对于 D x ∈∀ 都有)()(*
x f x f ≥，则称*x 为)(x f 在D 上的（非严格）全局极小点；若)()(*x f x f >（*
x x ≠），则称*x 为)(x f 在D 上的
严格全局极小点。

性质：全局极小点必是局部极小点；但局部极小点不一定是全局极小点。

类似有极大点的概念。

因)](min[)(max x f x f -=，本书主要给出极小问题。

4. 驻点：设1R R :→⊆n D f 可微，D x ∈*
，若
0)(*=∇x f ， 则称点*
x 为)(x f 的驻点或临界点。

二、 极值的条件
定理1（一阶必要条件）设1
R R :→⊆n D f 具有一阶连续偏导
数，*x 是D 的内点，若*
x 是)(x f 的局部极小点，则
0)(*=∇x f
定理2（二阶必要条件）设1
R R :→⊆n D f 具有二阶连续偏导数，若*
x 是D 的内点且为)(x f 的局部极小点，则
)(*2x f ∇是半正定的，即对n
p R ∈∀恒有
02T ≥∇p x f p )(*
例
定理3（二阶充分条件）设1
R R :→⊆n D f 具有二阶连续偏导数，
*x 为D 的内点，且0)(*=∇x f ，若)(*2x f ∇正定，则*x 为)(x f 的
严格局部极小点。

（四）凸函数及凸规划 一、凸集
1. 凸集的定义：一个n 维向量空间的点集D 中任意两点的连线
仍属于这个集合，即对D x x ∈∀21,，有
)10( )1(21≤≤∈-+αααD x x
则称该点集D 为凸集。

2. 凸集的性质：（1）凸集的交集仍是凸集)(21D D ⋂； （2）数乘凸集仍是凸集} ,{D x x y y D ∈==ββ；
（3）凸集的和集仍是凸集}, ,{2121D z D x z x y y D D ∈∈+==+ 特别规定，空集是凸集。

3. 超平面：设n
R ∈α且R ,0∈≠b α，则集合
}R ,{T n x b x x H ∈==α称为n R 中的超平面，α称为该超平面
的法向量，即b x a x a x a H n n =+++ 2211:；（是凸集）
半空间：集合
}R ,{T n
x b x x ∈≥α称为n R 中的一个半空间。

超球：r x ≤。

4. 凸组合：设l x x x ,,,21 为n
R 中的l 个点，若存在l
a a a ,,,21 且1
,101
=≤≤∑=l
i i
i a
a ，使得
l l x a x a x a x +++= 2211
则称x 为l x x x ,,,21 的凸组合。

若l a a a ,,,21 均为正，则称为严格凸组合。

5. 顶点（或极点）：设D 是凸集，D x ∈，若x 不能用D 内不同两点1x 和2x 的凸组合表示，即)10( )1(21<<-+≠αααx x x ，则称x 为D 的顶点。

二、凸函数
1. 凸函数：设1
R R :→⊆n D f ，D 是凸集，若对D x x ∈∀21,
及]1
,0[∈∀α，都有 )( )(1)())1((2121x f x f x x f αααα-+≤-+
则称)(x f 为凸集D 上的凸函数；若
)10( )( )(1)())1((2121<<-+<-+αααααx f x f x x f
则称)(x f 为凸集D 上的严格凸函数。

类似有凹函数的定义。

2.几何意义：函数图形上连接任意两点的线段处处都在函数图形的上方。

3. 性质
性质1：)(x f 为凸集D 上的凸函数，0≥k ，则)(x kf 也为D 上 的凸函数。

性质2：两个凸函数的和仍是凸函数。

))()((21x f x f + 推论1：凸集D 上有限个凸函数)(x f i 的非负线性组合
0 ),()(11≥++i m m k x f k x f k
仍为D 上的凸函数。

性质3：若)(x f 为凸集D 上的凸函数，则对R ∈∀β，)(x f 的 水平集} ,)({D x x f x D ∈≤=ββ是凸集。

性质4：)(x f 为凸集D 上的凹函数⇔)(x f -为凸集D 上的凸函数。

4. 凸函数的充分必要条件
定理1（一阶条件）设1
R R :→⊆n D f 可微，D 是凸集，则
（1）)(x f 为凸函数⇔对D x x ∈∀21,，恒有
)-()( )()(12T 112x x x f x f x f ∇+≥
（2）)(x f 为严格凸函数⇔对D x x ∈∀21,，21x x ≠恒有
)-()( )()(12T 112x x x f x f x f ∇+>
定理2（二阶条件）设1
R R :→⊆n D f 具有二阶连续偏导数，
D 为开凸集，则
（1）)(x f 在D 内为凸函数⇔对D x ∈∀，)(2
x f ∇是半正定的； （2）若)(2
x f ∇正定，则)(x f 在D 内为严格凸函数。

特殊地，n 元二次函数为
C x b Qx x x f ++=T
T 2
1)(（Q 为对称矩阵）；若Q 正定，则)(x f 称为正定二次函数。

性质：正定二次函数是严格凸函数。

（因为Q x f =∇)(2
）
5. 凸函数的极值
定理3 设1
R R :→⊆n D f 为凸集D 上的凸函数，则
（1）)(x f 的任一局部极小点*
x 为全局极小点；
（2）若)(x f 具有二阶连续偏导数，且存在D x ∈*
，使
0)(*=∇x f ，则*x 为)(x f 在D 上的全局极小点；
（3）若)(x f 为严格凸函数，且全局极小点存在，则必唯一。

特殊：对于正定二次函数
C x b Qx x x f ++=T
T 2
1)(，有 b Qx x f +=∇)(，得唯一驻点b Q x 1*--=为唯一的全局极小点。

6. 凸规划问题：非空凸集D 上的凸函数的极小化问题。

考虑凸规划问题：)(min x f ，n
x R ∈ (1)
s.t. ⎩⎨⎧===≥)3( ,,1 ,0)()2(
,,1 ,0)(l j x h m i x S j
i 其中，)(x S i 为n R 上的凹函数，)(x h j 为n
R 上的线性函数， },,1;,,1,0)(,0)({l j m i x h x S x D j i ===≥=为凸集， 1R R :→⊆n D f 为D 上的凸函数。

注：线性函数既可视为凸函数，又可视为凹函数。

二次规划： C x b Qx x x f ++=T T 2
1)(min s.t. ⎩
⎨⎧=≥
d Cx p Ax 其中，n
x R ∈，n m A ⨯，n l C ⨯，Q 半正定或正定。

（五）下降迭代算法
1. 下降迭代算法的步骤
（1）选择一个初始点0x ，令k ：=0
（2）检验k x 是否最优？若是，则停止迭代；若不是，则
（3）确定一个下降方向k p ：存在0>δ，对),0[δ∈∀t ，使得 ()()k k k x f tp x f <+
（4）从点k x 出发，沿方向k p 进行直线搜索（一维搜索），即求步长k t 使
()()k k k k k tp x f p t x f +=+m in
（5）计算k k k k p t x x +=+1，令k ：=k +1，转（2）
2. 直线搜索及其性质
（1）简记
),(p x ls z =： ()()⎩
⎨⎧+=+=+p t x z tp x f p t x f 00min 表示从点x 出发，沿方向p 进行直线搜索，得到极小点z 。

（2）定理：设目标函数)(x f 具有一阶连续偏导数，若),(p x ls z =，则
0)(T =∇p z f
证明：（反正法）设0)(T ≠∇p x f ，则
1）0)(T >∇p x f ，此时p -是点z 的下降方向；
2）0)(T <∇p x f ，此时p 是点z 的下降方向；
及),(p x ls z =矛盾。

3. 收敛速度
定义1：设序列}{k x 是线性赋范空间},{R ⋅n 中的点列，
n x R *∈，若
0lim *=-∞
→x x k k 则称序列}{k x 收敛于*x ，记为*lim x x k k =∞
→。

定义2：设向量函数[]T 21)(,),(),()(x f x f x f x f m =，n D x R ⊂∈，若当00→-x x 时，总有0)()(0→-x f x f ，则称)(x f 在点0x 连续；若)(x f 在D 内每一点都连续，则称)(x f 在D 内连续。

特别地，m=1时，)(x f 为数量函数，则
)()()()(00x f x f x f x f -=-
定义3：设序列}{k x 收敛于*x ，若存在及k 无关的数)1(>αα和
)0(>ββ，使得当k 从某个)0(0>k 开始，都有
αβ**1x x x x k k -≤-+
则称序列}{k x 收敛的阶为α，或}{k x 为α阶收敛。

当1=α，且10<<β时，称线性收敛或一阶收敛；
当2=α时，称二阶收敛；
当21<<α时，称超线性收敛。

4. 计算终止准则
计算终止准则根据相继两次迭代的结果
a. 根据相继两次迭代的绝对误差（不常用）
11ε<-+k k x x ，21)()(ε<-+k k x f x f
b. 根据相继两次迭代的相对误差
311ε<+-+k k k x x x ，411
)()()(ε<+-+k k k x f x f x f c. 根据目标函数梯度的模足够小
5)(ε<∇k x f
54321,,,,εεεεε为给定的足够小的正数。

以上准则统称为Himmelblau 计算终止准则，简称H 终止准则。

第二章 线性规划
§2.1 数学模型
一、线性规划的标准型
1. 繁写形式：n n x c x c x c z +++= 2211m in
s.t. ⎪⎪⎪⎩⎪⎪⎪⎨⎧≥=+++=+++=+++
0,, 21221
12222212111212111n m n mn m m n n n n x x x b x a x a x a b x a x a x a b x a x a x a 其中，m i b i ,,2,1 ,0 =≥（否则，等式两端同乘以“-1”）。

2. 缩写形式：∑==n j j j
x c z 1min
s.t. ⎪⎩⎪⎨⎧=≥==∑=n j x m
i b x a j
i n
j j ij ,,2,1 , 0,,2,1,1 3. 向量形式：X C z T min =
s.t. ⎪⎩
⎪⎨⎧≥=∑= 01X b
x p n
j j j 其中，T 21],,,[n c c c C =，T 21],,,[n x x x X =，T 21],,,[m b b b b =，
T 21],,,[mj j j j a a a p =。

4. 矩阵形式：X C z T min =
s.t. ⎩
⎨⎧≥= 0X b
AX 其中，
],,,[21212222111211n mn m m n n p p p a a a a a a a a a A =⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡= A ：约束条件的n m ⨯系数矩阵，0>m ，0>n ，一般地，n m <； b ：限定向量，一般地，m i b i ,,2,1 ,0 =≥；
C ：价值向量；
X ：决策向量，0≥X ；
通常A ，b ，C 为已知，X 未知。

二、任一模型化为标准型
1. 极大化目标函数：X C z T max =
令z z -=' ，则问题转化为X C z T min -=
2. 约束条件为不等式
若约束为“≤”型，则“左端+松弛变量=右端”（松弛变量≥0） 如：i n in i i b x a x a x a ≤+++ 2211，引入松弛变量0≥+i n x ，化为
i i n n in i i b x x a x a x a =+++++ 2211
若约束为“≥”型，则“左端-剩余变量=右端”（剩余变量≥0） 如：i n in i i b x a x a x a ≥+++ 2211，引入剩余弛变量0≥+i n x ，化为
i i n n in i i b x x a x a x a =-++++ 2211
3. 若存在无非负要求的变量k x （称为自由变量）
令k k
k x x x ''-'=，其中0≥'k x ，0≥''k x ，代入目标函数及约束条 件即可。

4. 某变量j x 有上、下界
若j j u x ≥，即0≥-j j u x ，令j j j u x x -='，有0≥'j x 。

用j j u x +'代替j x 即可。

若j j t x ≤，即0≥-j j x t ，令j j j x t x -='，有0≥'j x 。

用j j x t '-代替j x 即可。

例：
§2.2 线性规划解的性质
一、基本概念
标准型（LP ）：
)1(m in T X C z = s.t. ⎩
⎨⎧≥= (3)0)
2( X b AX 可行解（容许解）：满足约束（2）、（3）的解。

最优解：满足（1）的容许解。

基：设n m A ⨯的秩为m ，若B 是A 中的m m ⨯阶可逆矩阵，称B 是线
性规划问题（LP ）的一个基。

基向量：基B 中的一列（i p ）即为一个基向量。

（共m 个） 非基向量：基B 之外的一列（j p ）即为一个非基向量。

（共m n -个） 基变量：及基向量i p 相应的变量i x 。

（共m 个）
非基变量：及非基向量j p 相应的变量j x 。

（共m n -个）
基本解：令所有非基变量为0，求出的满足约束（2）的解。

基本容许解：满足约束（3）的基本解。

最优基本容许解：满足约束（1）的基本容许解。

退化的基本解：若基本解中有基变量为0的基本解。

退化的基本容许解：
退化的最优基本容许解：
二、线性规划问题的基本定理
定理1 若线性规划问题存在容许域，则其容许域是凸集。

定理2 线性规划问题的基本容许解对应于容许域的顶点。

定理3 若线性规划问题存在有限最优解，则其目标函数最优值一定可以在容许域的顶点达到。

§2.3 单纯形法
一、单纯形法原理
单纯形法的基本思路：根据问题的标准型，从容许域的一个基本 容许解（一个顶点）开始，转移到另一个基本容许解（顶点），并且使目标函数值逐步下降；当目标函数达到最小值时，问题就得到了最优解。

二、单纯形法的步骤（以“大M 法”为例）数学描述
例（大M 法）：321834min x x x z ++=
s.t. ⎪⎩⎪⎨⎧=≥≥+≥+ 1,2,3)(j 052 23231j
x x x x x 1. 构造初始容许基
初始容许基是一个m m ⨯单位矩阵，它相应的基本解是容许的。

1º引入附加变量，把数学模型化为标准型。

2º若约束条件中附加变量系数为“-1”，或原约束即为等式，则一般须引入人工变量。

3º目标函数中，附加变量系数为0，而人工变量系数为M （很大的正数）。

人工变量系数为大M ：只要人工变量>0，使前后约束条件不等价，但由于目标函数的修改，同时也使所求的目标函数最小值是一个很大的数，也是对“篡改”约束条件的一种惩罚，因此，M 叫做罚因子，大M 法也叫做罚函数法。

若对极大化问题，目标函数中人工变量系数为（-M ）。

得到如下标准型：
∑==n
j j j x c z 1min s.t. ⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥=+++=+++=+++++++++
),,2,1(j 0 11,2211,221111,11n x b x a x a x b x a x a x b x a x a x j m n mn m m m m
n n m m n n m m 其中，),,2,1 ( m i x i =表示基变量；),,1j ( n m x j +=表示非基变量。

2. 求出一个基本容许解
1º用非基变量表示基变量和目标函数。

用非基变量表示基变量，即有
),,1( 1
m i x a
b x n
m j j ij
i i =-
=∑+=
用非基变量表示目标函数，即
∑∑∑∑∑∑∑∑+=+=+===+===+
=-+
=-+
=+
==n
m j j
j
n
m j j j j
n m j j
m
i ij
i j
i m
i i n
m j j
j m
i i i n
k k k x x z c
x a
c c b c x
c x c x c z 1
01
01
1
1
1
1
1
z )(z )(σ
其中，∑==
m
i i i b c 1
0z ，而j j j
z c -=σ
称为非基变量 j x 的检验数。

上
式中，规定各基变量的检验数为0。

j
B j B B j
m mj j m mj
m j j m
i ij i j p C p c c p c c a a c c a c a c a c a c z m '='=⎥⎥⎥
⎦
⎤⎢⎢⎢⎣⎡=+++===
∑=T
11122111
],,[],,[],,[1 若干次迭代
其中，B C 是基变量的价值系数，随基的改变而改变。

2º求出一个基本容许解及相应的目标函数值。

令非基变量=0即得初始基本容许解：
),,1( m i b x i i ==，),,1j ( 0 n m x j +==
初始目标函数值：0z z =
3. 最优性检验
1º检验数j σ：目标函数式中，各非基变量的系数，即称为各非基变量的检验数。

2º最优解判别定理：若在极小化问题中，对于某个基本容许解， 所有检验数0≥j σ，且人工变量为0，则该基本容许解是最优解。

3º无穷多最优解判别定理：若在极小化问题中，对于某个基本容许解，所有检验数0≥j σ，又存在某个非基变量的检验数为0，且人工变量为0，则该线性规划问题有无穷多最优解。

4º无容许解判别定理：若在极小化问题中，对于某个基本容许解，所有检验数0≥j σ，但人工变量不为0，则该线性规划问题无容许解。

4. 基变换
1º基本容许解的改进定理：已知一个非退化的基本容许解具有目标函数值0z ，设某一个非基变量j x ，其0<j σ，则存在一个可行解具有目标函数值0z z <；如果用j p 代替原基中的某一列向量而产生一个新的基本容许解，则该新的解将有0z z <。

2º换入变量的确定
k x 为换入变量，使}0min{<=j j k σσσ。

3º换出变量的确定——最小非负比值规则
r x 为换出变量，使
⎭
⎬⎫⎩⎨⎧>==0min ik ik i rk r
a a
b a b θ
4º无有限最优解判别定理：若在极小化问题中，对于某个基本容许
解，有一个非基变量的检验数0<k σ，但k p 列中没有正元素，且人工变量为0，则该线性规划问题无有限最优解。

三、单纯形法的表格形式
1．构造初始可行基，并计算检验数j σ 2．从表中找出基本可行解和相应的目标函数值 3．最优性检验 4．基变换 1º换入变量的确定 2º换出变量的确定 3º主元素的确定
单纯形表中，换入变量所在的列和换出变量所在的行交叉处的元素为主元素（即rk a ），标“*”号。

4º取主变换（基变换）
即单纯形法的一次迭代。

在表中以rk a 主元素进行旋转变换（高斯消去法），把k x 所对应的列向量
⎥⎥⎥⎥
⎥⎥⎦⎤
⎢⎢⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢⎢⎣⎡==0101 行初等变换mk rk k k a a a p 于是得到新一轮的单纯形表。

四、单纯形法解极大化和极小化问题的区别
五、两阶段法
1. 第一阶段：判断原线性规划问题是否有容许解。

先求解以下线性规划
m n n x x w ++++= 1min （人工变量之和）
s.t. ⎪⎩⎪⎨⎧+=≥==++=∑ ,,2,1j 0,,,1, 1m n x m i b x x a j
i i n n
j j ij
用单纯形法对上述问题求解。

若0=w ，则原问题有容许解；
若0>w ，则原问题无容许解，停止计算。

2. 第二阶段：求原线性规划问题的最优解。

以第一阶段的最终单纯形表为基础，去掉其中的人工变量列，把目标函数换成原问题的目标函数，于是得到第二阶段的初始单纯形表，继续迭代下去，得最优解。