生产运筹--非线性规划的基本概念
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
x22
2 f x
x2 xn
2
f
x
xnx1
2
f
x
xnx2
2
f
x
xn2
当f(x)的所有二阶偏导数连续时,即 Hesse矩阵是对称的.
2 f x 2 f x
时,
xix j x jxi
•几个常用Hessian公式:
f x bT x f ( x) b,2 f ( x) 0;
f x 1 xT x f ( x) x, 2 f ( x) I(单位阵);
3 非线性规划问题的图解法
例2: 用图解法求解 min f(x)=(x1 - 2)2 +(x2 - 2)2 s.t. h(x)= x1 + x2 - 6 ≤ 0
x2
6
最优解 x* = ( 2,2 )T
2
0
2
D可行域
最优级解即为最小圆的半径:
f(x)=(x1 - 2)2 +(x2 - 2)2 = 0
2 非线性规划问题的数学模型
➢(1)数学规划模型的一般形式:
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,,q
其中, x ( x1, x2 ,, xn )T , f ( x), gi ( x), hj ( x)为x的实值函数, 简记为MP(Mathematical Programming)
设第 i 个仓库的位置为 ( xi , yi ), i 1,2,, m, 第 i 个仓库到第 j 个市场的货物供应量为 zij (i 1,2,, m, j 1,2,, n). 则第 i 个
仓库到第 j 个市场的距离为
dij ( xi p j )2 ( yi q j )2 ,
目标函数为
.
3. f x xT x 则f x 2x
.
4. A对称矩阵。 f x xT Ax 则 f x 2Ax
(3)Hesse矩阵
多元函数 f(x) 关于x的二阶导数,称为 f(x)的Hesse矩阵.
2
f
x
x12
2
f
x
f
x
2 f x
x1x2
2
f
x
x1xn
2 f x
x2x1
2 f x
无约束非线性规划或无约束最优化问题;
否则称为约束非线性规划或约束最优化问题。
min f ( x)
s.t. gi ( x) 0, i 1,, p
hi ( x) 0, j 1,, q
➢(4)可行域和可行解:
称
X
x
Rn
gi (x) hi ( x)
0, i 1,, p
0,
j
1,,
q
为MP问题的约束集或可行域。
第五讲 非线性规划的基本概念
非线性规划问题 非线性规划数学模型 非线性规划的图解法 梯度、Hesse矩阵、Jacobi阵 凸函数和凸规划 解非线性规划方法概述 一维最优化
在科学管理和其他领域中,大量应用问题可以归结为线性规划问 题,但是,也有另外许多问题,其目标函数和(或)约束条件很 难用线性函数表达。如果目标函数和(或)约束条件中包含有自 变量的非线性函数,则这样的规划问题就属于非线性规划。
min
mn
mn
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
约束条件为
(1)每个仓库向各市场提供的货物量之和不能超过它的
存储容量。
n
zij ai , i 1,2,, m
j 1
(2)每个市场从各仓库得到的货物量之和应等于它的
需要量。
m
zij bj , j 1,2,, n
则称f是S上的凸函数,或 f在S上是凸的。
若 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
则称f是S上的严格凸函数,或 f在S上是严格凸的。
若 f 是S上的(严格)凸函数,称f是S上的(严格) 凹函数 , 或f在S上是(严格 )凹的。
x1
g2 x0
x1
g
m
x0
x1
g1 x0
x2
g2 x0
x2
gm x0
x2
向量值函数g(x)在点 x0处的Jacobi矩阵
g1
x0
x
g2
n
x0
xn
g
m
x0
xn
5 凸函数和凸规划
(1)凸函数:
定义 设S Rn是非空凸集,f : S R1,若对 (0,1)有 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
若x在X内,称x为MP的可行解或者可行点。
➢(5)最优解和极小点
定义: 对于非线性规划(MP),若 x* X ,并且有
f ( x* ) f ( x), x X
则称x*是(MP)的整体最优解或整体 极小点,
称f ( x* )是(MP)的整体最优值或整体 极小值。 如果有 f ( x* ) f ( x), x X , x x*
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
f x1 6 x1 4 x2 ,
f x2 4 x1 2 x2
则函数在 x =[0,1]T 处的最速下降方向是
P
f
x
f
x1 f
x2 x1 0
6 x1 4 x2
4 x1 2 x2
x1 0
4 2
1 非线性规划问题举例
例一:选址问题
设有 n 个市场,第 j 个市场位置为( p j , q j ) ,它对某种货物的需要 量为 bj ( j 1,2,, n)。现计划建立 m 个仓库,第 i 个仓库的存储 容量为 ai (i 1,2,, m). 试确定仓库的位置,使各仓库对各市场的
运输量与路程乘积之和为最小。
称x*是(MP)的严格整体最优解或 严格整体极小点,
称f ( x* )是(MP)的严格整体最优值或 严格整体极小值。
定义 对于非线性规划( MP), 若x* X , 并且存在x*的邻域
N ( x* ) x Rn x x* 使
f ( x* ) f ( x),x N ( x* ) X 则称 x* 是(MP)的局部最优解或局部极小解,
称f ( x* )是(MP)的局部最优值或局部 极小值
如果有 f ( x* ) f ( x),x N ( x* ) X , x x* 称x*是(MP)的严格局部最优解或 严格局部极小点 f ( x* )是(MP)的严格局部最优值或 严格局部极小值。
3 非线性规划问题的图解法
对二维最优化问题,总可以用图解法求解,而对三维或高维问题, 已不便在平面上作图,此法失效。
例1: 用图解法求解 min f(x)=(x1-2)2 +(x2-2)2 s.t. h(x)= x1 + x2 - 6 = 0
x2
6
可行解 x = ( 1.5,4.5 )T
最优解 x* = ( 3,3 )T
3 2
0
23
最优级解即为最小圆的半径:
f(x)=(x1-2)2 +(x2-2)2 = 2
6
x1
非线性规划是运筹学的重要分支之一。最近30多年来发展很快, 不断提出各种算法,而其应用范围也越来越广泛。比如在各种预 报、管理科学、最优设计、质量控制、系统控制等领域得到广泛 且不短深入的应用。
一般来说,求解非线性规划问题比线性规划问题困难得多。而且, 也不象线性规划那样有单纯形法这一通用的方法。非线性规划的 各种算法大都有自己特定的使用范围,都有一定的局限性。到目 前为止还没有适合于各种问题的一般算法,这是需要深入研究的 一个领域。我们只是对一些模型及应用作简单介绍。
性质:设f(x) 在定义域内有连续偏导数,即有连续梯度, 则梯度有以下两个重要性质:
性质一 函数在某点的梯度不为零,则该梯度方向必与 过该点的等值面垂直;
性质二 梯度方向是函数具有最大变化率的方向(负梯 度方向也叫最速下降方向)。
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点 x =[0,1]T
设S Rn是非空开凸集, f:S R1可微,则 (1)f是S上的凸函数
2
f x 1 xT Ax, A对称 f ( x) Ax, 2 f ( x) A.
2
(4)Jacobi矩阵
• 向量变量值函数:g( x) ( g1( x), g2 ( x),, gn ( x))T x ( x1 , x2 ,, xn )T
• 向量变量值函数的导数:
g1 x0
gx0
例 f ( x)|| x||其中xRn是凸函数
例 f ( x) T x ,其中 , xRn , R1即是凸的也是凹的。
例:正定二次函数 f ( x) 1 xT Ax bT x c, 2
其中A是正定矩阵, f(x)是凸函数。 参见P104例。
➢(2)凸函数的性质
性质1: 设S Rn是非空凸集
min f ( x)
s.t .
g( x) 0
h( x) 0
min f ( x)
xX
➢(3)数学规划问题的分类:
min f ( x) s.t. g( x) 0 h( x) 0
☺若
为线性函数,即为线性规划(LP);
☺若
至少一个为非线性,
即为非线性规划(NLP);
☺对于非线性规划,若没有
,即X=Rn,称为
4 2
42 22
2
5 1
5
5
5
新点是: x1
xe
0 1
2
5 1
5
5
5
1521
5
5
5
函数值:
f
x1
3 x12
4 x1 x2
x
2 2
|x1
26ຫໍສະໝຸດ Baidu5
2
5
• 几个常用的梯度公式:
1. f x C常数, 则f x 0. 即 C 0
2. f x bT x 则f x b
➢(2)简记形式: 引入向量函数符号:
h( x)(h1( x),,hq ( x))T g( x)( g1( x),,g p( x))T
X
x
Rn
gi hi
(x) (x)
0, 0,
i j
1,, 1,,
p q
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,, q
r x1 2 x2 2 2 2
而木梁长度无法改变,因此成本只与圆形 木材的横截面积有关。
目标函数为 约束条件为
min
s
r2
x12 4
x22 4
,
x1 H x12 x2 W x1 x2 x1 4 x2 x1, x2 0.
(高度不小于H ) (惯性矩不小于W) (高度介于宽度与
4 倍宽度之间) (高度与宽度非负)
③最后画出目标函数等值线,
• 所以 最优解 x*=(4,1), 最优值 min f(x)=4.
4 梯度、Hesse矩阵、Jacobi阵
• (1) 二次函数
一般形式:
f
x1 ,
x2 ,,
xn
1 n
2 i1
n
gij xi x j
j 1
n
bi xi
i 1
c
矩阵形式:
f x 1 xT Ax bT x c
x2 1
x2 1
这个方向上的单位向量是:
e
f x f x
4 2
42 22
2
5 1
5
5
5
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点x =[0,1]T
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
e
f x f x
(1)若f是S上的凸函数, 0,则 f是S上的凸函数;
(2)若f1, f2是S上的凸函数, f1 f2是S上的凸函数。 性质2: 设S Rn是非空凸集, f是凸函数,cR1,则集合
H S ( f ,c)xS | f ( x) c 是凸集。
证明:略.
➢ (3) 凸函数的判定 定理1:(一阶条件)
i 1
(3)运输量不能为负数
zij 0, i 1,2,, m, j 1,2,, n
例2. 木梁设计问题
把圆形木材加工成矩形横截面的木梁,要求木梁高度
不超过 H ,横截面的惯性矩(高度的平方 宽度)不小
于W ,而且高度介于宽度与4倍宽度之间。问如何确定木
梁尺寸可使木梁成本最小.
x1 x2
设矩形横截面的高度为 x1 , 宽度 为 x2 ,则圆形木材的半径
2
其中A=AT。
二次型: f x 1 xT Ax
2
矩阵A的正定性: 正定、半正定、负定、不定。
二次型的正定性: 正定、半正定、负定、不定。
(2) 梯度
定义:f(x) 是定义在En上的可微函数。f(x) 的n个偏导数
为分量的向量称为f(x) 的梯度.
f
(
x)
f x
x1
,
f x
x2
,
f xT
xn
6
x1
• 例3:用图解法求解
min f ( x) x 22 x 12
1
2
x x2 5x 0
s.t
1
x 1
2
x 2
5
2
0
x 1
,
x 2
0
x2
5
3
1
1 2 3 4 5 6 x1
• 解:①先画出等式约束曲线 x1 x22 5x2 0 的图形——抛物线,
•
②再画出不等式约束区域,
•
2 f x
x2 xn
2
f
x
xnx1
2
f
x
xnx2
2
f
x
xn2
当f(x)的所有二阶偏导数连续时,即 Hesse矩阵是对称的.
2 f x 2 f x
时,
xix j x jxi
•几个常用Hessian公式:
f x bT x f ( x) b,2 f ( x) 0;
f x 1 xT x f ( x) x, 2 f ( x) I(单位阵);
3 非线性规划问题的图解法
例2: 用图解法求解 min f(x)=(x1 - 2)2 +(x2 - 2)2 s.t. h(x)= x1 + x2 - 6 ≤ 0
x2
6
最优解 x* = ( 2,2 )T
2
0
2
D可行域
最优级解即为最小圆的半径:
f(x)=(x1 - 2)2 +(x2 - 2)2 = 0
2 非线性规划问题的数学模型
➢(1)数学规划模型的一般形式:
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,,q
其中, x ( x1, x2 ,, xn )T , f ( x), gi ( x), hj ( x)为x的实值函数, 简记为MP(Mathematical Programming)
设第 i 个仓库的位置为 ( xi , yi ), i 1,2,, m, 第 i 个仓库到第 j 个市场的货物供应量为 zij (i 1,2,, m, j 1,2,, n). 则第 i 个
仓库到第 j 个市场的距离为
dij ( xi p j )2 ( yi q j )2 ,
目标函数为
.
3. f x xT x 则f x 2x
.
4. A对称矩阵。 f x xT Ax 则 f x 2Ax
(3)Hesse矩阵
多元函数 f(x) 关于x的二阶导数,称为 f(x)的Hesse矩阵.
2
f
x
x12
2
f
x
f
x
2 f x
x1x2
2
f
x
x1xn
2 f x
x2x1
2 f x
无约束非线性规划或无约束最优化问题;
否则称为约束非线性规划或约束最优化问题。
min f ( x)
s.t. gi ( x) 0, i 1,, p
hi ( x) 0, j 1,, q
➢(4)可行域和可行解:
称
X
x
Rn
gi (x) hi ( x)
0, i 1,, p
0,
j
1,,
q
为MP问题的约束集或可行域。
第五讲 非线性规划的基本概念
非线性规划问题 非线性规划数学模型 非线性规划的图解法 梯度、Hesse矩阵、Jacobi阵 凸函数和凸规划 解非线性规划方法概述 一维最优化
在科学管理和其他领域中,大量应用问题可以归结为线性规划问 题,但是,也有另外许多问题,其目标函数和(或)约束条件很 难用线性函数表达。如果目标函数和(或)约束条件中包含有自 变量的非线性函数,则这样的规划问题就属于非线性规划。
min
mn
mn
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
约束条件为
(1)每个仓库向各市场提供的货物量之和不能超过它的
存储容量。
n
zij ai , i 1,2,, m
j 1
(2)每个市场从各仓库得到的货物量之和应等于它的
需要量。
m
zij bj , j 1,2,, n
则称f是S上的凸函数,或 f在S上是凸的。
若 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
则称f是S上的严格凸函数,或 f在S上是严格凸的。
若 f 是S上的(严格)凸函数,称f是S上的(严格) 凹函数 , 或f在S上是(严格 )凹的。
x1
g2 x0
x1
g
m
x0
x1
g1 x0
x2
g2 x0
x2
gm x0
x2
向量值函数g(x)在点 x0处的Jacobi矩阵
g1
x0
x
g2
n
x0
xn
g
m
x0
xn
5 凸函数和凸规划
(1)凸函数:
定义 设S Rn是非空凸集,f : S R1,若对 (0,1)有 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
若x在X内,称x为MP的可行解或者可行点。
➢(5)最优解和极小点
定义: 对于非线性规划(MP),若 x* X ,并且有
f ( x* ) f ( x), x X
则称x*是(MP)的整体最优解或整体 极小点,
称f ( x* )是(MP)的整体最优值或整体 极小值。 如果有 f ( x* ) f ( x), x X , x x*
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
f x1 6 x1 4 x2 ,
f x2 4 x1 2 x2
则函数在 x =[0,1]T 处的最速下降方向是
P
f
x
f
x1 f
x2 x1 0
6 x1 4 x2
4 x1 2 x2
x1 0
4 2
1 非线性规划问题举例
例一:选址问题
设有 n 个市场,第 j 个市场位置为( p j , q j ) ,它对某种货物的需要 量为 bj ( j 1,2,, n)。现计划建立 m 个仓库,第 i 个仓库的存储 容量为 ai (i 1,2,, m). 试确定仓库的位置,使各仓库对各市场的
运输量与路程乘积之和为最小。
称x*是(MP)的严格整体最优解或 严格整体极小点,
称f ( x* )是(MP)的严格整体最优值或 严格整体极小值。
定义 对于非线性规划( MP), 若x* X , 并且存在x*的邻域
N ( x* ) x Rn x x* 使
f ( x* ) f ( x),x N ( x* ) X 则称 x* 是(MP)的局部最优解或局部极小解,
称f ( x* )是(MP)的局部最优值或局部 极小值
如果有 f ( x* ) f ( x),x N ( x* ) X , x x* 称x*是(MP)的严格局部最优解或 严格局部极小点 f ( x* )是(MP)的严格局部最优值或 严格局部极小值。
3 非线性规划问题的图解法
对二维最优化问题,总可以用图解法求解,而对三维或高维问题, 已不便在平面上作图,此法失效。
例1: 用图解法求解 min f(x)=(x1-2)2 +(x2-2)2 s.t. h(x)= x1 + x2 - 6 = 0
x2
6
可行解 x = ( 1.5,4.5 )T
最优解 x* = ( 3,3 )T
3 2
0
23
最优级解即为最小圆的半径:
f(x)=(x1-2)2 +(x2-2)2 = 2
6
x1
非线性规划是运筹学的重要分支之一。最近30多年来发展很快, 不断提出各种算法,而其应用范围也越来越广泛。比如在各种预 报、管理科学、最优设计、质量控制、系统控制等领域得到广泛 且不短深入的应用。
一般来说,求解非线性规划问题比线性规划问题困难得多。而且, 也不象线性规划那样有单纯形法这一通用的方法。非线性规划的 各种算法大都有自己特定的使用范围,都有一定的局限性。到目 前为止还没有适合于各种问题的一般算法,这是需要深入研究的 一个领域。我们只是对一些模型及应用作简单介绍。
性质:设f(x) 在定义域内有连续偏导数,即有连续梯度, 则梯度有以下两个重要性质:
性质一 函数在某点的梯度不为零,则该梯度方向必与 过该点的等值面垂直;
性质二 梯度方向是函数具有最大变化率的方向(负梯 度方向也叫最速下降方向)。
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点 x =[0,1]T
设S Rn是非空开凸集, f:S R1可微,则 (1)f是S上的凸函数
2
f x 1 xT Ax, A对称 f ( x) Ax, 2 f ( x) A.
2
(4)Jacobi矩阵
• 向量变量值函数:g( x) ( g1( x), g2 ( x),, gn ( x))T x ( x1 , x2 ,, xn )T
• 向量变量值函数的导数:
g1 x0
gx0
例 f ( x)|| x||其中xRn是凸函数
例 f ( x) T x ,其中 , xRn , R1即是凸的也是凹的。
例:正定二次函数 f ( x) 1 xT Ax bT x c, 2
其中A是正定矩阵, f(x)是凸函数。 参见P104例。
➢(2)凸函数的性质
性质1: 设S Rn是非空凸集
min f ( x)
s.t .
g( x) 0
h( x) 0
min f ( x)
xX
➢(3)数学规划问题的分类:
min f ( x) s.t. g( x) 0 h( x) 0
☺若
为线性函数,即为线性规划(LP);
☺若
至少一个为非线性,
即为非线性规划(NLP);
☺对于非线性规划,若没有
,即X=Rn,称为
4 2
42 22
2
5 1
5
5
5
新点是: x1
xe
0 1
2
5 1
5
5
5
1521
5
5
5
函数值:
f
x1
3 x12
4 x1 x2
x
2 2
|x1
26ຫໍສະໝຸດ Baidu5
2
5
• 几个常用的梯度公式:
1. f x C常数, 则f x 0. 即 C 0
2. f x bT x 则f x b
➢(2)简记形式: 引入向量函数符号:
h( x)(h1( x),,hq ( x))T g( x)( g1( x),,g p( x))T
X
x
Rn
gi hi
(x) (x)
0, 0,
i j
1,, 1,,
p q
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,, q
r x1 2 x2 2 2 2
而木梁长度无法改变,因此成本只与圆形 木材的横截面积有关。
目标函数为 约束条件为
min
s
r2
x12 4
x22 4
,
x1 H x12 x2 W x1 x2 x1 4 x2 x1, x2 0.
(高度不小于H ) (惯性矩不小于W) (高度介于宽度与
4 倍宽度之间) (高度与宽度非负)
③最后画出目标函数等值线,
• 所以 最优解 x*=(4,1), 最优值 min f(x)=4.
4 梯度、Hesse矩阵、Jacobi阵
• (1) 二次函数
一般形式:
f
x1 ,
x2 ,,
xn
1 n
2 i1
n
gij xi x j
j 1
n
bi xi
i 1
c
矩阵形式:
f x 1 xT Ax bT x c
x2 1
x2 1
这个方向上的单位向量是:
e
f x f x
4 2
42 22
2
5 1
5
5
5
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点x =[0,1]T
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
e
f x f x
(1)若f是S上的凸函数, 0,则 f是S上的凸函数;
(2)若f1, f2是S上的凸函数, f1 f2是S上的凸函数。 性质2: 设S Rn是非空凸集, f是凸函数,cR1,则集合
H S ( f ,c)xS | f ( x) c 是凸集。
证明:略.
➢ (3) 凸函数的判定 定理1:(一阶条件)
i 1
(3)运输量不能为负数
zij 0, i 1,2,, m, j 1,2,, n
例2. 木梁设计问题
把圆形木材加工成矩形横截面的木梁,要求木梁高度
不超过 H ,横截面的惯性矩(高度的平方 宽度)不小
于W ,而且高度介于宽度与4倍宽度之间。问如何确定木
梁尺寸可使木梁成本最小.
x1 x2
设矩形横截面的高度为 x1 , 宽度 为 x2 ,则圆形木材的半径
2
其中A=AT。
二次型: f x 1 xT Ax
2
矩阵A的正定性: 正定、半正定、负定、不定。
二次型的正定性: 正定、半正定、负定、不定。
(2) 梯度
定义:f(x) 是定义在En上的可微函数。f(x) 的n个偏导数
为分量的向量称为f(x) 的梯度.
f
(
x)
f x
x1
,
f x
x2
,
f xT
xn
6
x1
• 例3:用图解法求解
min f ( x) x 22 x 12
1
2
x x2 5x 0
s.t
1
x 1
2
x 2
5
2
0
x 1
,
x 2
0
x2
5
3
1
1 2 3 4 5 6 x1
• 解:①先画出等式约束曲线 x1 x22 5x2 0 的图形——抛物线,
•
②再画出不等式约束区域,
•