非线性规讲义划—无约束问题
合集下载
非线性规划无约束问题.pptx
器在单位时间内的经济效益是最好的？
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
第五小组_非线性规划-无约束极值问题
6 12 6 /17 ( , ) 17 17 12 /17 f ( X (1) )T f ( X (1) ) 1 0 = = = -12 f ( X (0) )T f ( X (0) ) 289 (-12, 6) 6 P (1) = -f ( X (1) ) + 0 P (0) f ( X (1) )T P (1) 17 l1 = = (1) T (1) ( P ) AP 10 X (2) = X (1) + l1 P (1) 1 = 1 6 /17 1 12 90 210 = - + = , 12 /17 289 -6 289 289
但P(i) ≠0 ,A为正定，即
a1 p(i )T AP(i ) = 0
p(i )T AP(i ) = 0 故必有ai= 0,i =1,2,L从而P（1）， P（2），… P（n）线性独立
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法 正定二次函数极小问题
二、基本定理
1 T • 无约束极值的一个特殊情形是： min f ( x) = X AX + BT X + c 2
梯度法 共轭梯度法 变尺度法
计算步骤：
（ 计算H ( k )，P k） = - H ( k )f ( X ( k ) ) （ 在P 0） 方向进行一维搜索，确定最佳步长l0
min f ( X ( k ) + lk P ( k ) ) = f ( X ( k ) + lk P ( k ) )
l
则X ( k +1) = X ( k ) + lk P ( k ) 满足精度要求，则停止迭代； 否则则重复上述步骤
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性-无约束规划
f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
无约束非线性规划
常用的确定搜索方向的方法。 最速下降法 共轭梯度法 牛顿法 拟牛顿法（变尺度法）
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
Chap3无约束非线性规划
3. 置 ak1 k ,bk1 bk , k1 k , 计算 k1 ak1 0.618(bk1 ak1) 及 f (k1), 转5；
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
6-3无约束非线性规划问题的求解
使得 f ( x k k d k ) min f ( x k d k )。
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
二、共轭梯度法 1. 共轭方向与正定二次函数 设A为n×n对称正定阵，X和Y是n维欧氏空间En中的两个 向量，若有 XTAY=0， 则称X和Y关于A共轭，或X和Y关于A正交。 n p , p , , p E 设A为n×n对称正定阵，若向量组 1 2 中任 n 意两个向量关于A共轭，即满足条件 piT Ap j 0 (i j; i, j 1,2,, n) ，则称该向量组为A共轭。 定理6-11 设为A为n×n对称正定阵，p1 , p2 ,, pn 为A共轭 的非零向量，则这一向量组线性无关。 证 设有实数k1 , k 2 ,, k n ，使得 k1 p1 k 2 p2 k n pn 0 0 i=1,2,…,n 用 piT A 左乘上式得： ki piT Api ， T 但 pi 0 且A为正定，从而 pi Api 0 故必有 ki 0 (i 1,2,, n) ，从而知 p1 , p2 ,, pn线性无关。
o
d (1)T Ad ( 2) 0,
即等值面上一点处的切 向量与由这一点指向极小点的向量关于A 共轭。
p0 , p1 ,, pk 1 (k n) 定理6-12 设 f ( X )是上面讲的二次正定函数， 为A共轭，则从任一点X 0出发，依次沿 p0 , p1 ,, pk 1 执行一维搜索，即 * min f ( X p ) f ( X k k k k pk )
2 f ( x ) A,
因为A 正定，所以 2 f ( x ) A 0 ,
x
第三章无约束非线性规划课件
a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
09非线性规划：无约束极值问题
n
2f ( X 0 ) 2f ( X 0 ) x 2 x 1 x n h 11 h 1n 1 H 2f ( X 0 ) 2 f ( X 0 ) h h nn 2 x n x 1 n1 x n
x(2)
X(3)
x(1) x1
o x(0)
二、共轭梯度法:选择共轭方向为搜索方向
㈠ 问题的提出：在极值点附近，如何加快收敛速度， 须对函数在极值点附近的性质进行研究。
设有n维目标函数 S=f(X)=f(x1,x2,…,xn),在极值点X*附近展开成泰勒级数：
1 f ( X ) f ( X * ) f ( X * ) T X X T H X 2 1 * T f ( X ) X H X 2 其中H为f ( X)在点X*处的海赛矩阵， X X X*
d .求得新点X (1) X (0) (0) P (0)
第二步：从点 X(1) 出发，照此进行下去，直至满足 给定的精度为止: |f(X(k+1)) -f(X(k))|＜ or ||▽ f(X(k))||＜
最佳步长的计算公式： 若f具有二阶连续偏导，根据泰勒展开 f (x -f (x )) f (x )-f (x ) f (x )
( g 10 ) ( || G ( 0 ) || 0.93 e10 ) G (0) (0) b.计算该梯度的单位方向 E ( 0 ) : (0) (0) e 2 || G || g 2 0.37 (0) || G || 0.93 c.以E( 0 )的反方向 ( 0 ) E( 0 ) P 为一维搜索方向 0.37 在此方向上寻找最优步 h ( 0 )使得 : 长 J (h ( 0 ) ) f ( X ( 0 ) h ( 0 ) P ( 0 ) ) Min f ( X ( 0 ) h P ( 0 ) ) Min f (0.93h,0.37h ) h h dJ (h ) 0.6577h 2 10.78h 60 令 0, 得h ( 0 ) 8.21946 dh 7.63 d.求得新点X(1) X( 0 ) h ( 0 ) P ( 0 ) 3.05 (1) 出发，照此进行下去，直至满足给定的精度 =0.1 为止 ②从点 X |f(X(k+1)) -f(X(k))|＜0.1 或 ||G(k) ||＜0.1
2f ( X 0 ) 2f ( X 0 ) x 2 x 1 x n h 11 h 1n 1 H 2f ( X 0 ) 2 f ( X 0 ) h h nn 2 x n x 1 n1 x n
x(2)
X(3)
x(1) x1
o x(0)
二、共轭梯度法:选择共轭方向为搜索方向
㈠ 问题的提出：在极值点附近，如何加快收敛速度， 须对函数在极值点附近的性质进行研究。
设有n维目标函数 S=f(X)=f(x1,x2,…,xn),在极值点X*附近展开成泰勒级数：
1 f ( X ) f ( X * ) f ( X * ) T X X T H X 2 1 * T f ( X ) X H X 2 其中H为f ( X)在点X*处的海赛矩阵， X X X*
d .求得新点X (1) X (0) (0) P (0)
第二步：从点 X(1) 出发，照此进行下去，直至满足 给定的精度为止: |f(X(k+1)) -f(X(k))|＜ or ||▽ f(X(k))||＜
最佳步长的计算公式： 若f具有二阶连续偏导，根据泰勒展开 f (x -f (x )) f (x )-f (x ) f (x )
( g 10 ) ( || G ( 0 ) || 0.93 e10 ) G (0) (0) b.计算该梯度的单位方向 E ( 0 ) : (0) (0) e 2 || G || g 2 0.37 (0) || G || 0.93 c.以E( 0 )的反方向 ( 0 ) E( 0 ) P 为一维搜索方向 0.37 在此方向上寻找最优步 h ( 0 )使得 : 长 J (h ( 0 ) ) f ( X ( 0 ) h ( 0 ) P ( 0 ) ) Min f ( X ( 0 ) h P ( 0 ) ) Min f (0.93h,0.37h ) h h dJ (h ) 0.6577h 2 10.78h 60 令 0, 得h ( 0 ) 8.21946 dh 7.63 d.求得新点X(1) X( 0 ) h ( 0 ) P ( 0 ) 3.05 (1) 出发，照此进行下去，直至满足给定的精度 =0.1 为止 ②从点 X |f(X(k+1)) -f(X(k))|＜0.1 或 ||G(k) ||＜0.1
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
(最新整理)第三章无约束非线性规划
#
一维搜索——黄金分割法
2.算法步骤
用 黄 金 分 割 法 求 无 约 束 问 题 m i n f ( x ) 的 基 本 算 法 步 骤 如 下 x R
① 选 1定 a初 1始 0.区 38间 2([ba11 ,ba11 ])及 精 度 0， 计 算 试 探 点 :令
1a10.618(b1a1)
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。
1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x(0)，置k 0； 第二步：如果x(k)满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d (k) ,使得目标函数f (x)从x(k)出发，沿
d (k)方向，在射线x(k) d (k) ( 0)上选取步长k，使得 f(x(k) kd (k) )<f (x(k) )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
#
一维搜索——黄金分割法
a
非线性规划—无约束问题
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有 X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
《高级运筹学》无约束非线性规划
求解方法简介
梯度法
基于目标函数的梯度信息，通 过迭代更新搜索方向和步长， 逐步逼近最优解。
牛顿法
利用目标函数的二阶导数（海 森矩阵）信息，构造一个二次 逼近模型，通过迭代更新搜索 方向和步长，逐步逼近最优解 。
共轭梯度法
结合梯度法和牛顿法的思想， 通过迭代更新搜索方向和步长 ，逐步逼近最优解。该方法在 求解大规模问题时具有较好的 收敛性和计算效率。
到该问题的最优解。
案例三：实际应用中的无约束非线性规划问题
要点一
总结词
要点二
详细描述
通过解决一个实际应用中的无约束非线性规划问题，了解 无约束非线性规划在现实生活中的应用和价值。
该案例是一个实际应用中的无约束非线性规划问题，目标函 数为 f(x) = -(x1*x2*x3)，约束条件为 x1 + x2 + x3 = 1。 这个问题来自于化学反应优化领域，通过求解该问题可以找 到最优的反应条件，提高化学反应的效率和产物质量。
约束条件
等式约束
表示决策变量之间的关系，通常以等式形式给出。
不等式约束
表示决策变量的取值范围或与其他变量的关系，通 常以不等式形式给出。
无穷范数约束
对于一些特殊的无约束非线性规划问题，可能需要 考虑无穷范数约束，即决策变量的极限行为。
决策变量
连续型决策变量
在无约束非线性规划中，决策变量可以是连续的，也可以是 离散的。连续型决策变量通常在连续空间中进行优化。
案例一：简单的无约束非线性规划问题求解
总结词
通过求解一个简单的无约束非线性规划问，了解无约束非线性规划的基本概念和求解 方法。
详细描述
该案例是一个简单的无约束非线性规划问题，目标函数为 f(x) = x1^2 + x2^2 2*x1*x2，约束条件为 x1 + x2 = 1。通过使用非线性规划求解器，可以找到该问题的
运筹学 — 无约束非线性规划,约束非线性优化解析
则 x是 f (x) 的R上的最小点（全局极小点）
• 凸规划：
定义：若 R En 为凸集， f ( x) 是R上的凸函数， 则称规划：
min f (x) s.t. x R
为凸规划
定义：若规划问题：
min f (x) s.t. gi (x) 0 i 1, 2, m
其中 f (x) 为凸函数， gi (x) 为凹函数（或 gi (x) 为凸函数） ，则该规划问题为凸规划。
x
k+1
=x +k P
k
k
检查得到的新点x是否为极小值点或近似极小值点。若是， 停止迭代。否则，令 k：=k+1，回2步继续迭代。
• 确定最优步长
k： min f (x +P )
k k
求以 为变量的一元函数 f (xk +Pk ) 的极小值点 （一维搜索）
一维搜索重要性质：在 搜索方向上所得最优点 处的梯度和该搜索方向 正交。
t
(t1 ) 0.2082 (t2 ) 0.0611
b-t1=1.146-0.438>0.5
0 t1
t2
1.416
t
4、第四轮：
a = 0.438, t1=0.708, t2=0.876, b=1.146
(t1 ) 0.0611 (t2 ) 0.0798
b-t1=1.146-0.708<0.5 0
第四章非线性规划
凌翔 龙建成 交通运输工程学院
凸函数定义：
设 f (x) 为定义在n维欧氏空间E中某个凸集R上的函数，若 对任何实数 0 1 以及R中的任意两点 x1 和 x2 ，恒有：
f ( x1 (1 )x2 ) f (x1 ) (1 ) f (x2 )
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向，即可得到局部极 大值与全局极大值的定义。
第11页
定理1：极值存在的必要条件
解：设该公司计划经营第一种设备为x1件，第二种设备为x2件
根据题意
max f
0.5x1
( x1 , (2
x2 ) 30x1 0.25x2 )x2
450x2 800
x1, x2 0
第4页
由这两个例子可以看出，这两个例子在高等数学中 代表了两类不同类型的极值问题。例1是无条件极值 ；例2是有条件极值。
非线性规划：
有时求出的解是一部分可行域上的极值点，但 并不一定是整个可行域上的全局最优解。
第9页
局部极值定义
设f ( X )是定义在n维欧氏空间E n的某一区域上的n元函数，
其中X (x1, x2 ,, xn )。
对于X * ,如果存在某一个 0，使得所有与X *的距离 小于的X ，（即X ，且 X X * )
如果令X (x1,x 2 , ,x n )是n维空间E (n )上的点，
则一般非线性规划的数学模型为：
min f(X )
hi(X ) 0, i 1,2, ,m
g j(X ) 0, j 1,2, ,l
f(X )为目标函数，hi(X )，g j(X )为约束条件，X为
自变量。若某个约束条件是“”的不等式，不等式
x
均满足
f ( X ) f ( X *)
பைடு நூலகம்
则称X *为f ( X )在上的局部极小点。f ( X *)为局部极小值。
若所有X X *，且 X X * ，X ，有
f ( X ) f ( X *)
则称X *为f ( X )在上的严格局部极小点。f ( X *)为严格局
部极小值。
第10页
若点X * ,对于所有的X ，均满足 f(X ) f(X *)
必是驻点。f(X *)称为f(X )在点X处的梯度。
但反过来，驻点不一定是极值点。
如点（0，0）是函数f(x1,x 2 )
x
3 1
x 23的驻点，但不是极值点。
第12页
定理2：极值存在的充分条件
设f(X )是定义在E n上的某一区域上的函数，且在上二次连 续可微，X * 是区域内的一点，若f(X )在X * 处满足f(X *)＝0，
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元 ，第二种设备每件售价为450元，根据统计，售出一 件第一种设备所需营业时间平均为0.5小时，第二种设 备为（2＋0.25x2）小时，其中x2是第二种设备的售出 数量，已知该公司在这段时间内的总营业时间为800 小时，试决定使其营业额最大的营业计划。
精品
非线性规划—无约束问题
1.1 非线性规划问题及其数学模型
如果目标函数或约束条件中含有一个或多个是 变量的非线性函数，我们称这类规划问题为非线性 规划（nonlinear programming，简记为NP）。
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
设f(X )是定义在E n上的某一区域上的函数，X * 是内
的一点，若f(X )在X * 处可微且取得局部极值，则必有
f(X *) x 1
f(X *) x 2
f(X *) x n
0
或
f(X
*)＝（
f(X *) x 1
，f(X *) x 2
，
，f(X x n
*)
）T ＝0
上式的点称为驻点，或平稳点。即在区域内部，极点
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
(x1, x2 )
50 x1 x2
80[ 1 x1x2
称为等值线或等高线。
等值线f ( X）＝2与直线AB相切，
切点为x (3,2)。
B
第6页
例：min f ( X ) (x1 2)2 (x2 1)2 A
x1 x22 5x2 0 x1 x2 5 0
解：画出目标函数 的x1等, x值2 线0
B
C D
f ( X）＝(x1 2)2 (x2 1)2＝C 它表示一族中心在（2，1）上的同心圆。 画出约束区域
且对任意非零列向量Y，有 Y T H(X *)Y 0 则称f(X )在点X * 处取得严格局部极小值。
这里H(X *)是f(X )在点X * 处的海赛（Hesse）矩阵。
2f(X *)
x
2 1
2f(X *) x1 x 2
2f(X *)
x1 x n
2f(X *)
H(X *)
x 2x1
2f(X *)
方程组可得。最优点（4，1），最优值f (x) 4.
第7页
非线性规划的解的特点
线性规划：
最优解只能在其可行域的边界上达到，特别是 在可行域的顶点上达到；
非线性规划：
可能在其可行域中的任意一点达到。
第8页
1.2 极值问题
线性规划：
目标函数是线性函数，可行域为凸集，求出的 最优解就是整个可行域上的全局最优解。
先画x1 x22 5x2 0，这是一条抛物线，再画不等式x1 x2 5 0，x1, x2 0 所代表的约束区域。
则抛物线弧ABCD为约束集。由动点A出发沿抛物线ABCD移动时，弧AB段，
目标函数值下降，在BC段函数值上升，弧CD段，目标函数值下降，而且在
D点是可行域上使目标函数值最小的点，它是全局最优点。其坐标由约束
两边乘以“1”。
第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f ( X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向，即可得到局部极 大值与全局极大值的定义。
第11页
定理1：极值存在的必要条件
解：设该公司计划经营第一种设备为x1件，第二种设备为x2件
根据题意
max f
0.5x1
( x1 , (2
x2 ) 30x1 0.25x2 )x2
450x2 800
x1, x2 0
第4页
由这两个例子可以看出，这两个例子在高等数学中 代表了两类不同类型的极值问题。例1是无条件极值 ；例2是有条件极值。
非线性规划：
有时求出的解是一部分可行域上的极值点，但 并不一定是整个可行域上的全局最优解。
第9页
局部极值定义
设f ( X )是定义在n维欧氏空间E n的某一区域上的n元函数，
其中X (x1, x2 ,, xn )。
对于X * ,如果存在某一个 0，使得所有与X *的距离 小于的X ，（即X ，且 X X * )
如果令X (x1,x 2 , ,x n )是n维空间E (n )上的点，
则一般非线性规划的数学模型为：
min f(X )
hi(X ) 0, i 1,2, ,m
g j(X ) 0, j 1,2, ,l
f(X )为目标函数，hi(X )，g j(X )为约束条件，X为
自变量。若某个约束条件是“”的不等式，不等式
x
均满足
f ( X ) f ( X *)
பைடு நூலகம்
则称X *为f ( X )在上的局部极小点。f ( X *)为局部极小值。
若所有X X *，且 X X * ，X ，有
f ( X ) f ( X *)
则称X *为f ( X )在上的严格局部极小点。f ( X *)为严格局
部极小值。
第10页
若点X * ,对于所有的X ，均满足 f(X ) f(X *)
必是驻点。f(X *)称为f(X )在点X处的梯度。
但反过来，驻点不一定是极值点。
如点（0，0）是函数f(x1,x 2 )
x
3 1
x 23的驻点，但不是极值点。
第12页
定理2：极值存在的充分条件
设f(X )是定义在E n上的某一区域上的函数，且在上二次连 续可微，X * 是区域内的一点，若f(X )在X * 处满足f(X *)＝0，
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元 ，第二种设备每件售价为450元，根据统计，售出一 件第一种设备所需营业时间平均为0.5小时，第二种设 备为（2＋0.25x2）小时，其中x2是第二种设备的售出 数量，已知该公司在这段时间内的总营业时间为800 小时，试决定使其营业额最大的营业计划。
精品
非线性规划—无约束问题
1.1 非线性规划问题及其数学模型
如果目标函数或约束条件中含有一个或多个是 变量的非线性函数，我们称这类规划问题为非线性 规划（nonlinear programming，简记为NP）。
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
设f(X )是定义在E n上的某一区域上的函数，X * 是内
的一点，若f(X )在X * 处可微且取得局部极值，则必有
f(X *) x 1
f(X *) x 2
f(X *) x n
0
或
f(X
*)＝（
f(X *) x 1
，f(X *) x 2
，
，f(X x n
*)
）T ＝0
上式的点称为驻点，或平稳点。即在区域内部，极点
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
(x1, x2 )
50 x1 x2
80[ 1 x1x2
称为等值线或等高线。
等值线f ( X）＝2与直线AB相切，
切点为x (3,2)。
B
第6页
例：min f ( X ) (x1 2)2 (x2 1)2 A
x1 x22 5x2 0 x1 x2 5 0
解：画出目标函数 的x1等, x值2 线0
B
C D
f ( X）＝(x1 2)2 (x2 1)2＝C 它表示一族中心在（2，1）上的同心圆。 画出约束区域
且对任意非零列向量Y，有 Y T H(X *)Y 0 则称f(X )在点X * 处取得严格局部极小值。
这里H(X *)是f(X )在点X * 处的海赛（Hesse）矩阵。
2f(X *)
x
2 1
2f(X *) x1 x 2
2f(X *)
x1 x n
2f(X *)
H(X *)
x 2x1
2f(X *)
方程组可得。最优点（4，1），最优值f (x) 4.
第7页
非线性规划的解的特点
线性规划：
最优解只能在其可行域的边界上达到，特别是 在可行域的顶点上达到；
非线性规划：
可能在其可行域中的任意一点达到。
第8页
1.2 极值问题
线性规划：
目标函数是线性函数，可行域为凸集，求出的 最优解就是整个可行域上的全局最优解。
先画x1 x22 5x2 0，这是一条抛物线，再画不等式x1 x2 5 0，x1, x2 0 所代表的约束区域。
则抛物线弧ABCD为约束集。由动点A出发沿抛物线ABCD移动时，弧AB段，
目标函数值下降，在BC段函数值上升，弧CD段，目标函数值下降，而且在
D点是可行域上使目标函数值最小的点，它是全局最优点。其坐标由约束
两边乘以“1”。
第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f ( X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，