第六章 非线性规划基本概念与基本原理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.1.3．1 局部极值与全局极值
定义 6-1 设 x*∈R n, δ >0，集合 {x | x Rn ,且 x x* }
称为 x*的δ 邻域，记为 N (x*，δ )，其中 x x* 表示 x 与 x*之间 的距离（通常为 欧几里德距离）．
定义 6-2 设 f (x )为定义在 n 维欧氏空间 E n 中的某一区域 S
为凸集。
规定：单点集 {x} 为凸集，空集为凸集。
注: x(1)＋(1- ) x(2) = x(2)＋(x(1)- x(2)) 是连接 x(1)与x(2)的线段 。
特征值都大于零的 实对称矩阵 特征值都不小于零 的实对称矩阵
所有各阶顺序主子式都大于零，即
det Ai 0(i 1,2,, n) det A 0 且det Ai 0(i 1,2,, n 1)
负定矩阵
半负定矩 阵
特征值都小于零的 实对称矩阵 特征值都不大于零 的实对称矩阵 特征值既有大于零
a11 A3 a21
a31
a12 a22 a32
a13 a23 a33
a11
a22 a32
a23 a33
a21
a12 a32
a13 a33
a31
a12 a22
a13 a23
其余各阶顺序主子式依此类推．
表 6-1 给出了各矩阵的定义及充分必要条件．
表 6-1
名称
定义
充分必要条件
正定矩阵
半正定矩 阵
2 f (x)
x12
2 f (x) x1x2
2 f (x)
x1xn
2 f (x)
2
f
(x)
x 2
2 x1
f (x)
xnx1
2 f (x)
x22
2 f (x)
xn x2
2 f (x)
x 2 x n
围内．则问题是有约束的．
例 6-3 设要设什一个如图 6.1.1 所示的半球形和圆柱形相连接的 构件，要求在构件体积为一定的条件下确定构件的尺寸，使其表面积 最小．
图 6.1.1 半球形和圆柱形相连接的构件
构 件 的 大 小 取 决 于 其 中 圆 住 体 的 底 半 径 和 高 ，今 设 该 圆 柱 体 的 底 毕径为 x1，高为 x2，由于构件的表面由半球顶面、侧面和底面构成， 因此其表面积为
S 2x12 2x1 x2 x12
构 件 的 体 积 为 半 球 体 和 圆 住 体 之 和 ，所 以 若 要 使 构 件 的 体 积 为 定 值 V0， 应该满足条件
2 3
x13
x12 x2
V0
又构件的底半径和圆柱体之高显然非负，故还要求
因此本例的数学模型为
x1≥0, x2≥0
如 果 将 定 义 6-2 和 6-3 中 的 不 等 式 反 向 ，即 可 得 到 相 应 的 极 大 点 和 极大值的定义．本教材主要就极小点和极小值进行讨论，而且主要研 究局部极小．对于极大化问题可通过恒等式
max f (x ) = －min(－f ( x ))
转化为极小化问题．
6.1.3.２．梯度
非 线 性 规 划 问 题 是 一 类 优 化 问 题 ，在 这 类 问 题 中 ，目 标函数或约束函数至少有一个不是决策变量的线性函 数。显然，非线性规划问题相对于线性规划问题而言更 具一般性，在工程实际中也更普遍．
例 6-1 某公司专门生产储藏用的容器，订货合同要求该公司制造
一种敞口的长方体容器，容积恰好为 12 立方米,该种容器的底必须为
定义 6-3 设 f (x)为定义在 n 维欧氏空间 R n 中的某一区域 S 上的
n 元 实 函 数 ， 其 中 x (x1, x2 ,, xn )T ． 对 于 x*∈ S， 若 存 在 某 个 ε >0，
对任意的 x∈S 均有 f (x)≥f (x*)，则称 x*为 f (x )在 S 上的全局极小点， f (x* )为全局极小值．若对于所有 x∈S 且 x≠x*都有 f (x) > f (x*) ，则 称 x *为 f (x )在 S 上的严格全局极小点，f (x * )为严格全局极小值．
min S 2x12 2x1 x2 x12
s.t.
2 3
x13
x12 x2
V0
x1≥0，x2≥0
6.1.2 非线性规划问题的一般数学模型
一般非线性规划的数学模型可表示为
min f ( x) s.t. hi ( x) 0(i 1, 2,L , m)
g j ( x) 0( j 1, 2,L , l )
det
Ai
0(i为奇数) 0(i为偶数)(i
1,2,,
n)
det
A
0
且
det
Ai
0(i为奇数) 0(i为偶数)(i
1,2,,
n
1)
有两个奇数阶顺序主子式，其中一个为正Baidu Nhomakorabea另
不定矩阵 又有小于零的实对 一个为负
称矩阵
6.2 凸函数和凸规划
回顾一下凸集的概念：
定义：设集合 S Rn，若x(1), x(2)S, [0,1]，必有 x(1)＋(1- ) x(2) S ，则称 S
设有实对称矩阵
a11 a12 a1n
A a21
a22
a2n
an1
an2
ann
方阵 A 的行列式用 det A 表示，其各阶顺序主子式为 Ai，则
一阶顺序主子式
A1 = a11
二阶顺序主子式
三阶顺序主子式
A2
a11 a21
a12 a22
a11 a22 a21 a12
的缩写．
例 6-2 定 位 问 题 假 设 要 选 定 一 个 供 应 中 心 的 位 置 ，由 这 个 中 心 向 城 市 中 位 置 固 定 的 m 个 用 户 提 供 服 务 中 心 供 应 的 商 品 ，可 以 是 电 、水 、 牛奶和其他货物，供应中心的设置定位准则是使从中心到用户的“距 离”最小．例如，可以是使中心到各用户的最大距离为最小，假定在 这个城市里货物必须沿互相垂直的路线（街道）供应，那么合适的距 离函数就是矩形距离．下面列出其数学模型：
此时，▽2f (x )是对称矩阵．函数在某一点 x(0)处的海赛矩 阵就是将 x(0)的各分量值代入(6-9)中矩阵各元素（二阶偏 导函数）即可．
特别地，当 f (x )是二次函数时，则 f (x )必可写成下列形式：
f (x) 1 xT Ax BT x C 2
(6-10)
这里 A 是 n×n 实对称矩阵，B 为 n 维列向量，C 为常数．容
上的 n 元实函数，其中 x (x1, x2 ,, xn )T ．对于 x*∈S，若存在
某个ε >0，对任意的 x∈N (x*，δ )∩S 均有 f (x )≥f (x*)，则称 x*为 f (x)在 S 上的局部极小点，f (x* )为局部极小值．若对于所有 x∈N (x*，δ )∩S 且 x≠x*都有 f (x ) > f (x*) ，则称 x*为 f (x )在 S 上的严格局部极小点，f (x* )为严格局部极小值．
设 （ x1, x2） 表 示 供 应 中 心 的 待 定 位 置 （ 坐 标 ）， 而 （ ai， bi） 是 第 i 个用户的所在位置，则问题的目标函数是
min{max[ ai x1 bi x2 ]}
x1 , x2
1im
这个式子意昧着，首先对（x1, x2）的每个可能值求出指标 I，使方括 号中的矩形距离最大；其次在依赖于（x1, x2）的所有最大距离中求出 最小的．如果每一位置（x1, x2）都可以接受，那么问题是无约束的； 如果还有其他限制，例如供应中心到某几个用户的距离必须在某个范
目标函数：
min f (x ) = 40x1x2+20x12
约束条件：
x12x2=12
12 x1x2+2 x12 ≤68
x1≥0, x2≥0
记为
min f (x ) = 40x1x2+20x12
s.t
x
2 1
x
2
=
1
2
12 x1x2+2 x12 ≤68
x1≥ 0
x2≥ 0
其中 s.t 是 subject to（受约束于）的缩写，min 是 minimize（最小化）
性质 2：梯度方向是函数值增加最快的方向，即函数变化率最大的方 向，而负梯度方向则是函数值减小最快的方向．
如果采用欧几里德距离，函数 f (x )在 x (0)处的梯度的
模取为：
f (x(0) )
f
(x(0) x1
)
2
f (x(0) x2
)
2
第六章 非线性规划基本概念 与基本原理
本章讲授非线性规划的基本概念、非线 性规划的最优解所满足的必要条件和充分条 件，这些条件是非线性规划的各种数值算法 的推导和分析提供必不可少的理论基础。
本章还将讲授非线性规划问题数值算法 的基本迭代形式和收敛性准则。
6.1 非线性规划的数学模型和基本 概念
6.1.1 非线性规划问题举例
2 f (x)
xn2
(6-9)
它又称为 n 元函数 f (x ) 对向量 x 的二阶导数，即 ▽f (x )对向
量 x 的一阶导数．特别地，一元函数的海赛矩阵就是二阶导
数．
在微积分中已经证明过，当 f (x )的二阶偏导数连续时， 混合偏导数与求导顺序无关，即
2 f (x) 2 f (x) (i 1,2,, n; j 1,2,, n) xix j x j xi
的梯度就是将 x(0)的各分量代入(6-6)即可，即
f (x(0) ) (f (x(0) ) , f (x(0) ) ,, f (x(0) ))T
x1
x2
xn
特别地，一元函数的梯度就是一阶导数．
(6-7)
梯度两个重要性质，假设在所考察的区间内梯度是连续的．
性 质 1：函 数 f (x )在 某 一 点 x(0)的 梯 度 ▽ f (x(0)) ，必 与 过 该 点 的 等 值 面 （ 其 方 程 为 f (x ) = f (x (0) )）的 切 平 面 相 垂 直（ 假 定 ▽ f (x(0)) ≠ 0）．或 者说▽f (x(0))表示过 x (0)的 f (x )的等值面在 x(0)处的法向量．
f (x(0) xn
)
2
(6-8)
如果不用欧几里德度量而选用某些别的距离，则梯度
方向就未必是函数值增加最快的方向．
满足的▽f (x* )=0 的点 x*称为驻点或平稳点，在定义
域内部可微函数的极值点必为驻点，反之未必．
6．1．3．3 海赛矩阵(Hesse)
假定函数 f (x )二阶可微，则以其二 阶偏导数为元素 构成的 下述 n×n 矩阵称为 f (x )的海赛矩阵，记为▽2f (x )，有
(6-1)
式 中 x ( x1 , x2 ,L , xn )T Rn ， 是 n 维 向 量 ，
f , hi (i 1,2,, m), g j ( j 1,2,,l) 都 是 Rn R 的 映 射 （ 即 自 变 量 是
n 维向量，因变量是实数的函数关系）．
6.1.3 基本概念
易验证，函数 f (x )的海赛矩阵为▽2f (x )= A，即二次函数的
海赛矩阵是一个常数矩阵，它与 x 的位置无关．反过来，如
果要把一个二次函数化为 (6-10) 的形式，可以通过求该二
次函数的海赛矩阵和梯度求出相应的 A，B 和 C 即可．
6．1．3．4．实对称矩阵的正定性、负定性、半定性和不定性
可 微 函 数 f (x )的 梯 度 ， 记 为 ▽ f (x ),它 是 以 f (x ) 对 xi (i 1,2,, n) 的偏导数为元素的 n 维向量(本书规定为列向量),于是有
f (x) (f (x) , f (x) ,, f (x))T
x1 x2
xn
(6-6)
梯度又称为函数 f (x )关于向量 x 的一阶导数．函数 f (x )在某一点 x(0)
正 方 形 ，容 器 总 重 量 不 超 过 68 公 斤 ，已 知 用 做 容 器 四 壁 的 材 料 为 每 平
方 米 10 元 ，重 3 公 斤 ；用 做 容 器 底 的 材 料 每 平 方 米 20 元 ，重 2 公 斤 ．试
问制造该容器所需的最小费用是多少？列出数学模型．
设该容器的底边长和高分别为 x1 米和 x2 米，则有
定义 6-1 设 x*∈R n, δ >0，集合 {x | x Rn ,且 x x* }
称为 x*的δ 邻域，记为 N (x*，δ )，其中 x x* 表示 x 与 x*之间 的距离（通常为 欧几里德距离）．
定义 6-2 设 f (x )为定义在 n 维欧氏空间 E n 中的某一区域 S
为凸集。
规定：单点集 {x} 为凸集，空集为凸集。
注: x(1)＋(1- ) x(2) = x(2)＋(x(1)- x(2)) 是连接 x(1)与x(2)的线段 。
特征值都大于零的 实对称矩阵 特征值都不小于零 的实对称矩阵
所有各阶顺序主子式都大于零，即
det Ai 0(i 1,2,, n) det A 0 且det Ai 0(i 1,2,, n 1)
负定矩阵
半负定矩 阵
特征值都小于零的 实对称矩阵 特征值都不大于零 的实对称矩阵 特征值既有大于零
a11 A3 a21
a31
a12 a22 a32
a13 a23 a33
a11
a22 a32
a23 a33
a21
a12 a32
a13 a33
a31
a12 a22
a13 a23
其余各阶顺序主子式依此类推．
表 6-1 给出了各矩阵的定义及充分必要条件．
表 6-1
名称
定义
充分必要条件
正定矩阵
半正定矩 阵
2 f (x)
x12
2 f (x) x1x2
2 f (x)
x1xn
2 f (x)
2
f
(x)
x 2
2 x1
f (x)
xnx1
2 f (x)
x22
2 f (x)
xn x2
2 f (x)
x 2 x n
围内．则问题是有约束的．
例 6-3 设要设什一个如图 6.1.1 所示的半球形和圆柱形相连接的 构件，要求在构件体积为一定的条件下确定构件的尺寸，使其表面积 最小．
图 6.1.1 半球形和圆柱形相连接的构件
构 件 的 大 小 取 决 于 其 中 圆 住 体 的 底 半 径 和 高 ，今 设 该 圆 柱 体 的 底 毕径为 x1，高为 x2，由于构件的表面由半球顶面、侧面和底面构成， 因此其表面积为
S 2x12 2x1 x2 x12
构 件 的 体 积 为 半 球 体 和 圆 住 体 之 和 ，所 以 若 要 使 构 件 的 体 积 为 定 值 V0， 应该满足条件
2 3
x13
x12 x2
V0
又构件的底半径和圆柱体之高显然非负，故还要求
因此本例的数学模型为
x1≥0, x2≥0
如 果 将 定 义 6-2 和 6-3 中 的 不 等 式 反 向 ，即 可 得 到 相 应 的 极 大 点 和 极大值的定义．本教材主要就极小点和极小值进行讨论，而且主要研 究局部极小．对于极大化问题可通过恒等式
max f (x ) = －min(－f ( x ))
转化为极小化问题．
6.1.3.２．梯度
非 线 性 规 划 问 题 是 一 类 优 化 问 题 ，在 这 类 问 题 中 ，目 标函数或约束函数至少有一个不是决策变量的线性函 数。显然，非线性规划问题相对于线性规划问题而言更 具一般性，在工程实际中也更普遍．
例 6-1 某公司专门生产储藏用的容器，订货合同要求该公司制造
一种敞口的长方体容器，容积恰好为 12 立方米,该种容器的底必须为
定义 6-3 设 f (x)为定义在 n 维欧氏空间 R n 中的某一区域 S 上的
n 元 实 函 数 ， 其 中 x (x1, x2 ,, xn )T ． 对 于 x*∈ S， 若 存 在 某 个 ε >0，
对任意的 x∈S 均有 f (x)≥f (x*)，则称 x*为 f (x )在 S 上的全局极小点， f (x* )为全局极小值．若对于所有 x∈S 且 x≠x*都有 f (x) > f (x*) ，则 称 x *为 f (x )在 S 上的严格全局极小点，f (x * )为严格全局极小值．
min S 2x12 2x1 x2 x12
s.t.
2 3
x13
x12 x2
V0
x1≥0，x2≥0
6.1.2 非线性规划问题的一般数学模型
一般非线性规划的数学模型可表示为
min f ( x) s.t. hi ( x) 0(i 1, 2,L , m)
g j ( x) 0( j 1, 2,L , l )
det
Ai
0(i为奇数) 0(i为偶数)(i
1,2,,
n)
det
A
0
且
det
Ai
0(i为奇数) 0(i为偶数)(i
1,2,,
n
1)
有两个奇数阶顺序主子式，其中一个为正Baidu Nhomakorabea另
不定矩阵 又有小于零的实对 一个为负
称矩阵
6.2 凸函数和凸规划
回顾一下凸集的概念：
定义：设集合 S Rn，若x(1), x(2)S, [0,1]，必有 x(1)＋(1- ) x(2) S ，则称 S
设有实对称矩阵
a11 a12 a1n
A a21
a22
a2n
an1
an2
ann
方阵 A 的行列式用 det A 表示，其各阶顺序主子式为 Ai，则
一阶顺序主子式
A1 = a11
二阶顺序主子式
三阶顺序主子式
A2
a11 a21
a12 a22
a11 a22 a21 a12
的缩写．
例 6-2 定 位 问 题 假 设 要 选 定 一 个 供 应 中 心 的 位 置 ，由 这 个 中 心 向 城 市 中 位 置 固 定 的 m 个 用 户 提 供 服 务 中 心 供 应 的 商 品 ，可 以 是 电 、水 、 牛奶和其他货物，供应中心的设置定位准则是使从中心到用户的“距 离”最小．例如，可以是使中心到各用户的最大距离为最小，假定在 这个城市里货物必须沿互相垂直的路线（街道）供应，那么合适的距 离函数就是矩形距离．下面列出其数学模型：
此时，▽2f (x )是对称矩阵．函数在某一点 x(0)处的海赛矩 阵就是将 x(0)的各分量值代入(6-9)中矩阵各元素（二阶偏 导函数）即可．
特别地，当 f (x )是二次函数时，则 f (x )必可写成下列形式：
f (x) 1 xT Ax BT x C 2
(6-10)
这里 A 是 n×n 实对称矩阵，B 为 n 维列向量，C 为常数．容
上的 n 元实函数，其中 x (x1, x2 ,, xn )T ．对于 x*∈S，若存在
某个ε >0，对任意的 x∈N (x*，δ )∩S 均有 f (x )≥f (x*)，则称 x*为 f (x)在 S 上的局部极小点，f (x* )为局部极小值．若对于所有 x∈N (x*，δ )∩S 且 x≠x*都有 f (x ) > f (x*) ，则称 x*为 f (x )在 S 上的严格局部极小点，f (x* )为严格局部极小值．
设 （ x1, x2） 表 示 供 应 中 心 的 待 定 位 置 （ 坐 标 ）， 而 （ ai， bi） 是 第 i 个用户的所在位置，则问题的目标函数是
min{max[ ai x1 bi x2 ]}
x1 , x2
1im
这个式子意昧着，首先对（x1, x2）的每个可能值求出指标 I，使方括 号中的矩形距离最大；其次在依赖于（x1, x2）的所有最大距离中求出 最小的．如果每一位置（x1, x2）都可以接受，那么问题是无约束的； 如果还有其他限制，例如供应中心到某几个用户的距离必须在某个范
目标函数：
min f (x ) = 40x1x2+20x12
约束条件：
x12x2=12
12 x1x2+2 x12 ≤68
x1≥0, x2≥0
记为
min f (x ) = 40x1x2+20x12
s.t
x
2 1
x
2
=
1
2
12 x1x2+2 x12 ≤68
x1≥ 0
x2≥ 0
其中 s.t 是 subject to（受约束于）的缩写，min 是 minimize（最小化）
性质 2：梯度方向是函数值增加最快的方向，即函数变化率最大的方 向，而负梯度方向则是函数值减小最快的方向．
如果采用欧几里德距离，函数 f (x )在 x (0)处的梯度的
模取为：
f (x(0) )
f
(x(0) x1
)
2
f (x(0) x2
)
2
第六章 非线性规划基本概念 与基本原理
本章讲授非线性规划的基本概念、非线 性规划的最优解所满足的必要条件和充分条 件，这些条件是非线性规划的各种数值算法 的推导和分析提供必不可少的理论基础。
本章还将讲授非线性规划问题数值算法 的基本迭代形式和收敛性准则。
6.1 非线性规划的数学模型和基本 概念
6.1.1 非线性规划问题举例
2 f (x)
xn2
(6-9)
它又称为 n 元函数 f (x ) 对向量 x 的二阶导数，即 ▽f (x )对向
量 x 的一阶导数．特别地，一元函数的海赛矩阵就是二阶导
数．
在微积分中已经证明过，当 f (x )的二阶偏导数连续时， 混合偏导数与求导顺序无关，即
2 f (x) 2 f (x) (i 1,2,, n; j 1,2,, n) xix j x j xi
的梯度就是将 x(0)的各分量代入(6-6)即可，即
f (x(0) ) (f (x(0) ) , f (x(0) ) ,, f (x(0) ))T
x1
x2
xn
特别地，一元函数的梯度就是一阶导数．
(6-7)
梯度两个重要性质，假设在所考察的区间内梯度是连续的．
性 质 1：函 数 f (x )在 某 一 点 x(0)的 梯 度 ▽ f (x(0)) ，必 与 过 该 点 的 等 值 面 （ 其 方 程 为 f (x ) = f (x (0) )）的 切 平 面 相 垂 直（ 假 定 ▽ f (x(0)) ≠ 0）．或 者说▽f (x(0))表示过 x (0)的 f (x )的等值面在 x(0)处的法向量．
f (x(0) xn
)
2
(6-8)
如果不用欧几里德度量而选用某些别的距离，则梯度
方向就未必是函数值增加最快的方向．
满足的▽f (x* )=0 的点 x*称为驻点或平稳点，在定义
域内部可微函数的极值点必为驻点，反之未必．
6．1．3．3 海赛矩阵(Hesse)
假定函数 f (x )二阶可微，则以其二 阶偏导数为元素 构成的 下述 n×n 矩阵称为 f (x )的海赛矩阵，记为▽2f (x )，有
(6-1)
式 中 x ( x1 , x2 ,L , xn )T Rn ， 是 n 维 向 量 ，
f , hi (i 1,2,, m), g j ( j 1,2,,l) 都 是 Rn R 的 映 射 （ 即 自 变 量 是
n 维向量，因变量是实数的函数关系）．
6.1.3 基本概念
易验证，函数 f (x )的海赛矩阵为▽2f (x )= A，即二次函数的
海赛矩阵是一个常数矩阵，它与 x 的位置无关．反过来，如
果要把一个二次函数化为 (6-10) 的形式，可以通过求该二
次函数的海赛矩阵和梯度求出相应的 A，B 和 C 即可．
6．1．3．4．实对称矩阵的正定性、负定性、半定性和不定性
可 微 函 数 f (x )的 梯 度 ， 记 为 ▽ f (x ),它 是 以 f (x ) 对 xi (i 1,2,, n) 的偏导数为元素的 n 维向量(本书规定为列向量),于是有
f (x) (f (x) , f (x) ,, f (x))T
x1 x2
xn
(6-6)
梯度又称为函数 f (x )关于向量 x 的一阶导数．函数 f (x )在某一点 x(0)
正 方 形 ，容 器 总 重 量 不 超 过 68 公 斤 ，已 知 用 做 容 器 四 壁 的 材 料 为 每 平
方 米 10 元 ，重 3 公 斤 ；用 做 容 器 底 的 材 料 每 平 方 米 20 元 ，重 2 公 斤 ．试
问制造该容器所需的最小费用是多少？列出数学模型．
设该容器的底边长和高分别为 x1 米和 x2 米，则有