清华大学运筹学5非线性规划
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
������������������������������������ ������������������������������������
������������������(������∗) ������������������������
[例2]研究f(X)=x12-x22是否存在极值点。
第六章 非线性规划
第一节 基本概念 第三节 无约束极值问题 第四节 约束极值问题
1/110
第一节 基本概念
一、非线性规划数学模型
2/110
非线性规划数学模型一般形式:
Min f(X)
s.t. hi(X)=0 (i=1, 2, …, m) gj(X)≥0, (j=1, 2, …, l)
X=(x1, x2, … , xn )T 是n维欧式空间En中的点,目 标函数f(X),约束函数hi(X)和gj(X) 是X实函数。 有时,非线性规划数学模型写成:
16/110
������������f(X∗)=
������������������(������∗) ������������������(������∗)
… ���������������������������(���������������������∗) ������������������������������������(������������������∗���)��� . . … . ������������������������������������ ������������������������
������������������ ∗ ������������������ ∗
������������������ ∗
������f(X∗)= 梯度。
(������������������(������������������
),
������������(������ ������������������
18/110
五、凸函数和凹函数
1. 定义
设f(X)为定义在n维欧式空间En中某凸集Rc上的 函数,若对于任何实数α(0<α<1)及Rc中任意两点 X(1)和X(2) ,恒有
f(αX(1)+(1-α)X(2))≤αf(X(1))+(1-α)f(X(2))
则称 f(X)为定义在Rc上的凸函数。 若对于任何实数α(0<α<1)及Rc中任意两点X (1)和 ≠X (2) ,恒有
4/110
x2
A(0,5)
B
C
1
D(4,1)
x1
O 1 23 4 5
5/110
上图中B是f(X)部分可行域极小点,称为局部极 小点, f(B)是部分可行域极小值,称为局部极小 值, D是f(X)整个可行域上极小点,称为全局极 小点, f(D)是整个可行域上极小值,称为全局极 小值。
全局极小点是局部极小点,局部极小点不应当是 全局极小点。
ξ是x和x0之间的一个点。
14/110
3. 多元函数台劳展开式 设n元实函数f(X)在 X(0)某邻域有连续二阶偏导数 ,则可写出f(X)在点X(0)处台劳展开式
f(X)= f(X(0))+������f(X(0))T(X-X(0)) +(X-X(0))T������������f (���ഥ���)(X-X(0))/2
11/110
实二次型f(X)=XTAX为负定的充要条件是:
a11<0,|a11 a12 | |a11 a12 a13|
|a21 a22 |>0 |a21 a22 a23|<0 …
|a31 a32 a33|
|a11 a12 … a1n |
(-1)n
|||||a..a. 2n11
aa...2n22
… …
矩阵B: b11=0, | 0 1 | = -1<0
|10|
矩阵B为不定。
13/110
3. 多元函数台劳展开式(Taylor’s expansion) 回顾一元实函数的情况: 设一元实函数f(x)在x0某邻域有连续二导数,则 可写出f(x)在点x 0处台劳展开式
f(x)= f(x0)+f’(x0) (x-x0)+f ‘’(ξ) (x-x0)2/2
���ഥ���=X(0)+θ(X-X(0)),0<θ<1 若以X=X(0)+P代入 f(X(0)+P)= f(X(0))+������f(X(0))TP+PT������������f (���ഥ���)P/2 也可以写成:
f(X)= f(X(0))+������f(X(0))T(X-X(0)) +(X-X(0))T������������f (X(0))(X-X(0))/2 +o(||X-X(0)||2)15/110
Min f(X) s.t. gj(X)≥0, (j=1, 2, …, l) 若某gj(X) =0,可以gj(X)≥0和 -gj(X)≥0代替之。
3/110
还常写成 Min f(X),X∈ ������⊂En ������={X| gj(X)≥0,(j=1, 2, …, l)}
二、二维问题图解 Min f(X)=(x1-2)2+(x2-1)2 s.t. x1+x22-5x2=0 x1+x2-5≥0 x1≥0 x2≥0
(2)若对于非零X ,实二次型总有XTAX<0,则称 为负定的;
(3)若对于某些非零X ,XTAX>0,而对另一些非 零X, XTAX<0,则称为不定的;
(4)若对任意非零X ,XTAX≥0 ,则称为半正定 的。若对任意非零X ,XTAX≤0 ,则称为半负定 的。
(5)A相应地称正定、负定、不定、半定。 10/110
���������������������(��������������� )=2x1, ���������������������(��������������� )= -2x2, 令���������������������(��������������� )=���������������������(��������������� )=0,得到
f(αX (1)+(1-α)X (2))<αf(X (1))+(1-α)f(X (2))
则称 f(X)为定义在Rc上的严格凸函数。
19/110
颠倒上述定义中不等式方向,可得凹和严格凹函 数的定义。 若f(X)是(严格)凸函数,则g(X)=- f(X)是(严 格)凹函数。(几何意义见下图) 2. 凸函数性质 性质1 设f(X)为定义在凸集Rc上凸函数,则对于 任何实数β≥0, βf(X)也是定义在Rc上凸函数。
������������������(������∗) ������������������������������������(������������������∗���)��� ������������������������������������
..
.Байду номын сангаас
… ������������������(������∗) ������������������(������∗)
aa...2nnn|||||>0
12/110
[例1]判定如下二次型的性质。
-5 2 2
011
A= 2 -6 0
B= 1 0 -3
2 0 -4
1 -3 0
矩阵A: -5<0, | -5 2 | =26 >0 | 2 -6 |
矩阵A为负定。
|-5 2 2| | 2 -6 0|= -80<0 | 2 0 -4|
x1 =x2 =0, 得到一个驻点,X=(x1, x2)T =(0, 0)T
17/110
������������������(������) ������������������(������) ������������������������ ������������������������������������
o(||X-X(0)||2)是当X→X(0)时,||X-X(0)||2的高阶无穷
小。即 ������������������ o(||X−X(0)||2)/||X−X(0)||2=0
X→X(0)
4. 充分条件 定理2 设R为n维欧式空间En上的某一开集,f(X) 在R上有连续二阶偏导数,若������f(X∗)=0,且 ������������f(X∗)正定,则X* ∈ ������ 为f(X)严格局部极小点。 ������������f(X∗)是f(X)在X∗处的Hesse矩阵。若������������f(X∗)负 定,则X* ∈ ������ 为f(X)的严格局部极大点。
),
…
,������������������(������������������
))T
是f(X)在X∗处的
满足上述条件的点叫做“驻点”。
8/110
多元函数f(X)的梯度������f(X∗)有如下性质:
(1)某点X (0)处的������f(X(0))与f(X)过此点的等值面正 交(设������f(X(0))非零)。
性质2 设f1(X)和f2(X)均为定义在凸集Rc上凸函数 ,则 f(X)=f1(X)+f2(X)也是定义在Rc上凸函数。
20/110
f(x)
若颠倒上述定义中的不等号方向,可得相应极大 点和极大值的定义。
7/110
四、多元函数极值点存在条件
1. 必要条件
定理1 设R为n维欧式空间En上的某一开集,f(X) 在R上有连续一阶偏导数,且在点X* ∈ ������ 取得局
部极值,则必有
∗
∗
∗
������������(������ )=������������(������ )=…=������������(������ )=0, 或������f(X∗)=0
a11 a12 … a1n x1 a...21 a2...2 … a2...n x...2 an1 an2 … ann xn
9/110
AT=A,即 aji =aij 。若aij均为实数,则称 f(X)=XTAX为实二次型。A与二次型一一对应。
(1)若对于非零X ,实二次型总有XTAX>0,则称 为正定的;
(2)������f(X)的方向是f(X)在该点处增加最快的方向 ;-������f(X)的方向是f(X)在该点处减少最快的方向 。
2. 二次型 f(X)=XTAX =(x1, x2, … , xn )
=����������=������ ����������=������ ������������������������������������������
20
������������f(X)=
������������������(������) ������������������(������) ������������������������������������ ������������������������
=0
-2
������������f(X)是不定矩阵,所以, f(X)=x12-x22没有极值 点。只有鞍点。
实二次型f(X)=XTAX为正定的充要条件是:>0
a11>0,|a11 a12 | |a11 a12 a13|
|a21 a22 |>0 |a21 a22 a23|>0 …
|a31 a32 a33|
|a11 a12 … a1n |
|||||a...a2n11
aa...2n22
… …
aa...2nnn|||||>0
三、几个定义
设f(X)是定义在n维欧式空间En中某一区域R上的 n元实函数(可记为f(X):������⊂En→ E1),对于X* ∈ ������ ,如果存在某个ε>0,使所有距离X*小于ε 的 X ∈ ������ , (即X ∈ ������即且||X- X*||<ε),都有 6/110
f(X)≥f(X*),则称X*为f(X)在������上的局部极小点, f(X*)为局部极小值。若∀X≠X*,X ∈ ������,||XX*||<ε,都有f(X)>f(X*),则称X*为f(X)在������上的严 格局部极小点, f(X*)为严格局部极小值。
设f(X)是定义在En某一区域R上的n元实函数,若 存在X* ∈ ������ ,∀X ∈ ������,都有f(X)≥f(X*),则称X* 为f(X)在������上的全局极小点, f(X*)为全局极小值 。若存在X* ∈ ������ ,∀X ≠X* ∈ ������,都有f(X)>f(X*) ,则称X*为f(X)在������上的严格全局极小点, f(X*) 为严格全局极小值。
������������������(������∗) ������������������������
[例2]研究f(X)=x12-x22是否存在极值点。
第六章 非线性规划
第一节 基本概念 第三节 无约束极值问题 第四节 约束极值问题
1/110
第一节 基本概念
一、非线性规划数学模型
2/110
非线性规划数学模型一般形式:
Min f(X)
s.t. hi(X)=0 (i=1, 2, …, m) gj(X)≥0, (j=1, 2, …, l)
X=(x1, x2, … , xn )T 是n维欧式空间En中的点,目 标函数f(X),约束函数hi(X)和gj(X) 是X实函数。 有时,非线性规划数学模型写成:
16/110
������������f(X∗)=
������������������(������∗) ������������������(������∗)
… ���������������������������(���������������������∗) ������������������������������������(������������������∗���)��� . . … . ������������������������������������ ������������������������
������������������ ∗ ������������������ ∗
������������������ ∗
������f(X∗)= 梯度。
(������������������(������������������
),
������������(������ ������������������
18/110
五、凸函数和凹函数
1. 定义
设f(X)为定义在n维欧式空间En中某凸集Rc上的 函数,若对于任何实数α(0<α<1)及Rc中任意两点 X(1)和X(2) ,恒有
f(αX(1)+(1-α)X(2))≤αf(X(1))+(1-α)f(X(2))
则称 f(X)为定义在Rc上的凸函数。 若对于任何实数α(0<α<1)及Rc中任意两点X (1)和 ≠X (2) ,恒有
4/110
x2
A(0,5)
B
C
1
D(4,1)
x1
O 1 23 4 5
5/110
上图中B是f(X)部分可行域极小点,称为局部极 小点, f(B)是部分可行域极小值,称为局部极小 值, D是f(X)整个可行域上极小点,称为全局极 小点, f(D)是整个可行域上极小值,称为全局极 小值。
全局极小点是局部极小点,局部极小点不应当是 全局极小点。
ξ是x和x0之间的一个点。
14/110
3. 多元函数台劳展开式 设n元实函数f(X)在 X(0)某邻域有连续二阶偏导数 ,则可写出f(X)在点X(0)处台劳展开式
f(X)= f(X(0))+������f(X(0))T(X-X(0)) +(X-X(0))T������������f (���ഥ���)(X-X(0))/2
11/110
实二次型f(X)=XTAX为负定的充要条件是:
a11<0,|a11 a12 | |a11 a12 a13|
|a21 a22 |>0 |a21 a22 a23|<0 …
|a31 a32 a33|
|a11 a12 … a1n |
(-1)n
|||||a..a. 2n11
aa...2n22
… …
矩阵B: b11=0, | 0 1 | = -1<0
|10|
矩阵B为不定。
13/110
3. 多元函数台劳展开式(Taylor’s expansion) 回顾一元实函数的情况: 设一元实函数f(x)在x0某邻域有连续二导数,则 可写出f(x)在点x 0处台劳展开式
f(x)= f(x0)+f’(x0) (x-x0)+f ‘’(ξ) (x-x0)2/2
���ഥ���=X(0)+θ(X-X(0)),0<θ<1 若以X=X(0)+P代入 f(X(0)+P)= f(X(0))+������f(X(0))TP+PT������������f (���ഥ���)P/2 也可以写成:
f(X)= f(X(0))+������f(X(0))T(X-X(0)) +(X-X(0))T������������f (X(0))(X-X(0))/2 +o(||X-X(0)||2)15/110
Min f(X) s.t. gj(X)≥0, (j=1, 2, …, l) 若某gj(X) =0,可以gj(X)≥0和 -gj(X)≥0代替之。
3/110
还常写成 Min f(X),X∈ ������⊂En ������={X| gj(X)≥0,(j=1, 2, …, l)}
二、二维问题图解 Min f(X)=(x1-2)2+(x2-1)2 s.t. x1+x22-5x2=0 x1+x2-5≥0 x1≥0 x2≥0
(2)若对于非零X ,实二次型总有XTAX<0,则称 为负定的;
(3)若对于某些非零X ,XTAX>0,而对另一些非 零X, XTAX<0,则称为不定的;
(4)若对任意非零X ,XTAX≥0 ,则称为半正定 的。若对任意非零X ,XTAX≤0 ,则称为半负定 的。
(5)A相应地称正定、负定、不定、半定。 10/110
���������������������(��������������� )=2x1, ���������������������(��������������� )= -2x2, 令���������������������(��������������� )=���������������������(��������������� )=0,得到
f(αX (1)+(1-α)X (2))<αf(X (1))+(1-α)f(X (2))
则称 f(X)为定义在Rc上的严格凸函数。
19/110
颠倒上述定义中不等式方向,可得凹和严格凹函 数的定义。 若f(X)是(严格)凸函数,则g(X)=- f(X)是(严 格)凹函数。(几何意义见下图) 2. 凸函数性质 性质1 设f(X)为定义在凸集Rc上凸函数,则对于 任何实数β≥0, βf(X)也是定义在Rc上凸函数。
������������������(������∗) ������������������������������������(������������������∗���)��� ������������������������������������
..
.Байду номын сангаас
… ������������������(������∗) ������������������(������∗)
aa...2nnn|||||>0
12/110
[例1]判定如下二次型的性质。
-5 2 2
011
A= 2 -6 0
B= 1 0 -3
2 0 -4
1 -3 0
矩阵A: -5<0, | -5 2 | =26 >0 | 2 -6 |
矩阵A为负定。
|-5 2 2| | 2 -6 0|= -80<0 | 2 0 -4|
x1 =x2 =0, 得到一个驻点,X=(x1, x2)T =(0, 0)T
17/110
������������������(������) ������������������(������) ������������������������ ������������������������������������
o(||X-X(0)||2)是当X→X(0)时,||X-X(0)||2的高阶无穷
小。即 ������������������ o(||X−X(0)||2)/||X−X(0)||2=0
X→X(0)
4. 充分条件 定理2 设R为n维欧式空间En上的某一开集,f(X) 在R上有连续二阶偏导数,若������f(X∗)=0,且 ������������f(X∗)正定,则X* ∈ ������ 为f(X)严格局部极小点。 ������������f(X∗)是f(X)在X∗处的Hesse矩阵。若������������f(X∗)负 定,则X* ∈ ������ 为f(X)的严格局部极大点。
),
…
,������������������(������������������
))T
是f(X)在X∗处的
满足上述条件的点叫做“驻点”。
8/110
多元函数f(X)的梯度������f(X∗)有如下性质:
(1)某点X (0)处的������f(X(0))与f(X)过此点的等值面正 交(设������f(X(0))非零)。
性质2 设f1(X)和f2(X)均为定义在凸集Rc上凸函数 ,则 f(X)=f1(X)+f2(X)也是定义在Rc上凸函数。
20/110
f(x)
若颠倒上述定义中的不等号方向,可得相应极大 点和极大值的定义。
7/110
四、多元函数极值点存在条件
1. 必要条件
定理1 设R为n维欧式空间En上的某一开集,f(X) 在R上有连续一阶偏导数,且在点X* ∈ ������ 取得局
部极值,则必有
∗
∗
∗
������������(������ )=������������(������ )=…=������������(������ )=0, 或������f(X∗)=0
a11 a12 … a1n x1 a...21 a2...2 … a2...n x...2 an1 an2 … ann xn
9/110
AT=A,即 aji =aij 。若aij均为实数,则称 f(X)=XTAX为实二次型。A与二次型一一对应。
(1)若对于非零X ,实二次型总有XTAX>0,则称 为正定的;
(2)������f(X)的方向是f(X)在该点处增加最快的方向 ;-������f(X)的方向是f(X)在该点处减少最快的方向 。
2. 二次型 f(X)=XTAX =(x1, x2, … , xn )
=����������=������ ����������=������ ������������������������������������������
20
������������f(X)=
������������������(������) ������������������(������) ������������������������������������ ������������������������
=0
-2
������������f(X)是不定矩阵,所以, f(X)=x12-x22没有极值 点。只有鞍点。
实二次型f(X)=XTAX为正定的充要条件是:>0
a11>0,|a11 a12 | |a11 a12 a13|
|a21 a22 |>0 |a21 a22 a23|>0 …
|a31 a32 a33|
|a11 a12 … a1n |
|||||a...a2n11
aa...2n22
… …
aa...2nnn|||||>0
三、几个定义
设f(X)是定义在n维欧式空间En中某一区域R上的 n元实函数(可记为f(X):������⊂En→ E1),对于X* ∈ ������ ,如果存在某个ε>0,使所有距离X*小于ε 的 X ∈ ������ , (即X ∈ ������即且||X- X*||<ε),都有 6/110
f(X)≥f(X*),则称X*为f(X)在������上的局部极小点, f(X*)为局部极小值。若∀X≠X*,X ∈ ������,||XX*||<ε,都有f(X)>f(X*),则称X*为f(X)在������上的严 格局部极小点, f(X*)为严格局部极小值。
设f(X)是定义在En某一区域R上的n元实函数,若 存在X* ∈ ������ ,∀X ∈ ������,都有f(X)≥f(X*),则称X* 为f(X)在������上的全局极小点, f(X*)为全局极小值 。若存在X* ∈ ������ ,∀X ≠X* ∈ ������,都有f(X)>f(X*) ,则称X*为f(X)在������上的严格全局极小点, f(X*) 为严格全局极小值。