非线性最优化

非线性规划的数学模型
非线性规划的数学模 型常表示成以下形式
非线性规划的数学模型 可以写成以下形式
Minf(X) hi(X)=0 i=1,2, … ,m gj(X) ≥ 0 j=1,2, … ,l
Minf(X) gj(X) ≥ 0 j=1,2, … ,l
注1.min[-f(X)]=-maxf(x);
所以X*为全局最小点.
定理7 设f(X)是定义在凸集S上的可微凸 函数, 若存在点X*∈S, 使得所有的X∈S有
▽f(X*)T(X-X*)≥0 则X*是f(X)在S上的最小点(全局极小点).
证 由定理3,对任意X∈S有 f(X)≥f(X*)+▽f(X*)T(X-X*)≥f(X*),证毕. 注1:若▽f(X*) =0,则▽f(X*)T(X-X*)≥0. 注2:最小点未必唯一,但凸集上严格凸函 数的最小点唯一. 注3:对凹函数也有上述类似的结果.
将(1.5)和(1.6)中的不等号反向,即可得到凹函数 和严格凹函数的定义.
凸函数的性质
性质1 设f(X)为定义在凸集S上的凸函数, 则对任 意实数b≥ 0,函数bf(X)也是定义在S上的凸函数.
性质2 设f1(X)和 f2(X)为定义在凸集S上的两个 凸函数,则其和f(X)= f1(X)+f2(X)仍为定义在S 上的凸函数.
注2.gj(X)≤0→-gj(X) ≥ 0 ; 注3.hi(X)=0→hi(X) ≥ 0 , -hi(X) ≥ 0 .
1.2 极值问题
设f(X)为定义在n维欧氏空间 En 的某一区
域S上的n元实函数，其中X=(x1 ,x2 … xn)T . 局部极小点(值)：对于 X* ∈S，如果存在
某ε>0,使所有与X* 的距离小于ε的X∈S,均 满足不等式f(X)≥f(X* ),则称X* 为f(X)在 S上的局部极小点, f(X* )为局部极小值。 严格局部极小点(值)：对于所有X≠X* 且
注2:最小点未必唯一,但凸集上严格凸函 数的最小点唯一.
事实上,设有两个最小点X≠Y,令 Z=λX+(1- λ)Y, λ∈(0,1),则 f(Z)<λf(X)+(1-λ)f(Y)
≤ λf(X)+(1- λ)f(X)=f(X),矛盾. 例4 求函数f(x1,x2,x3)
= x1+2x3 + x2x3- x12 -x22 – x32 的极值.
由(1)、(2)，得到 f(y)≥f(X* ).
所以X*为全局最小点. 记a:= minf=f(X*),则S上的极小点的集合 Sa={X|X∈R,f(X)≤a}.由性质3知, Sa是凸集.
用反证法证明定理6： 设X* ∈S是一个局部极小点,则存在ε>0,使得对 任意X∈S∩Nε(X* ),恒有 f(X)≥f(X* ). 假设X*非全局最小,则存在X’∈S,使得f(X*)>f(X’).
例5. 求解非线性规划
x2 g2(x) 0
g1(x) 0
A
min f (x) x12 x22 4x1 4 O s.t. g1(x) x1 x2 2 0
2
4
x1
g2 (x) x12 x2 1 0
x1 0, x2 0
最优点A(0.58,1.34), min f 3.8
与X*的距离小于ε的X∈S,f(X)>f(X* ),则称 X* 为f(X)在S上的严格局部极小点， f(X* )为
严格局部极小值。 全局极小点(值)：对于所有的X ∈S，都
有f(X)≥f(X* ),则称X* 为f(X)在S上的全局 极小点，f(X* )为全局极小值。
严格全局极小点(值)：对于所有X∈S且 X≠X* ，都有f(X)> f(X* ),则称X* 为f(X)在 R上的严格全局极小点，f(X* )为严格全局极 小值。
将上述不等式反向，即可以得到相应的 极大点和极大值的定义。
极值点存在的必要条件和充分条件
定理1 (必要条件)设S是n维欧氏空间En 上 的某一开集，f(X)在S上有一阶连续偏导数， 且在点X* ∈S取得局部极值，则必有
或
其中 为函数f(X)在点X* 处的梯度。
定理2 (充分条件)设S是n维欧氏空间En 上
一维搜索在搜索方向上所得最优点处的
梯度和该搜索方向正交. 定理8 设目标函数f(X)∈C(1)，X(k+1)按下
述规则产生
λk : Minf(X(k)+λP(k)) X(k+1)= X(k)+λkP(k)
则有 ▽f(X(k+1))TP(k)=0. 证 设φ(λ)=f(X(k)+λP(k)),则由
φ’(λ)=▽f(X(k)+ λP(k))T P(k)=0 得 λ= λk ∴▽f(X(k)+ λ P(k))T P(k)=▽f(X(k+1))TP(k)=0
若这算法是有效的,那么它所产生的解的 序列将收敛于该问题的最优解.
若由某算法所产生的解的序列{X（k）}使 目标函数值f(X（k）)逐步减小,就称这算法为 下降算法.
假定已迭代到点X(k),若从X(k)出发沿任
何方向移动都不能使目标函数下降,则X(k)是 局部极小点,迭代停止.若从X(k)出发至少存 在一个方向可使目标函数值有所下降,则可 选能使目标函数值下降的某方向P(k)，沿这 方向迈进适当的一步,得到下一个迭代点 X(k+1),并使 f(X(k+1))<f(X(k)). 这相当于在射线X= X(k)+λP(k)上选定新点
证 设X* ∈S是一个局部极小点,则存在
ε>0,使得对任意X∈Nε(X* ),恒有f(X)≥f(X* ). 令y是S中任一点，则对充分小的λ∈(0,1)，
有 λy+(1- λ)X*∈Nε(X* ), 从而
f(λy+(1- λ)X*)≥f(X* )
Байду номын сангаас
(1)
由于f为凸函数,有 λf(y)+(1-λ)f(X* )≥f(λy+(1- λ)X*) (2)
常用的收敛的准则有以下几种: (1). 根据相继两次迭代的绝对误差
非线性最优化
非线性最优化的基本概念 一维搜索 无约束极值问题的解法 最优性条件 有约束极值问题的解法 二次规划 可行方向法 制约函数法
第一节 基本概念
1.1 非线性问题的提出
例1 某公司经营两种设备，第一种设备售价30 元，第二种设备售价450元。根据统计，售出一件第 一种设备所需要的营业时间平均是0.5小时，第二种 设备是(2+0.25 x2 )小时,其中x2是第二种设备的售出 数量。已知该公司在这段时间内的总营业时间为800 小时，试决定使其营业额最大的营业计划.
f(X(2) )≥f(X(1) )+▽f(X(1) )T(X(2) -X(1)) 定理4(二阶条件)设S为n维欧氏空间 En
上的开凸集, f(X)在S上具有二阶连续偏导数, 则f(X)为S上的凸函数的充要条件是：f(X)的 Hesse矩阵H(X)在S上处处半正定.
定理5 设S为n维欧氏空间 En 上的开凸集, f(X)在S上二次可微,若任意x∈S,Hesse矩阵 正定,则f是S上的严格凸函数.
性质3 设f(X)为定义在凸集S上的凸函数,则对任 一实数b,集合 Sb ={X|X ∈S ,f(X) ≤b} 是凸集(Sb称为水平集).
函数凸性的判定
定理3（一阶条件）设S为n维欧氏空间 En 上的开凸集,f(X)在S上具有一阶连续偏导 数,则f(X)为S上的凸函数的充要条件是,对任 意两个不同点X(1) ∈S和X(2) ∈S,恒有
迭代计算法的收敛速度 设序列{x(k)}收敛于x*,若存在与k无关的数,
0<β<+∞和α≥1,使得 ‖X(k+1)-X*‖≤β‖X(k)-X*‖α， k≥k0
则称{x(k)}收敛的阶为α,或{x(k)} α阶收敛. 当α=2时，称为二阶收敛,也称{x(k)}具有
二阶敛速；当1<α<2时，称为超线性收敛； 当α=1, 0<β<1时,称为线性收敛或一阶收敛.
f(aX(1)+(1-a) X(2)) ≤ af(X(1))+(1-a)f(X(2)) (1.5) 则称f(X)为定义在S上的凸函数.
严格凸函数:若对每一个a(0<a<1)以及S中的 任意两点X(1)和X(2), X(1)≠ X(2) ，恒有
f(aX(1)+(1-a) X(2)) < af(X(1))+(1-a)f(X(2)) (1.6) 则称f(X)为定义在S上的严格凸函数.
1.5 下降迭代算法
迭代法基本思想:
为了求函数f(X)的最优解,首先给定一个
初始估计X(0),然后按某种算法找出比X(0)更好
的解X(1)(对极小化问题,f(X(1))<f(X(0));对极 大化问题,f(X(1))> f(X(0))),再按此种规则找 出比X(1)更好的解X(2),….如此即可得到一个解 的序列{X(k)}.若这个解序列有极限X*，即 limk→∞‖X(k)-X*‖=0,则称它收敛于X*.
分析：设该公司经营第一种设备x1件,第二种设备 x2 件，其营业额为f(X)，依题意列出问题的数学模型：
maxf(X)=30 x1 +450 x2 s.t. 0.5 x1 + (2+0.25 x2 ) x2 ≤ 800
x1 ≥0, x2 ≥0 例1的目标函数为自变量的线性函数，但 其第一个约束条件却是自变量的二次函数， 因而它是非线性规划问题。 若规划问题的目标函数及约束函数中至少 有一个是非线性函数,则称这种规划为非线性 规划。
例如 分析f(x1,x2)= 2x12 +x22 -2 x1x2+x1+1的 凸性.
解:
f