第6章 无约束问题

凸函数的判定： 定理3（一阶条件）： 设f(x) 在n维欧氏空间上的开 凸集R上具有一阶连续偏导数，则f(x)是R上的凸函数的 充分必要条件是，对任意两点x(1)、x(2)∊R ，恒有 f(x(2))≥f(x(1))+▽f(x(1))T(x(2)-x(1)) 把上式变为严格不等式，就是严格凸函数的充分必 要条件。
下降算法的具体做法： 假定已迭代到点x(k)，若从x(k)出发沿任何方向移 动都不能使目标函数值下降，则x(k)是局部极小点， 停止迭代。否则，就选定某个能使目标函数值下降 的方向p(k)，沿这个方向前进一个适当的步长λk，得 到点x(k+1)，并使f(x(k+1))＜f(x(k))。 x(k+1)=x(k)+λk p(k) λk ( k ) p(k) p —搜索方向 (k+1) x ( k ) λk —步长或步长因子 x 下降算法的步骤： （1）选定初始点x(0)，令k:=0； （2）确定搜索方向p(k)； （3）求出步长λk，计算x(k+1)=x(k)+λk p(k)； （4）检查x(k+1)是否满足精度的极小点，若是，则 停止迭代；否则，令k:=k+1，转回（2）。
1.3 凸函数和凹函数 凸函数的定义如下： 设f(x)是定义在n维欧氏空间中某个凸集R上的函数， 若对任意0<α<1以及R中的任意两点x(1)和x(2)，恒有： f(αx(1)+(1-α)x(2))≤αf(x(1))+(1-α)f(x(2)) 则称f(x)为定义在R上的凸函数。 若对任意0<α<1和R中的任意x(1)≠x(2)，恒有： f(αx(1)+(1-α)x(2))＜αf(x(1))+(1-α)f(x(2)) 则称f(x)为定义在R上的严格凸函数。 将上式中的不等号反向，即得凹函数和严格凹函 数的定义。显然，若f(x)是凸函数，则-f(x)是凹函数。
2
其最优解为x1*=x2*=3， 目标函数值f(x*)=2。 其最优解位于约束条 件形成的直线上。
2 6 x1
若将约束条件改为 h(x)=x1+x2-6≤0，则最优解为 x1=x2=2，f(x)=0。其最优解位于可行域的内部。 可见，非线性规划问题的最优解可在其可行域中 的任一点达到。
1.2 极值问题 将函数的极小值定义如下： 设f(x)为定义在某一区域R上的n元函数。对于 x*∊R，如果存在某个ɛ＞0，使对所有与x*的距离小于 ɛ的R中的点（x∊R且‖x-x*‖＜ɛ），均满足不等式 f(x)≥f(x*)，则称x*为f(x)在R上的局部极小点，f(x*)为 局部极小值。若对所有x≠x*且与x*的距离小于ɛ的R中 的点，均满足f(x)＞f(x*)，则称x*为f(x)在R上的严格 局部极小点，f(x*)为严格局部极小值。
把计算函数值用来比较的点称为试算点或试点。 试点数为2时，最多可把区间缩短为原来区间长度的1/2， F2=2；试点数为3时，F3=3；试点数为4时，F4=5。
/3
③④ ② ① 1/5 2/5 3/5
(n=2)
(n=3)
(n=4)
显然还有，F0=F1=1。序列{Fn}存在递推公式 Fn=Fn-1+Fn-2 n≥2 计算出各斐波那契数Fn，得斐波那契表：
1.4 凸规划 凸规划是一类常见而又较简单的非线性规划问题。 对于非线性规划
若f(x)为凸函数，gj(x) 都为凹函数，则称为凸规划。 凸规划的可行域是凸集，其最优解问题就是凸函数在 凸集上的全局极小点问题。因而，凸规划的局部最优解就 是全局最优解，且最优解的集合形成一个凸集；当f(x)是 严格凸函数时，其最优解若存在则必定是唯一的。 例 判断下列非线性规划是否为凸规划
对于x*∊R，若对所有x∊R均满足f(x)≥f(x*)，则称 x*为f(x)在R上的全局极小点，f(x*)为全局极小值。若 对所有x≠x*且x∊R ，都有f(x)＞f(x*)，则称x*为f(x)在R 上的严格全局极小点，f(x*)为严格全局极小值。
对n元函数f(x) ，记： ▽
▽f(x)称为函数f(x)
f(x)
αf(x(1))+(1-α)f(x(2))
f(x)
f(αx(1)+(1-α)x(2)) αf(x(1))+(1-α)f(x(2))
f(αx(1)+(1-α)x(2)) x(1) αx(1)+(1-α)x(2) x(2)
x
x(1) αx(1)+(1-α)x(2) x(2)
x
凸函数性质： 性质1 设f(x)是定义在凸集R上的凸函数，则对任意 实数β＞0，βf(x)也是定义在R上的凸函数。 性质2 设f1(x)和f2(x)都是定义在凸集R上的凸函数， 则f(x)= f1(x)+f2(x)也是定义在R上的凸函数。 易推得，有限个凸函数的非负线性组合 β1f1(x)+β2f2(x)+…+βmfm(x) ( βi≥0, i=1,2,…,m ) 仍为R上的凸函数。 性质3 设f(x)是定义在凸集R上的凸函数，则对任意 实数β，集合Sβ={ x| x∊R, f(x)≤β }是凸集。 凹函数的性质与上述凸函数的性质类似。
第6章 无约束问题
第1节 非线性规划基本概念
1.1 引言 例1 某公司经营两种产品，第一种产品每件售价 30元，第二种产品每件售价450元。根据统计，售出 一件第一种产品所需的服务时间平均是0.5小时，第 二种产品是（2+0.25x2）小时，其中x2是第二种产品 的售出数量。已知该公司计划期内的总服务时间为 800小时，试决定使其营业额最大的营业计划。 设公司计划经营第一种产品x1件，第二种产品x2 件，数学模型为：
第2节 一维搜索
2.1 斐波那契（Fibonacci）法 一元函数f(t)在区间[a,b]上有唯一极小点t*（下单 峰函数），若在区间内任取两点a1＜b1，计算f(a1)和 f(b1)，可能出现以下两种情况： （1）f(a1)＜f(b1)，则t*在区间[a,b1]内； （2）f(a1)≥f(b1)，则t*在区间[a1,b]内。 无论哪种情况，都有效缩短了极小点所在的区间。
n 0 Fn 1 1 1 2 2 3 3 4 5 5 6 7 8 9 10 11 12 8 13 21 34 55 89 144 233
设原区间为[a0,b0]，要求缩短后的区间长度为原 来长度的δ倍，δ称为相对精度。有时给出缩短后的区 间长度η，η称为绝对精度。绝对精度和相对精度之间 的关系为： η=δ(b0-a0) 根据给出的精度，就能确定斐波那契法需要的试 点数n。要使n足够大，满足
的梯度向量；H(x) 称为函数f(x)的海赛 （Hesse）矩阵。
定理1（必要条件）：设R是n维欧氏空间上的某 一开集，f(x)在R上有一阶连续偏导数，若f(x)在x*∊R 上取得局部极值，则必有▽f(x*)=0。 满足梯度向量为0的点称为平稳点或驻点。 定理2（充分条件）：设R是n维欧氏空间上的某一 开集，f(x)在R上有二阶连续偏导数，对x*∊R，若有 ▽f(x*)=0且H(x*)正定，则x*为f(x)的严格局部极小点。
斐波那契法的步骤： (1)确定试点个数n。根据相对精度δ，计算出对 Fn的要求，由斐波那契表确定最小的n。 (2)选取头两个试点的位置。 (3)计算f(t1)和f(t1')，并比较大小。若f(t1)＜f(t1')， 则取a1=a0, b1=t1', t2'=t1；否则，取a1=t1, b1=b0, t2=t1'。 (4)一般地第k步迭代，计算tk、f(tk) 或tk'、f(tk') （其中的一个已经算出），计算公式为：
其中k=1,2,…,n-1。按照(3)的方法给出新区间[ak, bk]。
(5)进行到第n-1步时，tn-1=tn-1'=(an-2+bn-2) 2，取 （已算出） 得出最终区间[an-1, bn-1]，并以函数值小者作为极小点。
例 试用斐波那契法求函数f(t)=t2-t+2在区间[-1,3]上的 极小点，要求缩短后的区间长度为原区间的0.08倍。 解：Fn≥1/0.08=12.5，查表得n=6; a0=-1, b0=3。 (1) t1=3-8/13[3-(-1)]=0.538，t1'=-1+8/13[3-(-1)]=1.462 f(t1)=0.5382-0.538+2=1.751，f(t1')= 1.4622-1.462+2=2.675 由于f(t1)＜f(t1'), 故取a1=-1, b1=1.462, t2'=0.538, f(t2')=1.751 (2) t2=1.462-5/8[1.462-(-1)]=-0.077 f(t2)=(-0.077)2-(-0.077)+2=2.083, 可见f(t1)＞f(t1') 故取a2=-0.077, b2=1.462, t3=0.538, f(t3)=1.751 (3) t3'=-0.077+3/5[1.462-(-0.077)]=0.846 f(t3')=0.8462-0.846+2=1.870, 可见f(t3)＜f(t3') 故取a3=-0.077, b3=0.846, t4'=0.538, f(t4')=1.751 (4) t4=0.846-2/3[0.846-(-0.077)]=0.231 f(t4)=0.2312-0.231+2=1.822, 可见f(t4)＞f(t4') 故取a4=0.231, b4=0.846, t5=0.538, f(t5)=1.751 (5) t5'=0.231+(1/2+0.01)(0.846-0.231)=0.545 f(t5')=0.5452-0.545+2=1.752, 可见f(t5)＜f(t5') 故取a5=0.231, b5=0.545。近似地, 取t*=0.538, f(t*)=1.751
算法的收敛速度： 设序列{x(k)}收敛于x*，若存在β＞0和α≥1，使k从大于 0的某个k0开始，都有‖x(k+1)-x*‖≤β‖x(k)-x*‖α成立，就 称{x(k)}收敛的阶数为α，或称{x(k)}为α阶收敛。 α=1（且β＜1）时，称一阶收敛，也称线性收敛； α=2时，称二阶收敛，也称平方收敛； 1＜α＜2时，称超线性收敛。
算法终止计算的准则： （1）绝对误差 ‖x(k+1)-x(k)‖＜ε1 |f(x(k+1))-f(x(k))|＜ε2 （2）相对误差 ‖x(k+1)-x(k)‖/‖x(k)‖＜ε1 |f(x(k+1))-f(x(k))|/|f(x(k))|＜ε2 （3）目标函数梯度的模 ‖▽f(x(k+1))‖＜ε5
定理4（二阶条件）： 设f(x) 在n维欧氏空间上的开 凸集R上具有二阶连续偏导数，则f(x)是R上的凸函数的充 分必要条件是，f(x)的海赛矩阵H(x)在R上处处半正定。 把上述的半正定变为正定，就是严格凸函数的充分 必要条件。
例：分析
的凸凹性。
凸函数的极值： 一般函数的极小值问题非常复杂，而定义在凸集上 的凸函数的极小值就较为简单了。 定理5：若f(x)为定义在凸集R上的凸函数，则它的 任一极小点就是它在R上的全局极小点，且它的全部极 小点形成一个凸集。 定理6：设f(x)为定义在凸集R上的凸函数，若存在 点x*∊R，使得对于所有x∊R都有：▽f(x*)T(x-x*)≥0 则x*是f(x)在R上的全局极小点。 以上定理说明，定义在凸集上的凸函数，局部极小 点就是起全局极小点，平稳点就是其全局极小点。全局 极小点并不一定唯一，但若为严格凸函数，则全局极小 点就是唯一的了。
例2 为了进行多属性问题（假设有n个属性）的 综合评价，就需要确定每个属性的相对重要性，即求 它们的权重。为此将各属性的重要性进行两两比较， 从而得出判断矩阵
其中aij表示第i个属性与第j个属性的重要性之比试根 据判断矩阵J计算各属性的权重。 为从判断矩阵求出权重向量W=[w1, w2,…,wn]T， 应使wi（i=1,2,…,n）在最小二乘意义上尽可能满足判 断矩阵的估计。由aij≈wi∕wj，可得：
下降算法的每步迭代包含两个要点： 确定搜索方向p(k)，是算法的关键，各种算法的区 分主要就在于确定搜索方向的方法不同。 求出步长λk，可取固定步长，更好的方法是求最佳 步长，即沿射线x=x(k)+λ p(k)使目标函数达到最小： λk ：minf(x(k)+λp(k)) 这项工作是求一元函数的极小点，因而称为一维搜索。 一维搜索有个重要性质：在搜索方向上所得最优 点处的梯度和该搜索方向正交。 定理7：设函数f(x)具有一阶连续偏导数，x(k+1)按 下述规则产生： λk ：minf(x(k)+λp(k)) x(k+1)=x(k)+λk p(k) 则有 ▽f(x(k+1))Tp(k)=0
上述两个例子的数学模型，在约束条件或目标函 数中出现了非线性函数，称为非线性规划问题。 非线性规划问题的数学模型可表示成以下形式：
也可表示成以下形式：
和线性规划问题相比，非线性规划问题的最优解 要复杂得多。 例如 min f(x)=(x1-2)2+(x2-2)2 h(x)=x1+x2-6=0
x2 6
1.5 下降迭代算法 为了求出函数的极小点，常要使用迭代法。 迭代法的基本思想： 首先给出一个初始估计x(0)，然后按照某种规划 （算法）找出比x(0)更好的点x(1)（即f(x(1))＜f(x(0))）， 按此规则找出比x(1)更好的点x(2)，…。从而得到解的序 列 { x ( k) } 。 若这个解序列有极限x*，则称它收敛于x*。 若算法是有效的，产生的解序列将收敛于该问题 的最优解。 由于算法产生的解序列{x(k)}使目标函数值f(x(k))逐 步减少，因而称为下降算法。