最新2优化设计的数学基础汇总

2优化设计的数学基

础

第二章优化设计的数学基础

优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。本章主要叙述与此相关的数学基础知识。

第一节函数的方向导数与梯度

一、函数的方向导数

一个二元函数«Skip Record If...»在点«Skip Record If...»处的偏导数，即函数沿坐标轴方向的变化率定义为：

而沿空间任一方向S的变化率即方向导数为：

方向导数与偏导数之间的数量关系为

依此类推可知n维函数«Skip Record If...»在空间一点«Skip Record If...»沿S方向的方向导数为

二、函数的梯度

函数«Skip Record If...»在某点X的方向导数表明函数沿某一方向S的变化率。—般函数在某一确定点沿不同方向的变化率是不同

的。为求得函数在某点X的方向导数为最大的方向，引入梯度的概念。

仍以二元函数«Skip Record If...»为例进行讨论，将函数沿方向S 的方向导数写成如下形式

令：

图2-1 二维空间中的方向图2-2 三维空间中的方向

称为«Skip Record If...»在点X处的梯度«Skip Record If...»，而同时设S为单位向量

于是方向导数可写为：

此式表明，函数«Skip Record If...»沿S方向的方向导数等于向量«Skip Record If...»在S方向上的投影。且当«Skip Record If...»，即向量«Skip Record If...»与S的方向相向时，向量«Skip Record If...»在S 方向上的投影最大，其值为«Skip Record If...»。这表明梯度«Skip Record If...»是函数«Skip Record If...»在点X处方向导数最大的方向，也就是导数变化率最大的方向。

上述梯度的定义和运算可以推广到n维函数中去，即对于n元函数«Skip Record If...»，其梯度定义为

由此可见，梯度是一个向量，梯度方向是函数具有最大变化率的方向。即梯度«Skip Record If...»方向是函数«Skip Record If...»的最速上升方向，而负梯度«Skip Record If...»方向则为函数«Skip Record If...»的最速下降方向。

例2-1求二元函数«Skip Record If...»在«Skip Record If...»点沿«Skip Record If...»和«Skip Record If...»的方向导数。

解：«Skip Record If...»，将«Skip Record If...»代入可得«Skip Record If...»，因此

而

这说明同一函数在不同方向上的方向导数不同，其变化率也不同。函数«Skip Record If...»由«Skip Record If...»出发，沿S1方向的变化率大于沿S2方向的变化率。所以，函数«Skip Record If...»沿S1方向增长得较快。

第二节凸集、凸函数与凸规划

如果函数在整个可行域中有两个或两个以上的极值点，则称每一个极值点为局部极值点。在整个可行域中，函数值最小的点为全域极值点。为求得全域极值点，以获得最好的可行设计方案，就需要进一步讨论局部最小点和全域最小点的关系，因而涉及到凸集、凸函数及凸规划问题。

一、凸集

设D为n维欧氏空间内的一个集合，如果D内任意两点X1和X2的连线整个都包围在D内，即对于任意实数α（«Skip Record If...»），点«Skip Record If...»，则称这种集合为凸集，如图2-3a所示，否则为非凸集，如图2-3b、c所示。凸集满足以下性质：若D是一个凸集，λ是一个实数，则集合λD仍为凸集；若D与F均为凸

集，则其和（或并）还是凸集；任何一组凸集的积（或交）还是凸

集。

二、凸函数

设D为E n中的一凸集，«Skip Record If...»为定义在D上的一个函数，若对于任意实数 （«Skip Record If...»）和D内任意两点X1和X2，恒有

则«Skip Record If...»为

D上的凸

函数；若式中不等号反向，则为

凹函数。

凸函数的几何意义如图2-4

所示。若«Skip Record If...»在区

间«Skip Record If...»内为凸函

数，则曲线上任意两点A、B间（与X1和X2相对应）所连成直线上的点K’总不会落在这两点间曲线的下方，即大于相应点K的函数值。

图2-3 凸集a）与非凸集b）、c）

图2-4 凸函数的几何含义

因而，若«Skip Record If...»为凸函数，则－«Skip Record If...»为凹函数；线性函数既可视为凸函数，又可视为凹函数。

凸函数的性质：

1）设取«Skip Record If...»为定义在凸集D的凸函数，则对于任

意正实数λ，函数λ«Skip Record If...»在D上也是凸函数；

2）设«Skip Record If...»、«Skip Record If...»为定义在凸集D上

的凸函数，则函数«Skip Record If...»在D上也是凸函数：3）若函数«Skip Record If...»

在n维欧氏空间E n一阶可微，则

对于任意«Skip Record If...»，

«Skip Record If...»为凸函数的充分

必要条件为(其证明可参见教材p.

26)

图2-5 一维凸函数«Skip Record If...»

图2-5所示为一维函数情况，其凸函数的几何意义在于函数曲线永远在切线的上面。若«Skip Record If...»是凸集D上的凸函数，并且在D内有极小点，则极小点是唯一的。最优化方法中很多结论都是以函数具有凸性为前提的。

三、凸规划

对于约束优化问题