最优化理论与方法概述

称满足所有约束条件的向量 x为可行解，或可行点，全体 可行点的集合称为可行集，记为 D 。
D { x | hi x 0, i 1, 2, m , g j x 0, j 1, 2, p, x R n }
若 hi ( x ), g j ( x ) 是连续函数，则 D 是闭集。
若 g * 0， 则存在方向 p R n （例如 p g * ） 使 pT g * 0 。
由微分学中值定理，存在1 (0, ) 使得
f ( x* p) f ( x* ) pT g ( x* 1 p)
0, ，有 pT g ( x* p) 0 。所以，对 (0, ) 有
*
n
T *
2
为 G *的最小特征值。 于是，
1 * 2 f ( x) f ( x ) [ (1)] x x ， 2 * 当 x 充分接近 x （但 x x* ）时，上式右端大于 0 ，故 f ( x) f ( x* ) ，即 x*为 f ( x) 的严格局部极小点。
T
1 T 2 p f X p 2

其中 X X p. 而0＜θ＜1
多元函数Taylor展开其他形式：
f x0 p f x0 f x0 p o(|| p ||)
T
f x0 p f x0 f x0
T
1 T 2 p p f x0 p 时，重复上面的讨论， 在平面上得到一族曲 线——等值线. 等值线的形状完全由 曲面的形状所决定；反 之，由等高线的形状也 可以推测出曲面的形 状．
2 2 x2 上画出目标函数 f ( x， x ) x x 例 在坐标平面 x1， 1 2 1 2 的等值线． 解:因为当目标函数取常数时，曲线表示是以原点为 圆心，半径为的圆．因此等值线是一族以原点为圆 心的同心圆（如图所示）
f ( x* p ) f ( x * ) 。 这与 x*是 f 的局部极小点矛盾。
成立。 由 于 g 在 x* 的 某 邻 域 内 连 续 ， 故 存 在 0 ， 使
驻点可分为三种类型： 极小点、极大点和鞍点。
定理 2 (二阶充分条件) 若在 x*的某邻域内 f ( x) 有二阶连续偏导数且 g * =f ( x* ) 0 G* G( x* )=2 f ( x* ) 正定， 则 x*为无约束优化问题的严格局部极小点。
严格最优解：当 x x * ，有 f x* f x 则称 x * 为问题的 严格最优解。
局部最优解
f(X)
整体最优解
1.3 最优化问题的分类

与时间的关系：静态问题，动态问题
是否有约束条件：有约束问题，无约束问题 函数类型：线性规划，非线性规划


2、梯度与Hesse矩阵
2.2 n元函数的可微性与梯度

梯度：多元函数 f ( x )关于
x 的一阶导数
f f f T f ( x) ( , , ) x1 x2 xn

Hesse 矩阵：多元函数 f ( x) 关于 数矩阵
2 f X x 2 1 2 fX 2 f X f X x x 1 2 2 f X x1 xn
*
推论
若在 x*的某邻域内 f ( x) 有二阶连续偏导数且 g * =f ( x* ) 0 G* G( x* )=2 f ( x* ) 负定， 则 x*为无约束优化问题的严格局部极大点。
在可行集中找一点 x * ，使目标函数 f x 在该点取最小值，即 f x* min f x . s.t . g j x* 0. hi x 0的过程即为 满足： 最优化的求解过程。
f x* 称为最优值。 x * 称为问题的最优点或最优解，
x 的二阶偏导
2 f X 2 f X x2x1 xnx1 2 f X 2 f X 2 x n x 2 x2 2 2 fX f X 2 x 2 x n x n
2.1 等值线
二维问题的目标函数 t f ( x1, x2 ) 表示三维空间中的 曲面。在空间直角坐标系中，平面与曲面的交线在 平面上的投影曲线为
t f ( x1 , x2 ) t C
取不同的值得到不同的投影曲线。每一条投影曲线 对应一个值，所以我们称此投影曲线为目标函数的 等值线或等高线。
每磅配料中的营养含量 钙 蛋白质 0.380 0.001 0.002 0.00 0.09 0.50
配料 石灰石 谷物 大豆粉
纤维 0.00 0.02 0.08
每磅成本（元）
0.0164 0.0463 0.1250
解:根据前面介绍的建模要素得出此问题的数学模型如下:
x2 x3 是生产100磅混合饲料所须的石灰石、谷物、 设 x1 大豆粉的量（磅）。
1.2最优化问题的数学模型

一般形式
min f ( x1， x2， ， xn )， x2， ， xn ) 0， i 1，， 2 ， l， gi ( x1， s. t. x2， ， xn ) 0， j 1，， 2 ， m (m n)． h j ( x1，
定义1：整体（全局）最优解：若x* D，对于一切 x D ， 恒有 f x* f x 则称 x *是最优化问题的整体最优解。
) 定义2：局部最优解：若 x* D，存在某邻域 N ( x* ，使得对于 * 一切 x N ( x* ) D ，恒有 f x f x 则称 x *是最优化问题 的局部最优解。其中 N ( x* ) { x | x x* , 0}
则 又因为：
f X 2x1 2x2 , 2x2 2x1 2x3 3, 2x3 2x2
2 f 2 f 2 f 2, 2, 0 2 x1 x1x2 x1x3 2 f 2 f 2 f 2, 2, 2 2 2 x2 x2 x3 x3
（3）f X X T QX ，Q对称， 则 f X QX ,
1 2
2 f X Q.
1 1 （4）若 t f X 0 tp ，其中f：R n R1. : R R . 则：
t p f X 0 tp p.
1. 最优化问题

最优化问题：求一个一元函数或多元函数 的极值。 在微积分中，我们曾经接触过一些比较 简单的极值问题。下面通过具体例子来看 看什么是最优化问题。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等 的正方形以制成方形无盖水槽，问如何剪法使水槽 的容积最大？ 解：设剪去的正方形边长为x，由题意易知，此问 题的数学模型为，
T 2
t f X 0 tp p
T
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
1 定理：设 f : Rn R具有二阶连续偏导数。则：
f X p f X f X p
min Z 0.0164 x1 0.0463x2 0.1250 x3 s.t. x x x 100 1 2 3 0.380 x1 0.001x2 0.002 x3 0.012 100 0.380 x1 0.001x2 0.002 x3 0.008 100 0.09 x 0.50 x 0.22 100 2 3 0.02 x2 0.08 x3 0.05 100 x 0 x2 0 x3 0 1
例：求目标函数 f ( x) x12 x22 x32 2 x1 x2 2 x2 x3 3x3 的梯度和Hesse矩阵。 f X f X 解：因为 2 x1 2 x2 2 x2 2 x1 2 x3 3 x
1
x2
f X 2 x3 2 x2 x3
max (a 2 x) x
2
例2.（混合饲料配合）设每天需要混合饲料的批量为 100磅，这份饲料必须含：至少0.8%而不超过 1.2%的钙;至少22%的蛋白质;至多5%的粗纤维。 假定主要配料包括石灰石、谷物、大豆粉。这些配 料的主要营养成分如下表所示。试以最低成本确定 满足动物所需营养的最优混合饲料。
证明：将 f ( x) 在 x*点用Taylor 公式展开，并注意到 g * 0 ，有
1 * T * * * 2 f ( x) f ( x ) ( x x ) G ( x x ) ( x x ) 。 2
*
因为 G 正定，故对 p R 有 p G p p ，其中 0
T
故Hesse阵为：
2 2 0 2 f X 2 2 2 0 2 2
下面几个公式是今后常用到的： f X bT X ，则 f X b. 2 f X 0nn （1）
1 2 （2）f X X T X ，则 f X X . f X I (单位阵） 2
f x f x0 f x0 ( x x0 )
T
1 ( x x0 )T 2 f x0 ( x x0 ) o(|| x x0 ||2 ) 2
4、极小点及其判定条件
对于一元连续可微函数 ( ) ，有如下最优性条件：
(i )
（一阶必要条件） 若 *为 ( ) 的局部极小点，则 ( * ) 0 ；

向量形式
min f ( X )， G ( X ) 0， s. t. H ( X ) 0，
其中 X ( x1, x2 , xn )