数学原理与模型分析-最优化基础

3-最优化方法概述

最优化方法通常采用迭代方法求解其最 优解，其基本思想是：给定一个初始点 x0 R n 按照某个迭代规则产生一个迭代点列 x k ， 使得：当 x k 是有穷点列时，它的最后一个 点是最优化问题的最优解；当 x k 是无穷点 列时，它具有极限点，并且极限点就是最 优化问题的最优解。
2 f ( x) , i 1,2, , n, j 1,2, , n xi x j
从而 2 f ( x)是一个对称矩阵。
1- 多元函数及其微分

[例1]设 A R nn 是对称矩阵，向量 b R n c ，求 ， R1 1 T f ( x) x Ax b T x c 二次函数 在任意点处的梯度和 2 海森矩阵。 [解]梯度为 f ( x) Ax b ； 海森矩阵为 。 2 f ( x) A
2 f ( x) , i 1,2, , n, j 1,2,, n xi x j
为函数 f (x) 在x处的二阶导数矩阵或海森矩阵（Hesse Matrix）。
1-多元函数及其微分

f : Rn R 在 [定义1.5] 如果多元连续函数
x ( x1 , x2 ,, xn ) T R n
f ( x) x , x , , x 1 2 n
为函数在x处的一阶导数或梯度（Gradient）
1-多元函数及其微分

[定义1.4]如果多元连续函数 f : R n R 在 x ( x1 , x2 ,, xn ) T R n 对于x的各个分量的二阶偏导数


1 T min q k ( x) f ( x k ) f ( x k ) s s Gk s 2 s.t. s hk
T
4-无约束优化方法

实际下降量：f
预测下降量 ：
k
f ( xk ) f ( k ) q k ( s k ) f ( xk ) s k s k Gk s k 2
5-约束优化问题
[定理1.51]若在局部最优解 x 处，下面两个 条件之一成立： * （1） ci ( x)(i E I ) 都是线性函数； ci ( x)(i E I * ) 线性无关。 （2） SFD( x * , D) LFD( x * , D) 。 则 x *是约束优化问题的一个局部 [定理1.52]设 ci ( x) (i E I * ) 都是线性函数 最优解，如果 ci ( x) (i E I * ) 线性无关，则必有 或者 Lagrange乘子使得库恩-塔克条件（a）， （b），（c）成立。
3-最优化方法概述

最优化方法（信赖域方法除外）的基本迭代格式： （1）给定初始点 x0 R n， k ； 0 （2）按照某个规则构造一个搜索方向 d k ； （3）确定搜索步长 k （有的算法采用固定步长） （4）取下一个迭代点 xk 1 xk k d k ； （5）判别 x k 1 是否满足某种终止准则。 若满足，则停止迭代，取 x k 1 为所求优化问 题的近似局部最优解； 否则，令 k 1 k ，返回第（2）步。
4-无约束最优化方法
d k H k f ( xk )
策略 表现形式 Hk I 线性近似 2 H k f ( xk ) 二次近似 用布鲁丹（Broyden）族 或黄（Huang）族 修正公式

方法 梯度法 Newton法
拟Newton法
4-无约束最优化方法

共轭梯度法的迭代公式为：
5-约束优化问题
[定理1.49]（库恩-塔克一阶必要条件），设 （1） x * 是约束优化问题的一个局部最优解； （2）f (x) 和 ci (x) 在 x * 的某个邻域内一阶连续可微； （3）SFD( x * , D) LFD( x * , D) ， * * 1 , * ,, * ，使得： 则必定存在向量 2 m m （a） f ( x* ) *c ( x* ) 0

*
5-约束优化问题

[例]求非线性规划的K-T点。
min
f ( x) x x 2
2 1 2 1 2 2
s.t. g1 ( x) x x 9 0 g 2 ( x) x1 x 2 1 0
都存在，则称函数 f (x) 在x处二阶可导，并称 n n 矩阵
2 f ( x) 2 f ( x) 2 f ( x) , ,, 2 x1x 2 x1x n x1 2 f ( x) 2 f ( x) 2 f ( x) , ,, 2 2 f ( x ) x 2 x1 x 2 x n x 2 2 f ( x) 2 f ( x) 2 f ( x) x x , x x , , x 2 n 1 n 2 n
d 0 f ( x0 ) x k 1 x k k d k d f ( x ) d k 1 k k k 1
4-无约束优化方法


FR，1964： f ( xk 1 ) f ( xk 1 ) k f ( xk ) T f ( xk ) f ( xk 1 ) T [f ( xk 1 ) f ( xk )] PRP，1969： k T f ( xk ) f ( xk )
第3-3-2节 共轭梯度法

[例2]求解
min

3 2 1 2 f ( x) x1 x 2 2 x1 x 2 2 x1 2 2
2 x0 4
取初始点为
2-最优解的定义
x* D ， [定义1.36]设
x D ，都有 f ( x) f ( x* ) ，则 （1）若对任意的 * 称 x 为优化问题的全局最优解（极小点）。 * f ( x) f，* ) (x （2）若对任意的 x D ，x x ，都有 * 则称 x 为优化问题的严格全局（整体）最 优解（极小点）。


i 1
i
i
（b）* i
0, i I
* ci ( x * ) 0, i I （c） i
5-约束优化问题最优性条件



说明： （1）库恩-塔克定理中的条件（3）： SFD( x * , D) LFD( x * , D) 称为约束规范条件。 （2）结论（a）、（b）、（c）称为库恩-塔克条 件（K-T条件），满足库恩-塔克条件的点称为库 恩-塔克点（K-T点）。 * ci ( x * ) 0, i I 称为互补松 （3）条件（c） i 弛条件。 （4）与（a）相对应，我们定义 m n 元函数 L( x, ) f ( x) i ci ( x * ) ，称为约束优化问题的拉 iE I 格朗日（Lagrange）函数，将 * 称为Lagrange算 子（向量）。
T

f ( xk 1 ) T [f ( xk 1 ) f ( xk )] CW，1972： k T d k [f ( xk 1 ) f ( xk )] f ( xk 1 ) T f ( xk 1 ) Dixon，1972： k T d k f ( xk )
第1.4.2节 无约束问题的最优性条件



[定理1.41]（一阶必要条件）设f在开集D上 连续可微，若x * D 是无约束最优化问题（*） f ( x * ) 0。 的局部极小点，则 [定理1.42]（二阶必要性条件）设f在开集D x * D 是无约束最优化 上二阶连续可微，若 问题（*）的局部极小点，则 f ( x * ) 0 ，并 且 2 f ( x) 为半正定矩阵。 [定理1.43]（二阶充分条件）设f在开集D上 二阶连续可微，若 f ( x* ) 0 ， 2 f ( x) 为正定矩 * 阵，则 x D 是最优化问题的严格局部极小 点。
1- 多元函数及其微分

[定义1.1]如果多元连续函数 f : R n R 在 x ( x1 , x2 ,, xn ) T R n 对于 x的各个分量的偏 导数 f ( x )
xi , i 1,2, , n
都存在，则称函数 f (x) 在x处一阶可导，并 T 称向量 f ( x) f ( x) f ( x)

衡量二次模型近似目标函数的指标：
f k rk q k
5-约束优化问题

约束最优化问题的数学模型为：
xD R n
min
f ( x) jE iI
s.t.
h j ( x) 0, g i ( x) 0,
5-约束优化问题

i0
若在约束优化问题（**）的局部最优解 * g i0 0 i0 I 处，有某个指标 ，使得 ，那么在 x * 的某个邻域内将这个约束条件去掉，并且 x x* 仍是问题的局部最优解。基于这个性质， * 我们称第 个约束在 i 0 是非有效的、不起 x 作用的、非积极的。相反，若有 ， gi ( x) 0, i I 则该约束不能去掉，故称相应的约束 gi ( x) 0, i I x * 是 处的有效约束、积极约束、起作用约束。 * * 我们用 表示在 处有效约束的指标 x I 集， I * 。 I , g i ( x* ) 0 i |i
对于x的各个分量的二阶偏导数

都存在且连续，则称函数 f (x) 在x处二次连续可 微。如果函数 f (x) 在开集 D R n 中的每一点都二 次连续可微，则称函数 f (x) 在D中二次连续可微， f C 2 ( D) 记作 。 显然，如果 f (x) 二次连续可微，则有
2 f ( x) 2 f ( x) , i 1,2,, n, j 1,2,, n xi x j x j xi
x* D ，若存在 x *的一个 ( 0)