2-优化方法的数学基础

∂f ∂d
n
x0
=
∂f ∂x1
x0
x 0 cos θ1 +
∂f ∂x2
x 0 cos θ 2 + L +
∂f ∂xnx0来自cosθ n=∑
i =1
∂f ∂xi
cosθi
◆上式表明了方向导数与偏导数之间的数量关系 ◆方向导数是偏导数概念的推广 方向导数表明了函数f(X)在点 (0)沿S方向的变化率，它 在点X 方向的变化率 ◆方向导数表明了函数 在点 方向的变化率， 是一个标量 是一个标量
在点x 处的梯度为： 在点 (1)=[3,2]T处的梯度为：
2 x1 − 4 2 ∇f ( x ) = = 4 2 x2 x(1)
(1)
在点x 处的梯度为： 在点 (2)=[2,0]T处的梯度为：
若函数在某点取得极值， ◆若函数在某点取得极值， 则该点的所有一阶偏导数 必定为零， 必定为零，即梯度为零
min f ( x )
st. g j ( x) ≤ 0 . hk ( x) = 0
K-T条件： 条件： 条件
( j =1,2,L, m) (k = 1,2,L, l )
∂g j l ∂f ∂hk ∂x + ∑ µ j ∂x + ∑λk ∂x = 0 (i = 1,2,L, n) k =1 i i i j∈J g j ( x) = 0 ( j ∈ J ) µ j ≥ 0 ( j ∈ J )
判定一个函数的凸性，可利用以下性质： 判定一个函数的凸性，可利用以下性质：
f (X)为一阶连续导数， f (X)在凸集D上为凸函数的充 (X)为一阶连续导数 为一阶连续导数， (X)在凸集 在凸集D 分必要条件为
f (X)为二阶连续导数， f (X)在凸集D上为凸函数的充 (X)为二阶连续导数 为二阶连续导数， (X)在凸集 在凸集D 分必要条件为
要么目标函数的负剃度等于起作用约束梯度的非负 线性组合（ 线性组合（此时 µ j > 0 ）
x2
g1 (x)＝0 ＝ x﹡ g3 (x)＝0 ＝ g2 (x)＝0 ＝
起作用约束： 起作用约束：
J ( x*) = { j | g j ( x*) = 0, j = 1, 2,L m}
O x1
极值点处于等值线的中心
例题2 例题2-2
一般n元二次函数的矩阵式为 一般 元二次函数的矩阵式为 其中
C为常数，求梯度▽f(X)。 为常数，求梯度▽ (X)。 为常数
解：将二元二次函数矩阵式展开
◆若推广到n元二次函数，则一般n元二次函数梯度 若 的矩阵表达式为
2.2 多元函数的泰勒展开及海森矩阵
复杂函数的极值问题 常用泰勒展开式得到目标函 的极值问题， 泰勒展开式得到 ◆ 复杂函数的极值问题，常用泰勒展开式得到目标函 数在所讨论点的近似表达式，最常用的是线性近似和 数在所讨论点的近似表达式，最常用的是线性近似和 二次近似 n元函数在某点(至少二阶可导)展开到二次项 元函数在某点(至少二阶可导)
(1)
3 x + 6 x1 − 9 0 ∇f ( x ) = = 3 2 −3 x2 + 6 x2 x(1)
(1) 2 1
0 6x1 + 6 12 0 ∇ f (x ) = = 0 0 −6x2 + 6 x(1) 0
2 (1)
第2章 优化方法的数学基础
2.1 方向导数与梯度 1、方向导数
二元函数(定义可微) 处沿某一方向S的方向导数 二元函数(定义可微)在点x0处沿某一方向 的方向导数
第2章 优化方法的数学基础
2.1 方向导数与梯度
第2章 优化方法的数学基础
2.1 方向导数与梯度
三元函数: 三元函数:
n元函数在点 0处沿S方向的方向导数 元函数在点x 元函数在点
∂f ∂f ∂f T ∇f ( x ) = [ L ]x∗ = 0 ∂x1 ∂x2 ∂xn
∗
即在极值点处函数的梯度为n维零向量。 即在极值点处函数的梯度为n维零向量。 维零向量 为了判断从上述必要条件求得的 x * 是否是 极值点，需建立极值的充分条件。 极值点，需建立极值的充分条件。 根据函数在 x * 点处的泰勒展开式，考虑上述 点处的泰勒展开式， 极值必要条件，可得相应的充分条件。 极值必要条件，可得相应的充分条件。
x2
g1(x)＝0 ＝
x﹡
g2(x)＝0 ＝
O x1
极值点处于两个约束曲线的交点上
∇f ( x ) + ∑ µ j ∇ g j ( x ) = 0
∗ ∗ j∈J
m
库恩—塔克条件的几何意义是 库恩 塔克条件的几何意义是: 在约束极小值点 x ∗ 处， 塔克条件的几何意义是 f ( x) 函数 的负梯度一定能表示成所有起使用约束在 该点梯度（法向量）的非负线性组合。 该点梯度（法向量）的非负线性组合。
x2
－
∇f (xk)
∇g2(xk)
x2
∇g1(xk)
∇g2(xk) －∇f (xk)
∇g1(xk)
点xk处的切平面 xk
可行域
f (x)=C
f (x)=C g2(x)=0 x1
O
xk
可行域
g2(x)=0
g1(x)=0
O
g1(x)=0
点xk处的切平面
(a)
(b)
x1
同时具有等式和不等式约束的优化问题 :
梯度方向是函数值变化最快的方向，而梯度 梯度方向是函数值变化最快的方向， 的模就是函数变化率的最大值 。
梯度方向与等值线的关系
多元函数的梯度
∂f ∂S
x0
∂f ∂x 1 ∂f T ∂x = ∂f ∂f L ∂f ∇f ( x 0 ) ≡ 2 ∂x1 ∂x2 ∂xn x0 M ∂f ∂xn x 0 n ∂f T =∑ x 0 cos θ i = ∇f ( x0 ) S = ∇f ( x0 ) cos(∇f , S ) i =1 ∂xi
例题2 例题2-1
在点[3,2]T 、 求函数 f ( x ) = x + x − 4 x1 + 4 在点 [2,0]T的梯度 解 ∂f
2 1 2 2
∂x 2 x − 4 1= 1 ∇f ( x ) = ∂f 2 x2 ∂x 2
在点x(1)=[3,2]T处的梯度为： 在点 处的梯度为：
+ -
函数f(X)在X(0)点处沿 方向是增加的 在 点处沿S方向是增加的 方向是增加 函数 函数f(X)在X(0)点处沿 方向是减小的 在 点处沿S方向是减小的 方向是减小 函数
2、梯度
二元函数的梯度
∂f ∂S
x0
∂f = ∂x1
∂f ∂f cosθ1 = cosθ 2 ∂x1 ∂x2 x0
2
∂ f L ∂x1∂xn ∂2 f 正定 ∂x2 ∂xn M M 2 ∂ f L ∂xn2 x*
2
G ( x ∗ ) 各阶主子式均大于零。 各阶主子式均大于零。 即要求
2．4 凸集、凸函数与凸规划 凸集、 全局最优与局部最优 ??? 1、凸集
几何特征是：其任意两点连线上的一切点都位于这个集合内 几何特征是：
min f ( x )
s.t. g j ( x) ≤ 0 ( j = 1,2,L, m)
K-T条件
∂f ( x* ) m ∂g j ( x* ) + ∑µ j = 0 (i = 1,2,L, n) ∂xi j =1 ∂xi µ j g j ( x* ) = 0 ( j = 1,2,L, m) µ ≥ 0 ( j = 1,2,L, m) j x ∗是函数 f ( x ) 的极值点， 库恩—塔克条件表明 塔克条件表明： 的极值点， 库恩 塔克条件表明：如点 µ） 0 = 要么 ∇f ( x *（此时 )=0 j
2. x * 处取得极值充分条件
+
大于0 大于0
2. x * 处取得极值充分条件
∂ f ∂x 2 1 ∂2 f ∂x ∂x * G( x ) = 2 1 M 2 ∂ f ∂xn ∂x1
2
∂ f ∂x1∂x2
2
∂2 f 2 ∂x2 M ∂ f ∂xn ∂x2
写成矩阵形式
f(X)的二阶导数矩阵，称为f(X)的海森(Hessian)矩 (X)的二阶导数矩阵 的二阶导数矩阵， (X)的海森(Hessian)矩 的海森(Hessian)
阵，海森矩阵是一个nXn的对称矩阵，常用H(X)表示 海森矩阵是一个nXn的对称矩阵，常用H(X)表示 nXn的对称矩阵 H(X)
1 f (x) ≈ f (x ) +∇f (x ) [x−x ]+ [x−x(1) ]T ∇2 f (x(1) )[x−x(1) ] 2
(1) (1) T (1)
= 3x2 − 6 + 6( x1 − 1) = 6 x − 12 x1 + 3x2
2 1
2
2.3 无约束优化问题的极值条件
1.在 x * 处取得极值，其必要条件是 在 处取得极值，其必要条件是:
2、凸函数
对凸集D 对凸集D内，任两点X(1)、 X(2)及0<α<1 任两点X 0<α
f (X)为 凸函数 (X)为 几何意义为：这两个点的连线完全处在f (X)曲线 曲面) 曲线( 几何意义为：这两个点的连线完全处在f (X)曲线(曲面)的 上方，或在f (X)曲线(曲面)上 曲线( 上方，或在f (X)曲线 曲面)
x0
∂f cosθ1 + ∂x2
cosθ 2
x0
∂f T ∂x ∂f ∂f 1 = 为函数f(x 在 ∇f ( x0 ) ≡ 为函数 1，x2)在 ∂f ∂x1 ∂x2 x0 x0点处的梯度 点处的梯度 ∂x 2 x