2-2优化方法数学基础

一,正定二次型
2 f ( X ) = ax12 + bx1 x 2 + cx 2 + dx1 + ex 2 + f 二次函数
写成向量形式
1 T f ( X ) = X HX + B T X + C 2 XTHX二次型,H二次型矩阵 二次型, 二次型矩阵 二次型 正定和负定矩阵. 正定和负定矩阵.对于所有非零向量 XTHX >0,矩阵正定 , XTHX >=0,矩阵半正定 , XTHX < 0,矩阵负定 , XTHX <=0,矩阵半负定 , XTHX =0,矩阵不定 ,
函数沿任一方向的变化率,用方向导数描述. 函数沿任一方向的变化率,用方向导数描述. 二元函数在X ) 二元函数在 (k)处沿与坐标轴夹角为αi的 S方向的变化 方向的变化 率,即方向导数
f ( X ) f x1 + x1 , x2 = lim s →0 S
(k )
(
(k )
(k )
+ x2 f x1 , x2 s
) (
(k )
(k )
)
二,方向导数和梯度
f ( X ) f x1 + x1 , x2 = lim s →0 S
(k )
(
(k )
(k )
+ x2 f x1 , x2 s
) (
(k )
(k )
)
f X (k ) f X (k ) = cosα1 + cosα 2 x1 x2
(
)
(
)
(X ( ) ), f (X ( ) )]cosα f =[
k k
x1
x2
cosα 2
1
二,方向导数和梯度
多元函数在X ) 多元函数在 (k)处方向导数
f X (k ) S
(
)
cosα1 cosα f f f 2 = , ,, xn x1 x2 cosα n
= f X
[ ( )] S
(k )
T
方向S上的单位向量 上的单位向量; 的方向角 的方向角; 的方 梯度 ;方向 上的单位向量; S的方向角; S的方 向余弦
( ) ( ) ( )
2 f X ( k )
( )
2 f X (k ) x1xn 2 f X (k ) x2xn 2 f X (k ) 2 xn
( ) ( ) ( )
取泰勒展开式的前两项, 取泰勒展开式的前两项,得到泰勒线性近似式
f (X ) ≈ f X
(
(k )
) + [f (X )] [X X ]
( ) S cos f (X ( ) ), S
k k
(X ( ) ) cos f (X ( ) ), S = f
2.梯度
f X
(
(k )
)
f X = x1
(
(k )
)
f X + x 2
2
(
(k )
)
f X ++ x 2
2
(
(k )
)
2
S = cos 2 α1 + cos 2 α 2 + + cos 2 α n = 1
f ′( x k ) = 0
f ′′( x k ) ≠ 0
四,函数的极值
多元函数在点X 取得极值的必要条件 必要条件: 多元函数在点 (k)取得极值的必要条件: 函数在该点的所有方向导数等于零——函数在该点的 函数在该点的所有方向导数等于零 函数在该点的 梯度等于零. 梯度等于零. (k )
f (X
f (X
' x2
' x1
(k )
f x1 + x1 , x2 f x1 , x2 ) = lim x1 →0 x1
(k )
(
(k )
) (
(k )
(k )
)
(k )
) = lim
f x1 , x2
(
(k )
(k )
x2 →0
+ x2 f x1 , x2 x2
) (
(k )
(k )
)
二,方向导数和梯度
(k )
T
(k )
三,多元函数的近似表示
用泰勒展开函数f(X)=x13-x23+3x12+3x22-9x1,在 例 用泰勒展开函数 简化成线性函数和二次函数. 点X(1)=[1,1]T简化成线性函数和二次函数. 函数在点X 的函数值, 解 函数在点 (1)的函数值,梯度和二阶导数矩阵
f X (1) = 3 3 x1 2 + 6 x1 9 0 f X (1) = = 2 3 x 2 + 6 x 2 3 0 6 x1 + 6 12 0 2 (1) f X = = 0 0 6 x 2 + 6 0 x1 1 x1 1 (1) X X = = x 2 1 x 2 1
二,方向导数和梯度
1.方向导数 . 导数是描述函数变化率的数学量. 导数是描述函数变化率的数学量. 微分理论知 一元函数在点x 微分理论知,一元函数在点 k的一阶导数表示函数在 该点的变化率. 该点的变化率. 二元函数在某点沿坐标方向x 二元函数在某点沿坐标方向 i的变化率用函数对该坐标 变量的一阶偏导数表示. 变量的一阶偏导数表示.
求函数f(X)=(x1-2)2+(x2-1)2在点 (1)=[3,2]T和X(2)=[2,2]T 在点X 例 求函数 处的梯度并作图表示. 处的梯度并作图表示. 解 梯度
f ( X ) x1 2 x1 4 f ( X ) = = 2 x 2 f ( X ) x 2 2
(1)
f X
函数在某点沿方向S的 函数在某点沿方向 的 方向导数等于 方向导数等于 该点的梯 度在方向S上的投影 上的投影. 度在方向 上的投影.
函数梯度性质
(1) 梯度方向是函数等值线 或等值面 的法线方向 梯度方向是函数等值线(或等值面 或等值面)的法线方向 当S方向与该点的梯度相垂直时,函数在该点沿S的方 方向与该点的梯度相垂直时 函数在该点沿 的方 方向与该点的梯度相垂直 向导数等于零. 向导数等于零. (k ) f X (k ) T
( )
= 6 x1 12 x1 + 3 x 2
代入简化所得的线性函数和二次函数中, 将X(1)代入简化所得的线性函数和二次函数中,其函数 值等于-3,与原函数在点X 的值相等,说明简化正确. 值等于 ,与原函数在点 (1)的值相等,说明简化正确.
2
四,函数的极值
无约束优化问题的极值只取决于目标函数本身性态, 无约束优化问题的极值只取决于目标函数本身性态, 约束优化问题的极值不仅与目标函数的性态有关, 约束优化问题的极值不仅与目标函数的性态有关,且与 约束函数的构成相关. 约束函数的构成相关. (一)无约束问题极值条件 一 无约束问题极值条件 高等数学知 一元函数在点x 取得极值: 高等数学知,一元函数在点 k 取得极值: 必要条件是函数在该点的一阶导数等于零, 必要条件是函数在该点的一阶导数等于零,充分条件 是二阶导数不等于零. 是二阶导数不等于零.
f X
( )
(2 )
2 = 2
0 = 2
(
)
三,多元函数的近似表示
一元函数在点x 的邻域内n阶可导 阶可导, 一元函数在点 k的邻域内 阶可导,可在该点的邻域内 泰勒展开
1 2 f (x ) = f (xk ) + f ′(xk )(x xk ) + f ′′(xk )(x xk ) + + R n 2!
2.梯度
函数在点X ) 函数在点 (k)的梯度是由函数在该点的一阶偏导数组 成的向量 .
f ( X
(K )
f X )= x1
(
(k )
) , f (X ) ,, (
(k )
(k ) T f X
x 2
x n
)
根据矢量代数
f X S
(
(k )
) = [f (X ( ) )]
k
T
S
k
= f X k
§2 优化方法数学基础 优化设计——极值 极值 优化设计 多变量, 多变量,多约束非线性优化 高等数学极值理论是求解基础, 高等数学极值理论是求解基础,但是不能直 接求出最优解. 接求出最优解. 对多变量约束优化问题的求解方法所涉及的 数学概念及有关理论进行补充和扩展. 数学概念及有关理论进行补充和扩展. 介绍二次函数,多元函数的梯度, 介绍二次函数,多元函数的梯度,函数的近 似表示以及极值条件和数值迭代解法等基本概念. 似表示以及极值条件和数值迭代解法等基本概念.
]
(
)[
]
三,多元函数的近似表示
二阶导数矩阵[海赛 矩阵, 阶对称矩阵 二阶导数矩阵 海赛(Hessian)矩阵,n阶对称矩阵 海赛 矩阵
2 f X (k ) 2 x1 2 f X (k ) = x x 2 1 2 (k ) f X x x n 1
( ) ( ) ( )
2 f X (k ) x1x2 2 f X (k ) 2 x2 2 f X (k ) xn x2
一,正定二次型
线性代数可知,矩阵 的正定性除用定义判断外 的正定性除用定义判断外, 线性代数可知,矩阵H的正定性除用定义判断外,还可 以用矩阵的各阶主子式进行判别 主子式——包含第一个元素在内的左上角各阶子矩阵所 包含第一个元素在内的左上角各阶子矩阵所 主子式 对应的行列式. 对应的行列式. 如果矩阵的各阶主子式均大于零, 如果矩阵的各阶主子式均大于零,即n阶主子式 阶主子式
f X (k ) (K ) T = f ( X ) S = f ( X ( K ) ) S
(
) [