Hessian矩阵复习进程

H e s s i a n矩阵

引用海赛(Hesse)矩阵

microfisher的海赛(Hesse)矩阵

海色矩阵

在数学中，海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

如果f所有的二阶导数都存在，那么f的海色矩阵即：

H(f)ij(x) = DiDjf(x)

其中，即

（也有人把海色定义为以上矩阵的行列式）海色矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海色矩阵的对称性

海色矩阵的混合偏导数是海色矩阵主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即

上式也可写为

在正式写法中，如果f函数在区域D内连续并处处存在二阶导数，那么f的海色矩阵在D区域内为对称矩阵。

在R^2→R 的函数的应用

给定二阶导数连续的函数，海色矩阵的行列式，可用于分辨f的临界点是属于鞍点还是极值。

对于f的临界点(x0,y0)一点，有，然而凭一阶导数不能判断它是鞍

点、局部极大点还是局部极小点。海色矩阵可能解答这个问题。

•H > 0 ：若，则(x0,y0)是局部极小点；若，则(x0,y0)是局部极大点。

•H < 0 ：(x0,y0)是鞍点。

•H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj))

它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。

1.极值（极大值或极小值）的定义

设有定义在区域D Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点

x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得

f(x)≤f(x0) x∈U

则称x0是f(x)的极大点，f(x0)称为f(x)的极大值.

相反，如

f(x)≥f(x0) x∈U

则称x0是f(x)的极小点，f(x0)称为f(x)的极小值.

2.海赛（Hessian）矩阵

设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵.

显然海赛矩阵是对称的，从而它的所有特征根均为实数.

3.极值存在的必要条件

若x0是f(x)的极值点，如果存在，则

进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则

（1）x0是f(x)的极小点H≥0，即H 的特征根均为非负.

（2）x0是f(x)的极大点H≤0，即H的特征根为非正.

若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值.

4.极值存在的充分条件

设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则

（1）H>0，即H为正定矩阵x0是f(x)的极小点.

（2）H<0，即H为负定矩阵x0是f(x)的极大点.

（3）H的特征根有正有负x0不是f(x)的极值点.

（4）其余情况，则不能判定x0是或者不是f(x)的极值点.

5.二元函数极值存在的充分条件

作为4的特例。观察二元函数极值存在的充分条件.

设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续，且,

记 .

那么，海赛矩阵.

（1）若A>0，detH=AC-B2>0，则H正定，从而(x0,y0)是f(x,y)的极小点. （2）若A<0，detH=AC-B2>0，则H负定，从而(x0,y0)是f(x,y)的极大点. （3）若detH=AC-B2<0，则H的特征根有正有负，从而(x0,y0)不是f(x,y)的极值点.

（4）若detH=AC-B2=0，则不能判定(x0,y0)是否为f(x,y)的极值点.

6.条件极值

求函数 y=f(x)=f(x1,...,xn) x∈DRn （1），在约束条件：qk(x)=qk(x1,...,xn)=0，k=1,...,m，m

下的极值，称为条件极值问题.

此处，假设雅可比矩阵的秩在D内处处为m，即保证m个约束条件是独立的.

直接代入法

从约束条件（2）中直接解出m个变量，代入到（1）中，将问题化为求n-m个变量函数的直接极值问题.

拉格朗日（Lagrange）乘数法

引入拉格朗日函数：

（3）

其中λ1，...，λm称为拉格朗日乘子，是待定常数.

条件极值问题（1）和（2）可化为求拉格朗日函数（3）的直接极值问题.

（1) 若x0为(1)和(2)的条件极值点,则x0满足方程组

满足上述方程组的点称为条件极值问题的临界点.显然极值点为临界点,而临界点未必一定是极值点.

（2)若x0是临界点, HL为拉格朗日函数L在x0点的海赛矩阵, 则可按4中给出的极值存在的充分条件,由HL的正定、负定或不定,判断x0是极小点、极大点或不是极值点.