Hessian矩阵

引用海赛(Hesse)矩阵
Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj))
它是对称的。

如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。

1.极值（极大值或极小值）的定义
设有定义在区域D Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得
f(x)≤f(x0) x∈U
则称x0是f(x)的极大点，f(x0)称为f(x)的极大值.
相反，如
f(x)≥f(x0) x∈U
则称x0是f(x)的极小点，f(x0)称为f(x)的极小值.
2.海赛（Hessian）矩阵
设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵.
显然海赛矩阵是对称的，从而它的所有特征根均为实数.
3.极值存在的必要条件
若x0是f(x)的极值点，如果存在，则
进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则
（1）x0是f(x)的极小点H≥0，即H 的特征根均为非负.
（2）x0是f(x)的极大点H≤0，即H的特征根为非正.
若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值.
4.极值存在的充分条件
设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则
（1）H>0，即H为正定矩阵x0是f(x)的极小点.
（2）H<0，即H为负定矩阵x0是f(x)的极大点.
（3）H的特征根有正有负x0不是f(x)的极值点.
（4）其余情况，则不能判定x0是或者不是f(x)的极值点.
5.二元函数极值存在的充分条件
作为4的特例。

观察二元函数极值存在的充分条件.
设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续，且,
记 .
那么，海赛矩阵.
（1）若A>0，detH=AC-B2>0，则H正定，从而(x0,y0)是f(x,y)的极小点.（2）若A<0，detH=AC-B2>0，则H负定，从而(x0,y0)是f(x,y)的极大点.
（3）若detH=AC-B2<0，则H的特征根有正有负，从而(x0,y0)不是f(x,y)的极值点.
（4）若detH=AC-B2=0，则不能判定(x0,y0)是否为f(x,y)的极值点.
6.条件极值
求函数 y=f(x)=f(x1,...,xn) x∈DRn （1），
在约束条件：qk(x)=qk(x1,...,xn)=0，k=1,...,m，m<n （2），下的极值，称为条件极值问题.
此处，假设雅可比矩阵的秩在D内处处为m，即保证m个约束条件是独立的.
直接代入法
从约束条件（2）中直接解出m个变量，代入到（1）中，将问题化为求n-m 个变量函数的直接极值问题.
拉格朗日（Lagrange）乘数法
引入拉格朗日函数：
（3）
其中λ1，...，λm称为拉格朗日乘子，是待定常数.
条件极值问题（1）和（2）可化为求拉格朗日函数（3）的直接极值问题.
（1) 若x0为(1)和(2)的条件极值点,则x0满足方程组
满足上述方程组的点称为条件极值问题的临界点.显然极值点为临界点,而临界点未必一定是极值点.
（2)若x0是临界点, HL为拉格朗日函数L在x0点的海赛矩阵, 则可按4中给出的极值存在的充分条件,由HL的正定、负定或不定,判断x0是极小点、极大点或不是极值点.。