多元函数取得极值的条件

序列可行方向的性质 性 质 1 处可微， 设ci(x)在x处可微，则 ∀d ∈SFD(x, X )有 在 处可微
∇cj (x)T d ≥ 0, (∀j ∈I (x)) T ∇cj (x) d = 0, (∀j ∈E)
证明
∀d ∈SFD(x, X ), dk (k =1,2,L 和δk X, 且有dk →d和δk →0，则
由于该方程组的系数矩阵的行向量组线性无关， 由于该方程组的系数矩阵的行向量组线性无关，所以该方程组有解
∀d ∈S*,则d ≠ 0,且d与∇ci (x*)(i ∈E)正交。
{∇c1(x*),L, ∇cme (x*), d} 成 e +1 空 ， 法 间 n − me −1 空 ， 生 m 维 间 其 空 是 为 间 在 空 中 取 组 准 交 di (i =1,2,L, n − me −1), 考 函 方 组 法 间 任 一 标 正 基 虑 数 程
∇f (x*) = 0
设 元 数 (x)存 二 连 偏 数 x*是 小 n 函 f 在 阶 续 导 ， 极
值点，则
∇f (x*) = 0,且∇2 f (x*)半正定
证明： f (x*) = 0显然。 ∇ ∀d ∈Rn , 令x = x *+αd，由Taylor公式有 1 2 T 2 0 ≤ f (x) − f (x*) = α d ∇ f (x *+θαd)d 2
若函数z= 在点P(x 若函数 f(x,y) 在点 0,y0)的某邻域内连续且存在一 的某邻域内连续且存在一
f x′(x0 , y0 ) = 0
′′ ′′ ′′ A = f xx (x0 , y0 ), B = f xy (x0 , y0 ), C = f yy (x0 , y0 )
时具有极值，且当A<0时有极大值 时有极大值， (1) AC −B2 > 0 时具有极值，且当 时有极大值，当A>0
k k k k k 2
是闭集， 的闭包cl(S*) ⊆SFD(x*,X)，即 而SFD(x*,X)是闭集，所以 的闭包 是闭集 所以S*的闭包 ， cl(S*) = {d | dT ∇ci (x*) = 0, i ∈ E; dT ∇ci (x*) ≥ 0, i ∈ I (x*)} ⊆ SFD(x*, X )
c2 (x) = 0 ∇f (x*) ∇c1(x*) ∇c2 (x*)
说明
∇f (x*)可用∇ci (x*)线性表示
∇x L(x*, λ) = 0 ci (x*) = 0, i ∈E cj (x*) ≥ 0, j ∈I λ jcj (x*) = 0, λ j ≥ 0 j ∈I
梯度
∂f ∂f ∂f T ∇f (x) = [ , ,L, ] ∂x1 ∂x2 ∂xn
Hesse矩阵 矩阵
∂2 f 2 ∂x1 2 ∂ f 2 ∇ f (x) = ∂x ∂x 2 1 L 2 ∂ f ∂xn∂x1
∂2 f ∂x1∂x2 ∂2 f 2 ∂x2 L 2 ∂ f ∂xn∂x2
1 2 两 同 边 除 α， 极 得 取 限 2 T 2 n d ∇ f (x*)d ≥ 0, ∀d ∈R
二阶充分条件
设 元 数 (x)存 二 连 偏 数 ∇f (x*) = 0,则 n 函 f 在 阶 续 导 ，
(1)当∇ f (x*)正定时，x *是f (x)的严格极小值点；
2
(2)当∇ f (x*)负定时，x *是f (x)的严格极大值点；
x*
m
c1(x) = 0 x1
Lagrane函数 函数
L(x, λ) = f (x) − λT c(x) = f (x) − ∑ λici (x)
i=1
K——T 条件等 价于
λi称为 称为Lagrange乘子 乘子 x*称为 称为K——T点 称为 点 Lagrange乘子法 乘子法
证明 ∇f (x*) =
2 2
由于c(x(θ)) = 0, (i =1,2,L, me )
d 2 于是， c(x(T )) |θ=0 = [x′(θ) |θ=0 ]T ∇ci (x*) = dT ∇ci (x*) / d 2 = 0,（i =1,2,L, me） θ i dθ N 2 − d DT , J −1 = (N(NT N)T 1, D, d / d T ) 2 J= 又因为 ci (x(θ)) |θ=0 = [x′(θ) |θ=0 ] ∇ci (x*) = d 2∇ci (x*) / d 2 > 0,（i ∈I (x*)） dθ T
m
假设不存在λi使得∇f (x*) = ∑ λi∇ci (x*)且λi ≥ 0, λici (x*) = 0, i ∈I
i=1
m
考虑集合W ={a | a = ∑ λi∇ci (x*) +
i=1
me
显然∇f (x*) ∉W。由于W是闭 凸锥，根据凸锥分离定理 必存 d ∈Rn，使得 在 dT∇f (x*) < 0 ≤ dT a,
必要条件
若 函 数 f(x,y) 在 点 P(x0,y0) 存 在 两 个 偏 导 数 ， 且 P(x0,y0)是函数 是函数f(x,y)的极值点，则 的极值点， 是函数 的极值点 驻点
f x′(x0 , y0 ) = 0
充分条件 阶及二阶偏导数， 阶及二阶偏导数，又 令 则
与
f y′(x0 , y0 ) = 0 与 f y′(x0 , y0 ) = 0
ci (x) = 0, i =1,2,L, me T di (x − x*) = 0 i =1,2,L, n − me −1 T d (x − x*) − θ = 0
由于该方程组在x = x *处的Jacobi矩阵可逆，根据隐函数存在定理
对充分小的θ，必存在解x = x(θ)且满足 x′(θ) |θ=0 = d / d
同样可证性质2 同样可证性质 处可微， 设fi(x)在x*处可微，且取得局部极小值，则 在 处可微 且取得局部极小值，
∀d ∈SFD(x*, X )，有∇f (x*)T d ≥ 0
一阶条件 必要条件 解， 设 (x)，ci (x)(i ∈E ∪ I )连续可微 设x*是问题 1 的局部最优 。 （） f
起作用集
∀x ∈ X， 合 (x) = E ∪I (x)称 在 处 起 用 。 集 A 为 x 的 作 集
起作用约束在x的领域限制了可行点的范围。 起作用约束在 的领域限制了可行点的范围。当点沿某些方向稍微 的领域限制了可行点的范围 离开x时 仍能满足约束条件；而沿另一些方向离开x时 离开 时，仍能满足约束条件；而沿另一些方向离开 时，不论步长 多么小，都将违背这些约束。 多么小，都将违背这些约束。 对于非起作用约束（ ），x是否是局部最优解与这些非起作 对于非起作用约束（ci(x)>0）， 是否是局部最优解与这些非起作 ）， 用约束无关。 用约束无关。
且 ci (x*)(i ∈ A(x*) = E ∪ I (x*))线 性无 关， 则必存在 i (i =1,2,L, m), ∇ λ 使 得 ∇f (x*) = ∑ λi∇ci (x*) （K - -T) i=1 λi ≥ 0, λici (x*) = 0, i ∈I
m
x2
c3 (x) = 0
i∈E∪I ( x*)
∑
λi∇ci (x*)
(i ∈I − I (x*), 取λi = 0即可)
首先证明集合非空 S* = {d | dT ∇ci (x*) = 0, i ∈ E; dT ∇ci (x*) > 0, i ∈ I (x*)} 是SFD(x*,X)的子集 的子集 考察方程组
dT∇ci (x*) = 0, i ∈E T d ∇ci (x*) =1 i ∈I (x*)
d 所 对 分 的 > 0 ci (x(θ)) > 0, 从 x = x(θ)都 可 点 以 充 小 θ ， 而 是 行 其 , θ →=,(∇c1(θ*),L, ∇c1(x(x(θ )= (d1,L, dn−me −1)d 2 , 中， 取θ > 0 N 0 且x (x ) ∈ X ,由于*)); D − x*) / θ →d /
L L L L
∂2 f ∂x1∂xn ∂2 f ∂x2∂xn L 2 ∂ f 2 ∂xn
必要条件 一阶条件 二阶条件
元函数f(x)在存在偏导数 ， 且 x*是函数 在存在偏导数， 是函数f(x)的极值 若 n元函数 元函数 在存在偏导数 是函数 的极值 点，则
m f (x) in st. ci (x) = 0, i =1,2,Lme cj (x) ≥ 0, j = me +1,L, m 其 ， ∈Rn , f (x), ci (x)都 n元 数 中 x 是 函
几个概念： 几个概念：
, } 可行域： 可行域： X ={x | x ∈Rn , ci (x) = 0, cj (x) ≥ 0, i =1,2,L, me; j = me +1 L, m
∀j ∈I (x),由 Taylor公 ， 式 有 0 ≤ cj (x + δk dk ) − cj (x) = δk∇cj (x)T dk + o(δk )
两 除 k， 极 得 cj (x)T d ≥ 0 边 δ 取 限 ∇
∀i ∈ E, ci (x) = 0，等价于ci (x) ≥ 0且− ci (x) ≥ 0,故，∇ci (x)T d = 0
使得x *+λd ∈U(x*, δ)，且dT ∇2 (x *+θλd)d > 0
所以
f (x) > f (x*)， x*是 (x)的 格 小 点 即 f 严 极 值 。
对于多元函数的条件极值，在高等数学中给出 乘子法。 对于多元函数的条件极值，在高等数学中给出Lagrange乘子法。 乘子法 Lagrange乘子法只给出可能极值点，没有给出判别这些点究竟是否 乘子法只给出可能极值点， 乘子法只给出可能极值点 是极值点的方法，也没有给出判别是极大值点还是极小值点的方法。 是极值点的方法，也没有给出判别是极大值点还是极小值点的方法。 问题： 对于一般的有约束极值问题，取得极值的条件是什么？ 问题： 对于一般的有约束极值问题，取得极值的条件是什么？ 一般的 (1) 约束极 值问题： 值问题：
2
(3)当∇ f (x*)不定时，x *不是f (x)的极值点；
2
证明: 证明
设x是x *邻域内任意一点，不妨设x = x *+λd，则
1 2 T 2 f (x) = f (x*) + λ d ∇ f (x*+θλd)d 2 2 由于函数f (x)二阶连续偏导数，且∇ f (x*)正定 则可选择λ, ,
x 存在序列dk (k =1,2,L 和δk > 0(k =1,2,L ) 序列设 *∈ X , d ∈Rn ,如果 可行使得 x*+δk dk ∈ X 方向： 方向： 且有dk →d和δk →0，则称d是X在x*处的 序列可行 方向
X在 *处 所 序 可 方 的 合 为 x 的 有 列 行 向 集 记 SFD(x*, X )
时有极小值。 时有极小值。
(2) AC− B2<0时没有极值 时没有极值
n元函数取得 元函数取得 极值的条件
(3) AC −B2 = 0
？
不能确定
设 元函 f (x) = f (x1, x2 ,L, xn ) n 数
具有偏导数， 具有偏导数，
点x* = (x1*, x2*,L, xn*) ∈ Rn
所 d ∈SFD(x*, X )。 是 d ∈S* ⇒d ∈SFD(x*, X ) 以 于 ∀
由于x*是局部最优解，所以∀d ∈cl(S*)，有dT∇f (x*) ≥ 0
下面 必存在λ 使得∇f (x*) = ∑ λi∇ci (x*)且λi ≥ 0, λici (x*) = 0,i ∈I i 证明 i=1
设x*∈ X ,0 ≠ d ∈Rn ,如果存在δ > 0，使得 可行方向： 可行方向： x*+td ∈ X , ∀t ∈[0, δ]
则 d是 在 *处 可 方 。 在 *处 所 可 方 集 记 FD(x*, X ) 称 X x 的 行 向 X x 的 有 行 向 合 为
指 标 集
设 ∈ X， E ={ ,2,L, me} x 令 1 I ={me +1,L, m} I (x) ={ j | cj (x) = 0, j ∈I}