优化设计第02章-2数学基础

二、库恩-塔克条件（K-T条件）
对于多元函数不等式约束优化问题 min f(x) s.t. gj(x) ≤0 (j=1,2,…,m)
同样可应用拉格朗日乘子法推导出相应的极值条件，引入 m个松弛变量y=[y1,y2,…,ym]，使不等式约束变成等式约束 gj(x)+yj2=0 (j=1,2, … ,m) 从而组成相应的拉格朗日函数：
把F(x,)作为一个新的无约束条件的目标函数来求解它的极 值点，所得结果就是在满足约束条件hk(x)=0的原目标函数f(x)的 极值点。
F(x,)具有极值的必要条件：
由此可得n+l个方程，从而解得x=[x1 x２…xn]T和k(k=1,2,…, l) 共n+l个未知变量的值。 由上述方程组求得的x*=[x1* x２*…xn*]T是函数f(x)极值点的坐 标值。
1 1 0 可得： 2 1 0
1 x2 0
0 g 2 ( x ) 1

ห้องสมุดไป่ตู้
（4）求拉格朗日乘子
f ( x ) 1g1 ( x ) 2g2 ( x )
即：
2 2 0 1 + 2 0 1 1
T 0 * X 0, 0 f x , x x x . 处梯度为 f 0, 0 例： 1 2 1 2 在 0 * 但 X 只是双曲抛物面的鞍点，而不是极小点。
为了判断从上述必要条件求得的x*是否是极值点，需建立极 值的充分条件。 根据函数在x*点处的泰勒展开式，考虑上述极值必要条件， 可得相应的充分条件。
2 例：优化问题： f ( x) ( x1 2)2 x2 min
2 g ( x ) x x2 1 0 s.t 1 1 g2 ( x) x2 0
g3 ( x) x1 0
判断[1 0]T是否为约束最优点。
f ( x) ( x1 2) x min
即极值点为 x1*=1.071，x2*=1.286
第六节 不等式约束优化问题的极值条件
在工程上大多数优化问题都可表示为具有不等式约束条件的 优化问题，故研究不等式约束极值条件是很有意义的。 不等式约束的多元函数极值的必要条件是库恩-塔克条件，它 是非线性优化问题的重要理论。 不等式约束优化模型为：
三、极值的充分条件
2F x 2 1 2F 2 F ( x * ) x2 x1 2 F xn x1 2F x1x2 2F x22 2F xn x2 2F x1xn 2 F x2xn 正定或负定 2F xn2 x*
一、消元法
即通过减少变量将等式约束优化问题变成无约束优化问题。 对于n维情况： min s.t. f (x) hk(x1,x2, … ,xn)=0 (k=1,2,…,l)
由l个等式约束方程可以得 到表达式 → 即将n个变量中的前l个变 量用其余n-l个变量表示。 若将这些关系式代入到目标函数中，从而得到只含xl+1, xl+2,…,xn共n-l个变量的函数，这样就可以利用无约束优化问题 的极值求解。
2 2 2
g1 ( x ) x12 x2 1 0 g 2 ( x ) x2 0 g3 ( x ) x1 0
(1) T 是当前点，为可行点，因满足约束条件 x [1 0] 解:（1）
g1 ( x (1) ) 0 g 2 ( x (1) ) 0 g3 ( x (1) ) 1 0
F ( x , y , u) f ( x ) u j ( g j ( x ) y 2 j)
j 1
m
仿照对一元函数在给定区间上极值条件的推导过程，同 样可得具有不等式约束多元函数极值条件： 库恩-塔 * f ( x * ) m g j ( x ) 克条件 uj 0 ( i 1,2, , n)


则：
K-T条件
g j ( x* ) F ( x* ) m j 0 (i 1, 2,, n) xi j 1 xi * g ( x ( j 1, 2,, m) j j )0 0 ( j 1, 2,, m) j
库恩—塔克条件表明： 如点x*是函数 F(x)的极值点，要么▽F(x*)=0 （此时 μj=0），
min F ( x) s.t. g j ( x) 0
( j 1,2,, m)
为了便于理解，先分析一元函数在给定区间上的极值条件。
一、一元函数在给定区间上的极值条件
对于一元函数f(x)在给定区间[a,b]上的极值问题，首先引入松弛 变量变量a1和b1将不等式约束变成等式约束，即： h1(x,a1)=g1(x)+a12= a-x+a12 = 0 h2(x,b1)=g2(x)+b12=x-b+b12=0
第四节 无约束优化问题的极值条件
一、 一元函数极值的必要条件
f ( x ) 在x =x0处取得极值的必要条件为x0点必须为驻点，即 f ( x0 ) 0
在x=x0处取得极值充分条件... 二、 多元函数极值的必要条件 1. F(x)在x*处取得极值，其必要条件是: F F F T F ( x ) [ ] x 0 x1 x2 xn 即在极值点处函数的梯度为n维零向量。
x i j 1 * u g ( x )0 j j u 0 j x i ( j 1,2, , m ) ( j 1,2, , m )
K-T条件
若引入起作用约束的下标集合：
J ( x * ) j g j ( x * ) 0, j 1,2,, m
利用拉格朗日乘子法可得到上述优化问题的拉格朗日函数：
F(x,a1,b1,u1,u2)=f(x)+u1h1(x,a1)+u2h2(x,b1) =f(x)+u1(a-x+a12)+u2(x-b+b12)
其中u1和u2是对应于不等式约束条件的拉格朗日乘子，应满足非 负的要求， 即： u1>=0 u2>=0
（ 2） x
(1)
[1 0]T 处起作用约束为g1和g2 , 因 g3 ( x (1) ) 0
2( x 2) 2 1 f ( x ) 1 0 2 x2 x1 x2 0
（3）各函数的梯度：
2 x 2 g1i ( x ) 1 1 1 x1
要么目标函数的负梯度等于起作用约束梯度的非负线性组合 （此时μj>0）。
K-T条件的梯度形式
将K-T条件偏微分形式表示为梯度形式，得：
F ( x * ) u j g j ( x * ) 0
jJ
或
F ( x * ) u j g j ( x * )
jJ
库恩—塔克条件的几何意义是: 在约束极小值点x*处，函数F(x) 的负梯度一定能表示成所有 起使用约束在该点梯度（法向量）的非负线性组合。
df dg1 dg2 df u1 u2 u1 u2 0 dx dx dx dx
分析极值点x*在区间[a,b]中所处的位置，有三种可能的情况：
f(x) f(x) f(x) x* =a b x
0 a x*
b x
0
0
a
x* =b
x
1) 当a< x*<b时，u1=u2=0，极值条件为 2) 当x*=a时，u1>=0,u2=0，极值条件为 3) 当x*=b时，u1=0,u2 > =0，极值条件为
对应于不起作用约束的拉格朗日乘子取零值，引入起 作用约束的下标集合:
J ( x * ) j g j ( x ) 0, j 1,2


dg j df uj 0 dx jJ dx 一元函数极值条件式可写成： g j ( x ) 0( j J ) u 0( j J ) j
K-T条件是多元函数取得约束极值的必要条件,以用 来作为约束极值的判断条件，又可以来直接求解较简 单的约束优化问题。
对于目标函数和约束函数都是凸函数的情况， 符 合K-T条件的点一定是全局最优点。这种情况K-T条件
即为多元函数取得约束极值的充分必要条件。
三、K-T条件应用举例
K-T条件是多元函数取得约束极值的必要条件,既可用来作 为约束极值的判断条件，又可以用来直接求解较简单的约束优 化问题。
df ( x * ) 0 dx
df ( x * ) u1 0 dx
df ( x * ) u2 0 dx
df ( x * ) 0 dx df ( x * ) 0 dx
df dg dg df u1 1 u2 2 u1 u2 0 dx dx dx dx
u1 g1 ( x ) 0 u2 g2 ( x ) 0
二、拉格朗日乘子法
通过增加变量将等式约束优化问题变成无约束优化问题。
对于具有l个等式约束的N维优化问题：
min f(x) s.t. hk(x)=0 (k=1, 2, … , l)
为了求出f(x)的可能极值点x*=[x1* x２*… xn*]T，引入拉格朗日 乘子k (k=1, 2, … , l) ，并构成一个新的目标函数：
拉格朗日乘子法解等式约束 例题
用拉格朗日乘子法计算在约束条件下h(x1,x2)=2x1+3x2-6=0的 情况下，目标函数f(x1,x2)=4x12+5x22的极值点坐标。 解：拉格朗日乘子函数为 F(x,λ)=4x12+5x22+λ(2x1+3x2-6)，
则
连立求解得到：x1=1.071，x2=1.286，λ=-30/7
H ( x ) 正定，即各阶主 海赛（Hessian）矩阵