K-T条件与罚函数法解析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x* g2(x)=0 g1(x)=0
g1(x*)=0, g1为起作用约束
二、不等式约束问题的Kuhn-Tucker条件： 定理（最优性必要条件）： （K-T条件） 问题(fg), 设S={x|gj(x)≤0},X*∈S,J为X*点处的起作用集， 设f(x),hi(x),gj(x),j∈J在X*点可微,gj(x), jJhi(x)在X*点 连续。 向量组{▽hi(X*)},{▽gj(X*)}线性无关。 如果X*是极小点且满足正则条件,则必存在 λ*=(λ1,λ2,...,λm)T, γ*=(γ1,γ2,...γP)T,使得以下各式成立：
其中r是很小的正数， B( x)定义在可行域内部， 它满足两个条件： (1) B( x)是连续函数； (2) 当点x趋向可行域边界时， B( x) 。
两种最重要的形式:
倒数障 碍函数
m
对数障 碍函数
1 B( x ) i 1 g i ( x)
m
B( x) ln gi ( x)
对于凸规划来说， Kuhn-Tucker 点事其全局 极小点，但是对目标函数、约束函数的要求比较 严格，实际情况难以满足，这可以用二阶充分条 件来进行检验Kuhn-Tucker点是否是局部极小点。 对于前述 NLP 问题，如果目标函数、约束函 数均二阶连续可微，可行点X*是严格局部极小点 的二阶充分条件为： （ 1 ）存在 ( λ * ,γ * ), 使 (X * , λ * ,γ * ) 是一个 KuhnTucker点，既满足Kuhn-Tucker条件。
二、不等式约束问题的Kuhn-Tucker条件：
NLP问题
(fg)
min s.t. hi(x)=0
f(x) i=1,2,.....,m
gj(x)≤0
设 x*∈S={x|gj(x) ≤0 令 J={j| gj(x*) =0
j=1,2, …,p
j=1,2, …,p} j=1,2, …,p}
称J为 x*点处的起作用集（紧约束集）。 如果x*是最优值,对每一个约束函数来说，只有当它是起作用 约束时，才产生影响，如：
两种障碍函数的比较
jJ
dg j x* dxi
0 i 1, 2,..., n
K-T条件
g j x* 0 j J
j 0 j J
库恩 - 塔克条件的几何意义：在约束极
小点处，函数的负梯度一定能表示成 所有起作用约束在该点梯度的非负线 性组合。
下面以二维问题为例，说明K-T条件的几何意义
库恩-塔克条件应用举例
若给定优化问题的数学模型为
2 f x x1 2 x2 min 2
s.t.
g1 x x x2 1 0
2 1
g 2 x x2 0 g 3 x x1 0
df x* dxi j
i 1
两种障碍函数的比较
min x s.t.
取
x 1 0
1 B( x ) , 则内罚函数为 x 1 r G ( x, r ) x x 1
令 得到
G r 1 0 2 x ( x 1) x wk.baidu.com ( r ) 1 r
当r 0时，有x ( r ) 1 x *.
int S x | g ( x) 0, i 1, 2,
i
其中f ( x), gi ( x)(i 1,2,, m)是连续函数。
S x | gi ( x) 0, i 1,2,, m, x E n
, m, x E
n
罚(障碍)函数
障碍因子
G( x, r ) f ( x) rB( x)
非线性规划及其应用
——Kuhn-Tucker理论、 罚函数法
Kuhn-Tucker理论
Kuhn-Tucker条件（或称Karush-Kuhn-Tucker条件） 是将等式约束的 Lagrange 乘子法推广到不等式约 束，不必加入剩余变量。 Kuhn-Tucker条件是确定约束极值点的必要条件， 对于凸规划来说同时也是充分条件。
式中Q是惩罚项，是惩罚参数R和约束的函数。
Sequential unconstrained minimization technique
序列无约束最小化技术
内点罚函数法 罚函数法外点罚函数法 混合罚函数法
内点罚函数法
基本思想: 迭代总是从内点出发,并保持在可行域 内部进行搜索.
min f ( x) s.t. gi ( x) 0 i 1,2,, m
二、约束极值点的二阶充分条件
前面我们讨论了两类最优化问题：约束极值问题及 非线性规化问题，并且给出了求解两类问题的拉格朗日方 法和库恩－塔克条件。
不过，从求解的过程看，无论是前面梯度向量的 角度，还是后面等式约束问题的拉格朗日方法、非线性规 划的库恩－塔克条件，我们都只是分析了在最优解处应满 足的性质，而并没有保证满足此性质的点一定是最优解， 比如最大值问题和最小值问题的一阶条件是相同的，或者 说由拉格朗日方法推导出的一阶条件和库恩－塔克条件只 是解的必要条件。为此，我们需要找到新的条件，以保证 由一阶必要条件所求得的解就是此最优规划问题的最优解， 这就是二阶条件的讨论。
j1
在子空间M上正定,式中A(X*)为X*出起作用的不等式约束 的下标集，J+,J0分别是A(X*)的满足条件γj*>0,γj*=0的子集。
罚函数法
基本思想
利用问题的目标函数和约束函数构造新的目标函数 ——罚函数（penalty function）
约束最优化问题 一般形式
无约束最优化问题
P(X,R)=f(X)+Q(R,h(X),g(X))
对于满足条件
的非0向量Y所形成的子空间M上,有 YTHL (X*,λ*,γ*)Y>0 即L(X,λ,γ)的黑塞矩阵
m * i 1
(d)
p *
H L (X*,λ*, γ*) = 2f(X* ) - i 2 h i (X* ) - j 2g j (X* )
g1(x*)=0, g1为起作用约束
二、不等式约束问题的Kuhn-Tucker条件： 定理（最优性必要条件）： （K-T条件） 问题(fg), 设S={x|gj(x)≤0},X*∈S,J为X*点处的起作用集， 设f(x),hi(x),gj(x),j∈J在X*点可微,gj(x), jJhi(x)在X*点 连续。 向量组{▽hi(X*)},{▽gj(X*)}线性无关。 如果X*是极小点且满足正则条件,则必存在 λ*=(λ1,λ2,...,λm)T, γ*=(γ1,γ2,...γP)T,使得以下各式成立：
其中r是很小的正数， B( x)定义在可行域内部， 它满足两个条件： (1) B( x)是连续函数； (2) 当点x趋向可行域边界时， B( x) 。
两种最重要的形式:
倒数障 碍函数
m
对数障 碍函数
1 B( x ) i 1 g i ( x)
m
B( x) ln gi ( x)
对于凸规划来说， Kuhn-Tucker 点事其全局 极小点，但是对目标函数、约束函数的要求比较 严格，实际情况难以满足，这可以用二阶充分条 件来进行检验Kuhn-Tucker点是否是局部极小点。 对于前述 NLP 问题，如果目标函数、约束函 数均二阶连续可微，可行点X*是严格局部极小点 的二阶充分条件为： （ 1 ）存在 ( λ * ,γ * ), 使 (X * , λ * ,γ * ) 是一个 KuhnTucker点，既满足Kuhn-Tucker条件。
二、不等式约束问题的Kuhn-Tucker条件：
NLP问题
(fg)
min s.t. hi(x)=0
f(x) i=1,2,.....,m
gj(x)≤0
设 x*∈S={x|gj(x) ≤0 令 J={j| gj(x*) =0
j=1,2, …,p
j=1,2, …,p} j=1,2, …,p}
称J为 x*点处的起作用集（紧约束集）。 如果x*是最优值,对每一个约束函数来说，只有当它是起作用 约束时，才产生影响，如：
两种障碍函数的比较
jJ
dg j x* dxi
0 i 1, 2,..., n
K-T条件
g j x* 0 j J
j 0 j J
库恩 - 塔克条件的几何意义：在约束极
小点处，函数的负梯度一定能表示成 所有起作用约束在该点梯度的非负线 性组合。
下面以二维问题为例，说明K-T条件的几何意义
库恩-塔克条件应用举例
若给定优化问题的数学模型为
2 f x x1 2 x2 min 2
s.t.
g1 x x x2 1 0
2 1
g 2 x x2 0 g 3 x x1 0
df x* dxi j
i 1
两种障碍函数的比较
min x s.t.
取
x 1 0
1 B( x ) , 则内罚函数为 x 1 r G ( x, r ) x x 1
令 得到
G r 1 0 2 x ( x 1) x wk.baidu.com ( r ) 1 r
当r 0时，有x ( r ) 1 x *.
int S x | g ( x) 0, i 1, 2,
i
其中f ( x), gi ( x)(i 1,2,, m)是连续函数。
S x | gi ( x) 0, i 1,2,, m, x E n
, m, x E
n
罚(障碍)函数
障碍因子
G( x, r ) f ( x) rB( x)
非线性规划及其应用
——Kuhn-Tucker理论、 罚函数法
Kuhn-Tucker理论
Kuhn-Tucker条件（或称Karush-Kuhn-Tucker条件） 是将等式约束的 Lagrange 乘子法推广到不等式约 束，不必加入剩余变量。 Kuhn-Tucker条件是确定约束极值点的必要条件， 对于凸规划来说同时也是充分条件。
式中Q是惩罚项，是惩罚参数R和约束的函数。
Sequential unconstrained minimization technique
序列无约束最小化技术
内点罚函数法 罚函数法外点罚函数法 混合罚函数法
内点罚函数法
基本思想: 迭代总是从内点出发,并保持在可行域 内部进行搜索.
min f ( x) s.t. gi ( x) 0 i 1,2,, m
二、约束极值点的二阶充分条件
前面我们讨论了两类最优化问题：约束极值问题及 非线性规化问题，并且给出了求解两类问题的拉格朗日方 法和库恩－塔克条件。
不过，从求解的过程看，无论是前面梯度向量的 角度，还是后面等式约束问题的拉格朗日方法、非线性规 划的库恩－塔克条件，我们都只是分析了在最优解处应满 足的性质，而并没有保证满足此性质的点一定是最优解， 比如最大值问题和最小值问题的一阶条件是相同的，或者 说由拉格朗日方法推导出的一阶条件和库恩－塔克条件只 是解的必要条件。为此，我们需要找到新的条件，以保证 由一阶必要条件所求得的解就是此最优规划问题的最优解， 这就是二阶条件的讨论。
j1
在子空间M上正定,式中A(X*)为X*出起作用的不等式约束 的下标集，J+,J0分别是A(X*)的满足条件γj*>0,γj*=0的子集。
罚函数法
基本思想
利用问题的目标函数和约束函数构造新的目标函数 ——罚函数（penalty function）
约束最优化问题 一般形式
无约束最优化问题
P(X,R)=f(X)+Q(R,h(X),g(X))
对于满足条件
的非0向量Y所形成的子空间M上,有 YTHL (X*,λ*,γ*)Y>0 即L(X,λ,γ)的黑塞矩阵
m * i 1
(d)
p *
H L (X*,λ*, γ*) = 2f(X* ) - i 2 h i (X* ) - j 2g j (X* )