chap11_2等式约束乘子法
[最优化]不等式约束的优化问题求解
![[最优化]不等式约束的优化问题求解](https://img.taocdn.com/s3/m/9cd05016974bcf84b9d528ea81c758f5f61f29fd.png)
[最优化]不等式约束的优化问题求解不等式约束的优化问题求解与前⽂讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以⽤拉格朗⽇乘⼦法进⾏求解对于⼀般形式的优化问题：其中，引⼊下⾯两个定义：定义1：对于⼀个不等式约束，如果在处，那么称该不等式约束是处的起作⽤约束；如果在处，那么称该约束是处的不起作⽤约束。
按照惯例，总是把等式约束当作起作⽤的约束定义2：设满⾜，设为起作⽤不等式约束的下标集：如果向量 是线性⽆关的，那么称是⼀个正则点下⾯介绍某个点是局部极⼩点所满⾜的⼀阶必要条件，即KKT 条件。
KKT 条件：设，设是问题的⼀个正则点和局部极⼩点，那么必然存在和，使得以下条件成⽴：那么在求解不等式约束的最优化问题的时候，可以搜索满⾜KKT 条件的点，并将这些点作为极⼩点的候选对象。
⼆阶充分必要条件除了⼀阶的KKT 条件之外，求解这类问题还有⼆阶的充分必要条件。
⼆阶必要条件：在上述的问题中若是极⼩点且。
假设是正则点，那么存在和使得1. 2. 对于所有，都有成⽴⼆阶充分条件：假定，是⼀个可⾏点，存在向量和使得1. 2. 对于所有，都有成⽴那么是优化问题的严格局部极⼩点f(x)subject toh(x)=0g(x)≤0minimize f(x)subject to h(x)=0g(x)≤0f:Rn →R,h:Rn →Rm,m≤n,g:Rn →Rp f :→R,h :→,m ≤n,g :→R n R n R m R n R pgj(x)≤0(x)≤0g j x ∗x ∗gj(x ∗)=0()=0g j x ∗x ∗x ∗x ∗x ∗gj(x ∗)<0()<0g j x ∗x ∗x ∗hi(x)(x)h i x ∗x ∗h(x ∗)=0,g(x ∗)≤0h()=0,g()≤0x ∗x ∗J(x ∗)J()x ∗J(x ∗)≜{j:gj(x ∗)=0}J()≜{j :()=0}x ∗g j x ∗∇hi(x ∗),∇gj(x ∗),1≤i≤m,j ∈J(x ∗)∇(),∇(),1≤i ≤m,j ∈J()h i x ∗g j x ∗x ∗x ∗x ∗f,h,g ∈C1f,h,g ∈C 1x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0Tµ∗Tg(x ∗)=0h(x ∗)=0g(x ∗)≤0≥0µ∗Df()+Dh()+Dg()=x ∗λ∗T x ∗µ∗T x ∗0Tg()=0µ∗T x ∗h()=0x ∗g()≤0x ∗x ∗x ∗f,h,g ∈C2f,h,g ∈C 2x ∗x ∗λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T(x ∗)y ∈T ()x ∗yTL(x ∗,λ∗,µ∗)y≥0L(,,)y ≥0y T x ∗λ∗µ∗f,h,g ∈C2f,h,g ∈C 2x ∗∈Rn ∈x ∗R n λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T~(x ∗,µ∗),y≠0y ∈(,),y ≠0T˜x ∗µ∗yTL(x ∗,λ∗,µ∗)y>0L(,,)y >0y T x ∗λ∗µ∗x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0。
运筹学-约束最优化方法汇编
最优性条件 惩罚函数法（包括乘子法） 可行方向法 约束变尺度法
§5.1 约束最优化问题的最优性条件
问 题
在求解问题之前,我们先讨论其最优解的必 要条件,充分条件和充要条件. 这些条件是最优化理论的重要组成部分,对 讨论算法起着关键的作用. 有的算法甚至可以直接用来求解问题.
因此,存在数l1,使得
4
等式约束问题 的最优性条件
如果n=3,l=2,约束曲线在三维 空间中曲面c1(x)=0和曲面 c2(x)=0的交线.
同样可以说明(-)g*与曲线的切线垂直.
因此,曲面在x*处的法向量
与
梯度向量g*共面.
存在数l1, l2,使得
5
等式约束问题的一阶必要条件
定理1.1.1(一阶必要条件)
有
注:此处可行方向的条件比Fritz-John条件中 的证明中的条件多了等号,在此不详细讨论 其中的区别.
26
Kuhn-Tucker必要条件
借助于Farkas引理,可推出存在li*≥0(i∈I*),
使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
16
根据上述引理1,不存在d∈Rn,使得
即
是这样一组向量,它们不 在过原点的任何超平面的同一侧. 于是我们总可以适当放大或缩小各向量的长 度,使得变化后的各向量的合成向量为零向量. 注:这一结论的依据是Gordan引理.
17
Fritz-John一阶必要条件
证明概要(续)根据Gordan引理,存在不全为零
11
Fritz-John一阶必要条件
罚函数之乘子法
罚函数之乘⼦法外罚函数主要⽤于对于等式约束问题的求解，内点法主要是对于不等式问题的求解，⼀般问题中包含等式约束以及不等式约束，故需要使⽤乘⼦法解决问题。
1、乘⼦法概述（1）等式约束乘⼦法描述：min f(x)s.t. g i(x) =0⼴义乘⼦法是拉格朗⽇乘⼦法与罚函数法的结合，构造增⼴函数：φ (x,λ,σ)=f(x)+λT g(x)+1/2σg T(x)g(x)在罚函数的基础上增加了乘⼦项，⾸先在σ⾜够⼤的基础上，获得ϕ的极⼩值，然后在调整λ获得原问题的最优解。
（2）包含等式约束以及不等式约束问题描述：min f(x)s.t. h i(x) =0,i=1,...,lg i(x)≥0,i=1,...m其基本思想是：先引进辅助变量把不等式约束化为等式约束，然后利⽤最优性条件消去辅助变量，主要是通过构造增⼴拉格朗⽇函数，进⾏外迭代与内迭代综合，带⼊乘⼦迭代公式，进⽽得出得出，故针对上述⼀般问题构造拉格朗⽇函数为：4、其代码实现为function [x,mu,lambda,output]=multphr(fun,hf,gf,dfun,dhf,dgf,x0)%功能：⽤乘⼦法解⼀般约束问题：min f(x),s.t. h(x)=0.g(x)>=0%输⼊：x0是初始点，fun，dfun分别是⽬标函数及其梯度；%hf，dhf分别是等式约束（向量）函数及其jacobi矩阵的转置；%gf，dgf分别是不等式约束（向量）函数及其jacobi矩阵的转置；%输出：x是近似最优点，mu，lambda分别是相应于等式约束和不等式% 等式约束的乘⼦向量；output是结构变量，输出近似极⼩值f，迭代次数，内迭代次数等%%%%%%c初始化相关参数%%%%%%%%%%%maxk=500; %最⼤迭代次数sigma=2.0; %罚因⼦eta=2.0; theta=0.8; %PHR算法中的实参数k=0; ink=0; %k,ink分别是外迭代和内迭代次数epsilon=1e-5;%终⽌误差值x=x0;he=feval(hf,x);gi=feval(gf,x);%he=feval(hf,x)=hf(x)n=length(x);l=length(he);m=length(gi);%选取乘⼦向量的初始值mu=0.1*ones(1,1);lambda=0.1*ones(m,1);%ones为⽣成m*n的全1矩阵btak=10; btaold=10; %⽤来检验终⽌条件的两个值while (btak>epsilon & k<maxk)%%%%%%c先求解⽆约束问题%%%%%%%%%%%%调⽤BFGS算法程序求解⽆约束⼦问题[x,v,ik]=bfgs('mpsi','dmpsi',x0,fun,hf,gf,dfun,dhf,dgf,mu,lambda,sigma);%%其中x为最优点，val为最优值，ik为迭代次数 ink=ink+ik;he=feval(hf,x);gi=feval(gf,x);%%%%%%%%%%计算btak%%%%%%%%%%%btak=0.0;for(i=1:l),btak=btak+he(i)^2; endfor(i=1:m)temp=min(gi(i),lambda(i)/sigma);btak=btak+temp^2;endbtak=sqrt(btak);if btak>epsilon%%%%%%%%%%%更新罚参数%%%%%%%%%%%if(k>=2 & btak>theta*btaold)sigma=eta*sigma;end%%%%%%%%%%%更新乘⼦向量%%%%%%%%%%%%for(i=1:l),mu(i)=mu(i)-sigma*he(i);endfor(i=1:m)%lambda(i)=max(0.0,lambda(i)-sigma*gi(i));lambda(i)=max(0.0,lambda(i)-gi(i));endend%%%%%%%%%%%迭代%%%%%%%%%%%%k=k+1;btaold=btak;x0=x;endf=feval(fun,x);output.fval=f;output.iter=k;output.inner_iter=ink;output.bta=btak;BFGS算法部分：function [x,val,k]=bfgs(fun,gfun,x0,varargin)%功能：⽤BFGS算法求解⽆约束问题：minf（x）%输⼊：x0是初始点，fun，gfun分别是⽬标函数及其梯度%varargin是输⼊的可变参数变量，简单调⽤bfgs时可以忽略，其他程序调⽤则尤为重要%输出：x为最优点，val为最优值，k时迭代次数maxk=500;%给出最⼤迭代次数rho=0.55;sigma=0.4;epsilon=1e-5;k=0;n=length(x0);Bk=eye(n);%Bk=feval('Hess',x0)while(k<maxk)gk=feval(gfun,x0,varargin{:});%计算梯度if(norm(gk)<epsilon),break;end%检验终⽌准则dk=-Bk\gk;%解⽅程组，计算搜索⽅向m=0;mk=0;while(m<20)%搜索求步长newf=feval(fun,x0+rho^m*dk,varargin{:});oldf=feval(fun,x0,varargin{:});if(newf<oldf+sigma*rho^m*gk'*dk)mk=m;break;endm=m+1;end%bfgs校正x=x0+rho^mk*dk;sk=x-x0;yk=feval(gfun,x,varargin{:})-gk;if(yk'*sk>0)Bk=Bk-(Bk*sk*sk'*Bk)/(sk'*Bk*sk)+(yk*yk')/(yk'*sk);endk=k+1;x0=x;endval=feval(fun,x0,varargin{:});主函数部分为：%⽬标函数⽂件function f=f1(x)f=(x(1)-2.0)^2+(x(2)-1.0)^2;%等式约束条件function he=h1(x)he=x(1)-2.0*x(2)+1.0;%不等式约束条件function gi=g1(x)gi=-0.25*x(1)^2-x(2)^2+1;%⽬标函数的梯度⽂件function g=df1(x)g=[2.0*(x(1)-2.0),2.0*(x(2)-1.0)]';%等式函数的Jacobi（转置）矩阵⽂件function dhe=dh1(x)dhe=[1.0,-2.0]';%不等式约束函数的Jacobi矩阵（转置矩阵）function dgi=dg1(x)dgi=[-0.5*x(1),-2.0*x(2)]';命令⾏指令为：x0=[3,3]'[x,mu,lambda,output]=multphr('f1','h1','g1','df1','dh1','dg1',x0)输出结果如下：。
chap11_3不等式约束乘子法
简化做法：
将( x, z , , )关于z求极小：
min ( x , z , , )
z
(11.3.5)
得解 z z ( x , , ), 将它代回(11.3.4), 则可将问题化为只关于x 的求极小问题.
将( x, z, , )改写为
(11.3.2)
H i ( x , z ) ci ( x ) zi2 0, i I {1, , m }.
从而可用等式约束乘子法求解上述问题，进而得到原问题(11.3.1)
为方便起见，使用
的解.
2
问题(11.3.2)的增广Lagrangian函数如下
( x , z , , ) f ( x ) i [ci ( x ) zi2 ]
2 2 z i i ci ( x ) , 当i ci ( x ) 0时.
于是
ci ( x ), 当i ci ( x ) 0, 2 ci ( x ) z i i , 当i ci ( x ) 0,
k i
即
ik 1 max ik k ci ( x k ), 0 , i 1, , m .
终止准则：
由上节知等式约束问题(11.3.2)的终止原则为
2 m k 2 ci ( x ) zi , i 1 1 2
i k 利用 ci ( x ) z max ci ( x ), 即有 k
由于 ( x, , )是凸函数， 所以利用一阶充要条件求得 ( x, , )的极小点为
2( ) x1 , x2 4 3 4 3
不等式约束的最优化问题
不等式约束的最优化问题1. 引言不等式约束的最优化问题是数学领域中一类常见且重要的问题。
在实际生活和工程应用中，很多问题都可以转化为最优化问题，其中包含了一些约束条件，这些约束条件可以用不等式的形式表示。
本文将从理论和应用两个方面综合讨论不等式约束的最优化问题。
2. 理论基础2.1 最优化问题的定义最优化问题是指在满足一定的约束条件下，寻找使得目标函数取得最大（或最小）值的变量取值。
最优化问题可以分为有约束和无约束两种情况，本文主要讨论带有不等式约束的最优化问题。
2.2 拉格朗日乘子法拉格朗日乘子法是解决带有等式约束的最优化问题的重要方法，然而对于带有不等式约束的问题，拉格朗日乘子法并不适用。
取而代之的是KKT条件，即Karush–Kuhn–Tucker条件。
2.3 KKT条件KKT条件是带有不等式约束的最优化问题的解的必要条件。
KKT条件包括了原问题的约束条件和原问题的一阶和二阶必要条件。
利用KKT条件，可以将不等式约束的最优化问题转化为无约束最优化问题，从而求解出问题的最优解。
3. 解决方法3.1 梯度下降法梯度下降法是一种常用的优化算法，可以用于求解无约束和有约束的最优化问题。
对于带有不等式约束的问题，可以通过将约束条件变形为罚函数的形式，从而将其转化为无约束的问题。
梯度下降法的基本思想是根据目标函数的梯度信息不断迭代更新变量的取值，使得目标函数逐渐趋近于最优解。
3.2 内点法内点法是求解带有不等式约束的最优化问题的一种高效算法。
内点法的基本思想是通过不断向可行域的内部靠近，逐渐找到问题的最优解。
内点法具有较好的收敛性和稳定性，在实际应用中使用较为广泛。
3.3 割平面法割平面法是一种用于求解带有不等式约束的整数优化问题的有效方法。
割平面法的主要思想是通过逐步添加割平面，将原问题分解为一系列子问题，利用线性规划算法求解。
割平面法可以有效地提高整数规划问题的求解效率。
4. 应用领域4.1 金融领域在金融领域中，不等式约束的最优化问题被广泛应用于投资组合优化、风险管理等方面。
运筹学 第八章 约束最优化方法
第八章 约束最优化方法无约束优化方法是优化方法中最基本最核心的部分。
但是，在工程实际中，优化问题大都是属于有约束的优化问题，即其设计变量的取值要受到一定的限制，用于求解约束优化问题最优解的方法称为约束最优化方法。
由于约束最优化问题的复杂性，无论是在理论方面的研究，还是实际中的应用都有很大的难度。
目前关于一般的约束最优化问题还没有一种普遍有效的算法。
本书重点介绍几种常用的算法，力求使读者对这类问题的求解思路有一个了解。
8.1 约束优化方法概述一、约束优化问题的类型根据约束条件类型的不同可以分为三种，其数学模型分别如下： 1）等式约束优化问题 考虑问题l1,2,...,j x h t s x f j ==0)(..)(min其中，l 1,2,...,j x h x f j =),(),(为R R n→上的函数。
记为)(fh 问题。
2）不等式约束优化问题 考虑问题m1,2,...,i x g t s x f i =≤0)(..)(min其中，m 1,2,...,i x g x f i =),(),(为R R n→上的函数。
记为)(fg 问题。
3）一般约束优化问题()()()⎩⎨⎧===≤l ,1,2,j x h m ,1,2,i x g t s x f j i L L 00..min其中，l 1,2,...,j m i x h x g x f j i ==;,2,1),(),(),(L 为R R n→上的函数。
记为)(fgh 问题。
二、约束优化方法的分类约束优化方法按求解原理的不同可以分为直接法和间接法两类。
1）直接法只能求解不等式约束优化问题的最优解。
其根本做法是在约束条件所限制的可行域内直接求解目标函数的最优解。
如：约束坐标轮换法、复合形法等。
其基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。
可行性：迭代点必须在约束条件所限制的可行域内，即满足m i x g i ,...,2,1,0)(=≤适用性：当前迭代点的目标函数值较前一点的目标函数值是下降的，即满足)()()()1(k k x F x F <+2）间接法该方法可以求解不等式约束优化问题、等式约束优化问题和一般约束优化问题。
利用二次罚函数法解等式约束优化问题
利用二次罚函数法解等式约束优化问题二次罚函数法是一种常见的约束优化算法，在求解等式约束优化问题时具有较好的适用性。
它通过将等式约束引入目标函数构造二次罚函数，并通过逐步逼近的方式求得最优解。
本文将详细介绍二次罚函数法的原理和应用，以及一些常见的改进算法。
一、二次罚函数法的原理二次罚函数法的核心思想是将等式约束引入目标函数中，构造一个包含等式约束的二次罚函数。
通过对这个罚函数进行最小化，可以获得满足等式约束的优化解。
假设目标函数为f(x)，等式约束为g(x)=0，其中x=(x1,x2,...,xn)表示待求最优解的变量。
通过引入拉格朗日乘子法，可以将等式约束转化为目标函数加上一系列封闭约束，得到拉格朗日函数L(x,λ)=f(x)+λg(x)，其中λ为拉格朗日乘子。
接下来，我们可以构造二次罚函数P(x)来表示目标函数与约束函数的关系。
一个典型的二次罚函数形式为P(x)=f(x)+ρg(x)²，其中ρ为罚函数参数，用于控制罚项的大小。
在二次罚函数的基础上，可以应用一些求解优化问题的算法进行求解。
一般来说，可以通过牛顿法、梯度下降法、共轭梯度法等等求解罚函数的极小值点，直到得到满足等式约束的最优解。
二、二次罚函数法的应用二次罚函数法在等式约束优化问题中具有广泛的应用。
以下是一些常见的应用场景：1.最小二乘法问题：在最小二乘法中，我们需要找到一条曲线使其与给定数据点的误差平方和最小。
当问题存在等式约束时，可以使用二次罚函数法求解。
2.非线性优化问题：在非线性优化问题中，目标函数和约束函数都是非线性的。
通过二次罚函数法可以将非线性优化问题转化为二次罚函数的最小化问题。
3.机器学习中的支持向量机：支持向量机是一种主要用于分类问题的机器学习算法。
在支持向量机的优化问题中，存在一系列等式约束。
通过二次罚函数法可以求解这些约束。
4.数学建模中的约束条件问题：在数学建模中，有很多经济、物理、生物等问题需要求解一系列约束条件下的最优解。
不等式约束条件解法
不等式约束条件解法不等式约束条件是指在某些情况下，被优化变量需要满足一定的不等式条件。
在一个经济模型中，某些变量的值必须大于等于零，或者小于等于某个固定值。
这些条件称为不等式约束条件。
在数学建模中，经常会出现这样的问题：求某种函数在给定限制条件下的最优解，通常在限制条件下加入不等式约束，以使问题更加真实和现实。
常见的不等式约束条件求解方法有多种，常用的包括线性规划、非线性规划、梯度投影法和拉格朗日乘数法等。
1. 线性规划线性规划是在一定的约束条件下，求解一个线性目标函数的最优解的数学方法。
线性规划在经济学、工程学、管理学、运筹学等领域都有广泛的应用。
线性规划的约束条件通常是不等式约束，其数学表达形式为:$$\left\{\begin{aligned}&\quad Ax\le b \\&\quad x\ge 0\end{aligned}\right.$$A为系数矩阵，b为常数向量，x为变量向量，这些变量需要满足x>=0。
此处约束条件中的不等式为小于等于号。
线性规划的目标函数通常为：c为系数向量，表示要最大化的线性函数。
线性规划求解的基本思想是将问题转化为一个凸优化问题，然后采用各种求解算法进行求解。
f(x)为优化的目标函数，g(x)和h(x)分别为不等式约束和等式约束的约束函数。
非线性规划求解的基本思想是利用数值方法，对目标函数和约束函数进行求解，以获得最优解。
3. 梯度投影法梯度投影法是一种常用的处理带不等式约束的目标函数问题的方法，该方法通过将优化变量的取值范围限制在一定的合理区间内，以确保优化目标函数的最优解满足约束条件。
梯度投影法的基本思想是先对不带不等式约束的目标函数进行求导，在该点处求得函数的梯度，然后将该点的梯度向量投影到合理条件集合S上，得到一个新的点，然后再进行继续求导，并重复上述过程，最终求得目标函数的最小值。
这个过程类似于梯度下降法，在每个步骤中分别处理约束条件，以确保最后得到的解满足约束条件。
约束优化算法：拉格朗日乘子法
拉格朗日乘子法约束优化问题的标准形式为：min (),..()0,1,2,...,()0,1,2,...,n i j f x x R s tg x i m h x j l∈≤=== ,,:n i j f g h R R →其中约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换为无约束问题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。
1. 罚函数法罚函数法（内点法）的主思想是：在可行域的边界上筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数陡然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“挡”在可行域之内了。
它只适用于不等式约束：min (),..0,1,2,...,n i f x x R s tg i m∈≤=它的可行域为：{|()0,1,2,...,}n i D x R g x i m =∈≤=对上述约束问题，其其可行域的内点可行集0D ≠∅的情况下，引入效用函数：min (,)()()B x r f x rB x =+%、其中11()()m i i B x g x ==-∑%或1()|ln(())|mi i B x g x ==-∑% 算法的具体步骤如下：给定控制误差0ε>，惩罚因子的缩小系数01c <<。
步骤1：令1k =，选定初始点(0)0xD ∈，给定10r >（一般取10）。
步骤2：以()k x 为初始点，求解无约束min (,)()()k B x r f x r B x =+%其中11()()m i i B x g x ==-∑%或1()|ln(())|m i i B x g x ==-∑%，得最优解()()k k x x r = 步骤3：若()()k k r Bx ε<%，则()k x 为其近似最优解，停；否则，令,1k k r cr k k ==+，转步骤2.—2. 拉格朗日乘子法（1）PH 算法：（约数为等式的情况引入） 效用函数为()()min (,,)()()()()k k T T k k M x u f x u h x h x h x σσ=++判断函数为()()k k h x φ=当()()k k x φφε=<时迭代停止。
第五章约束问题的最优化方法
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
第十一章+乘子法
第十一章 乘子法min ()..()0,{1,,}()0,{1,,}n x Ri i f x s t c x i E l c x i I l l m ∈=∈=≤∈=++ （11.0.1）思想：将约束问题（11.0.1）转化为无约束问题来求解。
一、惩罚函数法（一）罚函数法例1：考虑如下的约束问题：2min ()..()10n x Rf x x s t c x x ∈==+≤， （11.1.1）其可行域为(,1]−∞−，最优解为*1x =−。
现考虑通过将（11.1.1）转化为无约束问题来求解（11.1.1），也就是说希望构造相应的无约束问题，使得该无约束问题的解恰好是原约束问题（11.1.1）的解。
从直观上来看，要做到这一点就必须增大在非可行域处的目标函数值，因此我们可构造如下的惩罚函数：2222(),()0(,)()[()],()02,10(1),102f x c x P x f x c x c x x x x x x σσσ≤⎧⎪=⎨+>⎪⎩⎧+≤⎪=⎨+++>⎪⎩其无约束问题min (,)n x RP x σ∈ 的最优解为()2x σσσ=−+，当σ→+∞时，有*()1x x σ→−=，即约束问题的最优解。
罚函数的几何意义：1．常见罚函数的构造：罚函数应大致满足以下条件：在可行域内，等于原约束问题的目标函数 在可行域外，取较大的目标函数值具有连续的偏导数（1）对于不等式约束问题min ()..()0nx Rf x s t c x ∈≤， 其罚函数常定义为22(),()0(,)()[()],()02()(max{0,()})2f x c x P x f x c x c x f x c x σσσ≤⎧⎪=⎨+>⎪⎩=+其中σ充分大.（2）对于等式约束问题min ()..()0nx Rf x s t c x ∈=， 其罚函数常定义为2(,)()(())2P x f x c x σσ=+,其中σ充分大.（3）对于一般约束问题（11.0.1），其罚函数定义为(,)()()2P x f x S x σσ=+其中σ为惩罚因子，()2S x σ为惩罚项， 22()[()][max{0,()}]i i i E i I S x c x c x ∈∈=+∑∑，期望*lim (,)lim[()()]2x P x f x S x σσσσ→∞→∞==+2．罚函数法（1）选择序列k σ→∞，初始点(0)x ，置精度要求ε，令k=1；（2）以(1)k x −为初始点，求解无约束问题 min (,)()()2k k x P x f x S x σσ=+ （11.1.12） 得到最优解()k x ；（3）若()()k k S x σε≤，则停止计算（()k x 作为原约束问题的最优解），否则令k=k+1，转（2）.（二）罚函数法的收敛性质定理11.1.2：设(),()()i f x c x i E I ∈∪具有连续的一阶偏导数，*x 是约束问题（11.0.1）的全局最优解，惩罚因子k σ→∞。
1120 罚函数法 (罚函数法与乘子法合订)
然后把它加到目标函数中去，将约束问题的求解 化为一系列无约束问题的求解（准确地说，是将 这些无约束问题的极小点依次作为迭代点）．
Page 2
辅助函数: F x, f x P x
根据惩罚函数表达式（构造方法的不同），形 成不同的罚函数法。我们重点介绍三种：
2 罚函数的特点
Page 20
min f x x Rn
(2)
s.t. gi x 0 i 1, 2, m
构造： F x, r f x rB x , r 0
其中：B
x
m
i 1
gi
1
x
或
m
B x ln
i 1
这相当于对它进行惩罚，从而阻止迭代点穿越边界，
这样就可以把最优解“挡”在可行域内了．
Page 19
1. 解法：
min f ( x), x Rn s.t. gi ( x) 0, i 1, , m
(1)构造: F x, r f x rB x , r 0为很小的正数
Page 7
解：构造罚函数和辅助函数：
F
x,
x2 1
x22
x1
x2
22
其中 是很大的正数．
令： F F 0
x1 x2
得：
x1
x2
2 2 1
又因该点处
2F x12
2
1,
2F x22
2
1,
2F 2
等式约束优化条件 拉格朗日乘子
等式约束优化条件拉格朗日乘子
等式约束优化是一类优化问题，其中包含了一个或多个等式约束。
对于这类问题，我们可以采用拉格朗日乘子法来求解。
拉格朗日乘子法的基本思想是将等式约束转化为惩罚项，然后将原问题转化为一个无约束的优化问题。
具体地，我们将等式约束表示为：
g(x) = 0
其中，g(x)是一个向量值函数，表示等式约束。
接着，我们引入一个拉格朗日乘子向量λ，将其乘以g(x)，得
到一个惩罚项：
L(x,λ) = f(x) + λT g(x)
其中，f(x)是原始优化问题的目标函数。
将惩罚项代入原始优化问题，得到一个无约束的优化问题：
min L(x,λ) = f(x) + λT g(x)
这个问题可以用标准的优化算法求解。
当λ的取值满足一定条件时，求得的解也是原始优化问题的解。
这个条件称为KKT条件。
总的来说，拉格朗日乘子法是一种强大的工具，可以应用于很多不同的优化问题。
它不仅可以处理等式约束优化，还可以处理不等式约束优化和无约束优化问题。
- 1 -。
利用二次罚函数法解等式约束优化问题
利用二次罚函数法解等式约束优化问题使用二次罚函数法解等式约束优化问题的基本步骤如下：
1.将原问题的约束条件转换成不等式约束的形式，即将等式约束条件转换为两个不等式约束条件，其中一个等式约束条件表示为大于等于（＞=），另一个等式约束条件表示为小于等于（≤）。
2.将原问题的目标函数与不等式约束条件合并，给出等式约束优化问题的惩罚函数表达式。
3.求解惩罚函数的极小值，以找到原问题的最优解。
4.检验最优解是否符合等式约束条件，即检查求解出的最优解是否满足原等式约束条件的精确要求，若满足，则最优解为原问题的最优解，否则，重新调整惩罚函数的惩罚参数，进行第3步操作，直到符合等式约束条件为止。
乘子法
m in st.
f ( x) x ∈Rn C( x) = 0
(1)
(i =1,2,Ll) 二阶连续可微．
启发： 采用外罚函数法． σ 构造： (x, λ,σ ) = L(x, λ) + C(x)T C(x) (5) M 2 * * σ 我们将证明： 适当大时，x 是 M(x, λ ,σ ) 极小点． 在求 x* 的同时， 采用迭代法求出 但 λ* 是未知的，
*
采用： λk+1 = λk −σC(xk )
或： (λk+1) j = (λk ) j −σcj (xk ) j =1,2,L,l
例5： 用乘子法求解：
2 2 m f ( x) = x1 + x2 in
s.t
x1 + x2 − 2 = 0
解：增广Lagrange函数为： σ 2 2 2 M( x, λ,σ ) = x1 + x2 − λ( x1 + x2 − 2) + ( x1 + x2 − 2) 2 令： ∂M = 2x1 − λ +σ( x1 + x2 − 2) = 0
乘子法
问题： 能否找到某个σ , 使 x 恰好是P(x,σ ) 的无约束极小呢？回答是否定的提下， 以某个 在最优解 x* 处梯度为零的函数来取代 f (x) 呢？ ~ 启发： L(x,λ) +σP(x) (增广Lagrange函数) 通过求解增广Lagrange函数的序列无约束问题 来获得原约束问题的解．
等式约束问题的乘子法
其中C( x) = (c1( x), c2 ( x),L cl ( x))T , f ( x) 和 ci ( x) , 设 λ ∈Rl 为Lagrange乘子向量， 则对应Lagrange 函数为： L( x,λ) = f ( x) −λTC( x) 设 x*是 L( x,λ) 的极小点， * 是相应的乘子向量 ． λ * (1)可等价为： m in L(x,λ )
从等式约束的最小化问题说起
从等式约束的最小化问题说起：上面问题的拉格朗日表达式为：也就是前面的最小化问题可以写为：minxmaxyL(x,y) 。
它对应的对偶问题为：maxy minxL(x,y) 。
下面是用来求解此对偶问题的对偶上升迭代方法：这个方法在满足一些比较强的假设下可以证明收敛。
为了弱化对偶上升方法的强假设性，一些研究者在上世纪60年代提出使用扩展拉格朗日表达式（augmented Lagrangian）代替原来的拉格朗日表达式：其中ρ>0。
对应上面的对偶上升方法，得到下面的乘子法（method of multipliers）：注意，乘子法里把第二个式子里的αk改成了扩展拉格朗日表达式中引入的ρ。
这不是一个随意行为，而是有理论依据的。
利用L(x,y)可以导出上面最小化问题对应的原始和对偶可行性条件分别为（∂L∂y=0，∂L∂x=0）：既然xk+1 最小化Lρ(x,yk)，有：上面最后一个等式就是利用了yk+1=yk+ρ(Axk+1−b)。
从上面可知，这种yk+1的取法使得(xk+1,yk+1)满足对偶可行条件∂L∂x=0。
而原始可行条件在迭代过程中逐渐成立。
乘子法弱化了对偶上升法的收敛条件，但由于在x-minimization步引入了二次项而导致无法把x分开进行求解（详见[1])。
而接下来要讲的Alternating Direction Method of Multipliers (ADMM)就是期望结合乘子法的弱条件的收敛性以及对偶上升法的可分解求解性。
ADMM求解以下形式的最小化问题：其对应的扩展拉格朗日表达式为：ADMM包括以下迭代步骤：ADMM其实和乘子法很像，只是乘子法里把x和z放一块求解，而ADMM是分开求解，类似迭代一步的Gauss-Seidel方法。
其中(3.4)中的推导类似于乘子法，只是使用了zk+1最小化Lρ(xk+1,z,yk)：其中用到了z对应的对偶可行性式子：∂L∂z=∇g(z)+BTy=0定义新变量u=1ρy，那么(3.2-3.4)中的迭代可以变为以下形式：在真正求解时通常会使用所谓的over-relaxation方法，也即在z和u中使用下面的表达式代替其中的Axk+1：αkAxk+1−(1−αk)(Bzk−c)，其中αk为relaxation因子。
消除等式约束
消除等式约束
消除等式约束是一种常用的数学方法，它可以帮助我们解决很多问题。
在数学中，等式约束是指一组等式式子，它们需要同时满足才能得到正确的结果。
然而，在实际问题中，我们常常需要消除这些等式约束。
这是因为它们会限制解题的自由度，使得解题变得更加困难。
消除等式约束的方法通常有两种：代入法和消元法。
代入法是指将一个变量的值代入到另一个等式中，从而将它们合并成一个更简单的方程式。
这种方法适用于等式中有恰好一个变量的情况。
消元法则是指通过变量的消去来消除等式约束。
它通常适用于等式中有多个变量的情况。
无论是哪种方法，消除等式约束都是数学问题中的常见步骤。
它可以帮助我们更好地理解解题思路，并提高解题的效率。
- 1 -。
从等式约束的最小化问题说起
从等式约束的最小化问题说起：上面问题的拉格朗日表达式为：也就是前面的最小化问题可以写为：minxmaxyL(x,y) 。
它对应的对偶问题为：maxy minxL(x,y) 。
下面是用来求解此对偶问题的对偶上升迭代方法：这个方法在满足一些比较强的假设下可以证明收敛。
为了弱化对偶上升方法的强假设性，一些研究者在上世纪60年代提出使用扩展拉格朗日表达式（augmented Lagrangian）代替原来的拉格朗日表达式：其中ρ>0。
对应上面的对偶上升方法，得到下面的乘子法（method of multipliers）：注意，乘子法里把第二个式子里的αk改成了扩展拉格朗日表达式中引入的ρ。
这不是一个随意行为，而是有理论依据的。
利用L(x,y)可以导出上面最小化问题对应的原始和对偶可行性条件分别为（∂L∂y=0，∂L∂x=0）：既然xk+1 最小化 Lρ(x,yk)，有：上面最后一个等式就是利用了yk+1=yk+ρ(Axk+1−b)。
从上面可知，这种yk+1的取法使得(xk+1,yk+1)满足对偶可行条件∂L∂x=0。
而原始可行条件在迭代过程中逐渐成立。
乘子法弱化了对偶上升法的收敛条件，但由于在x-minimization步引入了二次项而导致无法把x分开进行求解（详见[1])。
而接下来要讲的Alternating Direction Method of Multipliers (ADMM)就是期望结合乘子法的弱条件的收敛性以及对偶上升法的可分解求解性。
ADMM求解以下形式的最小化问题：其对应的扩展拉格朗日表达式为：ADMM包括以下迭代步骤：ADMM其实和乘子法很像，只是乘子法里把x和z放一块求解，而ADMM是分开求解，类似迭代一步的Gauss-Seidel方法。
其中(3.4)中的推导类似于乘子法，只是使用了zk+1最小化Lρ(xk+1,z,yk)：其中用到了z对应的对偶可行性式子：∂L∂z=∇g(z)+BTy=0定义新变量u=1ρy，那么(3.2-3.4)中的迭代可以变为以下形式：在真正求解时通常会使用所谓的over-relaxation方法，也即在z和u中使用下面的表达式代替其中的Axk+1：αkAxk+1−(1−αk)(Bzk−c)，其中αk为relaxation因子。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
*
则由无约束问题的二阶充分条件知x*是(11.2.3)的严格局部解.
令
( x, ) f ( x) *c( x) c 2 ( x),
* 当 充分大时可使2 ( x , )为正定阵. xx
则由(11.2.18)得到
f ( x k ) k c( x k ) 0
由此知x k是约束问题(11.2.1)的KKT点， k是相应的乘子.
类似于定理11.2.1的证明，知x k为原约束问题的局部解， 算法停止.
终止原则：
c( x k ) ,
其中 是给定精度.
例. 用乘子法求解下列问题
通过罚函数得到无约束问题
(11.2.1)
min P( x, ) f ( x) c 2 ( x). 设x*是(11.2.1)的局部解.
(11.2.2)
P( x, )在x*处的梯度为
x P( x* , ) f ( x* ) 2 c( x* )c( x* ) f ( x* ) ( c( x* ) 0)
引理11.2.1 设W Rnn , a Rn , 若d D {d R n : d 0, a T d 0 } 均有 d TWd 0, 则存在 * , 使当 *时矩阵W aaT 正定.
n 令 K { d R : d 1}, 证 明
只需证明d K , 存在 * 0, 使得当 *时有 d T (W aaT )d 0.
令 K {d : d K 且 d TWd 0 }, 若K , 则d K , 均有d TWd 0,
于是取 * 0, 则当 *时有
d (W aa )d d Wd a d
T T T T 2
d TWd 0
若K ,
(1)当d K \ K时：
是正定阵，
于是知x*是无约束问题(11.2.10)的严格局部解.
反之，若xk是 ( x, k )的极小点，且c( xk ) 0,
则存在 0, 使当 x x k 时有
( x, k ) ( x k , k )
f ( xk ) *c( x k ) k c2 ( xk )
此时 d TWd 0, 于是取 * 0, 则当 *时有
d (W aa )d d Wd a d
T T T T 2
d TWd 0
(2)当d K且d K时：
由于K是有界闭集，
所以连续函数d TWd和(aT d )2 在K上取到极小值.
不妨令(d 1 )T Wd 1和(aT d 2 )2 分别是函数d TWd 和(aT d )2 在K上 的极小值.
2 2 min 2 x1 x2 2 x1 x2
s.t . c( x ) x1 x2 1 0.
解.
增广Lagrangian函数为
2 2 ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
一般情况下f ( x* ) 0, 从而 x P( x* , ) 0, 所以x*不是无约束问题(11.2.2)的局部最优解.
?
的最优解？
是否存在函数 ( x, ), 使得x*是无约束问题
min ( x, )
(11.2.3)
若存在，则可试图通过求解问题（11.2.3）来得到原约束 问题的解.
考虑相应的无约束问题
(11.2.12) (11.2.13)
min ( x, , ) f ( x) c( x) c 2 ( x ),
令其最优解为x x( , ). 则由定理11.2.1知：只要 足够大
( * 即可，不需要趋于+),
则有
(11.2.14)
§11.2
外罚函数法的不足：
等式约束问题的乘子法
(1) 迭代点x k不是原约束问题( P )的可行点;
(2) 当罚参数 k 趋于无穷大时罚函数P ( x, k )的Hessian阵是 病态矩阵.
对(2)的改进：使用乘子法.
一. 改进(外)罚函数的设想
先考虑只带一个等式约束的优化问题
min f ( x ) s.t. c( x ) 0.
二. 乘子法的基本思想
事实上，我们是无法通过求解无约束问题(11.2.10)来得到 原约束问题(11.2.1)的解的!
(为什么？ )
因为在未求出x*之前 *是未知的!
改进：用参数 代替 * .
定义增广Lagrangian函数如下
( x, , ) f ( x) c( x) c 2 ( x),
(11.2.18)
lim x( , ) x * .
x k x* , f ( x k ) f ( x* ), c( x k ) c( x* )
f ( x* ) [ k 2 k c( xk )]c( x* ) 0
而由约束问题(11.2.1)的KKT 条件有
在 *未知前提下如何 调整参数 ?
乘子迭代公式：
分析： 在给定 k , k 后，求解无约束问题
min ( x, k , k ) f ( x) k c( x) k c 2 ( x), (11.2.17)
设其最优解为x k .
则由一阶必要条件
x ( x k , k ,c( x* ) 0
比较(*)和(**)两式，即有
* k 2 k c( xk )
于是得到乘子迭代公式
k 1 k 2 k c( xk )
终止准则：
若x k是无约束问题(11.2.17)的局部解，且满足c( x k ) 0,
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
(11.2.18)
即 f ( xk ) k c( xk ) 2 k c( xk )c( xk ) 0
当 k充分大时，由(11.2.16)知
代入(11.2.18), 得
c ( x* ) 0
f ( x* ) *c( x* )
0
KKT 条件
* 2 * * 2 * * * T * 2 * 2 ( x , ) f ( x ) c ( x ) c ( x ) c ( x ) c ( x ) c ( x ) xx
T T T T
2
(d 1 )T Wd 1 (aT d 2 )2
0
定理11.2.1
设x* , *满足约束问题(11.2.1)的二阶充分条件，则存在 * 0, 使当 *时x*是无约束问题
min ( x, ) f ( x) *c( x) c 2 ( x)
一般地，在第k次迭代取乘子 k , 则 ( x, k ,1)的极小点满足
( x, k ,1) 6 x1 k 2 0 x1 ( x, k ,1) 4 x2 k 2 0 x2 1 1 k 解得 x1 (2 ), x2 (2 k ). 6 4 而由乘子迭代公式 k 1 k 2 k c( xk )
lim* x( , ) x* .
小结 :
虽然不能通过求解一个无约束问题来得到原约束问题的 最优解，但可以保证只要 大到一定程度后，调整参数 使之趋于 * , 就能得到原约束问题的最优解.
乘子法的基本思想
另一方面，对于任意的实数 , 函数 ( x, , )是约束问题
令k , 得
*
2 2 3 * 所以原问题的最优解为 x , , 最优乘子 . 5 5 5
*
T
二.一般等式约束问题的乘子法
考虑如下一般等式约束问题
min f ( x ) s.t. ci ( x ) 0, i E {1, , l }.
(11.2.22)
于是得到无约束优化问题
2 2 min ( x, , ) 2 x1 x2 2 x1 x2 ( x1 x2 1) ( x1 x2 1)2
取罚参数 1, 乘子的初值 1 1.
则由最优性条件有
解得
( x,1,1) 6 x1 1 0 x1 ( x,1,1) 4 x2 1 0 x2 1 1 x1 , x2 . 6 4
c ( x* ) 0
2 f ( x* ) * 2c( x* ) c( x* )c( x* )T
* * * * T 2 L ( x , ) c ( x ) c ( x ) xx a W * * 则由引理11.2.1知：存在 0, 使当 *时Hesse阵 2 ( x , ) xx
有
k k 1 k 2 x1k x2 1 (*) 1 1 k 1 1 k k 2 1 2 4 3 6 1 k 1 6 3
(*)
1 * 1 6 3 2 * 即 . 5 1 2 k 于是 x1 (2 ) , 6 5 1 3 k x2 (2 ) . 4 5
f ( xk )
现取x为约束问题(11.2.1)的可行点，即c( x ) 0,
(11.2.11)
则
( x, k ) f ( x) *c( x) k c2 ( x) f ( x )
代入(11.2.11),即得 所以x k是约束问题(11.2.1)的局部解.
f ( x) f ( xk )
定义增广Lagrangian函数如下
( x, , ) f ( x ) i ci ( x ) ci2 ( x )