乘子法
乘子法
2012-2013（1）专业课程实践论文乘子法葛禹泽，0818180109，R数学08-1班李元东，0818180107，R数学08-1班王岳，0818180108，R数学08-1班一、算法理论乘子法是Powell 和Hestenes 于1969年针对等式约束优化问题同时独立提出的一种优化算法,后于1973年经Rockfellar 推广到求解不等式约束优化问题。
其基本思想是从原问题的拉格朗日函数出发,再加上适当的罚函数,从而将原问题转化为求解一系列的无约束优化子问题。
由于外罚函数法中的罚参数+∞→k σ ,因此增广目标函数变得“越来越病态”。
增广目标函数的这种病态性质是外罚函数法的主要缺点, 而这种缺陷在乘子法中由于引入拉格朗日函数及加上适当的罚函数而得以有效的克服。
我们考虑同时带有等式和不等式约束的优化问题的乘子法:()()(),,,1,0,,,1,0..,min m i x g l i x h t s x f i i =≥==其基本思想是把解等式约束优化问题的乘子法推广到不等式约束优化问题,即先引进辅助变量把不等式约束化为等式约束,然后再利用最优性条件消去辅助变量。
为叙述的方便计,我们先考虑如下只带有不等式约束的最优化问题()(),,,1,0..,min m i x g t s x f i =≥引进辅助变量(),,,1m i y i =，可以将上面的优化问题化为等价的等式约束优化问题：()(),,,1,0..,min 2m i y x g t s x f i i ==-利用外发函数法求解，此时增广拉格朗日函数为()()()[]()[]212212,,,~∑∑==-+--=mi iiiimi i y x g y x g x f y x σλσλψ 为了消去辅助变量y ，可考虑ψ~关于变量y 的极小化，由一阶必要条件，令()0,,,~=∇σλψy x y 可得()[],,,1,0222m i y x g y y i i i i i ==--σλ即()()[],,,1,02m i x g y y i i i i ==--λσσ故当()0>-i i x g λσ时，有()[]()i i i i i x g x g y λσλσσ112-=-=否则，由()[]02≥-+x g y i i i σλσ可推得0y i =。
罚函数之乘子法
罚函数之乘⼦法外罚函数主要⽤于对于等式约束问题的求解，内点法主要是对于不等式问题的求解，⼀般问题中包含等式约束以及不等式约束，故需要使⽤乘⼦法解决问题。
1、乘⼦法概述（1）等式约束乘⼦法描述：min f(x)s.t. g i(x) =0⼴义乘⼦法是拉格朗⽇乘⼦法与罚函数法的结合，构造增⼴函数：φ (x,λ,σ)=f(x)+λT g(x)+1/2σg T(x)g(x)在罚函数的基础上增加了乘⼦项，⾸先在σ⾜够⼤的基础上，获得ϕ的极⼩值，然后在调整λ获得原问题的最优解。
（2）包含等式约束以及不等式约束问题描述：min f(x)s.t. h i(x) =0,i=1,...,lg i(x)≥0,i=1,...m其基本思想是：先引进辅助变量把不等式约束化为等式约束，然后利⽤最优性条件消去辅助变量，主要是通过构造增⼴拉格朗⽇函数，进⾏外迭代与内迭代综合，带⼊乘⼦迭代公式，进⽽得出得出，故针对上述⼀般问题构造拉格朗⽇函数为：4、其代码实现为function [x,mu,lambda,output]=multphr(fun,hf,gf,dfun,dhf,dgf,x0)%功能：⽤乘⼦法解⼀般约束问题：min f(x),s.t. h(x)=0.g(x)>=0%输⼊：x0是初始点，fun，dfun分别是⽬标函数及其梯度；%hf，dhf分别是等式约束（向量）函数及其jacobi矩阵的转置；%gf，dgf分别是不等式约束（向量）函数及其jacobi矩阵的转置；%输出：x是近似最优点，mu，lambda分别是相应于等式约束和不等式% 等式约束的乘⼦向量；output是结构变量，输出近似极⼩值f，迭代次数，内迭代次数等%%%%%%c初始化相关参数%%%%%%%%%%%maxk=500; %最⼤迭代次数sigma=2.0; %罚因⼦eta=2.0; theta=0.8; %PHR算法中的实参数k=0; ink=0; %k,ink分别是外迭代和内迭代次数epsilon=1e-5;%终⽌误差值x=x0;he=feval(hf,x);gi=feval(gf,x);%he=feval(hf,x)=hf(x)n=length(x);l=length(he);m=length(gi);%选取乘⼦向量的初始值mu=0.1*ones(1,1);lambda=0.1*ones(m,1);%ones为⽣成m*n的全1矩阵btak=10; btaold=10; %⽤来检验终⽌条件的两个值while (btak>epsilon & k<maxk)%%%%%%c先求解⽆约束问题%%%%%%%%%%%%调⽤BFGS算法程序求解⽆约束⼦问题[x,v,ik]=bfgs('mpsi','dmpsi',x0,fun,hf,gf,dfun,dhf,dgf,mu,lambda,sigma);%%其中x为最优点，val为最优值，ik为迭代次数 ink=ink+ik;he=feval(hf,x);gi=feval(gf,x);%%%%%%%%%%计算btak%%%%%%%%%%%btak=0.0;for(i=1:l),btak=btak+he(i)^2; endfor(i=1:m)temp=min(gi(i),lambda(i)/sigma);btak=btak+temp^2;endbtak=sqrt(btak);if btak>epsilon%%%%%%%%%%%更新罚参数%%%%%%%%%%%if(k>=2 & btak>theta*btaold)sigma=eta*sigma;end%%%%%%%%%%%更新乘⼦向量%%%%%%%%%%%%for(i=1:l),mu(i)=mu(i)-sigma*he(i);endfor(i=1:m)%lambda(i)=max(0.0,lambda(i)-sigma*gi(i));lambda(i)=max(0.0,lambda(i)-gi(i));endend%%%%%%%%%%%迭代%%%%%%%%%%%%k=k+1;btaold=btak;x0=x;endf=feval(fun,x);output.fval=f;output.iter=k;output.inner_iter=ink;output.bta=btak;BFGS算法部分：function [x,val,k]=bfgs(fun,gfun,x0,varargin)%功能：⽤BFGS算法求解⽆约束问题：minf（x）%输⼊：x0是初始点，fun，gfun分别是⽬标函数及其梯度%varargin是输⼊的可变参数变量，简单调⽤bfgs时可以忽略，其他程序调⽤则尤为重要%输出：x为最优点，val为最优值，k时迭代次数maxk=500;%给出最⼤迭代次数rho=0.55;sigma=0.4;epsilon=1e-5;k=0;n=length(x0);Bk=eye(n);%Bk=feval('Hess',x0)while(k<maxk)gk=feval(gfun,x0,varargin{:});%计算梯度if(norm(gk)<epsilon),break;end%检验终⽌准则dk=-Bk\gk;%解⽅程组，计算搜索⽅向m=0;mk=0;while(m<20)%搜索求步长newf=feval(fun,x0+rho^m*dk,varargin{:});oldf=feval(fun,x0,varargin{:});if(newf<oldf+sigma*rho^m*gk'*dk)mk=m;break;endm=m+1;end%bfgs校正x=x0+rho^mk*dk;sk=x-x0;yk=feval(gfun,x,varargin{:})-gk;if(yk'*sk>0)Bk=Bk-(Bk*sk*sk'*Bk)/(sk'*Bk*sk)+(yk*yk')/(yk'*sk);endk=k+1;x0=x;endval=feval(fun,x0,varargin{:});主函数部分为：%⽬标函数⽂件function f=f1(x)f=(x(1)-2.0)^2+(x(2)-1.0)^2;%等式约束条件function he=h1(x)he=x(1)-2.0*x(2)+1.0;%不等式约束条件function gi=g1(x)gi=-0.25*x(1)^2-x(2)^2+1;%⽬标函数的梯度⽂件function g=df1(x)g=[2.0*(x(1)-2.0),2.0*(x(2)-1.0)]';%等式函数的Jacobi（转置）矩阵⽂件function dhe=dh1(x)dhe=[1.0,-2.0]';%不等式约束函数的Jacobi矩阵（转置矩阵）function dgi=dg1(x)dgi=[-0.5*x(1),-2.0*x(2)]';命令⾏指令为：x0=[3,3]'[x,mu,lambda,output]=multphr('f1','h1','g1','df1','dh1','dg1',x0)输出结果如下：。
拉格朗日乘子法等式约束
拉格朗日乘子法等式约束拉格朗日乘子法是一种用于求解等式约束问题的优化方法。
它的基本思想是通过引入拉格朗日乘子，将等式约束问题转化为无约束的优化问题，从而找到约束条件下的最优解。
使用拉格朗日乘子法求解等式约束问题的步骤如下：首先，将原始问题转化为带等式约束的优化问题。
设目标函数为f(x)，约束条件为h(x)=0，其中x为待求解的向量。
我们的目标是找到满足约束条件的x，使得f(x)达到最小或最大。
然后，构造拉格朗日函数L(x,λ)，其中λ为拉格朗日乘子。
拉格朗日函数的定义为L(x,λ)=f(x)+λ⋅h(x)。
通过引入拉格朗日乘子，我们将原始问题中的等式约束转化为了拉格朗日函数的约束条件。
接下来，求解拉格朗日函数的极值。
我们将拉格朗日函数对x和λ分别求偏导，并令其为零，得到一组方程组。
通过求解这组方程组，可以得到x和λ的值。
最后，检验解的有效性。
将求解得到的x代入原始问题的约束条件中，检验是否满足等式约束。
如果满足，则求解得到的x为原始问题的最优解；如果不满足，则需要重新进行求解。
总的来说，拉格朗日乘子法是一种有效的求解等式约束问题的方法。
通过引入拉格朗日乘子，我们可以将等式约束转化为无约束的优化问题，从而找到最优解。
在实际应用中，拉格朗日乘子法被广泛应用于经济学、物理学、工程学等领域，为解决复杂的等式约束问题提供了有力的工具。
通过使用拉格朗日乘子法，我们可以灵活地处理等式约束问题，并求解出最优解。
它的应用范围非常广泛，可以用于解决各种工程、经济和物理等领域的优化问题。
在实际应用中，我们需要结合具体问题，合理选择合适的目标函数和约束条件，才能得到准确的结果。
在使用拉格朗日乘子法求解等式约束问题时，我们需要注意以下几点：首先，需要确保目标函数和约束条件是可微的；其次，需要求解得到的解是否为局部最优解还是全局最优解；最后，需要对求解结果进行验证，确保满足等式约束。
综上所述，拉格朗日乘子法是一种求解等式约束问题的优化方法。
拉格朗日乘子法 与拉格朗日方程
拉格朗日乘子法与拉格朗日方程拉格朗日乘子法与拉格朗日方程是应用数学中的两个重要概念，它们在优化问题和动力学中扮演着重要角色。
在本文中，我将深入探讨这两个概念的内涵和应用，帮助你更好地理解它们的意义和作用。
1. 拉格朗日乘子法的基本原理拉格朗日乘子法是一种数学工具，用于求解有等式约束的极值问题。
举例来说，当我们需要求一个函数在一些限制条件下的最大值或最小值时，拉格朗日乘子法可以帮助我们有效地解决这一问题。
具体来说，对于一个约束优化问题：\[ \max_{x} f(x) \]\[ s.t. g(x) = c \]其中，f(x)是我们需要优化的目标函数，g(x) = c表示约束条件。
使用拉格朗日乘子法，我们可以构建拉格朗日函数：\[ L(x, \lambda) = f(x) + \lambda(g(x) - c) \]其中，\(\lambda\)就是所谓的拉格朗日乘子。
通过对拉格朗日函数求偏导数，并令偏导数等于零，我们可以得到关于x和\(\lambda\)的方程，进而求解出最优解。
2. 拉格朗日方程的应用拉格朗日方程是描述一个动力学系统的经典物理学方程。
它可以从作用量原理出发推导得到，是描述系统运动方程的一种极其优美的形式。
具体而言，对于一个由广义坐标q和广义速度\(\dot{q}\)描述的动力学系统，它的拉格朗日函数可以表示为：\[ L(q, \dot{q}, t) = T - V \]其中，T代表系统的动能，V代表系统的势能。
根据欧拉-拉格朗日方程，我们可以得到系统的运动方程：\[ \frac{d}{dt}\left(\frac{\partial L}{\partial \dot{q}}\right) -\frac{\partial L}{\partial q} = 0 \]3. 个人观点和理解拉格朗日乘子法和拉格朗日方程都是非常有用的数学工具，它们在实际问题中的应用非常广泛。
在工程优化、经济学建模、物理学等领域，这两个工具都扮演着重要的角色。
最优化乘子法
最优化乘子法最优化乘子法是一种数学方法，用于求解约束条件下的优化问题。
它通过引入拉格朗日乘子，将约束条件融入目标函数，从而将原问题转化为无约束优化问题。
最优化乘子法的基本思想是，在原问题的基础上引入一个新的变量——拉格朗日乘子，它表示约束条件的权重。
通过构造拉格朗日函数，将原问题转化为在无约束条件下求解的问题。
这样，通过对拉格朗日函数求偏导数，可以得到原问题的最优解。
在应用最优化乘子法求解优化问题时，需要满足一些条件。
首先，原问题需要有明确的目标函数和约束条件。
其次，目标函数和约束条件必须是可微的。
最后，拉格朗日乘子需要满足一定的条件，以保证最优解的存在性和唯一性。
最优化乘子法在实际问题中有着广泛的应用。
例如，在经济学中，最优化乘子法可以用于求解生产最优方案，以最大化利润或最小化成本。
在工程学中，最优化乘子法可以用于求解最优控制问题，以实现系统的最佳性能。
在物理学中，最优化乘子法可以用于求解约束下的最优路径，以达到最小时间或最小能量消耗。
最优化乘子法的优点在于其简洁而直观的原理，以及对各种类型问题的适用性。
通过引入拉格朗日乘子，可以将约束条件与目标函数结合起来，从而将原问题转化为无约束优化问题。
此外，最优化乘子法还可以通过求解拉格朗日函数的极值问题，得到原问题的最优解。
然而，最优化乘子法也存在一些局限性。
首先，对于复杂的问题，求解过程可能比较繁琐，需要进行大量的计算和优化。
其次，最优化乘子法在求解非线性问题时，可能会遇到局部极值点的问题，导致结果不够准确。
此外，最优化乘子法对问题的可微性要求较高，不适用于非光滑的问题。
总的来说，最优化乘子法是一种重要的优化方法，可以用于求解约束条件下的优化问题。
它通过引入拉格朗日乘子，将约束条件融入目标函数，从而将原问题转化为无约束优化问题。
最优化乘子法在实际问题中有着广泛的应用，但也存在一些局限性。
因此，在具体应用时，需要根据问题的特点和要求，选择合适的优化方法。
不等式约束拉格朗日乘子法
不等式约束拉格朗日乘子法摘要：一、拉格朗日乘子法简介1.拉格朗日乘子法的定义2.拉格朗日乘子法的基本思想二、不等式约束问题与拉格朗日乘子法1.不等式约束问题的定义2.拉格朗日乘子法解决不等式约束问题的基本步骤三、拉格朗日乘子法的性质与特点1.拉格朗日乘子法的优点2.拉格朗日乘子法的缺点四、应用案例1.应用背景2.应用过程3.应用结果正文：一、拉格朗日乘子法简介拉格朗日乘子法是一种求解条件最优化问题的方法，由法国数学家拉格朗日于18 世纪提出。
该方法的基本思想是在原目标函数的基础上，引入一组拉格朗日乘子，构成一个新的函数，通过求解新函数的最小值，得到原问题的最优解。
拉格朗日乘子法适用于一类具有约束条件的优化问题，即需要在满足一定约束条件下，使目标函数达到最小值或最大值。
这类问题在实际生活中非常常见，如在经济学、工程设计、物理等领域都有广泛应用。
二、不等式约束问题与拉格朗日乘子法不等式约束问题是一类具有广泛应用的优化问题，其一般形式可以表示为：在满足一定约束条件g(x)≤0 的情况下，寻找使目标函数f(x) 最小化的x 值。
拉格朗日乘子法解决不等式约束问题的基本步骤如下：1.构建拉格朗日函数：在原目标函数的基础上，引入一组拉格朗日乘子λ，构成一个新的函数L(x,λ)，其中x 为决策变量，λ为拉格朗日乘子。
2.求解拉格朗日函数的极小值：求解拉格朗日函数L(x,λ) 关于x 和λ的偏导数，并令其为0，得到一组方程组。
通过求解这组方程组，可以得到拉格朗日函数的极小值点。
3.判断极小值点是否为原问题的最优解：将求得的极小值点代入原目标函数和约束条件，判断是否满足约束条件。
如果满足，则该点为原问题的最优解；否则，继续调整拉格朗日乘子λ，重复上述过程，直到找到满足约束条件的最优解。
三、拉格朗日乘子法的性质与特点拉格朗日乘子法具有以下性质和特点：1.优点：拉格朗日乘子法能够处理一类具有广泛应用的不等式约束问题，通过引入拉格朗日乘子，将原问题转化为求解一个新函数的极小值问题，从而得到原问题的最优解。
拉格朗日乘子法：约束优化的工具
拉格朗日乘子法是一种用于解决约束优化问题的工具。
它被广泛应用于数学、经济学、物理学等领域，能够有效地求解约束条件下的极值问题。
本文将介绍拉格朗日乘子法的基本原理和应用，并举例说明其在实际问题中的运用。
拉格朗日乘子法是由法国数学家拉格朗日于18世纪提出的。
它基于拉格朗日乘子的概念，通过引入一个辅助变量，将约束条件融入到目标函数中，从而将原有的约束优化问题转化为不带约束的问题。
具体来说，我们假设有一个优化问题，需要在一组约束条件下求解目标函数的最大或最小值。
利用拉格朗日乘子法，我们可以构建一个拉格朗日函数，其中包含目标函数、约束条件和拉格朗日乘子。
然后，通过对拉格朗日函数求偏导数，并令其等于零，就可以得到一组方程，从而找到最优解。
为了更好地理解拉格朗日乘子法的原理，我们来看一个简单的例子。
假设一个矩形的面积为固定值S，我们需要求解满足这个约束条件下，矩形的周长最小值。
我们可以将矩形的长设为x，宽设为y，那么我们的目标函数可以表示为P = 2x + 2y，约束条件可以表示为S = xy。
根据拉格朗日乘子法，我们可以构建拉格朗日函数L = 2x + 2y - λ(xy - S)，其中λ是拉格朗日乘子。
然后，我们对L分别对x、y和λ求偏导数，并令其等于零，得到以下方程组：1.∂L/∂x = 2 - λy = 02.∂L/∂y = 2 - λx = 03.∂L/∂λ = xy - S = 0通过求解这个方程组，我们可以得到最优解的x和y的值。
从而我们可以求得矩形的最小周长。
这个示例说明了拉格朗日乘子法的基本原理和应用。
实际上，拉格朗日乘子法不仅可以用于求解最小值问题，也可以用于求解最大值问题。
它的应用非常广泛，例如在经济学中，我们常常需要求解一个有约束条件的最优化问题，例如消费者最大化效用的问题。
通过引入拉格朗日乘子，我们可以将约束条件融入到目标函数中，从而求解最优解。
在物理学中，拉格朗日乘子法也被应用于求解约束体系的Lagrange方程，用于描述多体系统的运动。
第三章 (3) 乘子法
外点罚函数法
l
min F (x, k ) f (x) k
h
2 j
(
x)
j 1
若x* 是等式约束优化问题的局部最优解，则 h(x*) 0, j 1,..,l
l
xF ( x*, k ) f ( x*) 2 k hj ( x*)hj ( x*) f (x*)
x1
x2
2
c 2
x1
x2
22
下面用解析法求无约束优化的驻点，令：
x1
2 x1
vk
c x1
x2
2
0
x2
2 x2
vk
c x1
x2
2
0
得：
x1
x2
2c vk 2c 2
,
xk
2c vk 2c 2
, 2c vk 2c 2
一
乘 子二 法
三
Hestenes法 Powell法
Rockafellar法
一、Hestenes法
考虑等式约束问题
min f x xRn
s.t. hi x 0,i E 1, ,l.
Hestenes乘子法
(x,v)
f (x)
l
vjhj (x)
Rockafellar乘子法
Rockafellar在1973年将乘子法推广到不等式约束优化问 题，其思想是引入松弛变量，将不等式约束转化为等式 约束。
min f x xRn
gi x zi2 0,i I 1, ,l.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
min T ( x , M k0 ) n
xE
的最优解x k0 x ( M k ) R, 那么x ( M k0 )是问题 min f ( x ) (V) gi ( x ) 0, i 1, 2, , m 的最优解。并且对于任意的M >M k0 , 无约束问题 min T ( x, M ) n
收敛定理
定理3：设(1) f ( x ), gi ( x )连续； (2) M k 严格递增，且趋于无穷大； (3)M k 0, min T ( x, M k )有最优解
xEn
x k , 且有界； min f ( x ) (4)问题 有最优解xmin , gi ( x ) 0 则
f ( x( M )) M min 0, gi ( x (M )) T x( M ), M ,
收敛定理
另一方面，x ( M )是 min T ( x, M )的最优解， n
xE
所以 T x ( M ), M T x k0 , M ＝f x k0 . 矛盾。 所以，x ( M ) R成立。
收敛定理
(1) a). k0 , 使得x k0 R，那么x k0 是原问题的最优解；
b).
(2)
(3)
x 无穷，任意极限点是原问题的最优解。
k
k k k
f ( x )递增，且 lim f ( x T ( x , M )严格递增且
k k k
) f min；
lim T ( x k , M k ) f min ；
min 0，g ( x )
i 1 i
m
2
lim min 0 ， g ( x ) i ki
ki
2
. 记Pki min 0 ， g ( x ) i 1 ki ki 显然， 0 Pki T ( x , M ) f ( x ) k i M ki
f ( x ki ) T ( x ki , M ki ) T ( xmin , M ki ) f min
收敛定理
因为f ( x)连续，取极限，得 f ( x ) f min
只要证明极限点是可行解即可。
也即，证明 min0，g i ( x ) 0
2 i 1 m
收敛定理
可化为无约束问题 min T ( x, M ) n
xE m
,m
其中T ( x, M ) f ( x ) M ( hi ( x )) ，
2 i 1
M 是充分大的正数。
问题由来
3。不等式情形
设规划为 min f ( x ) gi ( x ) 0, i 1, 2, 构造函数 ,m ,m
第11章 乘子法
第一节、罚函数方法(外点法)
一、问题 对于无约束问题,可以用最速下降法进行迭 代,由收敛准则来判断是否最优解. 目的:有约束的问题能否转化成无约束问题 进行求解.
问题由来
1。单个的等式约束规划 min f ( x ) 考虑问题( I ) h1 ( x ) 0
以及无约束问题( II ) min T ( x, M ) n
项M min0, g i ( x) 称为罚项
2 i 1 m
经济解释：
问题由来
目标函数视作“价格”，约束条件视作“规定”， 那么规划问题就可以理解为：一定的约束规定 下进行采购，确定一种采购方法，使得总价格 （费用）最小。 给定任意一个解（采购方法），如果不满足约束 条件，就处以一定的罚款，如果符合规定，罚 款为0。这样，为使成本最小，必须在约束条 件下进行采购，即求符合约束条件下的解。
ki
2
1 ki T ( x , M ) f ( x ) min ki M ki 因为 lim f ( x ki ) f ( x )
ki
所以可取 1, k 0,当ki k 时，有 f ( x ki ) f ( x ) 1
收敛定理
1 ki 于是， T ( x , M ) f ( x ) min k i M ki 1 f min f ( x ) 1 M ki
xE
其中T ( x, M ) f ( x ) M ( h1 ( x )) 2 ， M 是充分大的正数。
记R x h1 ( x) 0
问题由来
定理1：若对于某M 1 0, 无约束极值问题( II ) 的最优解x ( M 1 ) R, 那么x ( M 1 )一定是问题 ( I )的最优解。
所以T ( x k , M k )严格单调递增。
又因为T ( x k , M k ) f min , 有上界。故有极限。 又 f ( x k ) T ( x k , M k ) f min 所以极限为f min
收敛定理
4.因为f k 1 M k＋1 Pk 1 f k M k＋1 Pk f k 1 M k 1 Pk 所以Pk 1 Pk ,即单调递减。又因为 Pk 0, 所以有极限。
则取M k＋1 M k , 置s : s 1, 转2。否则，停止迭代，
例子：
罚函数算例
例1：求如下规划的最优解 min x x 0 x E 1
解：首先构造罚函数： T ( x, M k ) x M k min 0, x
2
从外部逼近：
2
罚函数算例
1 使x M k x 最小，得x 2M k
取极限M k +，得 x＝0， 即最优解为x 0.
罚函数算例
例2：用罚函数法求非线性规划 min x1 x2 2 ( x ) x2 0 1 x 0 1 的最优解。
解：首先构造罚函数： T ( x, M k ) x1 x2 Mk min 0, ( x ) x min 0, x 1 2 1
xE
的最优解x ( M )也是问题（V）的最优解。
收敛定理
证明：第二个结论。用反证法。 设M >M k0 , 但是x( M ) R,
f x k0 =T x k0 , M k0 T x(M ), M k0
2
2
f ( x(M )) M k0 min 0, gi (x (M ))
惩罚值的大小多少合适？事先未知，采
取逐渐增大的方式。 逐渐增大，进行迭代，直至得到符合约束 条件的解。
终止准则
x ( M k ) R, 即 gi ( x ( M k )) 0,
若 即存在i,使得
x ( M k ) R, gi ( x ( M k )) 0,
因此，给定误差范围 gi ( x( M k )) 即可。也即： -gi ( x( M k ))
hi ( x ) min 0, gi ( x ) 0，i 1, 2,
问题由来
那么规划可以转化为 min T ( x, M ) n
xE m
其中T ( x, M ) f ( x ) M min 0, gi ( x )
i 1
2
问题由来
这种处理问题的方式称为罚函数法 构造的无约束问题的目标函数T(x,M)称为 罚函数 M称为罚因子
2 2
2
从外部逼近：
罚函数算例
分别对变量求偏导，等于0，求解，得 1 x1 2 2 M k 2 x 1 1 2 2 2 M 2M k k
取极限M k +，得 x1＝x2 0
二、收敛定理：
收定理
定理2：设f ( x ), gi ( x )为实值函数。若对于某M k0 0, 无约束极值问题
k k lim Pk lim T ( x , M ) f ( x ) k k k
lim T ( x k , M k ) lim f (x k ) 0
k k
M k 1 M k f k f k 1 0 于是得f k f k 1，即 f k 单调递增。
有上界，故极限存在。 由函数连续性，可得极 限为f min
第1式乘以M k 1加上第2式乘以M k，化简得
收敛定理
3.T ( x k , M k ) T ( x k 1 , M k ) f k 1 M k Pk 1 f k 1 M k 1 Pk 1 T ( x k 1 , M k 1 )
(4) 惩罚项趋于0。
收敛定理 说明：1a说明有限项得到的解是可行解，那 么得原问题的最优解 1b说明如果无穷，那么取极限，极限点是最 优解 4说明逐渐增大罚因子，那么无约束问题的最 优解逐渐接近于原问题的最优解。 （即罚函数法算法的理论基础）
极限的证明可以使用迫敛定理
证明：1a显然。 1b.设x 为序列 x ki 的一个极限点，则有
令M ki ，得Pki 0 得证。
收敛定理
2.记f k f ( x k ),
显然，f k M k Pk T ( x k 1 , M k ) f k 1 M k Pk 1
又 f k 1 M k 1 Pk 1 T ( x k , M k 1 ) f k M k 1 Pk
反证即可。
问题由来
该定理说明有约束的问题可以转化成无约 束问题进行求解，并且如果最优解包含 在可行域R内，那么就得到了原问题的最 优解。 如何使最优解一定属于可行域R呢？只要 限制正数M的选取就可以了。
一个约束可以推广到m个约束的情形。
问题由来
2。多个的等式约束规划 min f ( x ) 考虑问题( I ) hi ( x ) 0, i 1, 2,