惩罚函数的乘子法
罚函数罚与乘子法（1）2
罚函数法罚函数法是能够处理一般的约束优化问题：min ()()0,1,2,()0,1,2,,i if x h x i kg x j m ⎧⎪==⎨⎪≥=⎩ 的一类方法。
其基本思想是将约束优化问题卑微无约束问题来求解。
罚函数是由目标函数和约束函数的某种组合得到的函数，对于等式约束的优化问题min ()()0,1,2,i f x h x i k⎧⎨==⎩ ，可以定义如下的罚函数： 21()()()ki i F x f x c h x ==+∑将约束优化问题转化为无约束优化问题；对于不等式约束的优化问题min ()()0,1,2,,i f x g x j m⎧⎨≥=⎩ 可以定义如下的罚函数：11()()()mj j F x f x C g x ==+∑对于同时存在等式约束和不等式约束的优化问题，可以去上面两个罚函数的组合。
当然罚函数还有其他的取法，但是构造罚函数的思想都是一样的，即使得在可行点罚函数等于原来的目标函数值，在不可行点罚函数等于一个很大的数。
外点罚函数法 1.算法原理外点罚函数法是通过一系列罚因子{}i c ，求罚函数的极小值来逼近原约束问题的最有点。
之所以称为外点罚函数法，是因为它是从可行域外部向约束边界逐步靠拢的。
2，。
算法步骤用外点罚函数法求解线性约束问题min ()f x Ax b ⎧⎨=⎩的算法过程如下：1，给定初始点(0)x ，罚参数列{}i c 及精度0ε>，置1k =； 2，构造罚函数2()()F x f x c Ax b =+-；3，用某种无约束非线性规划，以(1)k x -为初始点求解min ()F x ；4，设最优解为()k x ，若()k x 满足某种终止条件，则停止迭代输出()k x ，否则令1k k =+，转2；罚参数列{}i c 的选法：通常先选定一个初始常数1c 和一个比例系数2ρ≥，则其余的可表示为11i i c c ρ-=。
终止条件可采用()S x ε≤，其中2()S x c Ax b =-。
第二节 罚函数法
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
罚函数法与乘子法
2. 图形解释
设 u = f (x), x∈R1 约束范围为S。改造u为
f (x), x S u*= 加大， x S
使 u*的无约束极小点成为u 的约束极小点，如图所示。
2 算法 4.2.1 已知约束问题，取控制误差 >0 和罚因子的放大系数
c 1（可取 104,c 10）。
Step 1 给定初始点 x0 (可以不是可行点)和初始罚 因子1（可取1 1）。令k 1。
Step 2 以 xk1为初始求无约束问题：
min P(x, k ) f (x) k P(x)
得最优解 xk x(rk )。
Step 3 若rk B(xk ) , 则 xk 为不等式约束问题的
近似最优解，停止。否则，令rk1 crk , k k 1转 Step 2.
例 4.2.4 用内点法求解
min
f
( x1 ,
x2 )
1 3 (x1
1)3
x2
s.t. 1 x1 0
x2 0
x1(
)
x2 (
)
4 2 1
2，
在例 4.2.2 中，
x1
(
)
1
>-1，
x( )都是从可行域外部趋向于最优解 x *的。因此称
为外罚函数，而称这种解法为外罚函数法。
例 用外点法求
min
f
(x)
1 3
( x1
1)
3
x2
,
s.t.
1 x1 0,
x2 0.
乘子法
2012-2013（1）专业课程实践论文乘子法葛禹泽，0818180109，R数学08-1班李元东，0818180107，R数学08-1班王岳，0818180108，R数学08-1班一、算法理论乘子法是Powell 和Hestenes 于1969年针对等式约束优化问题同时独立提出的一种优化算法,后于1973年经Rockfellar 推广到求解不等式约束优化问题。
其基本思想是从原问题的拉格朗日函数出发,再加上适当的罚函数,从而将原问题转化为求解一系列的无约束优化子问题。
由于外罚函数法中的罚参数+∞→k σ ,因此增广目标函数变得“越来越病态”。
增广目标函数的这种病态性质是外罚函数法的主要缺点, 而这种缺陷在乘子法中由于引入拉格朗日函数及加上适当的罚函数而得以有效的克服。
我们考虑同时带有等式和不等式约束的优化问题的乘子法:()()(),,,1,0,,,1,0..,min m i x g l i x h t s x f i i =≥==其基本思想是把解等式约束优化问题的乘子法推广到不等式约束优化问题,即先引进辅助变量把不等式约束化为等式约束,然后再利用最优性条件消去辅助变量。
为叙述的方便计,我们先考虑如下只带有不等式约束的最优化问题()(),,,1,0..,min m i x g t s x f i =≥引进辅助变量(),,,1m i y i =，可以将上面的优化问题化为等价的等式约束优化问题：()(),,,1,0..,min 2m i y x g t s x f i i ==-利用外发函数法求解，此时增广拉格朗日函数为()()()[]()[]212212,,,~∑∑==-+--=mi iiiimi i y x g y x g x f y x σλσλψ 为了消去辅助变量y ，可考虑ψ~关于变量y 的极小化，由一阶必要条件，令()0,,,~=∇σλψy x y 可得()[],,,1,0222m i y x g y y i i i i i ==--σλ即()()[],,,1,02m i x g y y i i i i ==--λσσ故当()0>-i i x g λσ时，有()[]()i i i i i x g x g y λσλσσ112-=-=否则，由()[]02≥-+x g y i i i σλσ可推得0y i =。
罚函数之乘子法
罚函数之乘⼦法外罚函数主要⽤于对于等式约束问题的求解，内点法主要是对于不等式问题的求解，⼀般问题中包含等式约束以及不等式约束，故需要使⽤乘⼦法解决问题。
1、乘⼦法概述（1）等式约束乘⼦法描述：min f(x)s.t. g i(x) =0⼴义乘⼦法是拉格朗⽇乘⼦法与罚函数法的结合，构造增⼴函数：φ (x,λ,σ)=f(x)+λT g(x)+1/2σg T(x)g(x)在罚函数的基础上增加了乘⼦项，⾸先在σ⾜够⼤的基础上，获得ϕ的极⼩值，然后在调整λ获得原问题的最优解。
（2）包含等式约束以及不等式约束问题描述：min f(x)s.t. h i(x) =0,i=1,...,lg i(x)≥0,i=1,...m其基本思想是：先引进辅助变量把不等式约束化为等式约束，然后利⽤最优性条件消去辅助变量，主要是通过构造增⼴拉格朗⽇函数，进⾏外迭代与内迭代综合，带⼊乘⼦迭代公式，进⽽得出得出，故针对上述⼀般问题构造拉格朗⽇函数为：4、其代码实现为function [x,mu,lambda,output]=multphr(fun,hf,gf,dfun,dhf,dgf,x0)%功能：⽤乘⼦法解⼀般约束问题：min f(x),s.t. h(x)=0.g(x)>=0%输⼊：x0是初始点，fun，dfun分别是⽬标函数及其梯度；%hf，dhf分别是等式约束（向量）函数及其jacobi矩阵的转置；%gf，dgf分别是不等式约束（向量）函数及其jacobi矩阵的转置；%输出：x是近似最优点，mu，lambda分别是相应于等式约束和不等式% 等式约束的乘⼦向量；output是结构变量，输出近似极⼩值f，迭代次数，内迭代次数等%%%%%%c初始化相关参数%%%%%%%%%%%maxk=500; %最⼤迭代次数sigma=2.0; %罚因⼦eta=2.0; theta=0.8; %PHR算法中的实参数k=0; ink=0; %k,ink分别是外迭代和内迭代次数epsilon=1e-5;%终⽌误差值x=x0;he=feval(hf,x);gi=feval(gf,x);%he=feval(hf,x)=hf(x)n=length(x);l=length(he);m=length(gi);%选取乘⼦向量的初始值mu=0.1*ones(1,1);lambda=0.1*ones(m,1);%ones为⽣成m*n的全1矩阵btak=10; btaold=10; %⽤来检验终⽌条件的两个值while (btak>epsilon & k<maxk)%%%%%%c先求解⽆约束问题%%%%%%%%%%%%调⽤BFGS算法程序求解⽆约束⼦问题[x,v,ik]=bfgs('mpsi','dmpsi',x0,fun,hf,gf,dfun,dhf,dgf,mu,lambda,sigma);%%其中x为最优点，val为最优值，ik为迭代次数 ink=ink+ik;he=feval(hf,x);gi=feval(gf,x);%%%%%%%%%%计算btak%%%%%%%%%%%btak=0.0;for(i=1:l),btak=btak+he(i)^2; endfor(i=1:m)temp=min(gi(i),lambda(i)/sigma);btak=btak+temp^2;endbtak=sqrt(btak);if btak>epsilon%%%%%%%%%%%更新罚参数%%%%%%%%%%%if(k>=2 & btak>theta*btaold)sigma=eta*sigma;end%%%%%%%%%%%更新乘⼦向量%%%%%%%%%%%%for(i=1:l),mu(i)=mu(i)-sigma*he(i);endfor(i=1:m)%lambda(i)=max(0.0,lambda(i)-sigma*gi(i));lambda(i)=max(0.0,lambda(i)-gi(i));endend%%%%%%%%%%%迭代%%%%%%%%%%%%k=k+1;btaold=btak;x0=x;endf=feval(fun,x);output.fval=f;output.iter=k;output.inner_iter=ink;output.bta=btak;BFGS算法部分：function [x,val,k]=bfgs(fun,gfun,x0,varargin)%功能：⽤BFGS算法求解⽆约束问题：minf（x）%输⼊：x0是初始点，fun，gfun分别是⽬标函数及其梯度%varargin是输⼊的可变参数变量，简单调⽤bfgs时可以忽略，其他程序调⽤则尤为重要%输出：x为最优点，val为最优值，k时迭代次数maxk=500;%给出最⼤迭代次数rho=0.55;sigma=0.4;epsilon=1e-5;k=0;n=length(x0);Bk=eye(n);%Bk=feval('Hess',x0)while(k<maxk)gk=feval(gfun,x0,varargin{:});%计算梯度if(norm(gk)<epsilon),break;end%检验终⽌准则dk=-Bk\gk;%解⽅程组，计算搜索⽅向m=0;mk=0;while(m<20)%搜索求步长newf=feval(fun,x0+rho^m*dk,varargin{:});oldf=feval(fun,x0,varargin{:});if(newf<oldf+sigma*rho^m*gk'*dk)mk=m;break;endm=m+1;end%bfgs校正x=x0+rho^mk*dk;sk=x-x0;yk=feval(gfun,x,varargin{:})-gk;if(yk'*sk>0)Bk=Bk-(Bk*sk*sk'*Bk)/(sk'*Bk*sk)+(yk*yk')/(yk'*sk);endk=k+1;x0=x;endval=feval(fun,x0,varargin{:});主函数部分为：%⽬标函数⽂件function f=f1(x)f=(x(1)-2.0)^2+(x(2)-1.0)^2;%等式约束条件function he=h1(x)he=x(1)-2.0*x(2)+1.0;%不等式约束条件function gi=g1(x)gi=-0.25*x(1)^2-x(2)^2+1;%⽬标函数的梯度⽂件function g=df1(x)g=[2.0*(x(1)-2.0),2.0*(x(2)-1.0)]';%等式函数的Jacobi（转置）矩阵⽂件function dhe=dh1(x)dhe=[1.0,-2.0]';%不等式约束函数的Jacobi矩阵（转置矩阵）function dgi=dg1(x)dgi=[-0.5*x(1),-2.0*x(2)]';命令⾏指令为：x0=[3,3]'[x,mu,lambda,output]=multphr('f1','h1','g1','df1','dh1','dg1',x0)输出结果如下：。
乘子法
min T ( x , M k0 ) n
xE
的最优解x k0 x ( M k ) R, 那么x ( M k0 )是问题 min f ( x ) (V) gi ( x ) 0, i 1, 2, , m 的最优解。并且对于任意的M >M k0 , 无约束问题 min T ( x, M ) n
收敛定理
定理3：设(1) f ( x ), gi ( x )连续； (2) M k 严格递增，且趋于无穷大； (3)M k 0, min T ( x, M k )有最优解
xEn
x k , 且有界； min f ( x ) (4)问题 有最优解xmin , gi ( x ) 0 则
f ( x( M )) M min 0, gi ( x (M )) T x( M ), M ,
收敛定理
另一方面，x ( M )是 min T ( x, M )的最优解， n
xE
所以 T x ( M ), M T x k0 , M ＝f x k0 . 矛盾。 所以，x ( M ) R成立。
收敛定理
(1) a). k0 , 使得x k0 R，那么x k0 是原问题的最优解；
b).
(2)
(3)
x 无穷，任意极限点是原问题的最优解。
k
k k k
f ( x )递增，且 lim f ( x T ( x , M )严格递增且
k k k
) f min；
lim T ( x k , M k ) f min ；
min 0，g ( x )
i 1 i
m
2
lim min 0 ， g ( x ) i ki
最优化方法 第三章(罚函数法)
这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的 极小点或者无限地向可行域D靠近，或者一直保持在可 行域D内移动，直到收敛到原来约束最优化问题的极小 点。
不改变可行域局部极小值，可以将 约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法 外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ， 其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
惩罚函数法及广义乘子法
转化求解法（一）：罚函数法
内罚函数法
Step1 选取初始数据。给定初始点 x0 ，in初tS始参数
允(0许,1)误差 ，令 0
k 1
，缩1 小 系0 数
Step2 求解无约束问题，以x k 为1 初始点，求解无约束问题
设其最优解为 。x k
min s.t.
G(x,rk)f(x)kB(x)
xintS
(1)
hj (x) 0, j 1,2,L ,l
其中 f ( x ) ，gi(x)(i1 ,2,L,m )和 hj(x)(j1,2,L,l)
都是定
min f (x)
。
s.t. gi(x) 0,i 1,2,L ,m
hj (x) 0, j 1,2,L ,l
为约x束k 问题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
转化求解法（一）：罚函数法
外罚函数法例题
4.6-2 内惩罚函数法
基本是想
在迭代中总是从可行点出发，并保持在可行域内部进行搜索。 因此，这种方法适用于只有不等式约束的最优化问题
（一）、等式约束下的广义乘子法
等式约束的最优问题
min s.t.
f
(x)
2
l
h2j
(x)
j1
hj (x) 0, j 1,2,L ,l
m x iR n nF (x , k) ，f设(x 其) 最k 优P 解(x ) 为 。
xk
Step3 检查是否满足终止准则，若 kP(xk，)则迭代终止，
min s.t.
f (x) gi(x) 0的, 近i 似1,最2,优L解,m；, 否则，
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
0422 罚函数法
Page 17
所以
1 r x r r
令 r 0 有：
x( r ) x 1, 0
*
T
则最优解及最优值分别为：
x 1, 0
* T
8 , f . 3
*
3. 算法实现
Page 18
Step1: 给出 x 0 R n (要求是可行点)， 0 104 罚因子 r1 r1 10 , 缩小系数 c 0.1 , 令 k 1. Step2: 以 x k 1 为初始点求无约束问题：
2 2 min f x x1 x2
Page 7
s.t
解：作辅助函数
x1 1 0
2 1 2 2 2
F x, x x max 0, x1 1
2 2 x x x1 1 0 1 2 即：F x , 2 2 2 x1 1 0 x1 x2 x1 1 x1 1 因此： F 2 x1 x1 2 x1 2 x1 1 x1 1 F 2 x2 x2
i 1 j 1
0 是很大的正数．
P ( x ) 0, F ( x , ) f ( x ). 当 x是可行点时， 分析： 当 x不是可行点时， P x 0, 又因 是大正数．
故此 x 很难成为 F x， 的极小点. 因此，按上策略 得到的 F x, 的极小点应充分靠近可行域，逐渐
“围墙”，当迭代点靠近边界时，目标函数值陡然增大,
这相当于对它进行惩罚，从而阻止迭代点穿越边界，
这样就可以把最优解“挡”在可行域内了．
注意： 内点法只适合于不等式约束问题，并且要求 可行域的内点集非空．
第四章 惩罚函数法
令其极小点为xk ;
min L( x, k )
惩罚函数法
最优化方法之约束非线性规划
惩罚函数法
外罚函数法的优点是形式和程序均简单, 算法直接使用 无约束优化的程序即可.但它的缺点有三条 : (1). xk ( )往往不是可行点, 这对于某些实际问题是不能接受的; (2). k 太大造成L( x , k )的Hesse矩阵条件数变大, 数值计算带来 很大困难,甚至不可能; (3). P ( x )一般不可微, 不宜直接使用梯度法,从而收敛慢.
最优化方法之约束非线性规划
惩罚函数法
Ex1.用内点法求解问题 min
s.t .
解：定义障碍函数
1 f ( x1 , x2 ) ( x1 1)3 x2 3 x1 1 0, x2 0.
1 1 1 G ( x, rk ) ( x1 1) 3 x 2 rk ( ) 3 x1 1 x 2
D0 { x Rn : ci ( x) 0, i 1, 2,..., m}非空.
最优化方法之约束非线性规划
惩罚函数法
与外点罚函数法相类似,我们构造如下增广目标函数
L( x, r ) f ( x ) rB( x )
其中B( x )是障碍函数.当x在D0中趋向于边界时, 至少有 一个趋于0,而B( x )要求趋于无穷大,因此可取 m 1 B( x ) i 1 ci ( x )
下面考虑一般约束优化问题(1)
min f ( x ), x R n . ci ( x ) 0, i E {1, 2, ..., l } s .t . ci ( x ) 0, i I {l 1, ..., m }.
配气凸轮优化设计的惩罚函数法和增广拉格朗日乘子法
配气凸轮优化设计的惩罚函数法和 增广拉格朗日乘子法*
石 英 肖金生 刘春晓 崔东周
( 武汉理工大学能源与动力工程学院 武汉 430063) 摘要 : 将约束最优化问题的间接解法中有代 表性的惩罚函数法 和增广拉格朗日乘 子法应用到配气 机构五 项式凸轮型 线的最优 化设计中 , 优化设 计结果表明 混合法 ( 内点法 ) 的求解 精度最高 , 外点 法的收敛 速度最快 , 而增广 拉格朗日 乘子法的求 解精度较 高且收敛速 度也较快 , 更适于 用来求解 此类问题 . 关键词 : 凸轮 ; 优化设计 ; 惩罚函数法 ; 增广拉格朗日乘子法 中图法分类号 : TK413. 4; O224
1 内燃机配气凸轮的优化设计模型
内燃机配气凸轮的作用是控制进气和排气过
¹ 收稿日期 : 2002 01 08
石 英 : 女 , 27 岁, 博士生 , 主要研究领域为动力机械 CA D 与计算机仿真 * 交通部重点科技项目 ( 批准号 : 95-04-03-32) 资助
・ 366・
0 引 言
随着社会的进步和科学技术的发展, 人们对 机械优化设计的水平要求越来越高, 许多传统有 效的机械最优化设计算法
[ 3, 4] [ 1, 2]
程 . 要设计性能良好的凸轮机构 , 关键在于根据工 作要求 , 选择好从动件的运动规律, 并设计出能满 足这一运动规律的凸轮轮廓曲线 . 1. 1 凸轮轮廓曲线的主要要求 对内燃机配气凸轮来说 , 其轮廓曲线设计的 主要要求如下 . 1) 气门升程曲线的丰满系数越大越好 . 丰满 系数越大, 气体流通性能就越好 , 进气和排气效率 就越高 , 内燃机的经济性就越好 . 2) 气门开、 关过程中的最大正、 负加速度应 低于其许用值, 同时不允许产生突变现象 , 以减轻 配气机构的冲击、 振动、 噪声和磨损, 从而保证了 内燃机有良好的动力性能. 3) 凸轮轮廓曲线的最小曲率半径不能太小 , 应大于其许用值 , 以避免由于接触应力过高造成 摩擦副的早期损坏 , 保证内燃机工作过程的可靠 性. 1. 2 凸轮优化设计的数学模型 1. 2. 1 配气凸轮升程曲线的计算模型 为了得 到缓和的加速度, 以改进配气机构的动力性能, 内 燃机配气凸轮采用高次多项式凸轮; 为了得到最 高的进、 排气效率, 以改善发动机的经济性能, 采 用最优化设计, 并将丰满系数 N作为目标函数. 设
罚函数法
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
罚函数乘子法
罚函数乘子法是一种常用的最优化方法，用于求解带有约束条件的优化问题。
它通过将约束条件转化为惩罚项，将原问题转化为无约束优化问题，然后使用传统的优化算法进行求解。
罚函数乘子法的基本思想是在目标函数中加入惩罚项，使得违反约束条件的解的目标函数值变得很大，从而迫使解接近约束条件。
惩罚项的形式通常是约束条件的平方和或绝对值的和，乘以一个常数因子（称为罚因子）。
具体来说，罚函数乘子法的步骤如下：1. 将约束条件转化为惩罚项，得到惩罚函数。
2. 使用传统的优化算法（如梯度下降、牛顿法等）求解惩罚函数的最小值。
3. 逐渐增加罚因子的值，直到找到满足约束条件的最优解。
罚函数乘子法的优点是简单易用，适用于各种类型的约束条件。
缺点是需要选择合适的罚因子，否则可能导致收敛速度缓慢或无法收敛。
此外，罚函数乘子法也可能会引入数值不稳定性，需要谨慎处理。
[理学]1120 罚函数法 罚函数法与乘子法合订_OK
![[理学]1120 罚函数法 罚函数法与乘子法合订_OK](https://img.taocdn.com/s3/m/9b64c8f0de80d4d8d05a4f23.png)
做法：作辅助函数: F x, f x P x
其中 0是常数，称为惩罚因子;
P x 是定义在Rn上的一个函数，
称为惩罚项，它满足：
(1) P x是连续的； (2) 对任意的x Rn , 有P x 0； (3) 当且仅当x是可行点时，P x =0 .
接下来求解 Min F( x, ), 并不断改变 ,不断循环求解.
根据惩罚函数表达式（构造方法的不同），形 成不同的罚函数法。我们重点介绍三种：
外点罚函数法、内点罚函数法、乘子法(外点罚函 数法的一种推广和发展)．
2
一、外点惩罚函数法—外点法
考虑如下问题：min f ( x), x Rn
s.t. gi ( x) 0, i 1, , m
hj ( x) 0, j 1, , p
处取得极小值.
令 得：
x
lim
x
5 2
,
3 2
T
.
易验证 g x 0 0, 即满足约束条件,
所以原问题的最优解及最优值分别为：
x*
5 2
,
3 2
T
,
f x* 1 . 2
11
3 算法实现
对于上述解法中, 的选取对问题的求解十分重要,
一般策略是取一个趋于无穷大的严格递增正数列 k,
罚因子 r1r1 10 , 缩小系数 c c 0.1 , 令 k 1.
Step2: 以 xk1为初始点求无约束问题：
Min
xint S
F x,r
f
x rk B x 得最优解,记作 xk
.
Step3: 若 rk B xk , 则 x* xk ,停；否则转Step4
Step4: 令 rk1 c rk , k k 1, 转 Step2.
约束优化算法：拉格朗日乘子法
拉格朗日乘子法约束优化问题的标准形式为：min (),..()0,1,2,...,()0,1,2,...,n i j f x x R s tg x i m h x j l∈≤=== ,,:n i j f g h R R →其中约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换为无约束问题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。
1. 罚函数法罚函数法（内点法）的主思想是：在可行域的边界上筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数陡然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“挡”在可行域之内了。
它只适用于不等式约束：min (),..0,1,2,...,n i f x x R s tg i m∈≤=它的可行域为：{|()0,1,2,...,}n i D x R g x i m =∈≤=对上述约束问题，其其可行域的内点可行集0D ≠∅的情况下，引入效用函数：min (,)()()B x r f x rB x =+%、其中11()()m i i B x g x ==-∑%或1()|ln(())|mi i B x g x ==-∑% 算法的具体步骤如下：给定控制误差0ε>，惩罚因子的缩小系数01c <<。
步骤1：令1k =，选定初始点(0)0xD ∈，给定10r >（一般取10）。
步骤2：以()k x 为初始点，求解无约束min (,)()()k B x r f x r B x =+%其中11()()m i i B x g x ==-∑%或1()|ln(())|m i i B x g x ==-∑%，得最优解()()k k x x r = 步骤3：若()()k k r Bx ε<%，则()k x 为其近似最优解，停；否则，令,1k k r cr k k ==+，转步骤2.—2. 拉格朗日乘子法（1）PH 算法：（约数为等式的情况引入） 效用函数为()()min (,,)()()()()k k T T k k M x u f x u h x h x h x σσ=++判断函数为()()k k h x φ=当()()k k x φφε=<时迭代停止。
第4章罚函数法
十分接近。 可以期望，当 充分大时，无约束问题 min F ( x, ) 的最优解 x( ) 与原问题的解 x
事实上，当 时，若问题有解（即 F ）则必有 g 0 ； 另一方面，由于 F f 2
g g
i
i
0 ，结合 时的结果 g 0 ，故有 F f ＝0；
关于 P 的取法：①与原条件函数相关；②为正函数（σP 为正） ；③上述性质；
48
操华胜：最优化方法
min f ( x) ， s.t. gi ( x) 0
F ( x, ) f ( x ) g T g
△分析（判断） ：①当 x 为可行点（即 x 满足 gi ( x) 0 ）时，则有
即
Fx 2 x 2 ( x 1) 0 x
2
1 x
, ) 1 min f ( x) 。即本题的解 x 1 并且 min f ( x) 1 。 此时， F ( x, ) F ( x
（注：若问题中的约束条件变为 hi ( x) 0 ，则在罚函数中，满足此条件时罚项为 0，不满足时增加罚项）
§4.1 §4.2 §4.3
罚函数法 障碍函数法 广义乘子法
第四章
约束最优化的加权方法
§4.1 罚函数法
◆从拉格朗日乘子法谈起
乘子法是研究带约束的极值问题的有效方法之一。从高等数学中拉格朗日乘子法开始，对它的研究一直 不断。在拉格朗日乘子法的基础上又给出了罚函数法、障碍函数法、广义拉格朗日乘子法（也简称为广义乘 子法）对带约束的极值问题的求解方法。这些方法统称为广义乘子法。 ▲拉格朗日乘子法的基本原理 对等式约束问题
h( g ) min C
第十一章+乘子法
第十一章 乘子法min ()..()0,{1,,}()0,{1,,}n x Ri i f x s t c x i E l c x i I l l m ∈=∈=≤∈=++ （11.0.1）思想：将约束问题（11.0.1）转化为无约束问题来求解。
一、惩罚函数法（一）罚函数法例1：考虑如下的约束问题：2min ()..()10n x Rf x x s t c x x ∈==+≤， （11.1.1）其可行域为(,1]−∞−，最优解为*1x =−。
现考虑通过将（11.1.1）转化为无约束问题来求解（11.1.1），也就是说希望构造相应的无约束问题，使得该无约束问题的解恰好是原约束问题（11.1.1）的解。
从直观上来看，要做到这一点就必须增大在非可行域处的目标函数值，因此我们可构造如下的惩罚函数：2222(),()0(,)()[()],()02,10(1),102f x c x P x f x c x c x x x x x x σσσ≤⎧⎪=⎨+>⎪⎩⎧+≤⎪=⎨+++>⎪⎩其无约束问题min (,)n x RP x σ∈ 的最优解为()2x σσσ=−+，当σ→+∞时，有*()1x x σ→−=，即约束问题的最优解。
罚函数的几何意义：1．常见罚函数的构造：罚函数应大致满足以下条件：在可行域内，等于原约束问题的目标函数 在可行域外，取较大的目标函数值具有连续的偏导数（1）对于不等式约束问题min ()..()0nx Rf x s t c x ∈≤， 其罚函数常定义为22(),()0(,)()[()],()02()(max{0,()})2f x c x P x f x c x c x f x c x σσσ≤⎧⎪=⎨+>⎪⎩=+其中σ充分大.（2）对于等式约束问题min ()..()0nx Rf x s t c x ∈=， 其罚函数常定义为2(,)()(())2P x f x c x σσ=+,其中σ充分大.（3）对于一般约束问题（11.0.1），其罚函数定义为(,)()()2P x f x S x σσ=+其中σ为惩罚因子，()2S x σ为惩罚项， 22()[()][max{0,()}]i i i E i I S x c x c x ∈∈=+∑∑，期望*lim (,)lim[()()]2x P x f x S x σσσσ→∞→∞==+2．罚函数法（1）选择序列k σ→∞，初始点(0)x ，置精度要求ε，令k=1；（2）以(1)k x −为初始点，求解无约束问题 min (,)()()2k k x P x f x S x σσ=+ （11.1.12） 得到最优解()k x ；（3）若()()k k S x σε≤，则停止计算（()k x 作为原约束问题的最优解），否则令k=k+1，转（2）.（二）罚函数法的收敛性质定理11.1.2：设(),()()i f x c x i E I ∈∪具有连续的一阶偏导数，*x 是约束问题（11.0.1）的全局最优解，惩罚因子k σ→∞。
乘子(罚函数)法
向量v ，总有
v T Lx2 (x *, *)v 0
那么， x *是问题（Ⅰ）的严格局部最优点。
即若 x *是问题的局部最优点 x L(x*, *) 0 1、拉格朗日函数的极小点
一个自然的问题是, 能否找到 λ*使得 (x*, λ*) 是 Lagrange函数的极小点?
那样的话, 约束问题就转化为无约束问题. 拉格朗日（Lagrange）函数的极小点可能不存在!
2xL(x, ) 2x f (x) - T2x h(x)
定理1 (Lagrange) 设
回顾
（1） x *是问题（Ⅰ）的局部最优点； （2） f (x), h1(x), h2(x), , hl (x) ： R n R 在 x *附近 的某邻域内可微；
（3） h1(x), h2(x), , hl (x) 线性无关。
x*∈Rn和 *∈Rn满足二阶充分条件(定理2), 则存在 一个数* > 0, 对所有的 ≥ *, x*是增广目标函数
的严格局部极小点;
反之, 若h(x0)=0 ，且 x0对某个 0是增广目标函数的
局部极小点, 则x0 是等式约束问题的局部极小点.
乘子法并不要求 趋于无穷大. 只要 大于某个正 数*, 就能保证无约束问题 min M(x, *, ) 的最优解
求解原问题转化为求解一系列的无约束问题
min P(x, k) ( k → + ∞)
min P(x, k) ( k → + ∞) 关于罚函数参数 ：
l
P(x, ) f (x) + hj (x)2 j 1
另一个问题是, 能否找到 *, 使得 P(x, *) 的无约束
极小点 x* 是原约束问题的极小点？
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013-2014（1）专业课程实践论文题目：惩罚函数的乘子法一、算法理论乘子法是Powell 和Hestenes 于1969年针对等式约束优化问题同时独立提出的一种优化算法,后于1973年经Rockfellar 推广到求解不等式约束优化问题。
其基本思想是从原问题的拉格朗日函数出发,再加上适当的罚函数,从而将原问题转化为求解一系列的无约束优化子问题。
由于外罚函数法中的罚参数+∞→k σ ,因此增广目标函数变得“越来越病态”。
增广目标函数的这种病态性质是外罚函数法的主要缺点, 而这种缺陷在乘子法中由于引入拉格朗日函数及加上适当的罚函数而得以有效的克服。
我们考虑同时带有等式和不等式约束的优化问题的乘子法:()()(),,,1,0,,,1,0..,min m i x g l i x h t s x f i i =≥==其基本思想是把解等式约束优化问题的乘子法推广到不等式约束优化问题,即先引进辅助变量把不等式约束化为等式约束,然后再利用最优性条件消去辅助变量。
为叙述的方便计,我们先考虑如下只带有不等式约束的最优化问题()(),,,1,0..,min m i x g t s x f i =≥引进辅助变量(),,,1m i y i =，可以将上面的优化问题化为等价的等式约束优化问题：()(),,,1,0..,min 2m i y x g t s x f i i ==-利用外发函数法求解，此时增广拉格朗日函数为()()()[]()[]212212,,,~∑∑==-+--=mi iiii mi i y x g y x g x f y x σλσλψ为了消去辅助变量y ，可考虑ψ~关于变量y 的极小化，由一阶必要条件，令()0,,,~=∇σλψy x y 可得 ()[],,,1,0222m i y x g y y i i i i i ==--σλ即()()[],,,1,02m i x g y y i i i i ==--λσσ故当()0>-i i x g λσ时，有()[]()i i i i i x g x g y λσλσσ112-=-=否则，由()[]02≥-+x g y i i i σλσ可推得0y i =。
综合起来。
，有()[]()()m i x g x g x g y i i i i i i i ,,1,0,0,12 =⎪⎩⎪⎨⎧->--=λσλσλσσ既有()()()()m i x g x g x g y x g i i i i i ii i ,,1,0,,0,2=⎪⎩⎪⎨⎧≤->-=-λσλσσλ （1）因此，当()0≤-i i x g λσ时，我们有()[]()[]()()[]()()[]2222222122i i i i i i iii i i x g x g x g y x g y x g λλσσσλσλ--=+-=-+--而当()0>-i i x g λσ时，有()[]()[]22222212112ii iiii i i y x g y x g λσλσλσσλ-=+-=-+--综合上述两种情形，将结果代回到()σλψ,,,~y x 中去得 ()()(){}[]()∑=--+==mi iiiyx g x f y x x 122)(,0min 21,,,~min ,,~λλσσσλψσλφ于是，将式（1）带入乘子迭代公式()()()()[]21i k k i i k i k y x g --=+σλλ得()()()⎩⎨⎧≤-->-=+,0)()(,,0)()(,01i k k i k i i k i k k i ik x g x g x g λσλλσλ 即(){}.,,1,0)()(,0max 1m i x g k i i k i k =≥-=+λλ回到一般约束优化问题，此时，增广拉格朗日函数为()∑∑∑===-++-=mi iili ili i i x g x h x h f x 1121]))(,0([min{21)(2)()x (,,,λσσσμσλμψ乘子迭代的公式为(){}.,,1,)()(,0max ,,,1),()()(11m i x g l i x h k i i k ik k i i k i k =-==-=++λλσμμ令212112)})(),(min{)((∑∑==⎥⎦⎤⎢⎣⎡+=mi i k k i li k i k x g x h σλβ则终止准则为εβ≤kimport java.awt.*;import java.awt.event.*;import javax.swing.*;import java.text.NumberFormat;public class Shu extends Frame implements ActionListener{Labellabelx12,labelx1,labelx22,labelx2,labelx1x2,labela,labelb,labelc,la bel11,label12,labelnum,labelnumber;TextFieldtextx12,textx1,textx22,textx2,textc1,textx1x2,texta,textb,textc,tex tnum,textnumber;Button button;TextArea textarea; //10double x1,x12,x22,x2,x1x2,c1,a,b,c,num,number;double a1x1,a1x2,a1c,a2x1,a2x2,a2c;int n=1;double ans[],answ[];public Shu(){ans=new double[20];answ=new double[20];labelx12=new Label("x1^2+");labelx1=new Label("x1+");labelx22=new Label("x2^2+"); //20labelx2=new Label("x2+");labelx1x2=new Label("x1*x2+");labela=new Label("x1+");labelb=new Label("x2+");labelc=new Label("=0");label11=new Label("min ");label12=new Label("s.t.");textx12=new TextField(3);textx1=new TextField(3);textx22=new TextField(3); //30textx2=new TextField(3);textx1x2=new TextField(3);textc1=new TextField(3);texta=new TextField(3);textb=new TextField(3);textc=new TextField(3);labelnumber=new Label("δ:");labelnum=new Label("μ:");textnum=new TextField(3);textnumber=new TextField(3);button=new Button("enter");button.addActionListener(this);textarea=new TextArea(10,10);Box box1=Box.createHorizontalBox(); //44 box1.add(label11);box1.add(textx12);box1.add(labelx12);box1.add(textx1);box1.add(labelx1);box1.add(textx22);box1.add(labelx22);box1.add(textx2);box1.add(labelx2);box1.add(textx1x2); //54 box1.add(labelx1x2);box1.add(textc1);Box box2=Box.createHorizontalBox();box2.add(label12);box2.add(texta);box2.add(labela);box2.add(textb);box2.add(labelb);box2.add(textc);box2.add(labelc); //64 Box box3=Box.createHorizontalBox();box3.add(labelnum);box3.add(textnum);box3.add(labelnumber);box3.add(textnumber);box3.add(button);Box boxh=Box.createVerticalBox();boxh.add(box1);boxh.add(box2);boxh.add(box3);boxh.add(Box.createVerticalGlue());setLayout(new BorderLayout());add(boxh,BorderLayout.NORTH);add(textarea,BorderLayout.SOUTH); //78addWindowListener(new WindowAdapter(){ public void windowClosing(WindowEvent e) {System.exit(0);}});setVisible(true);setBounds(100,100,600,600);validate();} //88public void actionPerformed(ActionEvent e){if(e.getSource()==button){x12=Double.parseDouble(textx12.getText());x1=Double.parseDouble(textx1.getText());x22=Double.parseDouble(textx22.getText());x2=Double.parseDouble(textx2.getText());x1x2=Double.parseDouble(textx1x2.getText());c1=Double.parseDouble(textc1.getText()); //98a=Double.parseDouble(texta.getText());b=Double.parseDouble(textb.getText());c=Double.parseDouble(textc.getText());num=Double.parseDouble(textnum.getText());number=Double.parseDouble(textnumber.getText());f(x12,x1,x22,x2,x1x2,c1,a,b,c);}}void f(double x12,double x1,double x22,double x2,double x1x2,double c1,double a,double b,double c){a1x1=2*x12+number*a*a;a1x2=x1x2+number*a*b; //110a1c=x1-num*a+number*a*c;a2x1=x1x2+number*a*b;a2x2=2*x22+number*b*b;a2c=x2-num*b+number*c*b;ans[n]=(a2c*a1x2-a1c*a2x2)/(a1x1*a2x2-a2x1*a1x2);answ[n]=(a1c*a2x1-a2c*a1x1)/(a2x2*a1x1-a1x2*a2x1); NumberFormat f1=NumberFormat.getInstance();f1.setMaximumFractionDigits(4);String s1=f1.format(ans[n]);ans[n]=Double.parseDouble(s1); //120 NumberFormat f2=NumberFormat.getInstance();f2.setMaximumFractionDigits(4);String s2=f2.format(answ[n]);answ[n]=Double.parseDouble(s2);num=num-number*(a*ans[n]+b*answ[n]+c);if(n>=10){textarea.setText("x1="+ans[n]+" x2="+answ[n]+" "+n); }else{if(n>2){if((ans[n]==ans[n-1])&&(answ[n]==answ[n-1])){ textarea.setText("x1="+ans[n]+" x2="+answ[n]+" "+n); }else //130 {n+=1;f(x12,x1,x22,x2,x1x2,c1,a,b,c);}}else{n+=1;f(x12,x1,x22,x2,x1x2,c1,a,b,c);}}}public static void main(String args[]){new Shu(); }}四、算法实现例1． 用乘子法求解问题2221)1()2(min -+-x xts .0521=++x x解：运行程序（1）显示出对话框。