约束优化算法：拉格朗日乘子法

拉格朗日乘子法

约束优化问题的标准形式为：

min (),..()0,1,2,...,()0,1,2,...,n

i j f x x R s t g x i m h x j l

∈≤===

,,:n i j f g h R R →其中

约束优化算法的基本思想是：通过引入效用函数的方法将约束优化问题转换为无约束问题，再利用优化迭代过程不断地更新效用函数，以使得算法收敛。

1. 罚函数法

罚函数法（内点法）的主思想是：在可行域的边界上筑起一道很高的“围墙”，当迭代点靠近边界时，目标函数陡然增大，以示惩罚，阻止迭代点穿越边界，这样就可以将最优解“挡”在可行域之内了。

它只适用于不等式约束：

min (),..0,1,2,...,n

i f x x R s t

g i m ∈≤=

它的可行域为： {|()0,1,2,...,}n i D x R g x i m =∈≤=

对上述约束问题，其其可行域的内点可行集0D ≠∅的情况下，引入效用函数：

min (,)()()B x r f x rB x =+、 其中11()()m

i i B x g x ==-∑或1()|ln(())|m i i B x g x ==-∑ 算法的具体步骤如下：

给定控制误差0ε>，惩罚因子的缩小系数01c <<。

步骤1：令1k =，选定初始点(0)0x D ∈，给定10r >（一般取10）。

步骤2：以()k x 为初始点，求解无约束

min (,)()()k B x r f x r B x =+ 其中11()()m

i i B x g x ==-∑或1()|ln(())|m i i B x g x ==-∑，得最优解()()k k x x r = 步骤3：若()()k k r B x

ε<，则()k x 为其近似最优解，停；否则，令,1k k r cr k k ==+，

转步骤2.

2. 拉格朗日乘子法

（1）PH 算法：（约数为等式的情况引入）

效用函数为

()()min (,,)()()()()k k T T k k M x u f x u h x h x h x σσ=++

判断函数为

()()k k h x φ=

当()()k k x φφε=<时迭代停止。

步骤1：选定初始点(0)x ，初始拉格朗日乘子向量(1)u ，初始罚因子1σ及其放大系数1c >，控制误差0ε>与常数(0,1)θ∈，令1k =。

步骤2：以(1)k x +为初始点，求解无约束问题：

()()min (,,)()()()()k k T T k k M x u f x u h x h x h x σσ=++

得到无约束问题最优解()k x

步骤3：当()()k h x

ε<时，()k x 为所求的最优解，停；否则转步骤4. 步骤4：当()()()()/k k h x

h x θ<时，转步骤5；否则令k 1k c σσ+=，转步骤5. 步骤5：令(1)()()(),1k k k k u u h x k k σ+=+=+，转步骤1。

（2） PHR 算法（一般约束形式的松弛变量法和指数形式法）

松弛变量法： (){}1

2222

111(,,)()max 0,()2()()2i i i l l

j j j

j j M u v f x u g x u v h x h x ρρρρρ===++-⎡⎤⎣⎦++

∑∑∑

乘子的修正公式为：

(

1)(

)()(1)()()(),1,...,max 0,(),1,...,k k k j j j k k k i i i v v h x j l

u

u g x i m ρρ++=+=⎡⎤=+=⎣⎦

判断函数为： 1/2

2()2()()11()max (),k l m k k i k j i j i u h x g x φρ==⎧⎫⎛⎫⎪⎪=+-⎨⎬ ⎪⎝⎭⎪⎪⎩⎭

∑∑ 当()()k k x φφε=<时迭代停止。

3.乘子法MATLAB程序及其作用

Al main函数

3.1 _

3.1.1程序（1）：乘子法效用函数程序

函数功能：将约束优化问题，根据效用函数方法，将其转变成无约束问题。function f=AL_obj(x)

%拉格朗日增广函数

%N_equ 等式约束个数

%N_inequ 不等式约束个数

global r_al pena N_equ N_inequ;%全局变量

h_equ=0;

h_inequ=0;

[h,g]=constrains(x);

%等式约束部分

for i=1:N_equ

h_equ=h_equ+h(i)*r_al(i)+(pena/2)*h(i).^2;

end

%不等式约束部分

for i=1:N_inequ

h_inequ=h_inequ+(0.5/pena)*(max(0,(r_al(i)+pena*g(i))).^2-r_al(i).^2); end

%拉格朗日增广函数值

f=obj(x)+h_equ+h_inequ;

3.1.2程序（2）：判断函数

函数功能：判断是否符合约束条件

%% the compare function is the stop condition

function f=compare(x)

global r_al pena N_equ N_inequ;

h_equ=0;

h_inequ=0;

[h,g]=constrains(x);

%等式部分

for i=1:N_equ

h_equ=h_equ+h(i).^2;

end

%不等式部分

for i=1:N_inequ

h_inequ=h_inequ+(max(-g(i),r_al(i+N_equ)/pena)).^2;

end

f=sqrt(h_equ+h_inequ);

3.1.3程序（3）AL算法主程序

函数功能：对无约束的效用函数利用拟牛顿算法求解其最优解，更新乘子。