最优化方法课程设计

《最优化方法》课程设计题目：可行方向法分析与实现院系：数学与计算科学学院专业：统计学姓名学号：XXXX 12007XXXXX指导教师：李丰兵日期：2015 年01 月22日摘要在各种优化算法中,可行方向法是非常重要的一种。

可行方向法是通过直接处理约束问题，得到一个下降可行方向，从而产生一个收敛于线性约束优化问题的K-T点。

本文主要介绍的Zoutendiji可行方向法是求解约束优化问题的一种有代表性的直接解法.在本次实验中，本人对该门课程中的线性约束非线性最优化问题进行了一定程度地了解和研究，而处理线性约束非线性最优化问题的关键是在求解过程中，不仅要使目标函数值单调下降，而且还要保证迭代点的搜索方向为下降可行方向。

所以，本人使用利用线性规划方法来确定d的可行方向法k——Z outendijk可行方向法进行处理。

本人通过数学软件MATLAB探讨了优化设计的实现方法及实现验证的效果，更进一步地加深了对它的理解也提高了处理该问题的水平能力。

而且该方法初始参数输入简单，编程工作量小，具有明显的优越性．关键词：Zoutendiji可行方向法，约束优化问题，下降可行方向。

AbstractIn a variety of optimization algorithms, the feasible descent method is a very important one. The feasible direction method is by directly dealing with constraints, getting a feasible direction, to produce a convergence in the k-t point of the linear constrained optimization problems. Zoutendiji feasible direction method is mainly introduced in this paper to solve the constrained optimization problem of a kind of typical and direct solution.In this experiment, We have a certain degree of understanding and researching in this course of linear constrained nonlinear optimization problem。

And dealing with linear constrained nonlinear optimization problem，the key is the process of solving, we should not only make our objective function values decreased, but also to ensure that the searching directions of iteration points for the feasible direction. So, we are using the linear programming method is used to determine the feasible direction method -- Zoutendijk feasible direction method for processing.We through make use of the mathematical software MATLAB, the realization of the optimization design method is discussed ,and validate the effect of further deepening the understanding of improving the ability to deal with the problem of level. And the method is simple in initial parameters inputting, Therefore, the program storage less computational complexity.Key words: Zoutendiji feasible direction method, Constrained optimization problems, Feasible direction.目录1、引言 (1)2、可行方向法的描述 (1)2.1 可行方向法 (1)2.2线性不等式约束的ZOUTENDIJK METHOD (2)2.3 算法实现 (3)3、数值实验 (4)3.1 代码实现 (4)4、算法比较及缺点 (8)4.1 随机方向搜索法 (8)4.2 复合型法 (8)4.3可行方向法 (9)4.4 缺点 (9)5、总结 (9)5.1 总结概括 (9)5.2 个人感言 (9)6、参考文献： (9)1、引言现在，可行方向法已发展成为求解约束优化问题的一类重要方法，其基本思想是：给定一个可行点(k)x 之后，用某种方法确定一个改进的可行方向k d ，然后沿方向k d ，求解一个有约束的线搜索问题，得极小点k λ，按迭代公式计算：(k+1)(k)k k x =x +d λ，如果(k+1)x 不是最优解，则重复上述步骤。

各种不同的可行方向法的主要区别在于：选择可行方向k d 的策略不同。

大体上可分为三类：（1）用求解一个线性规划方法来确定k d 。

（2）利用投影矩阵来直接构造一个改进的可行方向k d 。

（3）利用既约梯度，直接构造一个改进的可行方向k d 。

其中Zoutendijk Method 就是利用线性规划方法来确定k d 的。

2、可行方向法的描述2.1 可行方向法可行方向法是通过直接处理约束问题，得到一个下降可行方向，从而产生一个收敛于线性约束优化问题的K-T 点。

一般地，求解约束优化问题要比求解无约束优化问题复杂、困难，因为在求解过程中，不仅要使目标函数值单调下降，而且还要保证迭代点满足约束条件。

因此，在求解过程中，要求产生的迭代点的搜索方向为下降可行方向。

由于这时的约束为线性函数，因而可通过利用线性代数的知识和无约束优化方法来设计一些有效算法。

2.1.1非线性约束 Basic conceptmin ()f x..s t x F ∈Descent direction d: ()0.T f x d ∇<Feasible direction d: ,[0,],0.x F x d F ααδδ∈+∈∀∈>定义：非零向量d 称为在点x F ∈的一个可行方向,若0[0,]δαδ∃>∀∈，， 都有：,x F x d F α∈+∈。

d ≠0称为在点x F ∈的一个改进的可行方向,若0[0,]δαδ∃>∀∈，， 都有：()()f x d f x α+<，x d F α+∈2.2 线性不等式约束的Zoutendijk Method(P) min ()f x s.t. b Ax ≥ Ex e =:k xDenote 1122b A b A A b ⎛⎫⎛⎫==⎪ ⎪⎝⎭⎝⎭， Such that: 1212,k k A x b A x b =>Obviously:Descent d : ()0.k T f x d ∇< Feasible d : 10,0.Ad Ed ≥=Solving ：01for ()0.k T f x d ∇< solve(P) to obtain descent direction d.Since ()0.k T f x d ∇<then ()()k k f x d f x α+<,0,[0,].δαδ∃>∀∈ so d is the descent direction.2 for 10,0.Ad Ed ≥= solve(P) to obtain feasible direction d.since 11,k A x b =10,0AdEd ≥=，Ex e = so 1111(),kA x d b Ad b αα+=+≥()e,0.kkE x d Ex Ed ααα+=+=∀>since 22k A x b >,having 2222(),0,[0,].k k A x d A x A d b ααδαδ+=+≥∃>∀∈ so d is the feasible direction.03 set feasible direction d 0≠,solving 10,0.Ad Ed ≥=since 111111()=k kA x d A x Ad b Ad b ααα+=++≥,[0,]0αδδ∈>， so 10Ad ≥.since ()e e,k kE x d Ex Ed Ed ααα+=+=+=[0,]0αδδ∈>，so 0Ed =.2.2.1 Subproblem(子问题)： （LP ） min ()k T f x d ∇s.t. 10Ad ≥0.Ed = 11,1.i d i n -≤≤= Conclusions:1、For (LP) with optima k d , ()0k T k f x d ∇≤。

2、()0,k T k f x d ∇= if k x is a KKT point of (P)。

3、If()0,k T kf x d ∇< then k d is a feasible descent direction at k x 。

2.3 算法实现：step0:0,0,0x F k ε∈>=step1: For,k x ()solve LP to obtain kd .step2: If (),k T k f x d then ε∇≥- kx is the K-T point, stop!step3: Findk αmin ()k kf x d α+ max s.t. 0<<ααstep4: set1,1k k kk x x d k k α+=+=+ go to step1.Note: How to getmax α ?ensure ,k k x d F α+∈i.e.()k k A x d b α+≥()k k E x d e α+= Due to(),00k k kkEx e E x d e Ed αα⎧=⎪⇒+=∀>⎨=⎪⎩11111(),00kk k kA x b A x d b A dαα⎧=⎪⇒+≥∀>⎨>⎪⎩ Hope: 2222(),k k k A x d b A x b α+≥>已知If 20,k A d then ≥ 22(),0k k A x d b d α+≥∀>1220,1,0.kil s s A d i l s s ⎛⎫⎪⎪<∃=~< ⎪ ⎪⎝⎭Then 112222,kl l t b t b A xb t b ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭..,,1-i i i i i ii e t s b i lb t s αα+≥=~=Setmax -min 0i ii i b t s s αα⎧⎫==<⎨⎬⎩⎭3、数值实验3.1 代码实现Zoutendijk 法使用举例：22121122113142min ()(-1)(-2)1..()-210()--20()0()0f x x x s tg x x x g x x x g x x g x x =++=++≥=+≥=≥=≥matlab 程序： 定义所求函数并赋值 function h= fun1(x)syms a b ; x1=[a b]; f=a^2+4*b^2; h=subs(f,x1,x);end求导函数dfx：function dfx=dfxfun(x)syms a b;x1=[a b];f=a^2+4*b^2;grad=jacobian(f,x1);dfx=subs(grad,x1,x);end根据得到新的可行方向maxfunction h=fun(lamda,d,x)syms a b;x1=[a b];f=a^2+4*b^2;xx=x+lamda*d;h=subs(f,x1,xx);end主函数function Zoutendijk(x0,A,b)c=0;kk=0;options=optimset('Display','off');while c<5c=c+1;k=0;j=0;kk=kk+1;A1=[];b1=[];A2=[];b2=[];[m,n]=size(A);for i=1:mC=A(i,:)*x0;if C>=b(i)-1e-4 %不起作用约束A1,b1 k=k+1;A1(k,:)=A(i,:);b1(k,1)=b(i);endif C<b(i)-1e-4 %起作用约束放到A2，b2j=j+1;A2(j,:)=A(i,:);b2(j,1)=b(i);endend%A1,b1%A2,b2if isempty(A2) %A2为0向量矩阵f1=dfxfun(x0);if (abs(f1)<=1e-4)breakelse d=-f1;endelselb=[-1 -1];ub=[1 1];b0=zeros(size(b1));f1=dfxfun(x0);[d,fval1]=linprog(f1,A1,b0,[],[],lb,ub); %求解最小化问题,得到可行方向d和最值if fval1==0breakendend%pausedd=A2*d;bb=b2-A2*x0;lamdmax=max(bb./dd);lamda=fminbnd(@(lamda)fun(lamda,d,x0),0,lamdmax,options); %求函数的局部极小值if (isempty(lamda(:)))%〖f(x)〗^T d^k=0迭代结束breakendx0=x0+lamda*d;%获得新点endfprintf('可行方向法\n：迭代次数：kk=%d\n',kk);fprintf('最优解：\n');x0fval3=fun1(x0);fprintf('函数最值：\n');fval3%用非线性约束函数方法，检验所得到的结果是否正确x0=[0;0];[x,fval]=fmincon(@fun1,x0,A,b,[],[],[],[],[],options);%求解非线性问题fprintf('用非线性约束规划检验：最优解为：\n');xfprintf('约束条件下函数最值：\n');fvalendcommand中输入：x0=[0;0];A=[2.0 -1.0;1.0 1.0;-1.0 0.0;0.0 -1.0];b=[1.0;2.0;0.0;0.0];>> zoutendijk(x0,A,b)Optimization terminated.Optimization terminated.Optimization terminated.Optimization terminated.Optimization terminated.可行方向法：迭代次数：kk=5最优解：x0 =0.50001.5000函数最值：fval3 =1.5001Warning: Trust-region-reflective algorithm does not solve this type of problem, using active-setalgorithm. You could also try the interior-point or sqp algorithms: set the Algorithm option to>> In fmincon at 472>> In zoutendijk at 61用非线性约束规划检验：最优解为：x =0.50001.5000约束条件下函数最值：fval =1.5000所得到结果为：根据数学解法，代入验证结果符合要求，表明可行方向法编程正确！4、算法比较及缺点4.1随机方向搜索法特点：简单、方便，对目标函数性态无特殊要求，收敛较快，但计算精度不高，对严重非线性问题一般只能提供较近似的最优解。