09-2最速下降法

2013-2014（1）专业课程实践论文
题目：最速下降法
一、算法理论
1.最速下降法的基本原理
在基本迭代公式k k k k P t X X +=+1中，每次迭代搜索方向k P 取为目标函数
)(X f 的负梯度方向，即)(k k X f P -∇=，而每次迭代的步长k t 取为最优步长，
由此确定的算法称为最速下降法。

为了求解问题)(min X f ，假定我们已经迭代了k 次，获得了第k 个迭代点
k X 。

现在从k X 出发，可选择的下降方法很多，一个非常自然的想法是沿最速
下降方向（即负梯度方向)进行搜索应该是有利的，至少在k X 邻近的范围内是这样。

因此，去搜索方向为
)(k k X f P -∇=.
为了使目标函数在搜索方向上获得最多的下降，沿k P 进行一维搜索，由此得到第1+k 个跌带点，即
)(1k k k k X f t X X ∇-=+，
其中步长因子k t 按下式确定
))((min ))((k k k k k k X f t X f X f t X f ∇-=∇-，
))((1k k k X f X ls X ∇-=+ （1） 显然，令 ,2,1,0=k 就可以得到一个点列 ,,,210X X X ,其中0X 是初始点，由计算者任意选定。

当)(X f 满足一定的条件时，由式（1）所产生的点列}{k X 必收敛于)(X f 的极小点。

下面为书写方便，记)()(X f X g ∇=。

因此)()(k k k X f X g g ∇==. 2.牛顿法的基本原理
设最优化问题为)(min X f ，其中1:R R f n →二阶可导，He sse 矩阵
)(2X f ∇正定。

不妨设经过k 次迭代已获点k X ，现将)(X f 在k X X =处展成二阶泰勒公式，于是有
))(()(2
1
)()()()()(2k k T k k T k k X X X f X X X X X f X f X Q X f -∇-+-∇+=≈
显然)(X Q 是二次函数，特别由假设知)(X Q 还是正定二次函数，所以
)(X Q 是凸函数且存在唯一全局极小点。

为求此极小点，令
0))(()()(2=-∇+∇=k k k X X X f X f X Q
即可解得
)()]([12k k k X f X f X X ∇∇-=-，
亦即
)()]([121k k k k X f X f X X ∇∇-=-+ （2） 对照基本迭代公式
k k k k P t X X +=+1
易知，式（2）中的搜索方向
)()]([12k k k X f X f P ∇∇-=- （3） 步长因子1=k t 。

换句话说从点k X 出发沿搜索方向
)()]([12k k k X f X f P ∇∇-=-
并取步长1=k t 即可得)(X Q 的极小点1+k X 。

因此，
)()]([12k k k X f X f P ∇∇-=-
是直指点k X 处近似二次函数)(X Q 的极小点的方向。

此时称
)()]([12k k k X f X f P ∇∇-=-
为从点k X 出发的Nowton 方向。

从初始点开始，每一轮从当前迭代点出发，沿Nowton 方向并取步长1=k t 的算法称为牛顿法。

二、算法框图
function y = minSpeed2(functions,var,x0,a,stepNum)
%functions is a function of var,for example
%x = [x1,x2,x3,x4] y = x*x.';
%var is a variable array like [x1,x2,x3,...]
%you shouldn't like [a,b,c,d,...] or other kinds.
%x0:起始迭代值 a:迭代步长
VF = jacobian(functions,var);
x = zeros([1001,length(x0)]);
x(1,:) = x0;
for k=1:stepNum
x(k+1,:)=x(k,:)-a*double( vpa( subs(VF,var(1:end),x(k,:)))); end;
if length(x0)==2
plot(x(1:k,1),x(1:k,2),'o-');grid on;
end;
if length(x0)==3
plot3(x(1:k,1),x(1:k,2),x(1:k,3),'o-');grid on;
end;
disp(x(stepNum,:));
y = x(stepNum,:);
例1.利用最速下降法求函数222121)4()5(),(++-=x x x x f 的最小值点。

初值点位x1=1,x2=-2 。

解：输入： >> syms x1 x2;
>> fg = (x1-5).^2+(x2+4).^2;
>> minSpeed2(fg,[x1 x2],[1 -2],0.01,300) 输出：
例2．利用最速下降法求函数2
2212143),(x x x x f +=的最小值点。

初值点位x1=1,x2=1。

解：输入： >> syms x1 x2;
>> fg = x1.^2+4*x2.^2;
>> minSpeed2(fg,[x1 x2],[1 1],0.01,200)
例3．利用最速下降法求函数222121)4(-)5(),(+-=x x x x f 的最小值点。

初值点位x1=1,x2=-2。

解：输入： >> syms x1 x2;
>> fg = (x1-5).^2-(x2+4).^2;
>> minSpeed2(fg,[x1 x2],[1 -2],0.01,300)
例4．利用最速下降法求函数2
22
1214-3),(x x x x f =的最小值点。

初值点位x1=1,x2=1。

解：输入： >> syms x1 x2;
>> fg = x1.^2-4*x2.^2;
>> minSpeed2(fg,[x1 x2],[1 1],0.01,200)。