第四章—牛顿法求解无约束问题

牛顿法求解无约束多维优化问题
一、基本思想
牛顿法是一种线性化的方法，其基本思想是将非线性方程()0f x =逐步归结为某种显性线性方程来求解。

在k x 邻域内用一个二次函数()x ϕ来近似代替原目标函数，并将()x ϕ的极小值点作为对目标函数()f x 求优的下一个迭代点1k x +。

经多次迭代，使之逼近目标函数()f x 的极小值点。

二、数学模型
将目标函数()f x 作二阶泰勒展开，
设1k x +为()x ϕ的极小值点
1()0k x ϕ+∇=
21()()()0k k k k f x f x x x +∇+∇-=
121[()]()(0,1,2,3)k k k k x x f x f x k +-=-∇∇= 这就是多元函数求极值的牛顿法迭代公式。

对于二次函数，海塞矩阵H 是一个常矩阵，其中各元素均为常数，因此，无论从任何点出发，只需一步就可以找到极小值点。

从牛顿法迭代公式的推导过程中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。

因此对于非二次函数，如果采用上述牛顿迭公式，有时会使函数值上升。

三、算例分析
算例1、2212()(4)(8)f x x x =-+-
取初始点[1,1]T x =
2()()()()()1()()()2
k k T k k T k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-
初步分析，目标函数为二次函数，经过一次迭代即可得到。

编制程序及计算结果如下：
syms x1 x2;
f=(x1-4)^2+(x2-8)^2;
v=[x1,x2];
df=jacobian(f,v);
df=df.';
G=jacobian(df,v);
e = 1e-12;
x0=[1,1]';
g1=subs(df,{x1,x2},{x0(1,1),x0(2,1)});
G1=subs(G,{x1,x2},{x0(1,1),x0(2,1)});
k=0;
while(norm(g1)>e)
p=-G1\g1;
x0=x0+p;
g1=subs(df,{x1,x2},{x0(1,1),x0(2,1)});
G1=subs(G,{x1,x2},{x0(1,1),x0(2,1)});
k=k+1;
end;
k
x0
结果：
k =
1
x0 =
4
8
正如分析所得，迭代一次即可得出极小值点。

算例2、243123()(10)(8)(5)f x x x x =-+-++
取初始点[1,4,1]T x =-
目标函数为三维函数，且都高于二次，海塞矩阵存在且不为常数，迭代次数大于一次。

编制程序和计算结果如下：
syms x1 x2 x3;
f=(x1-10)^2+(x2-8)^4+(x3+5)^3;
v=[x1,x2,x3];
df=jacobian(f,v);
df=df.';
G=jacobian(df,v);
e = 1e-12;
x0=[-1,4,1]';
g1=subs(df,{x1,x2,x3},{x0(1,1),x0(2,1),x0(3,1)});
G1=subs(G,{x1,x2,x3},{x0(1,1),x0(2,1),x0(3,1)});
k=0;
while(norm(g1)>e)
p=-G1\g1;
x0=x0+p;
g1=subs(df,{x1,x2,x3},{x0(1,1),x0(2,1),x0(3,1)});
G1=subs(G,{x1,x2,x3},{x0(1,1),x0(2,1),x0(3,1)});
k=k+1;
end;
k
x0
结果：
k =
28
x0 =
10.0000
8.0000
-5.0000
四、结果分析
牛顿迭代法主要利用二阶梯度进行求解，在针对上述算例进行计算后，主要存在以下问题：
1)牛顿法所求极小值点是局部极小值点，对于取初值有一定要求。

为了克
服这一困难，引入了阻尼牛顿法以得到大范围收敛特性。

2)对于二次的目标函数，其海塞矩阵为常数阵，迭代一次即可得到结果，
收敛速度较快。

3) 对于某些方程，例如24123()(10)(8)(5)f x x x x =-+-++，迭代点的海塞
矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向。

4) 牛顿法在计算过程中，计算量偏大，不仅要计算梯度，还需要计算海塞
矩阵及其逆矩阵，计算量和存储量大。