牛顿法求解多元优化问题

牛顿法求解多维优化问题

姓名：王铎

学号： 2007021271

班级：机械078

上交日期： 2010/7/2

完成日期： 2010/6/29

一． 问题分析

求函数f(x)=x1^2-x1*x2+x2^2+x1*x3+x3^2最小值为多元无约束优化问题，由于函数为二次函数，牛顿型法在求近似点时用到泰勒级数展开到二次项，对于二次函数 所取点就不是近似值而是精确值，所以此函数用牛顿型法求解。

二． 数学模型 2.1目标函数

f(x)=x1^2-x1*x2+x2^2+x1*x3+x3^2 2.2设计变量

X=[x1 x2 x3]

三． 算法特点及预期计算情况

对于多元函数f(x),设xk 为f(x)极小点x*的一个近似点，在xk 处将f(x)

进行泰勒展开保留到二次项得

21()()()()()()()()2

k

k

T

k

k T k T k

f x x f x f x x x x x f x x x ϕ≈=+∇-+

-∇-

式中2()k f x ∇—()f x 在k x 处的海塞矩阵。

设1k x +为()x ϕ的极小点，它作为()f x 的极小点x*的下一个近似点，根据极值必要条件 1()0k x ϕ+∇= 得 102010[()]()x x f x f x -=-∇∇ k=（0,1,2,3,……）

此为多元函数求极值的牛顿法迭代公式，对于二次函数，泰勒级数展开到二次项，所取值不是近似值 而是精确值。海塞矩阵为常矩阵，各个元素都为常数。因此 初始点从何处出发，只需一步就可找到极小点，所以牛顿法具有二次收敛性。此题预计计算迭代一次找到极小值。

四． 计算过程

f(x)=x1^2-x1*x2+x2^2+x1*x3+x3^2

取初始点0[111]T x =

则初始点的函数梯度、海塞矩阵及其逆阵分别是 1230

121322()2123x x x f x x x x x -+⎡⎤⎡⎤⎢⎥⎢⎥∇=-+=⎢⎥⎢⎥⎢⎥⎢⎥+⎣⎦⎣⎦

20

211()1

201

2f x -⎡⎤

⎢⎥∇=-⎢⎥⎢⎥⎣⎦

1

20 1.0000

0.5000 -0.5000()0.50000.75000.25000.5000

0.2500

0.7500f x -⎡⎤

⎢

⎥

⎡⎤∇=-⎣⎦

⎢⎥

⎢⎥--⎣⎦

带入牛顿法迭代公式

102010

[()]()x x f x f x -=-∇∇= 1 1.0000

0.5000 -0.50002010.5000

0.75000.2500*1010.5000

0.2500

0.750030⎡⎤⎡⎤⎡⎤⎡⎤

⎢⎥⎢⎥⎢⎥⎢⎥

--=⎢⎥⎢⎥⎢⎥⎢⎥

⎢⎥⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦⎣⎦⎣⎦

min 0f =

五． 结论

经计实用牛顿法计算多维无约束优化问题总结，牛顿法具有下降速度快，二次收敛性等

优点，使得在计算二次函数时，一步迭代就能得到计算结果。缺点是计算量大 尤其是在对

海塞矩阵求逆的过程中计算繁琐、量大，不利于提高运算效率