非线性规划课程设计【共轭梯度法】

题目：共轭梯度法及其数值实现
院系：数理学院应用数学系
专业：数学与应用数学
姓名学号：谁知道089084000
指导教师：张是淘
日期：2012 年 6 月18 日
共轭梯度法原是为求解目标函数为二次函数的问题而设计的一类算法，这类算法的特点是：方法中搜索方向是与二次函数系数矩阵有关的所谓共轭方向。

用这类方法求解n元二次正定函数的极小问题，最多进行n次一维搜索便可求的极小点。

而可微的非二次函数在极小点附近的性态近似于二次函数，因此这类方法也能用于求可微的非二次函数的无约束极小问题。

关键词：最优化；共轭梯度法；二次函数；极小问题；
Abstract
Conjugate Gradient Method solve the objective function for the original quadratic function problems and design for a class of algorithm, This algorithm is characteristic: Methods the search direction is associated with the quadratic function coefficient matrix related to so-called conjugate direction. With this kind of method for solving N yuan two positive definite functions minimax problems. Up to N times of one-dimensional search can find minimizers. And differentiable non two function in minimum near the behavior is similar to the two function, This method can also be used for differentiable non two function of unconstrained minimization problem.
Keywords:Optimization; Conjugate Gradient Method; Quadratic function; minimum problem
第一章引言 (2)
1.1无约束优化问题概述 (2)
1.2 共轭方向……………………………………………………………………
1.2 共轭方向法…………………………………………………………………第二章共轭梯度法………………………………………………………………
2.1 基本原理……………………………………………………………………
2.2 算法步骤……………………………………………………………………
2.3 程序流程图…………………………………………………………………第三章算例………………………………………………………………………总结…………………………………………………………………………………参考文献……………………………………………………………………………附录…………………………………………………………………………………
第一章引言
1.1 无约束优化问题概述
一个非线性规划问题的自变量x没有任何约束，或说可行域即是整个n维向量空间：,则称这样的非线性规划问题为无约束问题：
或 (3.1.7)
1.2共轭方向
设一组非零向量,A为n阶对称正定阵，若下式成立：
.称向量组关于A共
轭。

也称它们为一组A共轭方向（或称为A的n个共轭方向）。

设有二维二次函数：
(4.4.1) 其中A是二阶对称正定阵，是一个定点。

函数的等直线：
是以为中心的椭圆。

有（4.4.1）式可求得
，
及. （4.4.2）
由（4.4.2）式及A正定，可知是f(x)的极小点。

设是某等值线上一点，该等值线在点处的法向量
, (4.4.3)
若记
. (4.4.4)
又设是该等值线在点处的一个切向量，则有切向量
与法向量
正
交，即
(4.4.5)
考虑到（4.4.3）式及（4.4.4）式，（4.4.5
）式就可转化为
(4.4.6)
说明等值线上一点处的切向量与由该点指向极小点的向量关于A 共轭。

1.3 共轭方向法
考虑问题：
A 为正定矩阵，f(x)是凸函数.根据 1.2的共轭方向，相
继以
为搜索方向。

根据算法
()()()()
(1)()()
min ()()
k k k k k k k k k f x p f x p x x p λλλ+⎧''+=+⎪⎨=+⎪⎩
可以相继得到迭代点：(1)(2)()
,,,n x x x ，当
，则
就是平稳点。

第二章 共轭梯度法
2.1
基本原理
其中A 为n 阶对称正定阵，,,是常数.n n x b C ∉∉
由上f(x)是正定二次函数 ()f x Ax b ∇=+，
故有(1)()()()()k k k k f x f x Ap λ+∇=∇+ k=0，1，2，…，n-1.
又设以
迭代点沿搜索方向
进行一维搜索时采用最佳一维搜索求步长因子
k λ，即
(1)()()
()()()()
0,()min (),k k k k k k k k k x x p f x p f x p λλλλ+≥⎧=+⎪
⎨+=+⎪⎩
进行多次迭代，检验若 ()()0k f x ∇=，则()k x 就是最优解。

否则就继续进行迭代。

2.2算法步骤
由共轭梯度法公式：
(1)()()
()()
()()
(0)(0)(1)(1)()(1)()()()()()()()()()k k k k k T k k k T k k k k k k T k k k T k x x p f x p p Ap p f x p f x p f x p
p Ap λλββ++++⎧=+⎪∇⎪
=-⎪⎪⎪
=-∇⎨⎪=-∇+⎪
⎪∇⎪=-⎪⎩ 以
方向进行迭代，当
k βε≤ 结束迭代，最优解为()k x 。

2.3 程序流程图
第三章 算例
举例 试用共轭梯度法下述二次函数的极小点；
22
121212131(,)222
f x x x x x x x =
+-- 取4(0)
210,.4x ε-⎡⎤-==⎢⎥⎣⎦
Matlab 程序：
xk=input('input x0:')
ptol=1.0e-5; k=2;
while k==2 k=0; btk=0; dk=0; for k=0:2
gk=[3*xk(1,1)-xk(2,1)-2;xk(2,1)-xk(1,1)];
dk=-gk+btk*dk;
f1=gk;
G=[3,-1;-1,1];
a=-(dk'*f1)/(dk'*G*dk);
xk=xk+a*dk;
gk1=[3*xk(1,1)-xk(2,1)-2;xk(2,1)-xk(1,1)];
if norm(gk1)<ptol
break
end
btk=(norm(gk1)/norm(gk))^2;
end
if norm(gk1)<ptol
break
end
end
f=1.5*xk(1,1)^2+0.5*xk(2,1)^2-xk(1,1)*xk(2,1)-2*xk(1,1);
fprintf('\n 运用共轭梯度法迭代%d后得到极小点xk及极小值f为:\n',k);
disp(xk);
disp(f);
input x0:[1;2]
xk =
1
2
运用共轭梯度法迭代1次后得到极小点xk及极小值f为:
1.0000
1.0000
-1
总结
共轭梯度法是一种很有效求解无约束优化的方法，共轭梯度法是根据共轭方向去搜索，可以由较快的收敛速度找到最优解求得极小点。

参考文献
[1] 何坚勇. 最优化方法[M]. 北京: 清华大学出版社, 2007.
附录
共轭梯度法程序的matlab源代码：
xk=input('input x0:')
ptol=1.0e-5;
k=2;
while k==2
k=0;
btk=0;
dk=0;
for k=0:2
gk=[3*xk(1,1)-xk(2,1)-2;xk(2,1)-xk(1,1)];
dk=-gk+btk*dk;
f1=gk;
G=[3,-1;-1,1];
a=-(dk'*f1)/(dk'*G*dk);
xk=xk+a*dk;
gk1=[3*xk(1,1)-xk(2,1)-2;xk(2,1)-xk(1,1)];
if norm(gk1)<ptol
break
end
btk=(norm(gk1)/norm(gk))^2;
end
if norm(gk1)<ptol
break
end
end
f=1.5*xk(1,1)^2+0.5*xk(2,1)^2-xk(1,1)*xk(2,1)-2*xk(1,1);
fprintf('\n 运用共轭梯度法迭代%d后得到极小点xk及极小值f为:\n',k); disp(xk);
disp(f);。