最优化大作业

最优化大作业
所在院系：电子工程学院
学号：02115088
姓名: 张赛捷
第一题
问题描述
分别用最速下降法和共轭梯度法求优化问题2212112min ()242f x x x x x x =+--
一、 最速下降法
1、 算法简介
在基本迭代公式k k k k p t x x +=+1中，每次迭代搜索方向k p 取为目标函数)(x f 的负梯度方向，即)(k k x f p -∇=，而每次迭代的步长k t 取为最优步长，由此确定的算法为最速下降法
2、 迭代步骤
给定控制误差0ε>
步骤1：取初始点)0(x ，令k=0；
步骤2：计算)(k p =)()(k x f ∇-；
步骤3：若ε≤)(k p ,取)(*k x x ≈，停止计算；否则，转下一步； 步骤4：求0>k α，使得)(min )()()(0
)()(k p x f p x f k k k k ααα+=+≥，转步骤2； 3、 实验结果
初始点为（1,1），运行结果为)9980.1,9941.3(*=x 。

4、 总结
最速下降法的优点是算法简单，每次迭代计算量小，占用内存量小，即使从一个不好的初始点出发，往往也能收敛到局部极小值点。

但从全局来看，由于锯齿现象的影响，即使向着极小点移近不太大的距离，也要经历不小的“弯路”，因此收敛速度大为减慢。

二、 共轭梯度法
1、 算法简介
在共轭方向法中初始的共轭向量0P 恰好取为初始点0X 处的负梯度00(X )g f -=-∇，而以下各共轭方向k P 由第k 迭代点k X 处的负梯度k g -与已经得到的共轭向量1k P -的线性组合来确定，那么就构成了一种具体的共轭方向法。

因为每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。

2、 迭代步骤
步骤1：选0,0>εx ；
步骤2：若)(0x f ∇，ε≤∇)(0x f 停止，输出0x ；否则转步骤3；
步骤3：构造初始搜索方向，)(00x f p -∇=，令k=0，转步骤4；
步骤4：进行一维搜索，求k t 使得)(m i n )(0
k k t k k k tp x f p t x f +=+≥，令 k k k k p t x x +=+1，转步骤5；
步骤5：)(1+∇k x f ，若ε≤∇)(0x f ，停止，输出1+k x ；否则，转步骤6； 步骤6：若k+1=n ，令k x x =0，转步骤3；否则转步骤7；
步骤7：构造共轭方向，取221)()(k k k x f x f ∇∇=
+λ，令k k k k p x f p λ+-∇=++)(11，令 k=k+1，
转步骤4；
3、 实验结果
选取初始点（0,1），得到最优解*(4.0000,2.0000)T x =。

，
4、 总结
共轭梯度法是介于最速下降法和牛顿法之间的一个方法，仅仅储存向量，因而储存量小，克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse 矩阵并求逆的缺点，适合于维数较高的优化的问题。

第二题
问题描述
利用外点法和内点法求解下列约束优化问题
⎪⎪⎩
⎪⎪⎨⎧≥≥-++=001..)1(121)(min 21231x x t s x x x f 一、 外点法
1、 算法简介
根据约束的特点构造某种惩罚函数，并把惩罚函数添加到目标函数上去，从而得到一个增广目标函数，使约束优化问题的求解转化为一系列无约束极小优化问题的求解。

2、 迭代步骤
步骤1：构建函数)()(),(X a M X f M X F k k +=.
步骤2：输入初始点X.
步骤3：用最速下降法求)],(min[k M X F 得到较优点k X .
步骤4：若ε≤)(X a M k ，则k X 就是所求最优点，打印结果。

否则转5. 步骤5：1+=k k M M ，k=k+1，转3.
3、 实验结果
选取初始点（0，0），迭代后得到最优解T x )0,9999.0(*=。

4、 结论
外点法是通过一系列惩罚因子{M ,k 0,1,2,...}k =，求(X ,M)k F 的极小点逼
近原约束问题的最优点。

随着惩罚因子的增大，迫使惩罚项的值逐渐减小，从而使(X,M )k F 的极小点*(M )k X 沿着某一运动轨迹逐渐接近等式约束面与起作用的不等式约束面上的最优点*X ，当k M 趋于无穷大时，(X,M )k F 的极小点就是原问题的最优点*X 。

但是k M 越大，增广目标函数(X,M )k F 的Hesse 矩阵的条件数越坏，给无约束问题求解增加越来越多的困难，甚至无法求解。

所以，在迭代开始时不得不把k M 取小一些，因而增加了运算量。

二、 内点法
1、 算法简介
内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚因子 r(k) 的不断递减，生成一系列新目标函数 Φ(xk ,r(k))，在可行域内逐步迭代，产生的极值点 xk*(r(k)) 序列从可行域内部趋向原目标函数的约束最优点 x* 。

2、 迭代步骤
构造增广目标函数
11(X,)(X)(X)
l k k i i F r f r g ==+∑
终止限0ε>。

步骤1：选定初始点0X D ∈，初始障碍因子110r =，障碍因子的缩小系数1c <；1k =。

步骤2：假设已获迭代点1k X -，以1k X -为初始点，求解min (X,)k f r ，设其最优解为()k X r 。

步骤3：若11(X())
l k i i k r g r ε=≤∑
，则()k X r 是最优解，打印(X(),(X()))k k r f r ，结束；否则，转步骤4。

步骤4：1k k r cr +=，1k k =+，转步骤2。

3、 实验结果
选取初始点（2,2），迭代后得到最优解*(1.0000,0.0067)T x =。

4、 结论
内点法的优点在于每次迭代都是可行点，当迭代到一定次数时，尽管可能没有达到约束最优点，但可以被接受为一个较好的近似最优点。

然而，内点法要求初始点位于可行域内部，即所有的约束需按严格不等式满足，对于复杂的优化问题，就要采用求可行点的算法。

实验心得
通过本次大作业，我对最速下降法，共轭梯度法，内点法和外点法有了更深的了解，也对最优化这门课程有了更深的认识。

通过matlab 程序的实现，让我对每种方法各自的优势与不足有了新的体会。

在完成这两道题的过程中，我锻炼了动手能力，提高了分析问题以及解决问题的能力，这些是通过看书难以得到的收获。