两个无约束优化的数值实验
数学实验——无约束优化
实验6无约束优化分1黄浩43实验目的1. 掌握用MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较2. 练习用无约束优化方法建立和求解实际问题模型（包括非线性最小二乘拟合）。
二、实验内容1. 《数学实验》第二版（问题2.1）问题叙述：取不同的初值计算非线性规划：尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法（搜索方向、步长搜索、数值梯度与分析梯度等）的结果进行分析、比较。
实验过程：首先绘制这个函数的三维图形以及等高线（程序见四.1），结果如下:s M tn0-”19 A8 A1G \ 5 -14 -13 \ 2 A1通过观察这两幅图，可以得到，x2确定时，x1越负，函数值越大，x1确定时，x2绝对值越大，函数值越大。
但对于x1正向偏离0的情况，并没有很好的反映，于是扩大绘图范围，做出下图（程序见四.2）：-1 -10由上面两幅图可见，方程像是一个四角被捏起的花布，而且z的最小值为0< 因此只要求解该方程的零点，即得到了方程的局部极小点，且若将原方程变形为:我们容易发现，该方程的零点为：x2=0或x1=0或x1=1或在求解零点之前，先针对一个零点，不妨用x1=1, x2=1，分析不同算法的优劣。
在matlab的无约束优化中，可以使用fminumc和fminsearch两种函数，搜索方向的算法有BFGS 公式、DFP公式和最速下降法三种（书中还提到的Gill-Murray 公式在matlab中已经不再使用），步长的一维搜索有混合二次三次多项式插值和三次多项式插值两种方法，另外，在求解函数梯度是也有数值方法和分析方法两种。
在对上述四类算法因素进行分析时，我们采用控制变量法，每次只保持一种或两种算法因素改变，分析它的精度及效率。
（一）分析fminumc与fminsearch两种方法的精度及效率选择初值为x1=0.8,x2=0.8，使用fminunc和fminsearch的默认算法及控制参数，输出结果如下（程序见四.3、四.4）：因为精确解为x1=1, z=0,我们便可以比较出不同算法的精度。
数学建模案例之多变量无约束最优化
数学建模案例之多变量无约束最优化多变量无约束最优化问题是指在变量间没有限制条件的情况下，求解目标函数的最优值。
这类问题在数学建模中非常常见，实际应用非常广泛。
下面以一个实际案例说明多变量无约束最优化的建模过程。
假设地有几个旅游景点，现在需要制定一个旅游路线，使得游客的游玩时间最长，同时经济成本最低。
已知每个旅游景点之间的距离和游玩时间，以及游客每次游玩每公里所需的成本。
目标是找到一条旅游路线，使得游客在游览所有景点后，花费的经济成本最少。
首先，我们需要定义问题的数学模型。
假设有n个旅游景点，用x1, x2, ..., xn表示每个景点的游玩时间（单位：小时），用dij表示第i个景点和第j个景点之间的距离（单位：公里），用c表示游客游玩每公里所需的成本。
为了定义问题的数学模型，我们需要明确如下几个关键部分：1. 决策变量：定义一个n维向量X，其中每一个分量xi表示游客在第i个景点的游玩时间。
2. 目标函数：定义一个目标函数f(X)，表示游客花费的经济成本。
在本例中，目标函数可以定义为：f(X) = ∑dij * xi * c。
3.约束条件：由于是无约束最优化问题，这里没有额外的约束条件。
有了以上几个关键部分，我们可以将问题的数学模型表达为如下形式：最小化：f(X) = ∑dij * xi * c其中，i=1,2,...,n下一步是求解这个最优化问题。
可以使用各种数值优化算法，比如梯度下降法、牛顿法、遗传算法等。
具体的求解过程会涉及到算法的具体细节，这里不再详述。
最后，根据求解结果，我们可以得到游玩时间最长且经济成本最低的旅游路线。
这条路线就是我们需要制定的旅游路线。
总结起来，多变量无约束最优化问题在数学建模中的应用非常广泛。
通过定义合适的决策变量、目标函数和约束条件，可以将实际问题转化为数学模型，并通过数值优化算法求解这个模型，得到最优解。
在实际应用中，对于复杂的问题，可能需要结合多种算法和技巧来求解。
无约束常用优化方法
步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
实验10无约束优化
实验10 无约束优化实验目的1． 1． 掌握用MA TLAB 优化工具箱的基本用法，对不同算法进行初步分析、比较。
2． 2． 练习用无约束优化方法建立和求解实际问题模型（包括非线性最小二乘拟合）。
实验内容第2题：取不同的初值计算下列非线性规划，尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法（搜索方向、步长搜索、数值梯度与分析梯度等）的结果进行分析、比较。
（4）c a a c a a x x x x z T T 222111)()(1)()(1min +---+---=，2R ∈x 。
其中)73.0,7.0(),(21=c c ，T a )4,4(1=，Ta )8.3,5.2(2=。
★问题分析：首先用数学方法计算出真实值，),(21'=x x x ， 将T a )4,4(1=，T a )8.3,5.2(2=代入，化z 的表达式为：2222112221)8.3()5.2(1)4()4(1c x x c x x z +-+--+-+--=可见分母的值越小，z 越小。
当x1，x2的值在2.5—4之间时可能取最小值。
2.53 3.54 4.52.533.544.5可以看出，z 存在两个最小值。
对z 求导：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+-+--++-+--+-+--++-+--=2122212212221221222112122211])8.3()5.2[()8.3(2])4()4[()4(2])8.3()5.2[()5.2(2])4()4[()4(2c x x x c x x x c x x x c x x x z ★ ★ Matlab 程序设计及结果： 下面用不同的算法进行计算：分别运行以上两程序，2222112221)8.3()5.2(1)4()4(1c x x c x x z +-+--+-+--=的求解无论用数值法还是分析法，无论用什么搜索方向，什么步长搜索都可以得到最优解和最优值。
数学建模实验二 无约束优化
数学建模试验报告（五 ）姓名 学号 班级问题：.陈酒出售的最佳时机问题某酒厂有批新酿的好酒,如果现在就出售,可得总收入0R =50万元(人民币),如果窖藏起来待来日(第n 年)按陈酒价格出售,第n 年末可得总收入60en R R (万元),而银行利率为r =0.05,试分析这批好酒窖藏多少年后出售可使总收入的现值最大. (假设现有资金X 万元,将其存入银行,到第n 年时增值为()R n 万元,则称X 为()R n 的现值.)并填下表. 第一种方案：将酒现在出售，所获50万元本金存入银行； 第二种方案：将酒窖藏起来，待第n 年出售.（1）计算15年内采用两种方案，50万元增值的数目并填入表1，2中； （2）计算15年内陈酒出售后总收入()R n 的现值填入 表3中.表1 第一种方案第1年 第2年 第3年 第4年 第5年 59.0680 63.2899 66.7329 69.7806 72.5808 第6年 第7年 第8年 第9年 第10年 75.2090 77.7098 80.1121 82.4361 84.6961 第11年 第12年 第13年 第14年 第15年 86.9031 89.0656 91.1903 93.2825 95.3467 表2 第二种方案第1年 第2年第3年第4年第5年第6年第7年第8年第9年第10年第11年第12年第13年第14年第15年表3 陈酒出售后的现值第1年 第2年第3年第4年第5年第6年第7年第8年第9年第10年第11年第12年第13年第14年第15年问题的分析和假设：假设问题不受市场上其他因素的影响，忽略通货膨胀的因素，假设酒水没有人为的损坏， 对问题分析。
存款存入银行的问题，可以建模为递增的函数。
问题二和问题一的原理相同。
建模：第一种方案，过n年出售：设第n年的收益为bn，则根据题目，写出运算公式为：r=50bn=r*exp(sqrt(n)/6)第二种方案，立即出售，存款存入银行：可以设存入银行的年收入为r，初始值为r0=50（万元）则，第n年的时候r=r0*（1+0.05）^nr0=50求解的Matlab程序代码：第一种方案，过n年出售：在m文件种编辑：输入为，for n=1:15b(n)=50*exp(sqrt(n)/6);endbb =用来计算1-15年的收益。
实验7 无约束优化
在第一幅图中，最大的函数值的数量级已到 107，说明画图范围取得过大，函数值为 0 的,点在该图中均呈现一平面， 故需要缩小自变量的范围再绘图。 修改程序 guancha1.m 如下。
[x,y]=meshgrid(-0.1:0.01:1.1,-0.1:0.01:1.1);%选定x,y范围均为[-0.1,1.1] z=((x.*y).^2).*((1-x).^2).*((1-x-y.*((1-x).^5)).^2); mesh(x,y,z);%画三维图像 title('图2.1 三维图像'); pause contour(x,y,z,200) %画等高线 title('图2.2 等高线 ')
2.2 matlab 求解 2.2.1 输出三维图像和等高线，直观观察最优解所在位置 首先，先让 MATLAB 输出的三维图像，直观地观察最优解的大致范围。程序 guancha.m 如下。
[x,y]=meshgrid(-2:0.01:2,-2:0.01:2);%选定x,y范围均为[-2,2] z=((x.*y).^2).*((1-x).^2).*((1-x-y.*((1-x).^5)).^2); mesh(x,y,z);%画三维图像 title('图2.1 三维图像'); pause contour(x,y,z,30) %画等高线 title('图2.2 等高线 ')
3.42E-08 3.41E-08 2.21E-05 3.42E-08 3.41E-08 2.21E-05
2.42E-17 2.40E-17 1.00E-11 2.42E-17 2.40E-17 1.00E-11
18 18 99 18 18 99
2.比较分析梯度与数值梯度对结果的影响 首先计算 f(x)的梯度
求解非线性无约束优化问题的两种方法的分析
垫墼兰￡望叁兰堑圭兰垒篁塞１第一章预备知识§１．１共轭梯度方法§１．１．１引言共轭梯度法足最优化中最常用的方法之一。
它具有算法简便，存储需求小等优点，十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模的优化问题是常常利用共轭梯度法求解。
在所有需要计算导数的优化方法中，最速下降是最简单的，但它速度太慢。
拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效的方法。
但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。
非线性共轭梯度法的收敛性分析的早期工作主要由Ｆｌｅｔｃｈｅｒ，Ｐｏｗｅｌｌ，Ｂｅａｌｅ等学者给出的，近年来，Ｎｏｃｅｄａｌ，Ｇｉｌｂｅｒｔ，Ｎａｚａｒｅｔｈ等学者在收敛性方面得到了不少的结果，使得共轭梯度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成绩。
例如中科院应用数学所的韩继业，戴口等．§１．１．２共轭方向法共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。
定义１．１．２．１：设Ｗ∈咿×ｎ对称正定，ｄｌ，ｄ２，…，ｄ。
是咿中的一组非零向量，如果盯Ａｄｊ＝０，（ｉ≠Ｊ）．（１．１）则称ｄ１，ｄ２，…，ｄ。
是相互Ａ一共轭。
显然可见，如果ｄｌ，ｄ２，…，ｄ。
相互Ａ一共轭，则它们是线性无关的。
设Ｊ是单位阵则知，一共轭就是正交。
一般共轭方向法步骤如下：算法１．１．２．１：（一般共轭方向法）给出∞＋的初始点Ｘｌ，步ｌ：计算ｇｌ＝ｇ（Ｘ１）．步２：计算ｄｌ，使（ｆ｛’９ｌ＜０．步３：令女＝１．步４：计算口ｋ和Ｘｋ＋１，使得ｆ（ｘｋ－Ｆ‘１ｋｄｋ）。
Ｉ。
ｊ１１，‰十“呶），Ｘｋ＋１＝Ｘｋ＋ｖ。
ｋｄｋ．步５：计算以＋ｌ使得ｄ矗１Ｇｄｊ＝０，Ｊ＝１，２，…ｋ．步６：令ｋ：＝ｋ＋１，转步４．共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这就足下面的共轭方向法基本定理。
实验7 无约束优化
数学实验作业（第八周）郭明钊 2012011880 化21一、原子位置问题1、 问题分析：题目中给出了各个原子之间的距离关系，所要求的就是每个原子在平面直角坐标系之中的具体位置。
则可以假设第i 个原子的坐标为(,)i i x y ，且假设第一个原子的位置为坐标原点，即(0,0)，则问题所求就转化为了使得2222[()()]i ji j ij ij x x y y d -+--∑达到最小值时的解。
这样问题就转化为了无约束优化：2222min [()()]i j i j ij ij x x y y d -+--∑，在这里，建立数组x ，其中有50个数，()i x i 为奇数为第i 个原子的横坐标，()i x i 为偶数为第i 个原子的纵坐标。
2、 使用matlab 中的lsqnonlin 函数实现：首先建立函数m 文件function y=distance(x,d)y(1)=(x(2*4-1))^2+(x(2*4))^2-d(1)^2;y(2)=(x(2*12-1))^2+(x(2*12))^2-d(2)^2;y(3)=(x(2*13-1))^2+(x(2*13))^2-d(3)^2;y(4)=(x(2*17-1))^2+(x(2*17))^2-d(4)^2;y(5)=(x(2*21-1))^2+(x(2*21))^2-d(5)^2;y(6)=(x(2*5-1)-x(2*2-1))^2+(x(2*5)-x(2*2))^2-d(6)^2;y(7)=(x(2*16-1)-x(2*2-1))^2+(x(2*16)-x(2*2))^2-d(7)^2;y(8)=(x(2*17-1)-x(2*2-1))^2+(x(2*17)-x(2*2))^2-d(8)^2;y(9)=(x(2*25-1)-x(2*2-1))^2+(x(2*25)-x(2*2))^2-d(9)^2;y(10)=(x(2*5-1)-x(2*3-1))^2+(x(2*5)-x(2*3))^2-d(10)^2;y(11)=(x(2*20-1)-x(2*3-1))^2+(x(2*20)-x(2*3))^2-d(11)^2;y(12)=(x(2*21-1)-x(2*3-1))^2+(x(2*21)-x(2*3))^2-d(12)^2;y(13)=(x(2*24-1)-x(2*3-1))^2+(x(2*24)-x(2*3))^2-d(13)^2;y(14)=(x(2*5-1)-x(2*4-1))^2+(x(2*5)-x(2*4))^2-d(14)^2;y(15)=(x(2*12-1)-x(2*4-1))^2+(x(2*12)-x(2*4))^2-d(15)^2;y(16)=(x(2*24-1)-x(2*4-1))^2+(x(2*24)-x(2*4))^2-d(16)^2;y(17)=(x(2*8-1)-x(2*6-1))^2+(x(2*8)-x(2*6))^2-d(17)^2;y(18)=(x(2*13-1)-x(2*6-1))^2+(x(2*13)-x(2*6))^2-d(18)^2;y(19)=(x(2*19-1)-x(2*6-1))^2+(x(2*19)-x(2*6))^2-d(19)^2;y(20)=(x(2*25-1)-x(2*6-1))^2+(x(2*25)-x(2*6))^2-d(20)^2;y(21)=(x(2*8-1)-x(2*7-1))^2+(x(2*8)-x(2*7))^2-d(21)^2;y(22)=(x(2*14-1)-x(2*7-1))^2+(x(2*14)-x(2*7))^2-d(22)^2;y(23)=(x(2*16-1)-x(2*7-1))^2+(x(2*16)-x(2*7))^2-d(23)^2;y(24)=(x(2*20-1)-x(2*7-1))^2+(x(2*20)-x(2*7))^2-d(24)^2;y(25)=(x(2*21-1)-x(2*7-1))^2+(x(2*21)-x(2*7))^2-d(25)^2;y(26)=(x(2*14-1)-x(2*8-1))^2+(x(2*14)-x(2*8))^2-d(26)^2;y(27)=(x(2*18-1)-x(2*8-1))^2+(x(2*18)-x(2*8))^2-d(27)^2;y(28)=(x(2*13-1)-x(2*9-1))^2+(x(2*13)-x(2*9))^2-d(28)^2;y(29)=(x(2*15-1)-x(2*9-1))^2+(x(2*15)-x(2*9))^2-d(29)^2;y(30)=(x(2*22-1)-x(2*9-1))^2+(x(2*22)-x(2*9))^2-d(30)^2;y(31)=(x(2*11-1)-x(2*10-1))^2+(x(2*11)-x(2*10))^2-d(31)^2;y(32)=(x(2*13-1)-x(2*10-1))^2+(x(2*13)-x(2*10))^2-d(32)^2;y(33)=(x(2*19-1)-x(2*10-1))^2+(x(2*19)-x(2*10))^2-d(33)^2;y(34)=(x(2*20-1)-x(2*10-1))^2+(x(2*20)-x(2*10))^2-d(34)^2;y(35)=(x(2*22-1)-x(2*10-1))^2+(x(2*22)-x(2*10))^2-d(35)^2;y(36)=(x(2*18-1)-x(2*11-1))^2+(x(2*18)-x(2*11))^2-d(36)^2;y(37)=(x(2*25-1)-x(2*11-1))^2+(x(2*25)-x(2*11))^2-d(37)^2;y(38)=(x(2*15-1)-x(2*12-1))^2+(x(2*15)-x(2*12))^2-d(38)^2;y(39)=(x(2*17-1)-x(2*12-1))^2+(x(2*17)-x(2*12))^2-d(39)^2;y(40)=(x(2*15-1)-x(2*13-1))^2+(x(2*15)-x(2*13))^2-d(40)^2;y(41)=(x(2*19-1)-x(2*13-1))^2+(x(2*19)-x(2*13))^2-d(41)^2;y(42)=(x(2*15-1)-x(2*14-1))^2+(x(2*15)-x(2*14))^2-d(42)^2;y(43)=(x(2*16-1)-x(2*14-1))^2+(x(2*16)-x(2*14))^2-d(43)^2;y(44)=(x(2*20-1)-x(2*16-1))^2+(x(2*20)-x(2*16))^2-d(44)^2;y(45)=(x(2*23-1)-x(2*16-1))^2+(x(2*23)-x(2*16))^2-d(45)^2;y(46)=(x(2*18-1)-x(2*17-1))^2+(x(2*18)-x(2*17))^2-d(46)^2;y(47)=(x(2*19-1)-x(2*17-1))^2+(x(2*19)-x(2*17))^2-d(47)^2;y(48)=(x(2*20-1)-x(2*19-1))^2+(x(2*20)-x(2*19))^2-d(48)^2;y(49)=(x(2*23-1)-x(2*19-1))^2+(x(2*23)-x(2*19))^2-d(49)^2;y(50)=(x(2*24-1)-x(2*19-1))^2+(x(2*24)-x(2*19))^2-d(50)^2;y(51)=(x(2*23-1)-x(2*21-1))^2+(x(2*23)-x(2*21))^2-d(51)^2;y(52)=(x(2*23-1)-x(2*22-1))^2+(x(2*23)-x(2*22))^2-d(52)^2;运行实现d=[0.9607 0.4399 0.8143 1.3765 1.2722 0.5294 0.6144 0.3766 0.6893 0.9488...0.8000 1.1090 1.1432 0.4758 1.3402 0.7006 0.4945 1.0559 0.6810 0.3587...0.3351 0.2878 1.3746 0.3870 0.7511 0.4439 0.8363 0.3208 0.1574 1.2736...0.5781 0.9254 0.6401 0.2467 0.4727 1.3840 0.4366 1.0307 1.3904 0.5725...0.7660 0.4394 1.0952 1.0422 1.8255 1.4325 1.0851 0.4995 1.2277 1.1271...0.7060 0.8052]';x0=[zeros(1,3),ones(1,47)]; %设初值[x,norms,res]=lsqnonlin(@distance,x0,[],[],[],d)a=reshape(x,2,25)'b=a(:,1)';c=a(:,2)';plot(b,c,'*') %在坐标系中显示出各个原子的位置3、结果如下：误差平方和：norms = 0.1625误差向量res =8.4224e-002 -5.6716e-002 5.4597e-0025.6860e-003 -1.1847e-001 5.8619e-0023.8879e-002 1.1819e-001 2.2805e-0023.8320e-002 -3.4772e-003 -3.9762e-0021.1452e-002 5.3897e-002 -4.3139e-0022.1071e-002 -4.4450e-002 9.6968e-003-5.6455e-002 4.0990e-002 2.7157e-0021.4843e-001 1.5864e-002 -3.7006e-003-1.3585e-001 2.6711e-002 -3.8390e-0039.0472e-003 2.9573e-002 -4.3175e-003-2.5224e-003 -4.7600e-004 1.2934e-002-2.4690e-002 7.6172e-003 2.5536e-003-5.2482e-003 7.3814e-002 -3.1225e-003-6.2153e-002 4.1666e-002 1.3685e-0016.4955e-002 2.3253e-003 -6.2132e-002-1.5985e-003 -5.7399e-002 -1.5199e-0021.3400e-002 -1.8521e-002 1.2003e-0013.1653e-003各个原子的坐标数值（第一列为横坐标，第二列为纵坐标）ans =0 00.2496 1.37301.6630 1.60100.7720 0.64120.7953 1.17011.2807 0.94921.4662 0.83651.2996 0.50230.3616 0.50871.1538 0.82271.1655 1.3985-0.3685 -0.03120.2287 0.81570.9857 0.85610.5856 0.44400.6025 1.9132-0.2599 1.35380.5372 0.16430.7983 1.36701.1261 1.01080.8162 0.91311.6189 0.70121.0248 0.15481.4666 0.46970.8870 1.0702 显示在坐标系中：当改变初值时x0=[zeros(1,2),ones(1,48)]; %设初值得norms =0.2298ans =0 00.7773 1.54251.2131 1.73990.8442 0.52390.6526 0.98631.4017 1.14390.7255 0.70991.0215 0.8220-0.0902 0.93201.2946 1.03960.7993 1.3167-0.4498 0.26080.4560 0.67820.6244 1.06130.1326 1.11251.2374 1.98050.5434 1.25021.2808 0.02161.3079 0.47031.0750 0.94510.2150 1.25031.0575 0.51940.1391 0.52860.3273 1.01521.0902 0.9464当换成其他初值时，答案也会明显不同。
Exp07_实验7_无约束优化
k k T k k k k
T
(x ) f
k T
k
3.2 Broyden-Fletcher-Goldfarb-Shanno(BFGS)公式
G
k
f
k
(f
k T
k T
)
(f
) x
k T
k
k
G x (x ) G (x ) G x
k
k
k
k T k
k
k T
k
k
H
k
(1
(f ) H f (x ) f
x
k 1
x [ F ( x )]
k
k
1
F (x )
k
F ( x) f ( x)
3 拟Newton方法 目的 思路
x
k 1 k
不计算Hessian阵，克服病态、不正定、计 算复杂等缺陷，同时保持收敛较快的优点 回顾解方程组 F(x)=0的拟牛顿法
k 1
x [ F ( x )]
2 Newton方法 将f(xk+1)在xk点作泰勒展开至二阶项，用d替代dk
f (x
k 1
) f (x d ) f (x ) f
k k
T
( x )d
k
1 2
d f ( x )d
T 2 k
求d使f(xk+1)极小右端对d导数为0 f ( x k ) 2 f ( x k ) d 0 牛顿方程 牛顿方向 迭代格式
k 1
x
x d
k k
k
f (x
k 1
) f (x )
k
实验五：无约束优化
实验五：无约束优化班级 姓名 学号一、实验目的：学会用matlab 软件求解单变量和多变量无约束优化问题。
二、实验要求：1. 熟悉一维搜索的方法：进退法、黄金分割法、抛物线插值法、Armijo 准则；2. 熟悉求解多变量无约束问题的方法：变量轮换法、最速下降法、牛顿法、共轭梯度法；3. 会用matlab 软件求解无约束优化问题。
三、实验内容：1、试用matlab 优化工具箱中的fmincon 函数求解下列非线性规划问题：2221232212323123212223123m in ()8020..2023,,0f x x x x x x x x x x s t x x x x x x x =+++⎧-+≥⎪++≤⎪⎪--+=⎨⎪+=⎪⎪≥⎩(1)给出matlab 源代码； (2)求解结果粘贴.2、(精确一维搜索) 用0.618法求函数2()sin f x x x =-在[]0,1上的极小点，取自变量的允许误差为410δ-=，函数变量的允许误差为510ε-=。
3、(不精确一维搜索) Armijo 准则是许多非线性规划算法求步长时都必须执行的步骤。
Armijo 准则是指给定()0,1,(0,0.5),βσ∈∈令步长因子km k αβ=，其中km 是满足下列不等式的最小非负整数()()()mmTk k k k k f x d f x g d βσβ+≤+*这里k g 是函数()f x 在当前迭代点k x 处的梯度函数，k d 是当前迭代点k x 处的搜索方向. 可以证明()f x 若是连续可微的且满足0T k k g d <，则准则是有限终止的，即存在正数σ，使得对于充分大的正整数m ，()*成立.为了程序实现的方便，我们把Armijo 准则描述成下列详细的算法步骤： 算法1（Armijo 准则）步0：给定()0,1,(0,0.5),βσ∈∈令:0m =；步1：若不等式()()m m T k k k k k f x d f x g d βσβ+≤+成立， 置:,k m m = 1:km k k k x x d β+=+，停止.否则,转步2；步2：令:1m m =+，转步1.（1）试将上述的Armijo 准则编制成可重复利用的matlab 程序模块。
无约束优化与约束优化
淮海工学院实验报告书课程名称：数学实验实验名称：无约束优化与约束优化班级数学091姓名：耿萍学号：090911107 日期：2012.5.18 地点数学实验室指导教师：曹卫平成绩：数理科学系1.实验目的：（1）学习建立最优化数学模型，并通过MATLAB求解。
（2）掌握MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较。
（3）练习实际问题的非线性最小二乘拟合。
（4）掌握用MATLAB优化工具包解线性规划和非线性规划。
（5）练习建立实际问题的线性规划和非线性规划模型。
2.实验内容：（1）某工厂生产甲乙两种产品，一件甲用A原料1公斤，B原料5公斤；一件已用A原料2公斤，B原料4公斤。
现有A原料20公斤，B 原料70公斤。
甲乙产品每件售价分别为20元和30元。
问如何安排生产使收入最大？当A原料或B原料，以每公斤2元买进B原料。
问如何安排计划使收入最大？当A原料或B原料增加1公斤时对收入影响多大。
又若可用有限资金以每公斤6元买进A原料，以每公斤2元买进原料。
问如何安排计划使利润最大？解释得到的结果。
（2）炼油厂将A,B,C三种原油加工成甲乙丙三种汽油。
一桶原油加工成一桶汽油的费用为4元，每天至多能加工汽油14000桶。
原油的买入价、买入量、辛烷值、硫含量，及汽油的卖入价、需求量、辛烷值、硫含量由下表给出。
问如何安排生产计划，在满足需求的条件下使利润最大？一般来说，做广告可以增加销售，估计一天向一种汽油投入一元广告费，可以使这种汽油日销售量增加10桶。
问如何安排生产和广告计划使利润最大化？原油类别买入价（元/桶）买入量（桶/天）辛烷值（%）硫含量（%）A 45 <=5000 12 0.5B 35 <=5000 6 2.0C 25 <=5000 8 3.0汽油类别卖出价（元/桶）需求量（桶/天）辛烷值（%）硫含量（%）甲70 3000 >=10 <=1.0乙60 2000 >=8 <=2.0丙50 1000 >=6 <=1.0（3）根据实验1表2中给出的美国人口数据，用非线性最小二乘法拟合阻滞增长模型中的参数，注意只拟合2个参数r，xm，与拟合3个参数r，xm，x0有何区别，并与实验1用线性最小二乘法拟合的结果进行比较。
数学实验 7：无约束优化
实验 7：无约束优化习题2：取不同的初值计算下列非线性规划，尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法的结果进行分析比较：c a a c a a x x x x z T T 222111)()(1)()(1min +---+---=，2R ∈x其中)73.0,7.0(),(21=c c ，T a )4,4(1=，Ta )8.3,5.2(2=。
1． 程序设计1)构建题目中的方程function [f,g]=func(x) a1=[4,4]'; a2=[2.5,3.8]'; c=[0.7,0.73];f=-1/((x-a1)'*(x-a1)+c(1))-1/((x-a2)'*(x-a2)+c(2));%自定义目标函数的梯度函数 if nargout>1g(1)=2*(x(1)-a1(1))/((x(1)-a1(1))^2+(x(2)-a1(2))^2+c(1))^2+2*(x(1)-a2(1))/((x(1)-a2(1))^2+(x(2)-a2(2))^2+c(2))^2g(2)=2*(x(2)-a1(2))/((x(1)-a1(1))^2+(x(2)-a1(2))^2+c(1))^2+2*(x(2)-a2(2))/((x(1)-a2(1))^2+(x(2)-a2(2))^2+c(2))^2 end2)进行非线性规划并比较不同算法的不同opt1=optimset('LargeScale','off','MaxFunEvals',1000,'TolFun',1e-8,'To lX',1e-8,’GradObj ’,’off ’);%关闭大规模算法，规定最大调用次数，以及计算精度，拟牛顿法DFGS 公式,是否采用自设梯度%函数可调opt2=optimset(opt1,'HessUpdate','dfp');%拟牛顿法BFP 公式 opt3=optimset(opt1,'HessUpdate','gillmurray'); %拟牛顿法GM 公式 opt4=optimset(opt1,'HessUpdate','steepdesc'); %最速下降法opt5=optimset(opt1,'lineSearchType',' cubicpoly');%采用三次多项式插值 opt6=optimset(opt5,'HessUpdate','dfp'); opt7=optimset(opt5,'HessUpdate','gillmurray'); opt8=optimset(opt5,'HessUpdate','steepdesc');x0=[3,3]';%设置不同初值，比较结果[x1,v1,exit1,out1]=fminunc(@func,x0,opt1) %进行非线性规划[x2,v2,exit2,out2]=fminunc(@func,x0,opt2)[x3,v3,exit3,out3]=fminunc(@func,x0,opt3)[x4,v4,exit4,out4]=fminunc(@func,x0,opt4)[x5,v5,exit5,out5]=fminunc(@func,x0,opt5)[x6,v6,exit6,out6]=fminunc(@func,x0,opt6)[x7,v7,exit7,out7]=fminunc(@func,x0,opt7)[x8,v8,exit8,out8]=fminunc(@func,x0,opt8)3)绘制原函数的三维图形，找到全局极小点n1=2;n2=5; %绘图范围m=300; %取点个数x1=linspace(n1,n2,m);x2=linspace(n1,n2,m);[X,Y]=meshgrid(x1,x2);F=0;for i=1:mfor j=1:mF(i,j)=func([x1(i),x2(j)]');endendmesh(X,Y,F)xlabel('X1');ylabel('X2');zlabel('Func');pause;contour(x1,x2,F,50); %绘制等高线50条xlabel('X1');ylabel('X2');2．运行结果及分析可以看到采用BFGS与GM算法的结果完全相同，事实上，在运行时MatLab会输出警告，GM方法采用的应该还是默认的BFGS算法。
实验七(无约束优化)
一、实验目的1、掌握MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较。
2、练习用无约束优化方法建立和求解实际问题的模型（包括最小二乘拟合）。
二、实验容项目一：某分子由25个原子组成，并且已经通过实验测量得到了其中某些原子队之间的距离（假设在平面结构上讨论），如表所示。
请你确定每个原子的位置关系。
原子对距离原子对距离原子对距离原子对距离(4,1) 0.9607 (5,4) 0.4758 (18,8) 0.8363 (15,13) 0.5725 (12,1) 0.4399 (12,4) 1.3402 (13,9) 0.3208 (19,13) 0.7660 (13,1) 0.8143 (24,4) 0.7006 (15,9) 0.1574 (15,14) 0.4394 (17,1) 1.3765 (8,6) 0.4945 (22,9) 1.2736 (16,14) 1.0952 (21,1) 1.2722 (13,6) 1.0559 (11,10) 0.5781 (20,16) 1.0422(5,2) 0.5294 (19,6) 0.6810 (13,10) 0.9254 (23,16) 1.8255 (16,2) 0.6144 (25,6) 0.3587 (19,10) 0.6401 (18,17) 1.4325 (17,2) 0.3766 (8,7) 0.3351 (20,10) 0.2467 (19,17) 1.0851 (25,2) 0.6893 (14,7) 0.2878 (22,10) 0.4727 (20,19) 0.4995(5,3) 0.9488 (16,7) 1.1346 (18,11) 1.3840 (23,19) 1.2277 (20,3) 0.8000 (20,7) 0.3870 (25,11) 0.4366 (24,19) 1.1271(21,3) 1.1090 (21,7) 0.7511 (15,12) 1.0307 (23,21) 0.7060 (24,3) 1.1432 (14,8) 0.4439 (17,12) 1.3904 (23,22) 0.8025问题分析：每个原子的位置都是未知的，在坐标系中只有相对的位置参数，不妨固定原子1的坐标为（0，0）。
第四章无约束优化方法
F (X
(1) )
0
结论: 两个平行方向的极小点构成
即 S1T AS2 0
的新方向与原方向相互共轭 即S1与S2对A共轭
也即对于二维正定二次函数只要分别沿两个共轭方向寻优 14 即可找到最优点.
❖ 与此类似，可以推出对于n维正定二次函数，共轭方向的一 个十分重要的极为有用的性质：从任意初始点出发，依次沿 n个线性无关的与A共轭的方向S1，S2，…Sn各进行一维搜 索，那么总能在第n步或n步之前就能达到n维正定二次函数 的极小点；并且这个性质与所有的n个方向的次序无关。简 言之，用共轭方向法对于二次函数从理论上来讲，n步就可 达到极小点。因而说共轭方向法具有有限步收敛的特性。通 常称具有这种性质的算法为二次收敛算法。
第K+1环的方向组仍用老方向组
S1(k1),
S2(k 1) ,
... ...
S (k 1) n1
S (k 1) n
S1(k),
S2(k) ,
... ...
S(k) n1
,
S(k) n
初始点:
当F2 < F3时, 当F2≥F3时,
X (k 1) 0
X (k) n
X X (k 1)
(k)
0
n 1
F ( X ) 2 x12 x22 x1x127
4.2.1 鲍威尔基本算法（共轭方向的原始构成）
18
4.2.1 鲍威尔基本算法
x3
任取一初始点 X(0)→ X0(1)
第 第一环: e1, e2, e3 → S1 一 第二环: e2, e3 , S1 → S2 轮 第三环: e3 , S1 , S2 →S3
补上新增的方向
初始点:
X (k 1) 0
matlab无约束最优化实验
班级： 学号： 姓名： 实验日期：2015年9月26日
● 实验名称：无约束优化问题
● 实验目的：
1.
了解Matlab 软件的基本操作 2.
学会使用Matlab 求解一元函数无约束优化问题 3.
学会使用Matlab 求解多元函数无约束优化问题 4. 掌握使用Matlab 解无约束优化问题的基本方法与步骤
● 实验内容：
1.求函数y =2x 3+3x 2-12x +14在区间[-3,4]上的最小值。
2.求x = 2e sin x x 在0<x <8中的最小值与最大值.
3.有边长为3m 的正方形铁板，在四个角剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？
设剪去的正方形的边长为x ，则水槽的容积为：
x x 2)23(- 建立无约束优化模型为：min y =-
x x 2)23(-， 0<x <1.5
即剪掉的正方形的边长为0.5m时水槽的容积最大,最大容积为2m^3
4. 用fminsearch函数求解'100*(x(2)-x(1)^2)^2+(1-x(1))^2
实验总结：
通过这次实验，我对Matlab这款软件有了一个基本的了解，认识到了它在数据处理中的重要作用。
同时，也学会了使用Matlab软件来解决求一元函数和多元函数在给定区间内的最大值、最小值的问题。
其中，求解f(x)的最大值时，通常转化为求- f(x)的最小值，然后使用fminbnd()函数来求解。
清华大学数学实验_实验7无约束优化1
实验7无约束优化生医0 王言2010013212【实验目的】1．掌握用MATLAB优化工具箱的基本用法，对不同算法进行初步分析、比较。
2．练习用无约束优化方法建立和求解实际问题模型（包括最小二乘拟合）。
【实验内容】5. 某分子由25个原子组成，并且已经通过实验测量得到了其中某些原子对之间的距离（假设在平面结构上讨论），如表7.8所示。
请你确定每个原子的位置关系。
表7.8解：分析与建模： 不妨设第i 点坐标为，其中第一个点坐标为，问题即为求达到最小值的解，则问题转化为无约束优化：，其中：Matlab 代码如下：M 文件：function f=location(x,d);x(1)=0; x(26)=0;f(1)=(x(4))^2+(x(29))^2-d(1)^2; f(2)=(x(12))^2+(x(37))^2-d(2)^2; f(3)=(x(13))^2+(x(38))^2-d(3)^2; f(4)=(x(17))^2+(x(42))^2-d(4)^2; f(5)=(x(21))^2+(x(36))^2-d(5)^2;f(6)=(x(5)-x(2))^2+(x(30)-x(27))^2-d(6)^2; f(7)=(x(16)-x(2))^2+(x(41)-x(27))^2-d(7)^2; f(8)=(x(17)-x(2))^2+(x(42)-x(27))^2-d(8)^2; f(9)=(x(25)-x(2))^2+(x(50)-x(27))^2-d(9)^2; f(10)=(x(5)-x(3))^2+(x(30)-x(28))^2-d(10)^2; f(11)=(x(20)-x(3))^2+(x(45)-x(28))^2-d(11)^2; f(12)=(x(21)-x(3))^2+(x(46)-x(28))^2-d(12)^2; f(13)=(x(24)-x(3))^2+(x(49)-x(28))^2-d(13)^2;),(i i y x )0,0(),(11=y x ∑--+-ji ij j i j id y y x x,2222])()[(∑--+-ji ij j i j i d y y x x ,2222])()[(min ⎥⎦⎤⎢⎣⎡=252432252432y y y y x x x x xf(14)=(x(5)-x(4))^2+(x(30)-x(29))^2-d(14)^2;f(15)=(x(12)-x(4))^2+(x(37)-x(29))^2-d(15)^2;f(16)=(x(24)-x(4))^2+(x(49)-x(29))^2-d(16)^2;f(17)=(x(8)-x(6))^2+(x(33)-x(31))^2-d(17)^2;f(18)=(x(13)-x(6))^2+(x(38)-x(31))^2-d(18)^2;f(19)=(x(19)-x(6))^2+(x(44)-x(31))^2-d(19)^2;f(20)=(x(25)-x(6))^2+(x(50)-x(31))^2-d(20)^2;f(21)=(x(8)-x(7))^2+(x(33)-x(32))^2-d(21)^2;f(22)=(x(14)-x(7))^2+(x(39)-x(32))^2-d(22)^2;f(23)=(x(16)-x(7))^2+(x(41)-x(32))^2-d(23)^2;f(24)=(x(20)-x(7))^2+(x(45)-x(32))^2-d(24)^2;f(25)=(x(21)-x(7))^2+(x(46)-x(32))^2-d(25)^2;f(26)=(x(14)-x(8))^2+(x(39)-x(33))^2-d(26)^2;f(27)=(x(18)-x(8))^2+(x(43)-x(33))^2-d(27)^2;f(28)=(x(13)-x(9))^2+(x(38)-x(34))^2-d(28)^2;f(29)=(x(15)-x(9))^2+(x(40)-x(34))^2-d(29)^2;f(30)=(x(22)-x(9))^2+(x(47)-x(34))^2-d(30)^2;f(31)=(x(11)-x(10))^2+(x(36)-x(35))^2-d(31)^2;f(32)=(x(13)-x(10))^2+(x(38)-x(35))^2-d(32)^2;f(33)=(x(19)-x(10))^2+(x(44)-x(35))^2-d(33)^2;f(34)=(x(20)-x(10))^2+(x(45)-x(35))^2-d(34)^2;f(35)=(x(22)-x(10))^2+(x(47)-x(35))^2-d(35)^2;f(36)=(x(18)-x(11))^2+(x(43)-x(36))^2-d(36)^2;f(37)=(x(25)-x(11))^2+(x(50)-x(36))^2-d(37)^2;f(38)=(x(15)-x(12))^2+(x(40)-x(37))^2-d(38)^2;f(39)=(x(17)-x(12))^2+(x(42)-x(37))^2-d(39)^2;f(40)=(x(15)-x(13))^2+(x(40)-x(38))^2-d(40)^2;f(41)=(x(19)-x(13))^2+(x(44)-x(38))^2-d(41)^2;f(42)=(x(15)-x(14))^2+(x(40)-x(39))^2-d(42)^2;f(43)=(x(16)-x(14))^2+(x(41)-x(39))^2-d(43)^2;f(44)=(x(20)-x(16))^2+(x(45)-x(41))^2-d(44)^2;f(45)=(x(23)-x(16))^2+(x(48)-x(41))^2-d(45)^2;f(46)=(x(18)-x(17))^2+(x(43)-x(42))^2-d(46)^2;f(47)=(x(19)-x(17))^2+(x(44)-x(42))^2-d(47)^2;f(48)=(x(20)-x(19))^2+(x(45)-x(44))^2-d(48)^2;f(49)=(x(23)-x(19))^2+(x(48)-x(44))^2-d(49)^2;f(50)=(x(24)-x(19))^2+(x(49)-x(44))^2-d(50)^2;f(51)=(x(23)-x(21))^2+(x(48)-x(46))^2-d(51)^2;f(52)=(x(23)-x(22))^2+(x(48)-x(47))^2-d(52)^2;end主文件：d=[0.9607 0.4399 0.8143 1.3765 1.2722 0.5294 0.6144 0.3766 0.6893 0.94880.8000 1.1090 1.1432 0.4758 1.3402 0.7006 0.4945 1.0559 0.6810 0.3587 0.3351 0.2878 1.1346 0.3870 0.7511 0.4439 0.8363 0.3208 0.1574 1.2736 0.5781 0.92540.6401 0.2467 0.4727 1.3840 0.4366 1.0307 1.3904 0.5725 0.7660 0.4394 1.09521.0422 1.8255 1.4325 1.0851 0.4995 1.2277 1.1271 0.7060 0.8052]';x0=[zeros(1,1),ones(1,24),zeros(1,1),ones(1,24)];[x,norm1]=lsqnonlin(@location,x0,[],[],[],d);xnorm1运行结果x =Columns 1 through 100 0.1925 1.3539 0.8210 0.6910 1.11740.7470 0.9049 0.4348 1.0297Columns 11 through 200.4536 -0.4604 0.7045 0.5812 0.3521 0.12710.4361 1.5726 1.3993 0.9407Columns 21 through 300.2642 1.5103 0.9707 0.3404 0.8626 00.9330 1.6449 0.5483 0.9793Columns 31 through 401.3858 1.2540 0.9459 0.6425 1.2754 1.24390.2204 0.4145 1.2862 0.8651Columns 41 through 500.3007 1.2927 0.4275 0.7643 0.9601 1.83231.3226 1.9180 1.0981 1.1166norm1 =0.0316改变初值：x0=[zeros(1,2),ones(1,22),zeros(1,2),ones(1,22)];结果是：x =Columns 1 through 100 0.8285 0.5479 0.8712 0.8802 1.5054 0.7397 1.0346 0.0074 1.3647Columns 11 through 201.0327 -0.4290 0.4778 0.6123 0.1921 1.4165 0.6782 1.3906 1.2647 1.0951Columns 21 through 300.0732 1.0151 0.1085 0.7128 1.4644 1.00001.5112 0.0944 0.5051 0.9830Columns 31 through 400.8822 0.7628 0.6989 1.0033 0.7893 1.2701 0.3074 0.6494 0.9350 1.1299Columns 41 through 501.6768 1.1750 -0.0659 0.2455 0.6879 1.1010 0.3047 0.4028 1.2196 1.2407Columns 51 through 521.0000 1.0000norm1 =0.2330这一组norm1较大，因此第一组初值较好。
常用的无约束优化方法
一系列沿坐标轴方向的一维搜索问题来求解。在每一 次迭代中，只改变 n 个变量中的一个，其余变量固定 不动，因此常称为单变量法或变量交错法或降维法
#
4.1 坐标轮换法-迭代步长的确定
(1) 最优步长
在沿坐标轴方向的搜索中，利用一维优化方法来确定沿该方向 上具有最小目标函数值的步长，即：
基本方向组为：
S1(
k
)
,S(k 2) Nhomakorabea,
各方向最优步长： a1(k ) , a2(k ) ,
,
S
(k n
)
, an(k )
新生方向：
Sk
x(k) n
x(k) 0
a S (k ) (k ) 11
a2(k ) S2(k )
an(k ) Sn(k )
若在优化搜索过程中出现1(k) =0(或近似等于0)，则方向 Sk
F2 < F3 F2 F3
其中： △ 是在第k 环方向组中，依次沿各方向优化搜索函数值下
降量的最大值，即Sm(k) 方向函数下降量最大
#
鲍威尔修正算法的方向淘汰
x
(k 2
)
S (k) 3
S
( 2
k
)
x1(k )
S1(k )
x(k) m
x(k) m 1
函数下降量△
S (k) n
x(k) 0
(F1)
S (k)
x(k) n
(F2)
第四章 常用的无约束优化 方法
王桂从
无约束优化问题的数学模型
min F(x)
x [x1 x2 xn ] Rn
求上述问题最优解(x*, F*)的方法称为无约束优化方法 无约束优化方法理论研究开展的比较早，构成的优 化方法已很多，也比较成熟。使用无约束优化方法 ，不仅可以直接求无约束优化设计问题的最优解， 而且通过对无约束优化方法的研究给约束优化方法 建立明确的概念及提供良好的基础，某些优化设计 方法就是先把优化设计问题转化为无约束问题后， 再直接用无约束优化方法求解。
拟合-无约束-约束优化问题
输入同长度 的数组X，Y
拟合多项 式次数
2. 对超定方程组
Rn×m am×1 = yn×1 (m < n) ，用 a = R \ y
可得最小二乘意义下的解。 3.多项式在x处的值y可用以下命令计算： y=polyval（a，x）
14
函数拟合 无约束优化问题 约束优化问题
拟合实验
1
实验目的
1、直观了解拟合基本内容。 2、掌握用数学软件求解拟合问题。
实验内容
1、拟合问题引例及基本理论。 2、用数学软件求解拟合问题。 3、应用实例
2
拟 合
1. 拟合问题引例 2.拟合的基本原理
3
拟 合 问 题 引 例 1 已知热敏电阻数 据： 求600C时的电阻R。
例 对下面一组数据作二次多项式拟合
xi yi 0.1 1.978 0.2 3.28 0.4 6.16 0.5 7.34 0.6 7.66 0.7 9.58 0.8 9.48 0.9 1
9.30 11.2
即要求 出二次多项式:
f ( x ) = a1 x 2 + a 2 x + a 3
中 的 A = (a1 , a2 , a3 ) 使得:
+ +
y=f(x)
x δi 为点（xi,yi) 与曲线 y=f(x) 的距离
6
拟合与插值的关系 问题：给定一批数据点，需确定满足特定要求的曲线或曲面 解决方案： •若要求所求曲线（面）通过所给所有数据点，就是插值问题； •若不要求曲线（面）通过所有数据点，而是要求它反映对象 整体的变化趋势，这就是数据拟合，又称曲线拟合或曲面拟 合。 函数插值与曲线拟合都是要根据一组数据构造一个函数作 为近似，由于近似的要求不同，二者的数学方法上是完全不同 的。 实例：下面数据是某次实验所得，希望得到X和 f之间的关系？
08实验7无约束优化2
f(x)=0, x=fsolve (‘f’,x0) xRn x=fminunc(‘f’,x0) x=lsqnonlin (‘f’,x0) X=fminsearch(‘f’,x0) x=lsqcurvefit(‘f’,x0)
1、fminbnd
fminunc fminsearch
调用格式为： [x, fv, fe, out]=fminbnd(@f, x0, opt, p1, p2,….) 例1、求解
问 题 模 型 基本命令的用法 .M文件
min f(x), xR
无约束极小 (非线性规划)
x=fmin(‘f’,x0)
function f=f(x) function f=f(x)
function r=F(x) function yy=F(x,t)
min f(x), xRn x=fminu(‘f’,x0) Ｘ=fmins(‘f’,x0)
t c(t) 0.25 19.21 0.5 18.15 1 15.36 1.5 14.10 2 12.89 3 9.32 4 7.45 6 5.24 8 3.01
t=[.25 .5 1 1.5 2 3 4 6 8]; c=[19.21 18.15 15.36 14.1 12.89 9.32 7.45 5.24 3.01];
f ( x k ) ( f x'1 , f x'2 , , f x'n )T
f (1x* ) 0 Gk 1d k 1 f ( xk )或xk H k 1f k
2.2 搜索步长的确定 一维优化问题
min f ( x k a d k )
a
其极小值点应为方程 (d k )T f ( x k a d k ) 0 的精确解. 搜索方法有:
实验二无约束最优化
实验⼆⽆约束最优化实验⼆、⽆约束最优化（先将此⽂档从服务器下载，若众⼈同时在服务器打开⽂档，容易导致出错）【实验⽬的】1．了解⽆约束最优化⽅法的⼀些基本概念。
2．熟悉掌握⽤相关的命令来求解⽆约束最优化问题。
【实验内容】把题⽬和相应的完整命令写在实验报告上。
1：⽆约束最优化问题实际上是什么问题？求这类问题的最优解的基本思路是什么？2：求()5x f x e x =-在区间[1,2]内的极⼩值点和极⼩值。
3：已知22212312123(,,)3sin f x x x x x x x x =+-。
(1) 求123(,,)f x x x 在点(1,1,0)-附近的极⼩值；(2) 求123(,,)f x x x 在点(1,1,0)-附近的极⼩值点和极⼩值，要求优化算法⽤⾼斯－⽜顿法，搜索⽅向⽤拟⽜顿法的DFP 公式，以及给出函数计算次数。
【相关知识说明】⽆约束最优化是指在没有约束条件下，求多变量实值函数极值。
⽆约束最优化问题的数学表达式为12min (),(,,,)n n f x x x x x R =∈。
⼀般f 为⾮线性函数，x 是n 维实变量，实际上这是⼀个多元函数⽆条件极值问题。
由于求极⼤值问题，可以⽤添加负号的⽅式转化为求极⼩值问题，因此通常只讨论求极⼩值问题。
应该注意的是，极值问题的解，即极值点，都是局部最优解，全局最优解只能从局部最优解的⽐较中得到。
如何求解⽆约束最优化问题的最优解呢？⼀般是采⽤迭代法，即先选择⼀个初始点，再寻找该点处的下降⽅向（我们称为搜索⽅向），在该⽅向上求极⼩点，得到⼀个新的点，然后在新点处再寻找下降⽅向和在该⽅向上的求极⼩点，……，如此下去，最终得到最优解。
我们先来看求⼀元函数y=f(x)在[x1,x2]内的极⼩值的命令：说明：其中'fun'是函数f(x)的表达式，当然也可以是关于f(x)的函数M-⽂件名。
返回值x 是极⼩值点。
现在我们来回答问题1。
问题1：求()2sin x f x e x -=在区间[0,6]内的极⼩值点和极⼩值.命令如下f='2*exp(-x)*sin(x)';x=fmin(f,0,6) %极⼩值点fval=2*exp(-x)*sin(x) %对应x 的极⼩值⼤家得到的结果是什么呢？这些是⼀元函数求极值，那么怎么求多元函数的极值呢？可以⽤下⾯的最简形式的命令：如果还必须满⾜更苛刻的要求，可以⽤下⾯的命令说明：(1) 返回值中，x 是极⼩值点。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
89, 算法 4.3.1]代替 BFGS 中需要的 Wolfe 线搜索来确定步长. 请给出自 己算法中的参数设置. 4) 比较以上数值结果，完成以下表格： 表 1 求解问题(3)的各种方法的数值结果比较
初始点 方法 基本牛顿法 信赖域法 拟牛顿法 (0.8, 0.3) (1, 0.5)
⁄ ⁄ 0 , 0 , / 0 进行规范化，描述该反应的微分方程是： , 0 , 0 0,
0 , 这是一个线性常微分方程组问题，其解可以写成如下形式： exp , 1 1 exp exp , .
表 1 给出了对此系统测得的 10 组实验数据.
2. 无约束优化问题
问题描述如下 minimize with exp 0.8, 1 1 1 5, 26, 3 , 5.0893. , / 1 , 40, 1, 10 . 该问题的解
∗
∈
(3.a) (3.b) , (3.c) (3.d) (3.e)
其中 0.3, 0.6, 0.2 , 0.7395, 0.3144 ，最优值 ∗ 请回答以下问题： 1) 计算这个点处的梯度和 Hessian 阵，并说明其是否满足最优性条件. 2) 画出该问题在单位正方形内的等值线. 请问这个函数是凸函数吗？ (凸 函数的水平集是凸集，见[1]中 p .84, 引理 4.1.1). 画出这个函数 Hessian 阵的最小特征值的等值线. 请标出正负特征值区域. 这里为了观察牛顿法的性能， 给出了两个初始点， 一个是靠近解的(0.8, 0.3)， 一个是远离解的(1, 0.5). 针对这两个初始点，以梯度二范数小于1 10 为终止 条件，完成以下问题： 1) 给出基本牛顿法[[1],p.103]得到的迭代序列， 并画出迭代轨迹图. 描述所 得结果，并给出解释. 2) 给出信赖域型牛顿法[[1],p.137, 算法 6.1.1]得到的迭代序列， 并画出迭代 轨迹图. 描述所得结果，并给出解释. 这里的信赖域子问题(目标函数为 二次函数，约束为球约束)可以使用 Matlab 中的 fmincon.m 求解，也可 以使用 Steihaug 共轭梯度法求解[[1],p.148, 算法 6.3.2]. 请给出自己算法 中的参数设置. 3) 给出 BFGS 拟牛顿法[[1],p.119, 算法 5.3.1]得到的迭代序列， 并画出迭代 轨迹图. 描述所得结果， 并给出解释. 可以使用回溯 Armijo 线搜索[[1],p.
作为目标函数，这里的求和范围是规范化后的时间 处得到的浓度测量值
1
, , 和 ̂. 请完成以下问题： 1) 给出目标函数在区域 0,1.2 0,1 内的等值线 . 由图估计目标函数的 最小值和最小值点. 这个最小值点是动力学模型(1)关于实验数据在二范 数误差意义下的最佳拟合. 2) 分别以(0.5, 0.4)和(2, 2)为初始点，利用基本牛顿法[[1],p.103]求解参数估 计问题(2)，画出迭代点的轨迹； 3) 对初始点(2, 2)，利用带线搜索的牛顿法求解参数估计问题(2)，画出迭代 点的轨迹. 这里步长用回溯 Armijo 线搜索[[1],p. 89, 算法 4.3.1]确定. 请 说明线搜索中的参数设置，并统计每次迭代中为了确定步长而需要回溯 的次数. 4) 请描述 2)和 3)中出现的结果和现象，并进行分析，给出可能的解释.
0.0478 0.0915 0.1314 0.1679 0.2013 0.2318 0.2596 0.2851 0.3084 0.3296 ，将余量平方和 ̂
̂ 0.0382 0.0732 0.1051 0.1343 0.1610 0.1854 0.2077 0.2281 0.2467 0.2637 (2)
其中 表示迭代次数， 表示计算目标值的次数，
表示计算梯度的次数.
3. 小结
描述两到三个你遇到的问题及解决办法， 描述自己对无约束最优化算法的理 解. 其他任何你觉得有意义的内容.
参考文献
[1] 刘红英 , 夏勇 , 周水生 . 数学规划基础 [M]. 北京 : 北京航空航天大学出版 社,2012. [2] Lorenz T. Biegler, Nonlinear programming: concepts, algorithms, and applications to Chemical Processes [M]. Society for industrial and applied mathematics and the mathematical optimization society, Philadelphia, 2010.
两个无约束优化的数值实验
刘红英 本报告描述了两个无约束问题及其相关的若干数值实验。
1. 参数估计问题
考虑 A、 B、 C 在等温批式反应器(isothermal batch reactor) 遵循的一阶反应[[2], p.17, 例 2.1] ， 即 A → ，A→ 所发生的反应. 使用无量纲浓度 0 ，即用 A 的初始浓度 1, (1a) (1b) (1c)
3
表 1 一阶并行反应的浓度数据
time, 1 0.1 2 0.2 3 0.3 4 0.4 5 0.5 6 0.6 7 0.7 8 0.8 9 0.9 10 1.0 这里定义动力学参数作为变量 ∑
0.913 0.835 0.763 0.444 0.406 ,