最优化方法 第1章(4)
合集下载
最优化方法PPT
共117页第8页
同时太阳系这个"整体"又是它所属的"更大整 体"--银河系的一个组成部分。世界上的具体系统是 纷繁复杂的，必须按照一定的标准，将千差万别的 系统分门别类，以便分析、研究和管理，如：教育 系统、医疗卫生系统、宇航系统、通讯系统等等。 如果系统与外界或它所处的外部环境有物质、能量 和信息的交流，那么这个系统就是一个开放系统， 否则就是一个封闭系统。开放系统具有很强的生命 力，它可能促进经济实力的迅速增长，使落后地区 尽早走上现代化。如改革开放以来已大大增强了我 们的综合国力。而我国的许多边远山区农村，由于 交通不便，相对封闭，还处于比较落后的状态。
会科学和思维科学的相互渗透与交融汇流，产生了 具有高度抽象性和广泛综合性的系统论、控制论和 信息论。
系统论是研究系统的模式、性能、行为和规律 的一门科学。它为人们认识各种系统的组成、结构、 性能、行为和发展规律提供了一般方法论的指导。 系统论的创始人是美籍奥地利理论生物学家和哲学 家路德维格·贝塔朗菲。系统是由若干相互联系的 基本要素构成的，它是具有确定的特性和功能的有 机整体。如太阳系是由太阳及其围绕它运转的行星 （金星、地球、火星、木星等等）和卫星构成的。
从数学上比较一般的观点来看，所谓最优化问题可 以概括为这样一种数学模型：给定一个“函数”，F(X)， 以及“自变量”X应满足的一定条件，求X为怎样的值时， F(X)取得其最大值或最小值。这里在函数和自变量两个 词上之所以打上引号，是想强调它们的含意比中学数学 和大学微积分中函数的定义要广泛得多。通常，称F(X) 为“目标函数”，X应满足的条件为“约束条件”。约 束条件一般用一个集合D表示为：X∈D。求目标函数 F(X)在约束条件X∈D下的最小值或最大值问题，就是一 般最优问题的数学模型，它还可以利用数学符号更简洁 地表示成：Min F(X)或Max F(X)。
第1章最优化方法的基本知识
Pattern Recognition and Intelligent System Institute, BIT
最优化方法的地位
为应用数学的一个分支，是新兴的数学理论之一； 是现代工程分析最佳设计的四种主要方法之一：
有限元分析 将问题从几何上看作有限个小单元（结点） 将问题从几何上看作有限个小单元（结点）相互连接而成的集 合体，使连续体离散化，然后用结构矩阵分析的方法处理， 合体，使连续体离散化，然后用结构矩阵分析的方法处理，得 到一组以结点场量为未知量的代数方程组， 到一组以结点场量为未知量的代数方程组，再用计算机及相应 最优化方法 无穷维系统，一般由偏微分方程、积分方程、 无穷维系统，一般由偏微分方程、积分方程、泛函微分方程 的计算方法，可以得到需求结点处未知量的近似值。 的计算方法，可以得到需求结点处未知量的近似值。 或抽象空间中的微分方程所描述。 或抽象空间中的微分方程所描述。我国学者在细长体弹性振 动系统的建模和振动控制、振动系统的谱分析、 动系统的建模和振动控制、振动系统的谱分析、能控性和反 动态设计 一般地， 一般地，系统的数学模型与实际系统存在着参数或结构等方 由于实际系统的复杂性，人们往往很难(或不可能 由于实际系统的复杂性，人们往往很难 人口系统控制、人 馈镇定、一般无穷维系统的极大值原理、或不可能)从基本的 人口系统控制、 馈镇定、一般无穷维系统的极大值原理、或不可能 从基本的 面的差异， 面的差异，而我们设计的控制律大多都是基于系统的数学模 物理定律出发直接推导出系统的数学模型， 物理定律出发直接推导出系统的数学模型，这就需要利用可 口预测和控制等方面都做出了重要贡献。 口预测和控制等方面都做出了重要贡献。 为了保证实际系统对外界干扰、 型，为了保证实际系统对外界干扰 以量测的系统输入和输出数据， 、系统的不确定性等有尽 以量测的系统输入和输出数据，来构造系统内部结构及参数 数值仿真 可能小的敏感性，导致了研究系统鲁棒控制问题。 可能小的敏感性，导致了研究系统鲁棒控制问题 的估计，并研究估计的可靠性和精度等问题， 。 的估计，并研究估计的可靠性和精度等问题，这就是系统辨 近几年，非线性系统、时滞饱和系统、 近几年，非线性系统、时滞饱和系统、时滞故障系统的鲁棒 识的任务。系统辨识领域有3个热点研究方向 个热点研究方向: 识的任务。系统辨识领域有 个热点研究方向 综合控制问题已经成为新的热点研究方向， 综合控制问题已经成为新的热点研究方向，而且已经有不少 1.基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识 应用事例。例如，核反应堆的温度跟踪鲁棒控制、 应用事例。例如，核反应堆的温度跟踪鲁棒控制、导弹系统 2.基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识 Pattern Recognition and Intelligent System Institute, 。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 3.基于智能信息处理的非线性系统辨识 BIT 基于智能信息处理的非线性系统辨识。 基于智能信息处理的非线性系统辨识
最优化方法 1第一章
xyz 2 (3a yz ) 0， 2 xyz 2 (3 a zx) 0， 2 xyz 2 (3 a xy ) 0．
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化方法及其matlab程序设计习题答案
证明：根据严格凸函数定义证明。
定义：对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y).
充分条件：∀x, y ∈ ℜn, 有f (x + y) ≤ f (x) + f (y)
对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx+(1−λ)y) ≤ f (λx)+f ((1−λ)y)
8
k= 2 （2）阻尼牛顿法 function He=Hesstwo(x) n=length(x); He=zeros(n,n); He=[8, 0; 0, 2]; ≫ x0=[0,1]’;[x val k]=dampnm(’funtwo1’,’gfuntwo1’,’Hesstwo’,x0) x= 1 2 val = -8 k= 1 第3题. function f=fun(x) f = (x(1) − 2)4 + (x(1) − 2 ∗ x(2))2; function gf=gfun(x) gf = [4 ∗ (x(1) − 2)3 + 2 ∗ (x(1) − 2 ∗ x(2)), −4 ∗ (x(1) − 2 ∗ x(2))]′; ≫clear all; ≫x0=[0 3]’;[v,val,k]=grad(’fun’,’gfun’,x0)
(1
−
λ)y)=
1 2
(λx
+
(1
−
λ)y)T
G(λx
+
(1
−
λ)y)
+
bT
(λx
+
(1
−
λ)y)
λf
(x)
最优化计算方法(工程优化)复习
0.618法（黄金分割法）
0.618法是求单峰函数极值的一种试探法，有的书上也称为区 间收缩法。 在搜索区间[a,b]上插入两个点，将分为三个子区间，通过比较 2个插入点的函数值的大小，可删去左边或者右边区间，使搜索 区 间缩短。重复上述过程，使搜索区间不断缩短，当区间缩短到一 定程度时，区间上各点都可以作为极小点的近似。
1 5 t (舍去负值) 2
0.618法（黄金分割法）
黄金分割法（0.618 法）的优缺点 优点：不要求函数可微，且每次迭代只需计算一 个函数值，计算量小，程序简单 缺点：收敛速度慢。
0.618法----算例
例 ：试用0.618法求目标函数 f ( x) x3 2 x 1 的最优解。 给定初始区间[0,2]，收敛精度 =0.002.
严格凹函数 严格凸函数 凸函数
凸函数的判定定理
定理(一阶条件): 设D Rn 为非空凸集，函数 f :DR 在
D 上可微，则
(1) f在D上为凸函数 任意x，yD，恒有 f (y) ≥ f (x)+ f T(x)(y-x) (1) (2) f在D上为严格凸函数 任意x≠yD，恒有 f (y) > f (x)+ f T(x)(y-x) . (2)
证明
凸函数的判定定理
定理（二阶条件）: 设D Rn 为含有内点的非空凸集， 函数 f :DR在 D 上二次可微，则 a) f在D上为凸函数 xD，2f (x) 半正定； b) 若 xD，2f (x) 正定，则f在D上为严格凸函数。
回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式为正。
0.618法（黄金分割法）
定理：设 f：R→R 在[a, b ]上是单峰函数， a≤ x1 < x2 ≤b 。 那么 1°若 f (x1)≥ f (x2)，则 x* ∈[x1 , b] ,如左下图 2°若 f (x1)< f (x2) ，则 x* ∈[a, x2 ], 如右下图 缩短区间的第一个原则---去坏留好原则
最优化方法第一章
19
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化方法(刘)第一章
f x 1 y cT x 1 y cT x 1 cT y f x 1 f y
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
《最优化方法》课程教学大纲
最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
最优化计算方法第1章
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
解法的分类
解析方法:利用函数的分析性质去构造迭代公式，使之收敛 到极值点。
直接方法：按一定的数学原理，用尽量少的计算量，直接比 较函数值的大小。
• 等式约束优化问题
• 不等式约束优化问题
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据问题的不同特点分类 一般的约束优化问题 标准形式
1） 2）
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
路漫漫其悠远
,使得 称 为问题(P)的局部
,使得 称 为问
最优化计算方法第1章
最优解与极值点
严格局部 极小点
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
路漫漫其悠远
最优化计算方法第1章
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
足环保要求的条件下，每厂各应处理多少工业污水，使这 两个工厂处理工业污水的费用最小.
工厂1
工厂2
路漫漫其悠远
500万m3
200万m3
最优化计算方法第1章
最优化问题举例
变量：x1、x2----分别代表工厂1和工厂2处理污水的数量(万m3)
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
解法的分类
解析方法:利用函数的分析性质去构造迭代公式，使之收敛 到极值点。
直接方法：按一定的数学原理，用尽量少的计算量，直接比 较函数值的大小。
• 等式约束优化问题
• 不等式约束优化问题
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据问题的不同特点分类 一般的约束优化问题 标准形式
1） 2）
路漫漫其悠远
最优化计算方法第1章
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
路漫漫其悠远
,使得 称 为问题(P)的局部
,使得 称 为问
最优化计算方法第1章
最优解与极值点
严格局部 极小点
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
路漫漫其悠远
最优化计算方法第1章
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
足环保要求的条件下，每厂各应处理多少工业污水，使这 两个工厂处理工业污水的费用最小.
工厂1
工厂2
路漫漫其悠远
500万m3
200万m3
最优化计算方法第1章
最优化问题举例
变量：x1、x2----分别代表工厂1和工厂2处理污水的数量(万m3)
最优化方法 第二版 孙文瑜 部分课后答案
0 的边界点；
2. 考虑下述约束最优化问题
min x1
s.t.
x21 + (x2 − 2)2 x21 1,
3,
画出问题的可行域和目标函数的等位线，并由此确定问题的所有局部最优解和全局最优解.
解: 可行域和等位线如下
1
x2
(1,2 2)
( 3,2)
(0,2)
3 1
(1,2 2)
1 3 x1
全等局位最线优：解f (x：1)x1==k；−√局3部, x最2 =优2解. ：x1
T = {x|f (x) α}
为函数 f (x) 关于实数 α 的水平集. 证明对任意实数 α，集合 T 是凸集. 证: 对于 ∀x1, x2 ∈ T ，根据 T 的定义则有 f (x1) α, f (x2) α. 由于 D 是凸集，则对于 ∀λ ∈ [0, 1]，必 有
λx1 + (1 − λ)x2 ∈ D 又由于 f (x) 是 D 上的凸函数，则有
f (λx∗ + (1 − λ)y) λf (x∗) + (1 − λ)f (y) λf (x∗) + (1 − λ)f (x∗) = f (x∗)
5
这表明在 x∗ 的任意小的邻域内都存在函数值小于 f (x∗) 的可行点，这与 x∗ 是局部最优解相矛盾，则 x∗ 是一个全局最优解. 再证 x∗ 是唯一的：由于目标函数是严格凸的，设 x∗ ̸= y∗ 都是全局最优解，则 f (x∗) = f (y∗). 由严格凸 函数的定义，而 ∀λ ∈ (0, 1)，有
λx1 + (1 − λ)y1 + λx2 + (1 − λ)y2 = λ(x1 + x2) + (1 − λ)(y1 + y2) λ+1−λ=1
最优化计算方法第1章
•数学模型: 对现实事物或问题的数学抽象或描述。
•最优化问题的数学模型与分类
•数学模型的建立
• 建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
• 过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。 • 具体建立怎样的数学模型需要丰富的经验和熟练的技 巧。 •
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
课程任务
讲授工程优化的基本理论和方法，要求通过本课程的学 习，具有应用工程优化方法解决实际问题的技能，并为以后 的学习和工作打好基础。
的约束下求决
策变量x，使函数
达到极
其中： 为决策变量 为已知参数
小min；若求极大max，相当于一个 min（-f）。
为随机因素
为（一般或广义）函数
•建立优化模型的三要素
•决策变量和参数
• 决策变量是由数学模型的解确定的未知数。参数表示 系统的控制变量，有确定性的也有随机性的。
约束或限制条件
由于现实系统的客观物质条件限制，模型必须包括 把决策变量限制在它们可行值之内的约束条件，而这通常 是用约束的数学函数形式来表示的。
最优化计算方法第1章
2020年5月31日星期日
为什么要学习工程优化
•最优化问题的数学模型与分类
•数学模型的建立
• 建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
• 过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。 • 具体建立怎样的数学模型需要丰富的经验和熟练的技 巧。 •
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
课程任务
讲授工程优化的基本理论和方法，要求通过本课程的学 习，具有应用工程优化方法解决实际问题的技能，并为以后 的学习和工作打好基础。
的约束下求决
策变量x，使函数
达到极
其中： 为决策变量 为已知参数
小min；若求极大max，相当于一个 min（-f）。
为随机因素
为（一般或广义）函数
•建立优化模型的三要素
•决策变量和参数
• 决策变量是由数学模型的解确定的未知数。参数表示 系统的控制变量，有确定性的也有随机性的。
约束或限制条件
由于现实系统的客观物质条件限制，模型必须包括 把决策变量限制在它们可行值之内的约束条件，而这通常 是用约束的数学函数形式来表示的。
最优化计算方法第1章
2020年5月31日星期日
为什么要学习工程优化
第1章 最优化方法的一般概念
第1章最优化方法的一般概念最优化问题就是依据各种不同的研究对象以及人们预期要达到的目的，寻找一个最优控制规律或设计出一个最优控制方案或最优1控制系统。
针对最优化问题，如何选取满足要求的方案和具体措施，使所得结果最佳的方法称为最优化方法。
1.1 目标函数、约束条件和求解方法根据所提出的最优化问题，建立最优化问题的数学模型，确定变量，给出约束条件和目标函数最优化方法解决实际工程问题的步骤：2（或性能指标）；对所建立的模型进行具体分析和研究，选择合适的最优化求解方法；根据最优化方法的算法，列出程序框图并编写程序，用计算机求出最优解，并对算法的收敛性、通用性、简便性、计算效率及误差等做出评价。
目标函数、约束条件和求解方法是最优化问题的三个基本要素。
1．目标函数：就是用数学方法描述处理问题所能够达到结果的函数。
该函数的自变量是表示可供选择的方案及具体措施的一些参数或函数，最佳结果就表现为目标函数取极值。
32．约束条件：在处理实际问题时，通常会受到经济效率、物理条件、政策界限等许多方面的限制，这些限制的数学描述称为最优化问题的约束条件。
3．求解方法：是获得最佳结果的必要手段。
该方法使目标函数取得极值，所得结果称为最优解。
4解：①目标函数：122max (cos )sin S x x x ②约束条件：a x x 21212(0,0)x x （非线性）（线性）说明：5这是一个非线性带等式约束的静态最优化问题。
这类问题有时可以方便地将等式约束条件带入到目标函数中，从而将有约束条件的最优化问题转换为无约束条件的最优化问题，以便求解。
例如：将例1-1转换为无约束条件的最优化问题，目标函数变为：sin )cos 2(max 222x x x a S例1-2（P2）（※）仓库里存有20m 长的钢管，现场施工需要100根6m 长和80根8m 长的钢管，问最少需要领取多少根20m 长的钢管？解：用一根20m 长的钢管，截出8m 管和6m 管的方6法只有三种：设x 1为一根20m 管截成两根8m 管的根数；x 2为一根20m 管截成一根8m 管和两根6m 管的根数；x 3为一根20m 管截成三根6m 管的根数。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优 化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生 在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1
= ∑ ∑ 数学模型: min S
41
1.ijsx=∑.t1j 12i=,3,4
4
s.t.
∑1.ijsx=∑.t1j 12i=,3,4
x1ij=∑j ij
j =1
=1
i = 1, 2,3, 4
4
∑ xij = 1, j = 1, 2,3, 4
31
32
-8-
19
20
-5-
相关定义
定义1.1.4 (局部最优解) 若x*∈D,存在x*的某邻域 Nδ(x*),使得对于一切x∈D∩Nδ (x*),恒有f (x*)≤f (x), 则称为最优化问题(P)的局部最优解, 其中Nδ (x*)={x| ||x–x*||<δ,δ>0}. 当x≠x*时,若上面的不等式为严格不等式则称x*为问 题(P)的严格局部最优解. 显然,整体最优解一定是局部最优解,而局部最优解不 一定是整体最优解. x*对应的目标函数值f (x*)称为最优值,记为f *.
设Ai→Bj的水泥量为xij,已知Ai→Bj单价为cij,单位为元,
则总运费为:
s = ∑ ∑ m k
cij xij
i=1 j =1
7
8
-2-
数学模型:
mk
min ∑ ∑ cij xij i=1 j =1
k
s.t. ∑ xij = ai (i = 1, 2,L, m) j =1
m
∑ xij = bj , ( j = 1, 2,L, k)
3
4
-1-
四、主要参考书 教材:解可新 、韩健、林友联:最优化方法(修订版),天津 大学出版社,2004年8月. 其它参考书: 1.蒋金山,何春雄,潘少华:最优化计算方法,广州:华南理工 大学出版社,2007年10月. 2.谢政,李建平,汤泽滢:非线性最优化.长沙:国防科技大学 出版社,2003年9月. 3.李董辉等 :数值最优化.北京:科学出版社,2005年. 4.谢政,李建平,陈挚:非线性最优化理论与方法.北京:高等 教育出版社,2010年1月.
目录
第一章 最优化问题概述p.7 第二章 线性规划 第三章 无约束最优化方法 第四章 约束最优化方法
5
第一章 最优化问题概述
§1.1 最优化问题的数学模型与基本概念
例 1.1.1 运输问题
设有m个水泥厂A1,A2, …, Am,年产量各为a1, a2, …,am
吨.有k个城市B1,B2…, Bk用这些水泥厂生产的水泥,年
相关定义
求解最优化问题(P),就是求目标函数f (x)在约束条件 (1.2),(1.3)下的极小点,实际上是求可行域D上的整体 最优解.但是,在一般情况下,整体最优解是很难求出 的,往往只能求出局部最优解. 在求解时需要范数的概念,以下给出定义.
22
常用的向量范数
1–范数 2–范数(欧氏范数) ∞–范数 p–范数
bm Bm
An ≥ dn
图1-2
11
12
-3-
例 1.1.3 指派问题
设有四项任务B1,B2,B3,B4派四个人A1,A2, A3,A4去完成. 每个人都可以承担四项任务中的任何一项,但所消耗 的资金不同.设Ai完成Bj所需资金为cij. 如何分配任务,使总支出最少?
设变量
xij
=
1 0
指派Ai完成Bj 不指派Ai完成Bj
否则令k:=k+1, 转(1)
可行方向
定义1.2.2(可行方向) 已知区域 D ⊂ Rn , xk∈D,对于向 量pk≠0,若存在实数b>0, 使得对任意的α∈(0,b), 有:xk+αpk∈D,则称pk为点xk处关于区域D的可行方向.
对于D的内点(存在邻域包含于D),任意方向可行,对于 边界点(任意邻域既有D的点也有不在D中的点),则有 些方向可行,有些方向不可行. 若下降方向关于域D可行,则称为可行下降方向.
i =1
xij ≥ 0, (i = 1, 2,L, m, j = 1, 2,L, k )
注:平衡条件
m
∑
a i
=
k
∑bj
作为已知条件并不出现在约
i =1
j =1
束条件中.
例1.1.2 生产计划问题
设某工厂有m种资源B1,B2, …,Bm,数量分别为: b1,b2, …, bm,用这些资源生产n种产品A1, A2, …, An.每 生产一个单位的Aj产品需要消耗资源Bi的量为aij,根 据合同规定,产品Aj的量不少于dj.再设Aj的单价为cj. 问如何安排生产计划,才能既完成合同,又使该厂总收 入最多?
通常称满足gkTpk<0的方向pk是f (x)在xk处的一个下降
方向. 其中 ∇f (x) = ( ∂f , ∂f L, ∂f )T , 称为f (x)在x处的梯度.
∂x1 ∂x2 ∂xn
29
最优化问题的算法的一般迭代格式
给定初始点x0,令k=0. (1) 确定xk处的可行下降方向pk; (2) 确定步长αk,使得f (xk+αkpk)<f (xk), (3) 令xk+1=xk+αkpk; (4) 若xk+1满足某种终止准则,则停止迭代, 以xk+1为近似最优解;或者已经达到最大迭代步数,也 可终止迭代.
需求量b1,b2, …,bk吨.再设由Ai到Bj每吨水泥的运价为
cij元.假设产销是平衡的,即:
m
k
∑ ai = ∑ bj
i =1
j =1
试设计一个调运方案,在满足需要的同时使总运费最省.
6
由题意可画出如下的运输费用图:
a1 A1
B1 b1
a2 A2 产量
B2 b2
需求量
am Am
Bk bk
图1-1
最优化方法
合肥工大数学学院
前言
一、什么是最优化 最优化是一门应用性相当广泛的学科,它讨论决策
问题的最佳选择之特性,寻找最佳的计算方法,研究这些 计算方法的理论性质及其实际计算表现.
应用范围:信息工程及设计、经济规划、生产管 理、交通运输、国防工业以及科学研究等诸多领域.
1
2
二、包含的内容 按照优化思想分为经典方法与现代方法.
根据目标函数和约束函数的函数类型分类：线性最 优化问题,非线性最优化问题,二次规划,多目标规划, 动态规划,整数规划,0–1规划.
25
§1.2 最优化问题的一般算法
迭代算法 迭代算法：选取一个初始可行点x0∈D,由这个初始 可行点出发,依次产生一个可行点列: x1 , x2 ,···, xk ,···, 记为{xk}, 使得某个xk恰好是问题的一个最优解,或者该点列收 敛到问题的一个最优解x*. 下降算法：在迭代算法中一般要求 f (xk+1)≤f (xk).
14
最小二乘法
解这种问题常用的方法是最小二乘法,以一个简单的
函数序列
ϕ1(x),ϕ2 (x),L,ϕn (x)
为基本函数.
一般选取1, x, x2,···, xn为基本函数,即以
n
f (x) = ∑ ajx j j=0
作为近似表达式.
15
16
-4-
最小二乘法
最优化问题
系数的选取要使得下面的平方和最小:
9
10
假设产品Aj的计划产量为xj. 由题意可画出如下的生产与消耗的关系图:
b1 B1 b2 B2
消耗 aij
A1 ≥ d1 A2 ≥ d2
n
数学模型 max ∑ c j x j j =1
n
s.t. ∑ aij x j ≤ bi (i = 1, 2,L, m) j =1
x j ≥ d j ( j = 1, 2,L, n)
i =1
xij ∈{0,1}, i, j = 1, 2,3, 4
13
例 1.1.4 数据拟合问题
在实验数据处理或统计资料分析中常遇到如下问 题.设两个变量x和y,已知存在函数关系,但其解析表达 式未知或者虽然为已知,但过于复杂. 设已取得一组数据: