最优化理论与方法-第一章
最优化理论与方法(南京大学)-lec1-Introduction
• Linear Programming(线性规划) • Nonlinear Programming(非线性规划)
– Unconstrained Problems(无约束最优化方法) – Constrained Problems(约束最优化方法) ☆ Variational Inequality (VI)(变分不等式)
• Monotone VI • Non-monotone VI
5
Optimization Problem
(Mathematical) Optimization Problem
minimize f x subject to gi x bi , i 1,L ,m
g x x1,L , xn : optimization variables (优化变量)
2
Optimization Process
real world problem
analysis
validation, sensitivity analysis
algorithm, model, solution technique
numerical methods
verification 验证
computer implementation
the roads, the travel times between intersections can be considered as
constant, but if the traffic is heavy the travel times can increase
体运行时间) for handling a (long) sequence of tasks(处理一个任务序
最优化理论与方法概述
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
最优化计算方法第1章
具体内容
• 第一章 绪论 • 第二章 基本概念和理论基础 • 第三章 线性规划 • 第四章 最优化搜索算法结构与一维搜索 • 第五章 无约束最优化方法 • 第六章 约束最优化方法
路漫漫其悠远
教材及主要参考书目
《最优化计算方法》陈开周编，西电出版社 《最优化理论与方法》袁亚湘等编，科学出版社 《最优化理论与算法》陈宝林编，清华大学出版社 《数学规划讲义》马仲蓄等编，人大出版社 《实用线性规划》D.M希梅尔布劳著 《无约束最优化计算方法》邓乃杨等编
可能的方案 追求的目标
最优化就是从所有可能的方 案中选择最合理的一种以达 到最优目标的学科
后者是前者的函数. 如果第一要素与时间无关就称为静态最优化问题，否则 称为动态最优化问题。
本课程主要讨论静态最优化问题。
路漫漫其悠远
历史与现状
• 公元前500年，古希腊在讨论建筑美学中就已发现了长方 形长与宽的最佳比例为1.618,称为黄金分割比。其倒数 至今在优选法中仍得到广泛应用。
由于现实系统的客观物质条件限制，模型必须包括把 决策变量限制在它们可行值之内的约束条件，而这通常是 用约束的数学函数形式来表示的。 目标函数
其作为系统决策变量的一个数学函数来衡量系统的效 率，即系统追求的目标。
路漫漫其悠远
优化模型的分类
根据问题的不同特点分类 无约束最优化问题 约束最优化问题
• 等式约束优化问题
性的。
根据函数性质分类 动态与静态 随机与确定 单目标与多目标
路漫漫其悠远
优化模型的分类
解法的分类 解析方法:利用函数的分析性质去构造迭代公式，使之收敛
到极值点。 直接方法：按一定的数学原理，用尽量少的计算量，直接比
较函数值的大小。
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
最优化理论与方法电子科技大学
最优化理论与方法电子科技大学
例3 将例1的目标函数改为 f(x)= -3x1 -2x2 ,而约束条件
不变, 即求
f(x)= -3x1 - 2x2
解 可行集如图:
最优化理论与方法电子科技大学
(2) 转变“≤”约束为等式约束 引入 xn+p ≥0 , 使
称变量 xn+p为松驰变量. (3) 转变“≥”约束为等式约束
引入 xn+q ≥0 , 使
称变量 xn+q为剩余变量.
最优化理论与方法电子科技大学
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
最优化理论与方法电子科技大学
再绘出目标函数的等值线.当目标函数值为z0时, 其等值线为 –x1 - 2x2 = z0
这是一条直线, 当 z0 取不同值时, 可得到其他等值线. 因具有相同的斜率, 所以等值线是彼此平行的直线. 例如, 当z0=0时, 得一通过坐标原点的等值线
–x1 - 2x2 = 0
最优化理论与方法电子科技大学
二． 最优化问题的数学模型与分类
1. 根据问题不同特点分类
( 1 ) 无约束极小化问题 求 x =(x1，x2，…，xn)T 使函数 f(x) 达到最小, 记为
mxiRnn f (x) 或 min f (x) （2）约束极小化问题
记为
min f (x)
s.t. g i (x) 0, i = 1,2, …, m hj(x) = 0, j = 1, 2, …, n
最优化方法 1第一章
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化理论与算法(第一章)
最优化理论与算法（数学专业研究生）第一章 引论§1.1 引言一、历史与现状最优化理论最早可追溯到古老的极值问题，但成为一门独立的学科则是在20世纪四十年代末至五十年代初。
其奠基性工作包括Fritz John 最优性条件（1948），Kuhn-Tucker 最优性条件（1951），和Karush 最优性条件(1939)。
近几十年来最优化理论与算法发展十分迅速，应用也越来越广泛。
现在已形成一个相当庞大的研究领域。
关于最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。
本课程所涉及的内容属于前者。
二、最优化问题的一般形式 1、无约束最优化问题min ()nx Rf x ∈ （1.1） 2、约束最优化问题min ()()0, ..()0, i i f x c x i E s t c x i I=∈⎧⎨≥∈⎩ （1.2）这里E 和I 均为指标集。
§1.2数学基础一、 范数 1. 向量范数max i x x ∞= （l ∞范数） （1.3）11ni i x x ==∑ （1l 范数） （1.4）12221()ni i x x ==∑ （2l 范数） （1.5）11()np pi pi xx ==∑ （p l 范数） （1.6）12()TAxx Ax = （A 正定） （椭球范数） （1.7）事实上1－范数、2－范数与∞-范数分别是 p －范数当 p ＝1、2和p →∞时情形。
2．矩阵范数定义1.1 方阵A 的范数是指与A 相关联并记做A 的一个非负数，它具有下列性质： ① 对于0A ≠都有0A >，而0A =时0A =； ② 对于任意k R ∈，都有kA k A =； ③ A B A B +≤+； ④ AB A B ≤； 若还进一步满足： ⑤ pp AxA x ≤则称之为与向量范数p相协调（相容）的方阵范数。
最优化方法第一章
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化方法(刘)第一章
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
最优化基础理论与方法
最优化基础理论与⽅法⽬录1．最优化的概念与分类 (2)2. 最优化问题的求解⽅法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解⽅法 (3)2.1.3 线性规划算法未来研究⽅向 (3)2.2⾮线性规划求解 (4)2.2.1⼀维搜索 (4)2.2.2⽆约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5⼆次规划 (5)2.2.6⾮线性规划算法未来研究⽅向 (5)2.3组合规划求解⽅法 (5)2.3.1 整数规划 (5)2.3.2 ⽹络流规划 (7)2.4多⽬标规划求解⽅法 (7)2.4.1 基于⼀个单⽬标问题的⽅法 (7)2.4.2 基于多个单⽬标问题的⽅法 (8)2.4.3多⽬标规划未来的研究⽅向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究⽅向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平⾯算法 (9)2.6.2 凹性割⽅法 (9)2.6.3 分⽀定界法 (9)2.6.4 全局优化的研究⽅向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电⼒系统中的应⽤及发展趋势 (12)3.1 电⼒系统的安全经济调度问题 (12)3.1.1电⼒系统的安全经济调度问题的介绍 (12)3.1.2电⼒系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解⽅法最优化⽅法是近⼏⼗年形成的，它主要运⽤数学⽅法研究各种优化问题的优化途径及⽅案，为决策者提供科学决策的依据。
最优化⽅法的主要研究对象是各种有组织系统的管理问题及其⽣产经营活动。
最优化⽅法的⽬的在于针对所研究的系统，求得⼀个合理运⽤⼈⼒、物⼒和财⼒的最佳⽅案，发挥和提⾼系统的效能及效益，最终达到系统的最优⽬标。
第1讲最优化理论与方法概述
第1讲最优化理论与方法概述
优化理论与方法是科学技术、工程技术及社会经济领域最基本的理论与方法之一，它包括有效管理信息、数据资源、计算资源、计算方法及其运用于完成一定任务的整个过程。
优化理论与方法的基本特征是求解问题的最优解，即能够以最少的代价实现最大的效果。
因此，这门学科也有时被称为优化算法、优化方法、最优化理论与方法等。
优化理论与方法一般涉及到分析、求解、估算、定制和能力提升等基本活动。
它主要是通过分析、提取、重新组合有效信息，以最少的费用实现最大效益，系统地实现数据决策的动态过程，最终达到给定目标的一种科学过程。
优化理论与方法的应用范围十分广泛，既可以应用到工业管理、经济管理等领域，也可以应用到物理、化学、生物和生态学中，甚至可以用于地理系统分析和空间规划等方面。
在求解优化问题时，可以采取数学优化方法，也可以采用模拟优化方法，或利用一组算法和经验性算法等复杂技术来实现多目标的最优化。
常见的优化方法包括数学规划、非线性规划、半定规划、综合规划、多目标优化法、博弈论、动态规划、多变量优化及经验性算法等，这些方法可以根据具体问题，选择最合适的解决办法。
最优化理论与算法完整版课件
多目标规划 对策论等
随机过程方法
统计决策理论 马氏过程 排队论 更新理论 仿真方法 可靠性理论等
TP SHUAI
统计学方法
回归分析 群分析 模式识别 实验设计 因子分析等
6
优化树
TP SHUAI
7
•最优化的发展历程
2E d 2 B2 p L2 h2 0
8 L2 h2
dhB
6.结构设计问题
另外还要考虑到设计变量d和h有界。 从而得到两杆桁架最优设计问题的数学模型：
min 2dB L2 h2
s.t.
p L2 h2 0 dhB
2E d 2 B2
则称x0为极小化问题min f(x),x S的局部最优解
TP SHUAI
30
优化软件 / /neos/solvers/index.html
TP SHUAI
23
6.结构设计问题
p1
p2
h
2p
2L
B
d
受力分析图
圆杆截面图
2p
h
2L
桁杆示意图
TP SHUAI
24
6.结构设计问题
解：桁杆的截面积为 ： S dB
桁杆的总重量为：W 2dB L2 h2
负载2p在每个杆上的分力为：p1
p
cos
p
L2 h2 h
20
5负载平衡(1)
实例: 网络G(V,E) 及一组m 个数的集合{s,d>0}，表示 连接源点 s与汇点d 之间的流量
解: {s,d>0}的一组路由, 即G(V,E) 中m 条s 与 d间的路, 表示连接s与d 的负载流量的路径。
最优化理论与方法——牛顿法（1）
牛顿法牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。
结合着matlab 可以对其进行应用，求解方程。
牛顿迭代法（Newton ’s method ）又称为牛顿-拉夫逊方法（Newton-Raphson method ）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor 展开，并将其极小化。
牛顿法使用函数()f x 的泰勒级数的前面几项来寻找方程()0f x =的根。
牛顿法是求方程根的重要方法之一，其最大优点是在方程()0f x =的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。
牛顿法的几何解释：方程()0f x =的根*x 可解释为曲线()y f x =与x 轴的焦点的横坐标。
如下图：设k x 是根*x 的某个近似值，过曲线()y f x =上横坐标为k x 的点k P 引切线，并将该切线与x 轴的交点 的横坐标1k x +作为*x 的新的近似值。
鉴于这种几何背景，牛顿法亦称为切线法。
2 牛顿迭代公式：（1）最速下降法：以负梯度方向作为极小化算法的下降方向，也称为梯度法。
设函数()f x 在k x 附近连续可微，且()0k k g f x =∇≠。
由泰勒展开式： ()()()()()T k k k k fx f x x x f x x x ο=+-∇+- （*）可知，若记为k k x x d α-=，则满足0Tk k d g <的方向k d 是下降方向。
当α取定后，Tk k d g 的值越小，即T kk d g -的值越大，函数下降的越快。
由Cauchy-Schwartz 不等式： T k k kk d g d g ≤，故当且仅当k k d g =-时，Tk k d g 最小，从而称k g -是最速下降方向。
最速下降法的迭代格式为： 1k k k k x x g α+=-。
最优化理论与方法习题
x (1 ) 2 3 ,x (2 ) 4 3 ,x (3 ) 3 0 1 0 x (4 ) 3 0 1 0
记目标函数和约束函数分别为f x ,g x ,h x ,他们在 点x处的梯度分别是 f(x ) 1 0 , g (x ) 6 (x 1 1 3 ) , h (x ) 2 (x 2 1 x 2 3 ) Lagrange函数是
2 f
x12
2 f
H
(
f
)
x 2 x1
2 f
x
n
x1
2 f
x1x2 2 f
x
2 2
2 f
x n x 2
2 f
x1xn
2 f
x 2 x n
2 f
x
2 n
例 求目标函数
f(x ) x 1 4 2 x 2 3 3 x 3 2 x 1 2 x 2 4 x 2 x 3 x 1 x 3 2
取点x(1) (1,1,1)T,验证s(1) (1,0,-1是) f x 在点 x (1处) 的一个
下降方向 证明： f( x ) ( 2 x 1 ,3 x 2 2 2 x 3 1 ,4 x 3 2 x 2 1 ) T
f(x1)(2,4,5)T
2 s(1)f (x1) (1,0,-14) 30 5
第一章习题课
二次型
n个变量的二次齐次多项式
f(x 1 ,x2, ,xn) a 1x 1 1 2 2 a 1x 2 1 x2 2 a 1 nx 1 xn a 2x 2 2 2 2 a 2 nx2xn a nx n n 2
称为一个n元二次型, 简称二次型
x 1 2 2 x 1 x 2 3 x 1 x 3 x 2 2 5 x 2 x 3 2 x 3 2
最优化理论与算法ppt
x 为的严格局部极小值点（极大值）
Page 17
凸集、凸函数与凸优化问题
凸组合：已知 D ，Rn任取k个点，如果存在常 数
k
使得ai
0
(i 1则, 2称,, k为) ai i 1
1
如果函数在点P(x, y) 是可微分的，那末函数在该点沿任意 方向L的方向导数都存在，且有
f f cos f sin
l x
y
其中为x轴到方向L的转角
Page 11
函数的方向导数与极值问题
梯度
函数在一点的梯度是这样一个向量, 它的方向与取得最 大方向导数的方向一致, 而它的模为方向导数的最大值。
(2) 若 f (x0)T P 0，则P的方向是函数在点x0 处的上升方向。
方向导数的正负决定了函数值 的升降，而升降的快慢就由它的 绝对值大小决定．绝对值越大， 升降的速度就越快
Page 14
结论：
(1)梯度方向是函数值的最速上升方向； (2)函数在与其梯度正交的方向上变化率为零； (3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度
以 f (x) 的n个偏导数为分量的向量称为在处的梯度，
记为
f
(
x)
f (x) x1
,
f (x) ,
x2
,
f (x)T
xn
梯度也可以称为函数关于向量的一阶导数。
Page 12
Hesse矩阵
2 f (x)
x12
2 f (x)
2
f
( x)
H (x)
x2x1
2 f (x)
2c 0
xnx1
目标函数的等值面（线） 对于简单的问题，可用等值线或等值面来描述函数的
最优化计算方法第1章
•最优化问题的数学模型与分类
•数学模型的建立
• 建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
• 过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。 • 具体建立怎样的数学模型需要丰富的经验和熟练的技 巧。 •
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
的。 二次规划：目标函数为二次函数，约束条件中的函数为线
• 最优化技术与数学模型所包括的知识点很多，选取了一些 实用的方法。
课程简介
从工程应用的角度出发，注重工程优化的基本思想和 方法的阐述。
内容主要包括: 线性规划、非线性规划、约束优化、无约束优化等， 并对如何建立数学模型、如何选择优化方法和提高优 化效率作了适当的介绍。
课程任务
讲授工程优化的基本理论和方法，要求通过本课程的学 习，具有应用工程优化方法解决实际问题的技能，并为以后 的学习和工作打好基础。
的约束下求决
策变量x，使函数
达到极
其中： 为决策变量 为已知参数
小min；若求极大max，相当于一个 min（-f）。
为随机因素
为（一般或广义）函数
•建立优化模型的三要素
•决策变量和参数
• 决策变量是由数学模型的解确定的未知数。参数表示 系统的控制变量，有确定性的也有随机性的。
约束或限制条件
由于现实系统的客观物质条件限制，模型必须包括 把决策变量限制在它们可行值之内的约束条件，而这通常 是用约束的数学函数形式来表示的。
最优化计算方法第1章
2020年5月31日星期日
为什么要学习工程优化
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 可读性
算法另一方面，晦涩难读的程序 易于隐藏较多错误而难以调试；
3．健壮性
当输入的数据非法时，算法应当恰当 地作出反映或进行相应处理，而不是产 生莫名奇妙的输出结果。并且，处理出 错的方法不应是中断程序的执行，而应 是返回一个表示错误或错误性质的值， 以便在更高的抽象层次上进行处理。
4．有输入 作为算法加工对象的量值， 通常体现为算法中的一组变量。有些输入 量需要在算法执行过程中输入，而有的算 法表面上可以没有输入，实际上已被嵌入 算法之中；
5．有输出 它是一组与“输入”与 确 定关系的量值，是算法进行信息加 工后得到的结果，这种确定关系即 为算法的功能。
二、算法设计的原则 设计算法时，通常应考虑达到以下目标：
1.3 计算复杂性的概念
算法计算量的度量之例——TSP枚举法
计算量的统计： 城市数n 第一城市为始终点，计算一条路径（1,i2, ,in,1）长度的基本运算 为两两城市间距离的n个数求和,共有(n 1)!条路径,
求和运算次数为：(n 1)!n n!;
枚举所有路径进行(n 1)!次比较可得最优路径,基本计算总次数为
计算 1 24 10 4.3 4.9 时间 sec sec min hour day
29 30 31
136.5 10.8 325 day year year
随城市增多，计算时间增加很快。 到31个城市时，要计算325年。
35
1.3 计算复杂性的概念
描述算法的好坏——计算复杂性—— 讨论计算时间与问题规模之间的关系
最优化理论与方法
（现代优化计算方法）
1
内容
概论 递归、分治、贪心、回溯 禁忌搜索、爬山算法 模拟退火、蚁群算法 遗传算法 神经网络 元胞自动机 随机算法
2
背景
传统实际问题的特点 连续性问题——主要以微积分为基础，且问题规模较小
传统的优化方法 追求准确——精确解 理论的完美——结果漂亮 主要方法：线性与非线性规划、动态规划、多目标规划、整 数规划等；排队论、库存论、对策论、决策论等。
数学模型：
min f (x) s.t.g(x) 0,
x D.
目标函数 约束函数 有限点集, 决策变量
7
1.1 组合优化问题
组合优化问题的三参数表示：
(D, F, f ) D :决策变量定义域
F x | x D, g(x) 0,可行域,有限点集
f :目标函数 x F :可行解（点）
s.t. xij 1.i 1, 2, , n, j 1
n
xij 1. j 1, 2, , n,
i 1
xij s 1, 2 s n 1, s 1, 2,
i, js
xij 0,1, i, j 1, 2, , n, i j.
其中
(1.4) 总路长 (1.5) 只从城市i出来一次 (1.6) 只走入城市j一次
现代优化方法 追求满意——近似解 实用性强——解决实际问题
现代优化算法的评价方法 算法复杂性
4
现代优化(启发式)方法种类
禁忌搜索（tabu search） 模拟退火（simulated annealing） 遗传算法（genetic algorithms） 神经网络（neural networks） 蚁群算法（群体（群集）智能，Swarm
其中 B : 装下全部物品需要的箱子， 1, 第i物品装在第b个箱子，
xib 0，第i物品不装在第b个箱子.
14
1.1 组合优化问题
例4 约束机器排序问题（bin packing） n 个加工量为{di|i = 1, 2, ⋯, n} 的产品在
一台机器上加工,机器在第t个时段的工作 能力为ct , 求完成所有产品加工的最少时 段数。
Intelligence） 拉格朗日松弛算法（lagrangean relaxation）
5
1 现代优化计算方法概述
1.1 组合优化问题 1.2 算法 1.3 计算复杂性的概念 1.4 启发式算法
6
1.1 组合优化问题
组合优化（combinatorial optimization）:解决离散问 题的优化问题——运筹学分支。通过数学方法的研究 去寻找离散事件的最优编排、分组、次序或筛选等。
4．高效率与低存储量需求
通常，效率指的是算法执行 时间；存储量指的是算法执行过程 中所需的最大存储空间。两者都与 问题的规模有关。
算法的描述方法.
（1）自然语言 （2）流程图 （3）程序设计语言
例. 求正整数m、n的最大公因数。 解一.
（1）求余数：用m除以n，得余数r(0≤r﹤n)。
（2） 判断余数：若余数r=0，输出n，结束。 否则，转（3）。
9
1.1 组合优化问题
数学模型：
n
max ci xi i 1
(1.1)总价值
n
s.t. ai xi b, i 1
xi 0,1, i 1,, n.
(1.2)包容量限制 (1.3)决策变量
其中xi
1，装第i物品 0，不装第i物品
D 0,1n.
10
1.1 组合优化问题
1．有穷性 对于任意一组合法输入值， 在执行有穷步骤之后一定能结束，即： 算法中的每个步骤都能在有限时间内完成；
2．确定性 对于每种情况下所应执行的 操作，在算法中都有确切的规定，使算法 的执行者或阅读者都能明确其含义及如何 执行。并且在任何条件下，算法都只有一 条执行路径；
3．可行性 算法中的所有操作都必须足 够基本，都可以通过已经实现的基本操作 运算有限次实现之；
总计算量:n! (n 1)!
43
1.3 计算复杂性的概念
实例的输入长度：
设对i, j有dij K , 则 L n(n 1)(log（ 2 K 1） 2) log（ 2 n 1） 2
实例的输入长度是n的多项式函数 枚举法的基本计算量是n的阶乘函数，
随n的增加，比指数函数增加得还快.
44
1.3 计算复杂性的概念
实例I , 实例规模：l(I )，算法A 基本计算总次数：CA (I)
存在函数g ( x)和一个常数，使得对于该问题的任意实例Ｉ 都满足 CA(I) g(l(I )) （ＸＸ）
则二者关系表示为：CA (I ) O(g(l(I ))) g ( x)的性质决定了算法的性能。
以目前二进制计算机中的存储和计算为基础，以 理论的形式系统描述，是评估算法性能的基础。
36
1.3 计算复杂性的概念
问题（problem）：要回答的一般性提问，通常含有若 干个满足一定条件的参数（或自由变量）。可以从两 方面描述： （1）对所有参数的一般性描述； （2）答案（或解）必须满足的性质。
45
1.3 计算复杂性的概念
定义 多项式算法 给定问题P，算法A，对一个实例I，存在多项式 函数g(x)，使（XX ）成立，称算法A对实例I是 多项式算法； 若存在多项式函数g(x)，使（XX ）对问题P的任 意实例I都成立，称算法A为解决该问题P的多项 式算法. 当g(x)为指数函数时，称A为P的指数时间算法。
实例（instance）:给问题的所有参数指定具体值，得 到问题的一个实例。这些具体值称为数据；这些数据 输入计算机所占的空间称为实例的长度（size）.
37
1.3 计算复杂性的概念
一类最优化问题是由一些类似的具体问题（实例） 组成的，每一个具体问题可表达成二元组 （F,C）.
F为可行解集合;C是费用函数，是由F到R（实数集） 的映像。
1．正确性 2. 可读性 3．健壮性 4．高效率与低存储量需求
1．正确性
首先，算法应当满足以特定的“规格说明”方 式给出的需求。
其次，对算法是否“正确”的理解有四个层 次： a．程序中不含语法错误；
b．程序对于几组输入数据能够得出满足要求 的结果；
c．程序对于精心选择的、典型、苛刻且 带有刁难性的几组输入数据能够得出满足 要求的结果； d．程序对于一切合法的输入数据都能得 出满足要求的结果；
, n, (1.7) 在任意城市子集中不形成回路
(1.8) 决策变量
dij:城市i与城市j之间的距离 , s :集合s中元素的个数，
1, 走城市i和城市j之间的路径，
xij
0，不走城市i和城市j之间的路径.
对称距离TSP : dij d ji , i, j
非对称距离TSP : dij d ji , i, j
（3）更新被除数和除数：m←n，n←r，转(1)。
解二.
开始
输入m、n
r=m%n
是 r=0?
否 m←n，n←r
输出n
解三.
Euclid(int m, int n) { int r; while(n!=0)
{ r=m%n; m=n; n=r; }
printf(“%d”, m) }
1.3 计算复杂性的概念
记x的输入规模（编码长度）为l(x)，则 l(x) log2 (| x | 1) 2 其中2是考虑了1个符号位和1个数据分隔位。
39
如何估算 算法的时间复杂度？
算法 = 控制结构 + 原操作
算法的执行时间 =
∑元操作(i)的执行次数×元操作(i)的执行时间
从算法中选取一种对于所研究的 问题来说是 基本操作 的原操作，以 该基本操作 在算法中重复执行的次 数 作为算法运行时间的衡量准则。
问题是在F中找到一个点f*，使对F中任意的f，有 C(f*) C(f),称f*为这一具体问题的最优解（或
全局最优解 ）.
38
1.3 计算复杂性的概念