优化模型的三要素
优化设计作业
作业1. 阐述优化设计数学模型的三要素。
写出一般形式的数学模型。
答：建立最优化问题数学模型的三要素：（1）决策变量和参数。
决策变量是由数学模型的解确定的未知数。
参数表示系统的控制变量，有确定性的也有随机性的。
（2）约束或限制条件。
由于现实系统的客观物质条件限制，模型必须包括把决策变量限制在它们可行值之内的约束条件，而这通常是用约束的数学函数形式来表示的。
（3）目标函数。
这是作为系统决策变量的一个数学函数来衡量系统的效率，即系统追求的目标。
2. 阐述设计可行域和不可行域的基本概念答：约束对设计点在设计空间的活动范围有所限制。
凡满足所有约束条件的设计点，它在设计空间中的可能活动范围，称可行设计区域(可行域)。
不能满足所有约束条件的设计空间便是不可行设计区域(不可行域)。
3、无约束局部最优解的必要条件？答： （1）一元函数(即单变量函数) 极值点存在的必要条件如果函数f (x )的一阶导数f’(x )存在的话，则欲使x *为极值点的必要条件为： f’(x *)=0但使f’(x *)=0的点并不一定部是极值点；使函数f (x )的一阶导数f’(x )=0的点称为函数f (x )的驻点；极值点(对存在导数的函数)必为驻点，但驻点不一定是极值点。
至于驻点是否为极值点可以通过二阶导数f’’(x )=0来判断。
（2）n 元函数在定义域内极值点X *存在的必要条件为即对每一个变量的一阶偏导数值必须为零，或者说梯度为零(n 维零向量)。
▽f (X*)=0是多元函数极值点存在的必要条件，而并非充分条件；满足▽f (X*)=0的点X *称为驻点，至于驻点是否为极值点，尚须通过二阶偏导数矩阵来判断。
3. 阐述约束优化问题最优解的K-T 条件。
答：K-T 条件可阐述为：如果X (k)是一个局部极小点，则该点的目标函数梯度▽f (X (k))可表示成该点诸约束面梯度为▽g u (X (k))、▽h v (X (k))的如下线性组合：()()()()0****21=⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=∇T n x X f x X f x X f X f式中：q —在X (k)点的不等式约束面数；j —在X (k)点的等式约束面数；λu (u =1,2,…q )、μv (v =1,2,…j )——非负值的乘子，亦称拉格朗日乘子。
lingo1
解决方案：
1、依赖过去的经验判断面临的问题。 2、做大量的实验反复比较。 3.数学建模。
优化模型的三要素：
1、决策变量
2、目标函数 3、约束条件
优化模型
概念：在工程技术、经济管理、科学研究和日常生活 等诸多领域中，人们经常遇到的一类决策问题：在一 系列客观或主观限制条件下，寻求使所关注的某个或 多个指标达到最大（或最小）的决策。
1、结构设计要在满足强度要求的条件下选择材料的尺寸，使 其总重量最轻。
2、资源分配在有限资源约束下制定各用户的分配数量，使资 源产生的总效益最大。
最优化原理知识点
1.优化设计数学模型的三要素是什么？试写出其数学表达式。
2.常用的迭代终止准则有哪些？(1)点距准则 ||Xk+1-Xk||≤ε(2)值差准则 |f(Xk+1)-f(Xk)|≤ε(3)梯度准则 ||▽ f(Xk+1) ||≤ε3.设计的变量和设计空间的关系是什么？由n个设计变量x1,x2,…xn为坐标所组成的实空间称作设计空间。
4.梯度和方向导数的关系是什么？梯度▽ F(X) 是一个向量，梯度方向是函数具有最大变化率的方向（方向导数最大的方向）。
5.如何判断矩阵的正定性？若有HTHX>0，则称矩阵H是正定矩阵；矩阵A正定的条件是A的各阶主子式大于零。
6.为什么说正定二次函数在最优化理论中具有特殊意义？因为许多最优化理论和最优化方法都是根据正定二次函数提出并加以证明的,而且所有对正定二次函数适用并有效的最优化算法,经证明,对一般非线性函数也是适用和有效的。
7.什么是库恩-塔克条件？其几何意义又是什么？等式约束：不等式约束：8.为什么二次插值法的收敛速度要比黄金分割法快？而在相同τ下的实际精度没有黄金分割法高？9.试写出梯度法（最速下降法）的迭代算法公式，并简要叙述该算法的特点。
公式：方法特点：1）初始点可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点；2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
梯度法只具有线性收敛速度。
10.梯度法计算速度慢的原因是什么？为什么一些好的算法第一步迭代都以负梯度作为搜索方向？在迭代点向函数极小点靠近的过程，走的是曲折的路线，形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
11.牛顿方向如何得到？有何优点？12.共轭方向如何产生？有何优点？13.线性规划的基本解、基本可行解和最优解之间有什么关系？14.在解的转换中，如何保证目标函数值不仅下降，而且下降的最多？15.非线性约束最优化问题的求解方法有哪两类？各有什么特点？16.约束优化方法中的可行方向法产生可行方向应满足什么条件？试用文字描述并用公式表达。
数学建模优化模型与Lingo Lindo软件
型
表二 ：5名队员4中泳姿百米平均成绩
队员
甲
乙
丙
丁
戊
蝶泳 66.8 57.2
78
70
67.4
仰泳 75.6
66
67.8
74.2
71
蛙泳
87
66.4 84.6
69.6
83.8
自由泳 58.6
53
59.4
57.2
62.4
线 性 规
·划
模 型
决策变量：引入0-1变量xij 若选择队员 i 参加泳姿 j
例-1 某服务部门一周中每天需要不同数目的
雇员：周一到周四每天至少需要50人，周五
需要80人，周六和周日需要90人。现规定应
聘者需连续工作5天，试确定聘用方案，即周
线
一到周日每天聘用多少人，是5在满足需要的 前况下聘用总人数最少？
性
优化模型
规
决策变量：记周一到周日每天聘用的人数分别为X1，
划
X2，X3，X4，X5，X6 ，X7，这就是问题的决策变量。
的比赛，记 xij=1，否则记 xij=0.这就是问题的决策变量， 共20个。
目标函数：当队员队员 i 入选泳姿 j 的比赛时，
cij xij表示他的成绩，否则cij xij=0。于是接力队的成绩
可以表示为：
45
f
cij xij
j1 i1
约束条件：根据组成接力队的要求， xij 应该满足下面
方案。显然这不是解决问题的最好方法，随着问题
线
规模的变大，穷举法的计算量是无法接受的。
性
可以用0-1变量表示一个队员是否入选接力队， 从而建立这个问题的0-1规划模型.
优化模型与AMPL
运行求解
AMPL: milk.run
CPLEX 11.0.0: optimal solution; objective 3360 2 dual simplex iterations (1 in phase I) x [*] := A1 20 A2 30 ;
灵敏度分析
AMPL: display x.rc, x.down, x.up;
数据文件文件, 用文本编辑器编辑,保存为milk.dat
set P:=A1 A2; param T:=A1 12 A2 8; param Q:=A1 3 A2 4;
param L:=A1 24 A2 16;
批处理文件, 用文本编辑器编辑,保存为milk.run
model milk.mod; data milk.dat; option solver cplexamp; solve;
n
• 线性规划(LP) 目标和约束均为线性函数 • 非线性规划(NLP) 目标或约束中存在非线性函数 二次规划(QP) 目标为二次函数、约束为线性 • 整数规划(IP) 决策变量(全部或部分)为整数 整数线性规划(ILP)，整数非线性规划(INLP) 纯整数规划(PIP), 混合整数规划(MIP) 一般整数规划，0-1（整数）规划
假设：料场 和工地之间 有直线道路
1)现有 2 料场，位于 A (5, 1), B (2, 7), 记(xj,yj),j=1,2, 日储量 ej 各有 20 吨。
目标： 制定每天的供应计划，即从 A, B 两料场分别向
各工地运送多少吨水泥，使总的吨公里数最小。
决策变量：ci j (料场j到工地i的 运量）~12维
有 最 优 解 （ Optimal ）
无
机器学习算法系列项目模型优化四要素
机器学习算法系列项目模型优化四要素在机器学习项目中，模型的优化是十分关键的，它直接影响到算法的性能和准确性。
为了实现高质量的模型优化，有四个主要要素需要考虑：特征工程、模型选择、超参数调优和集成方法。
1.特征工程：特征工程是指对原始数据进行处理和转换，以便更好地适应机器学习算法。
在特征工程中，主要有以下几个方面需要注意：-数据预处理：包括填充缺失值、处理异常值、处理重复值等。
-特征选择：选择与目标变量相关性较高的特征，可以通过相关系数矩阵、特征重要性等指标来评估特征的重要性。
-特征变换：对数据进行编码或转换，以符合模型的要求。
例如，对类别型变量进行独热编码、对连续变量进行标准化等。
-特征创造：通过组合、交互等方式创建新的特征，以提高模型的表现。
2.模型选择：模型选择是指在给定问题中选择最合适的机器学习模型来解决。
在选择模型时，需要考虑以下几个方面：-问题类型：根据问题的类型选择回归、分类或聚类等模型。
-模型复杂度：选择适当的模型复杂度，避免过拟合或欠拟合问题。
-模型优劣评估：根据问题的需求，选择适当的评估指标来评估模型的性能。
-模型的可解释性：根据问题的需求，选择可解释性强的模型，使模型的输出更易理解。
3.超参数调优：超参数是机器学习算法中需要手动设置的参数，它们不能通过模型学习得到，需要通过试验和调优来找到最佳值。
超参数调优的几个常用方法有：-网格：通过穷举超参数的组合来找到最佳的超参数值。
这种方法简单易懂，但是计算代价高。
-随机：随机选择一组超参数的值，并在给定的范围内进行。
相比网格，计算代价较低，但结果可能不够准确。
-贝叶斯优化：使用贝叶斯优化方法来自动调整超参数，以减少计算代价，并寻找最佳的超参数值。
4.集成方法：集成方法是将多个模型的预测结果进行组合，以提高整体预测性能。
-堆叠法：将多个模型的预测结果作为输入，再经过一个次级模型进行整合。
-投票法：将多个模型的预测结果进行投票，选择得票最多的类别作为最终预测结果。
优化设计方案习题答案
第一、填空题1.组成优化设计数学模型的三要素是设计变量 、 目标函数 、 约束条件。
2.函数()22121212,45f x x x x x x =+-+在024X ⎡⎤=⎢⎥⎣⎦点处的梯度为120-⎡⎤⎢⎥⎣⎦，海赛矩阵 为2442-⎡⎤⎢⎥-⎣⎦3.目标函数是一项设计所追求的指标的数学反映，因此对它最基本的要求是能用 来评价设计的优劣，，同时必须是设计变量的可计算函数。
4.建立优化设计数学模型的基本原则是确切反映工程实际问题，的基础上力求简洁。
5.约束条件的尺度变换常称规格化，这是为改善数学模型性态常用的一种方法。
6.随机方向法所用的步长一般按加速步长法来确定，此法是指依次迭代的步 长按一定的比例递增的方法。
7.最速下降法以负梯度方向作为搜索方向，因此最速下降法又称为梯度法，其收敛速度较 慢 。
8.二元函数在某点处取得极值的充分条件是()00f X ∇=必要条件是该点处的海赛矩阵正定9.拉格朗日乘子法的基本思想是通过增加变量将等式约束优化问题变成无 约束优化问题，这种方法又被称为升维法。
10改变复合形形状的搜索方法主要有反射，扩张，收缩，压缩11坐标轮换法的基本思想是把多变量 的优化问题转化为单变量的优化问题 12．在选择约束条件时应特别注意避免出现相互矛盾的约束，，另外应当尽量减少不必要的约束。
13．目标函数是n 维变量的函数，它的函数图像只能在n+1,空间中描述出来，为了在n 维空间中反映目标函数的变化情况，常采用目标函数等值面的方法。
14.数学规划法的迭代公式是1k k k k X X d α+=+，其核心是建立搜索方向，和计算最佳步长15协调曲线法是用来解决设计目标互相矛盾的多目标优化设计问题的。
16.机械优化设计的一般过程中，建立优化设计数学模型是首要和关键的一步，它是取得正确结果的前提。
二、名词解释1．凸规划对于约束优化问题()min f X..s t ()0j g X ≤(1,2,3,,)j m =⋅⋅⋅若()f X 、()j g X (1,2,3,,)j m =⋅⋅⋅都为凸函数，则称此问题为凸规划。
第一讲 优化模型·
• 0-1整数规划
0-1型整数规划
★变量xi 仅取值0或1，这时候 xi 成为0-1变量，或称二进制 变量（Excel中就是称作二进制变量）。 例 某8名实习生, 在生产流水线上按2人一队负责某产 品同一道工序, 共分成四队. 假设8名实习生两两之间组 队的工作效率如下表所示,由于对称性,只列出上三角部 分。为使工作效率最高, 问应如何组队?
1 2 B( b A( aij ) 4 0 i 0 4
1x1 2 x2 8 4 x1 0 x2 16 s.t . 8 0 x 4 x 12 1 2 ) 16 x 、 x 0 12 1 2
Ⅰ 设备 1 Ⅱ 2 8台时
例
一、引入决策变量
16kg 12kg
原材料A 原材料B
4 0
0 4
产品Ⅰ的生产量
x1
产品Ⅱ的生产量 x2
二、确定目标函数
max z 2 x1 3 x2
Ⅰ
设备 原材料A 原材料B 1 4 0
Ⅱ
2 0 4 8台时 16kg 12kg
从而，得到了如下模型：
三、约束条件的确定
优化模型的一般形式
目标
Min(或Max) z f ( x), x ( x1 , x n )T
约束
s.t . gi ( x) 0, i 1, 2,m
决策变量包含在数学表达式中
• 线性规划
线性规划
某工厂要安排生产Ⅰ、Ⅱ两种产品，已知生产单 位产品所需的设备台时及A、B两种原材料的消耗，如 表所示。该工厂生产一单位产品Ⅰ可获利2元，生产一 单位产品Ⅱ可获利3元，问应如何安排生产，使其获得 最多收益？
ordU( X ) (U ( X 1 ),U ( X 2 ),....,U ( X p ))T s.t. g i ( X ) 0 hj (X ) 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
④ 一行中“！”后面的文字将被认为是说明语句，不参与
模型的建立，主要目的是增加程序的可读性。
现在我们用Lindo软件来求解这个模型，单击工具栏中的
Lindo求解器运行状态窗口各项的含义
型
xij
0,1;
这是一个线性0-1 规划模型，它是一个特 殊的线性整数规划。
Lingo/Lindo软件介绍
➢ 这套软件包由美国芝加哥大学的Linus Scharge教
授于1980年前后开发，专门用于求解最优化问题，后 经不断完善和扩充，并成立LINDO公司进行商业化运 作，取得了巨大的成功。全球《财富》杂志500强的企 业中，一半以上使用该公司产品，其中前25强企业中 有23家使用该产品。
队员
甲
乙
丙
丁
戊
蝶泳 66.8 57.2
78
70
67.4
仰泳 75.6
66
67.8
74.2
71
蛙泳
87
66.4 84.6
69.6
83.8
自由泳 58.6
53
59.4
57.2
62.4
线 性 规
·划
模 型
决策变量：引入0-1变量xij 若选择队员 i 参加泳姿 j
的比赛，记 xij=1，否则记 xij=0.这就是问题的决策变量， 共20个。
•松弛变量的值 【紧约束】
Lingo/Lindo软件介绍 ---Lindo
➢使用Lindo软件的一些注意事项：
① 变量以字母开头、不区分大小写，变量名可不超过8个字符；
② 变量不能出现在约束条件的右端，右端只能是常数；变量与系 数之间可以有空格，但绝对不能有任何运算符；
③ Lindo中不接受”（）“和逗号 ”，“等任何运算符号（除非 在注释语句中）；
目标函数：当队员队员 i 入选泳姿 j 的比赛时，
cij xij表示他的成绩，否则cij xij=0。于是接力队的成绩
可以表示为：
45
f
cij xij
j1 i1
约束条件：根据组成接力队的要求， xij 应该满足下面
两个约束条件：
① 每人最多只能入选4种泳姿之一，即对于员 i=1，2，3，
4，应该有：
约束条件：由每天需要的人数确定。由于每人连续
工作五天，所以一周的雇员应该是周四到周一聘用的， 按照需要至少50人，于是
x1 x4 x5 x6 x7 50
类似的，有
x1 x2 x5 x6 x7 50
x1 x2 x3 x6 x7 50
线 性 规
x1 x2 x3 x4 x7 50 x1 x2 x3 x4 x5 80 x2 x3 x4 x5 x6 90
这里opt 最优化的意思，可以是min（求极大， 即minamize的缩写）或max （求极小，即minamize 的缩写）的两者之一；s.t. （即subject to）“受约 束于”之意。
优化模型基本类型
1.决策变量x的所有分量xi均为连续数值
a）f ,hi ,gi都是线性函数，则为线性规划（LP） b）f ,hi ,gi至少有一个是非线性，则为非线性规划（NLP）
聘者需连续工作5天，试确定聘用方案，即周
线
一到周日每天聘用多少人，是5在满足需要的 前况下聘用总人数最少？
性
优化模型
规
决策变量：记周一到周日每天聘用的人数分别为X1，
划
X2，X3，X4，X5，X6 ，X7，这就是问题的决策变量。
模
目标函数：目标函数即是聘用总人数，即
型
z x1 x2 x3 x4 x5 x6 x7
划
x3 x4 x5 x6 x7 90
模
显然，人数应该是正整数，所以
型
xi 0 i 1, 2, 7
问题归结为在以上约束条件下求解min z的 整数规划模型。由于目标函数和约束条件关于 决策变量都是线性函数，所以这是一个整数向 行规划模型。
例-2 某班准备从5名游泳队员中选择4人组成
接力队，参加学校的4*100混合泳接力比赛。
④ 模型中的表达式应当经过化，如不能出现 （X+1）2 + 2X2 + 3Y，而应该写成3X2+2X+3Y+1；
⑤ 模型中已假定所有变量非负，可在模型的 ”end“语句后面用命 令”free“取消变量的非负假定，其用法是在”free“后面跟变 量名；
⑥ 在模型的 ”end“语句后面可以用命令”SUB“设定变量的上界， 用命令”SLB“设定变量的下界；
（1）线性规划（LP）的一般形式
常
目标函数和所有的约束条件都是变量的线性 函数。
用
n
的 min f x ci xi , i 1,2,...,n
优
i 1
化 模 型
n
s.t. i1
ai xi
bi , bi
, bi ,
形 式
xi 0,i 1,2,...,n
（2）二次规划问题
常
目标函数为二次函数，约束条件为线性约束。
名称
含义
Status
显示当前求解状态：Optimal表示已经达到 最优解；其他可能的显示：Feasible， Infeasible，Unbounded
Iterations 显示迭代次数
Infeasibility 约束不满足的量；0表示这个解是可行的
Objective 显示当前解的目标函数值
Best IP
4
xij 1
j 1
② 每种泳姿有且只能有1人入选，即对于员 j=1，2，3，4，
5，应该有：
5
xij 1
i 1
综上所述，这个问题的优化模型可以写作：
45
min
cij xij ;
线
j1 i1
性
4
xij 1 ,i 1, 2,3, 4,5;
规
j1
划 模
5
s.t. xij 1 , j 1, 2,3, 4; i1
显示整数规划当前解的最佳标函数值：N/A 表示无答案或无意义
IP Bound 显示整数规划的界
Branches
显示分支定界算法已经计算的分支数： N/A 表示无答案或无意义
Elapsed 显示计算所用时间：0：00说明计算太快，
Time
用时还不到0.05S
Update 显示控制和刷新本界面的时间间隔 Time
➢该软件包功能强大，版本也很多，而我们 使用的只
是演示版（试用版），演示版与正式版功能基本上是
类似的，只是能够求解问题的规模受到限制，总变量数 不超过30个，这在我们目前的使用过程中，基本上是 足够。
Lingo/Lindo软件介绍 Lingo/Lindo软件求解的优化模型类型见下图：
优化模型
连续模型
整数模型
线性规划
二次规划
Lindo
非线性规划 Lingo
Lingo/Lindo软件介绍
➢Lindo是英文Linear Interactive and Discrete
Optimizer字首的缩写，即“交互式的线性和离散优化 求解器”，可以用来求解线性规划（LP）和二次规划 （QP）；
➢Lingo是英文Linear Interactive and General
Lingo/Lindo软件介绍
《
---Lindo
➢解决一个简单的线性规划（LP）问题
例-3 max z 2x 3y
4x 3y 10 s.t. 3x 5y 12
x, y 0
其Lindo程序为：
Lingo/Lindo软件介绍 ---Lindo
➢我们从这段程序可以看出Lindo模型有以下特点：
➢ Lingo9.0软件比以前的版本有了很大的改进，功能大大增强， 性能更加稳定，结果更加可靠；从基本更能上看，与Lindo相比， Lingo软件主要具备以下优点：
① 除具备Lindo饿全部功能外，还可以用于求解非线性规划问题；
用一组关于x的等式hi( x ) 0i 1,2, m和（或）不 等式g j( x ) 0 j 1,2, n来界定，分别称为等式约
束和不等式约束。
于是，优化模型从数学上可以表述为
opt z f ( x )
（1）
s. t. h( x ) 0 ቤተ መጻሕፍቲ ባይዱ 1,2, ,m
（2）
g( x ) 0 j 1,2, ,n （3）
自由泳 58”6
53”
59”4
57”2 1’02”4
问题分析：问题要求从5名队员中选出4人组成接
力队，每人一种泳姿，且四人的泳姿各不相同，使
接力队成绩最好。容易想到穷举法，组成接力队的
方案有5！=120中，逐一计算并做比较即可找出最优
方案。显然这不是解决问题的最好方法，随着问题
线
规模的变大，穷举法的计算量是无法接受的。
3y 5y z 12
x y 5z 8
5x y z 2
0 y 20, z 30
在这个模型中，对变量x没有非负限制，对y有上限限制，对z有下限 限制；分别用FREE、SBU、SLB三个命令可以实现这些功能。具体输入 如下：
图a：例4的 输入模型
图b：例4的 输出结果
Lingo/Lindo软件介绍 ---Lingo
c） f 是二次函数,hi ,gi 都是线性，则为二次规划（QP）
2.决策变量x的的一个或多个分量xi取离散值
a） x的至少一个分量只取整数数值，则为整数规划（IP） b） x的分量限定只取整数0或1，则为0-1规划（ZOP）
3.此外，为了解决实际问题的需要，还可以分为： 单目标规划，多目标规划，动态规划，多层规划等。