生产运筹--非线性规划的基本概念

合集下载

非线性规划

非线性规划

1. 非线性规划我们讨论过线性规划,其目标函数和约束条件都是自变量的线性函数。

如果目标函数是非线性函数或至少有一个约束条件是非线性等式(不等式),则这一类数学规划就称为非线性规划。

在科学管理和其他领域中,很多实际问题可以归结为线性规划,但还有另一些问题属于非线性规划。

由于非线性规划含有深刻的背景和丰富的内容,已发展为运筹学的重要分支,并且在最优设计,管理科学,风险管理,系统控制,求解均衡模型,以及数据拟合等领域得到越来越广泛的应用。

非线性规划的研究始于三十年代末,是由W.卡鲁什首次进行的,40年代后期进入系统研究,1951年.库恩和.塔克提出带约束条件非线性规划最优化的判别条件,从而奠定了非线性规划的理论基础,后来在理论研究和实用算法方面都有很大的发展。

非线性规划求解方法可分为无约束问题和带约束问题来讨论,前者实际上就是多元函数的极值问题,是后一问题的基础。

无约束问题的求解方法有最陡下降法、共轭梯度法、变尺度法和鲍威尔直接法等。

关于带约束非线性规划的情况比较复杂,因为在迭代过程中除了要使目标函数下降外,还要考虑近似解的可行性。

总的原则是设法将约束问题化为无约束问题;把非线性问题化为线性问题从而使复杂问题简单化。

求解方法有可行方向法、约束集法、制约函数法、简约梯度法、约束变尺度法、二次规划法等。

虽然这些方法都有较好的效果,但是尚未找到可以用于解决所有非线性规划的统一算法。

非线性规划举例[库存管理问题] 考虑首都名酒专卖商店关于啤酒库存的年管理策略。

假设该商店啤酒的年销售量为A 箱,每箱啤酒的平均库存成本为H 元,每次订货成本都为F 元。

如果补货方式是可以在瞬间完成的,那么为了降低年库存管理费用,商店必须决定每年需要定多少次货,以及每次订货量。

我们以Q 表示每次定货数量,那么年定货次数可以为QA,年订货成本为Q A F ⨯。

由于平均库存量为2Q,所以,年持有成本为2Q H ⨯,年库存成本可以表示为:Q HQ A F Q C ⨯+⨯=2)( 将它表示为数学规划问题:min Q H Q A F Q C ⋅+⋅=2)( ..t s 0≥Q其中Q 为决策变量,因为目标函数是非线性的,约束条件是非负约束,所以这是带约束条件的非线性规划问题。

运筹学中的非线性规划问题-教案

运筹学中的非线性规划问题-教案

教案运筹学中的非线性规划问题-教案一、引言1.1非线性规划的基本概念1.1.1定义:非线性规划是运筹学的一个分支,研究在一组约束条件下,寻找某个非线性函数的最优解。

1.1.2应用领域:广泛应用于经济学、工程学、管理学等,如资源分配、生产计划、投资组合等。

1.1.3发展历程:从20世纪40年代开始发展,经历了从理论到应用的转变,现在已成为解决实际问题的有效工具。

1.1.4教学目标:使学生理解非线性规划的基本理论和方法,能够解决简单的非线性规划问题。

1.2非线性规划的重要性1.2.1解决实际问题:非线性规划能够处理现实中存在的非线性关系,更贴近实际问题的本质。

1.2.2提高决策效率:通过优化算法,非线性规划可以在较短的时间内找到最优解,提高决策效率。

1.2.3促进学科交叉:非线性规划涉及到数学、计算机科学、经济学等多个学科,促进了学科之间的交叉和融合。

1.2.4教学目标:使学生认识到非线性规划在实际应用中的重要性,激发学生的学习兴趣。

1.3教学方法和手段1.3.1理论教学:通过讲解非线性规划的基本理论和方法,使学生掌握非线性规划的基本概念和解题思路。

1.3.2实践教学:通过案例分析、上机实验等方式,让学生动手解决实际问题,提高学生的实践能力。

1.3.3讨论式教学:鼓励学生提问、发表观点,培养学生的批判性思维和创新能力。

1.3.4教学目标:通过多种教学方法和手段,使学生全面掌握非线性规划的理论和实践,提高学生的综合素质。

二、知识点讲解2.1非线性规划的基本理论2.1.1最优性条件:介绍非线性规划的最优性条件,如一阶必要条件、二阶必要条件等。

2.1.2凸函数和凸集:讲解凸函数和凸集的定义及其在非线性规划中的应用。

2.1.3拉格朗日乘子法:介绍拉格朗日乘子法的原理和步骤,以及其在解决约束非线性规划问题中的应用。

2.1.4教学目标:使学生掌握非线性规划的基本理论,为后续的学习打下坚实的基础。

2.2非线性规划的求解方法2.2.1梯度法:讲解梯度法的原理和步骤,以及其在求解无约束非线性规划问题中的应用。

生产运筹非线性规划的基本概念

生产运筹非线性规划的基本概念

生产运筹非线性规划的基本概念引言生产运筹是一种管理技术,通过运用经济原理和数学模型,来解决实际生产和运输中的各种问题。

非线性规划是生产运筹中的一种重要工具,可以用于优化生产过程中的决策问题。

本文将介绍生产运筹非线性规划的基本概念。

非线性规划的定义非线性规划是一类优化问题,其中目标函数和约束条件都是非线性的。

一般来说,非线性规划的目标是找到一组决策变量的取值,使得目标函数达到最大或最小值,同时满足一系列约束条件。

非线性规划的基本要素非线性规划包含以下几个基本要素:1. 决策变量决策变量是非线性规划中的可调整参数,用于描述决策者所要做的选择。

在生产运筹中,决策变量可以是产品的产量、投入资源的数量或者是生产过程中的各种参数。

2. 目标函数目标函数是非线性规划中要优化的函数,可以是生产成本、利润、产量或其他决策者关心的指标。

在非线性规划中,目标函数的形式可以是任意的非线性函数。

3. 约束条件约束条件描述了决策变量的取值范围或者彼此之间的关系。

约束条件可以是等式约束或者不等式约束。

在生产运筹中,约束条件可以包括物料的平衡方程、设备的容量限制等。

4. 可行域可行域是指满足约束条件的所有决策变量取值的集合。

在非线性规划中,决策变量的取值必须落在可行域内,才被认为是合理的解。

5. 优化算法非线性规划的求解过程需要使用优化算法来搜索最优解。

常用的优化算法包括梯度下降法、牛顿法、拟牛顿法等。

生产运筹非线性规划的应用生产运筹非线性规划的应用非常广泛,涵盖了生产计划、资源分配、供应链优化等领域。

以下是一些非线性规划在生产运筹中的应用案例:1.生产计划优化:通过优化决策变量,如产量、物料分配等,来最大化产量、最小化成本或缩短生产周期。

2.设备选择优化:通过优化设备的选择和使用策略,来最大化产量、降低能耗或最小化故障率。

3.供应链优化:通过优化物流和分配的决策变量,如运输路线、库存水平等,来最小化供应链成本或缩短物流时间。

运筹学基础

运筹学基础

运筹学基础运筹学基础运筹学是一门研究问题的建模、分析和解决方法的学科,它涵盖了数学、统计学、计算机科学和工程等多个领域。

运筹学的目标是通过科学的方法,优化决策和资源利用,以达到最佳的效果。

运筹学的基础包括线性规划、整数规划、非线性规划、动态规划、排队论、网络流和图论等内容。

这些方法可以在许多领域中应用,包括物流、生产、供应链管理、交通运输、金融和资源分配等。

线性规划是运筹学中的一种基础方法。

它适用于求解具有线性目标函数和线性约束条件的问题。

线性规划常常涉及到资源的分配和决策的优化,例如在生产中如何最大化利润或者在供应链中如何最小化运输成本。

整数规划是在线性规划的基础上引入整数变量的一种问题求解方法。

这种方法可以用于求解一些离散决策问题,例如在物流中如何选择配送点和配送路线,以及如何安排生产任务等。

非线性规划是针对目标函数或约束条件中存在非线性项的问题的求解方法。

这种方法用于求解一些复杂的决策问题,例如在金融投资中如何优化投资组合,以及在环境保护中如何最小化排放量等。

动态规划是一种将多阶段决策问题转化为一系列单阶段决策问题的方法。

它适用于一些需考虑时序和状态转移的问题,例如旅行商问题和生产计划问题等。

排队论是研究顾客到达和服务系统间关系的数学方法。

它可以用于分析和优化服务系统的性能指标,例如等待时间和服务效率等。

排队论可以应用于各种排队系统,包括银行、餐厅和交通等。

网络流是研究网络中物质或信息流动的数学方法。

它可以用于解决一些网络中的最优路径或最小费用问题,例如在物流中如何选择最佳配送路径,以及在通信网络中如何优化数据传输等。

图论是研究图结构和图算法的学科。

它可以用于模型建立和问题求解,例如在地图上如何规划最短路径,以及在社交网络中如何分析人际关系等。

总之,运筹学提供了一系列数学方法和工具,用于解决决策和资源分配问题。

这些方法不仅可以优化决策效果,还可以提高经济效益和资源利用效率。

运筹学的应用范围广泛,对提高社会生产力和改善生活质量具有重要意义。

运筹学非线性规划

运筹学非线性规划

二 、模型的解及相关概念
1.可行解与最优解
★可行解:约束集D中的X。
★最优解:如果有 X * D,对于任意的 X D , 都有 f ( X *) f ( X ) ,则称 X *为(NLP)的最优
解,也称为全局最小值点。
★局部最优解:如果对于 X 0 D ,使得在 X 0的邻 域 B(X 0, ) {X |P X X 0 P } 中的任意 X D 都有f (X 0 ) f (X ) ,则称 X 0 为(NLP)的局部最
: 风险系数;ij : 第i种与第j种股票收益的协方差
n
nn
max f (x) j xj
xi x j
j 1i1 j1源自s.t.n j 1Pj x j
B
x
j
0
2.模型
min f ( X )
(
NLP
)s.t.
hi
g
( X ) 0,i j ( X ) 0,
1,L , j 1,L
f
(X
)=f
(X0
)
f
(X0
)(T X-X0)
1 2
(X
X0
)T
H
( X0 )(
X
X0)
o(P X-X 0 P2)
其中:o(P X
X0
P2 )是当X
X

0
PX
X0
P2
的高阶无穷小。
例2:写出 f ( X ) 3x12 sin x2 在X 0 [0, 0]T 点的二阶泰勒展开式
解: f ( X ) [6x1 cos x2 ]T , f ( X 0 ) [0 1]T
0
解得:=-f (Xk )T Pk
PkT H ( X k )Pk

非线性规划作业

非线性规划作业

非线性规划作业非线性规划是运筹学中的一个重要分支,用于解决具有非线性目标函数和约束条件的优化问题。

本次作业将介绍非线性规划的基本概念、求解方法和应用,并提供一个实际问题供你进行求解和分析。

一、基本概念1. 非线性规划:非线性规划是指目标函数或者约束条件中至少有一个是非线性的优化问题。

它与线性规划相比,更具有灵便性和适合性。

2. 目标函数:非线性规划的目标函数是优化问题的目标,通常是最大化或者最小化的数学表达式。

它可能包含非线性项,如幂函数、指数函数等。

3. 约束条件:非线性规划的约束条件是对决策变量的限制条件,用于定义可行解的集合。

约束条件可以是等式或者不等式,也可以包含非线性项。

4. 局部最优解与全局最优解:非线性规划问题可能存在多个极值点,其中局部最优解是在某一特定区域内最优的解,而全局最优解是在整个可行域内最优的解。

二、求解方法1. 数学方法:非线性规划问题可以通过数学方法进行求解,如拉格朗日乘子法、KKT条件等。

这些方法基于数学推导和分析,可以得到问题的解析解。

2. 迭代方法:对于复杂的非线性规划问题,往往采用迭代方法进行求解。

典型的迭代方法包括牛顿法、拟牛顿法、单纯形法等。

这些方法通过不断迭代逼近最优解。

3. 优化软件:为了简化非线性规划问题的求解过程,可以使用专门的优化软件,如MATLAB、Gurobi、CPLEX等。

这些软件提供了丰富的求解算法和工具,可快速求解复杂问题。

三、应用案例假设你是一家创造公司的生产经理,你需要确定每一个产品的生产数量,以最大化公司的利润。

公司生产两种产品:A和B。

每一个产品的生产成本和利润如下:产品A:生产成本为1000元/件,利润为300元/件。

产品B:生产成本为1500元/件,利润为500元/件。

公司的生产能力有限,每天最多只能生产1000件产品。

此外,由于市场需求的限制,产品A和B的销售量之和不能超过800件。

你的任务是确定每一个产品的生产数量,以最大化公司的利润。

非线性规划

非线性规划

非线性规划(nonlinear programming)1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划,是运筹学的一个重要分支。

非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题,且目标函数和约束条件至少有一个是未知量的非线性函数。

目标函数和约束条件都是线性函数的情形则属于线性规划。

2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。

其倒数至今在优选法中仍得到广泛应用。

在微积分出现以前,已有许多学者开始研究用数学方法解决最优化问题。

例如阿基米德证明:给定周长,圆所包围的面积为最大。

这就是欧洲古代城堡几乎都建成圆形的原因。

但是最优化方法真正形成为科学方法则在17世纪以后。

17世纪,I.牛顿和G.W.莱布尼茨在他们所创建的微积分中,提出求解具有多个自变量的实值函数的最大值和最小值的方法。

以后又进一步讨论具有未知函数的函数极值,从而形成变分法。

这一时期的最优化方法可以称为古典最优化方法。

最优化方法不同类型的最优化问题可以有不同的最优化方法,即使同一类型的问题也可有多种最优化方法。

反之,某些最优化方法可适用于不同类型的模型。

最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。

(1)解析法:这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。

求解方法是:先求出最优的必要条件,得到一组方程或不等式,再求解这组方程或不等式,一般是用求导数的方法或变分法求出必要条件,通过必要条件将问题简化,因此也称间接法。

(2)直接法:当目标函数较为复杂或者不能用变量显函数描述时,无法用解析法求必要条件。

此时可采用直接搜索的方法经过若干次迭代搜索到最优点。

这种方法常常根据经验或通过试验得到所需结果。

对于一维搜索(单变量极值问题),主要用消去法或多项式插值法;对于多维搜索问题(多变量极值问题)主要应用爬山法。

运筹学课程教学大纲

运筹学课程教学大纲

运筹学课程教学大纲一、课程概述运筹学是运用数学、统计学和计算机方法研究和解决实际问题的一门学科。

本门课程主要介绍运筹学的基本概念、原理和应用,培养学生的综合分析和问题解决能力。

二、教学目标1. 了解运筹学的基本概念、发展历程及学科体系结构;2. 掌握线性规划、整数规划、动态规划等运筹学方法的基本原理和应用;3. 掌握运筹学模型建立和求解的基本方法;4. 培养学生的逻辑思维、分析问题和解决问题的能力。

三、教学内容1. 运筹学的基本概念和发展历程(2学时)- 运筹学的定义、研究对象和研究方法;- 运筹学的发展历程。

2. 线性规划(12学时)- 线性规划的定义和基本概念;- 线性规划的图解法和单纯形法;- 线性规划的对偶理论和灵敏度分析;- 整数规划的基本概念和解法。

3. 动态规划(8学时)- 动态规划的基本概念和基本原理;- 动态规划的最优子结构性质和最优解的构造; - 动态规划的应用实例。

4. 随机模型和排队论(10学时)- 随机模型的基本概念和概率分布;- 排队论的基本概念和排队模型;- 排队论的性能度量和求解方法。

5. 非线性规划和整数规划(8学时)- 非线性规划的定义和基本概念;- 非线性规划的解法和最优性判定;- 整数规划的定义和基本概念;- 整数规划的分枝定界法和割平面法。

6. 运输和分配问题(8学时)- 运输问题的基本概念和解法;- 分配问题的基本概念和解法。

7. 生产调度问题(8学时)- 生产调度问题的基本概念和求解方法; - 作业车间调度问题的建模和求解。

8. 多目标优化问题(6学时)- 多目标优化问题的定义和特点;- 多目标优化问题的解法和应用实例。

四、教学方法本课程采用理论讲授与实践应用相结合的教学方法。

除了课堂上的理论讲解外,还将组织学生参与案例分析、小组讨论、编程实践等活动,加强学生对运筹学方法的理解和应用。

五、教材和参考书目1. 主教材:《运筹学导论》,作者:李明,出版社:清华大学出版社;2. 参考书目:- 《运筹学:初步实用方法》,作者:George B. Dantzig等,出版社:机械工业出版社;- 《运筹学简明教程》,作者:陈杂,出版社:高等教育出版社。

高级运筹学第9章非线性规划

高级运筹学第9章非线性规划
x’1=a1+(b1-a1) x’2=x1 ⑵ 若求f(x)的极大值点,则
否则,继续缩短区间, 直至满足给定的精度为止。
① f(x2)≥f(x1),取[a1=a0,b1=x1]
x’1=x2
x’2=b1-(b1-a1)
② f(x2)<f(x1),取[a1=x2,b1=b0]
x’1=a1+(b1-a1)
2、寻优方法
① 间接法(解析法):适应于目标函数有简单明确的数学表达式。
② 直接法(搜索法):目标函数复杂或无明确的数学表达式。
a.消去法(对单变量函数有效):
不断消去部分搜索区间,逐步缩小极值点存在的范围。
b.爬山法(对多变量函数有效):
根据已求得的目标值,判断前进方向,逐步改善目标值。
6
9.2 无约束条件下单变量函数寻优
2、多元函数 y=f(X)=f(x1,x2,…,xn):在 X0 附近作泰勒展开,得
f (X)
f(X0 )
n i1
f (X0 ) xi
xi
1 n 2f(X0 ) 2 i,j1 xix j
xixj
(X3 ),(xi
xi
x0 )
f (X)
f (X0
)
f (X0
)T
X
1 2
XT
H
X,(X
X
x’1=a1+(b1-a1)
计算n个点后,总缩短率为 En=n-1<, 可得试点数n。x’2=x1
8
3、计算步骤:求函数f(x)的极值点
第一步:取初始区间[a0,b0]
a0 •
x•2 x•1
• b0
a1 •
•• x’2 x’1
• b1
a1 •

第8章 非线性规划

第8章 非线性规划
股票 3 )。表 8-1 给出了三种股票的相关数据。 如果投资者预期收益的最低可接受水平为18%, 请确定这三种股票的最优投资比例,以使投资 组合的风险最小。
股票 1 2 3 预期 风险 收益 (标准差) 21% 30% 8% 25% 45% 5% 投资 组合 1与2 1与3 2与3 交叉风险 (协方差) 0.040 -0.005 -0.010
Excel 2010“规划求解”工具增加了一个新的 搜 索 程 序 ( 算 法 ) , 称 之 为 Evolutionary Solver(“演化”求解方法)。
Xiang Ye School of Information, Renmin U.1.2 非线性规划的求解方法
第 8章 非 线性规划
Xiang Ye School of Information, Renmin University of China
本章内容
8.1 非线性规划的基本概念 8.2 二次规划 8.3 可分离规划
第 8章 非 线性规划
Xiang Ye School of Information, Renmin University of China
第 8章 非 线性规划
Xiang Ye School of Information, Renmin University of China
8.2.2 运用非线性规划 优化有价证券投资组合
三种股票的投资比例(决策变量)--投资组合 x1为股票1占总投资的比例 x2为股票2占总投资的比例 x3为股票3占总投资的比例 约束条件:这些比例相加必须等于1: x1+x2+x3=1 根据每种股票的预期收益,计算整个投资组合的总预期收益: 总预期收益=21%x1+30%x2+8%x3 投资者当前选择的最低可接受水平为:最低预期收益=18% 运用概率论公式,根据单独(独立)方差和协方差计算投资组合 的总方差。即整个投资组合的风险(总方差)为每种股票的独立 风险(系数为方差=标准差的平方)+两种股票交叉风险(系数 为交叉风险=协方差的2倍),公式为:

第四章 非线性规划 山大刁在筠 运筹学讲义

第四章  非线性规划  山大刁在筠 运筹学讲义

第四章 非线性规划教学重点:凸规划及其性质,无约束最优化问题的最优性条件及最速下降法,约束最优化问题的最优性条件及简约梯度法。

教学难点:约束最优化问题的最优性条件。

教学课时:24学时主要教学环节的组织:在详细讲解各种算法的基础上,结合例题,给学生以具体的认识,再通过大量习题加以巩固,也可以应用软件包解决一些问题。

第一节 基本概念教学重点:非线性规划问题的引入,非线性方法概述。

教学难点:无。

教学课时:2学时主要教学环节的组织:通过具体问题引入非线性规划模型,在具体讲述非线性规划方法的求解难题。

1、非线性规划问题举例例1 曲线最优拟合问题已知某物体的温度ϕ 与时间t 之间有如下形式的经验函数关系:312c t c c t e φ=++ (*)其中1c ,2c ,3c 是待定参数。

现通过测试获得n 组ϕ与t 之间的实验数据),(i i t ϕ,i=1,2,…,n 。

试确定参数1c ,2c ,3c ,使理论曲线(*)尽可能地与n 个测试点),(i i t ϕ拟合。

∑=++-n 1i 221)]([ min 3i t c i i e t c c ϕ例 2 构件容积问题通过分析我们可以得到如下的规划模型:⎪⎪⎩⎪⎪⎨⎧≥≥=++++=0,0 2 ..)3/1( max 212121222211221x x S x x x x a x x t s x x a V ππππ基本概念设n T n R x x x ∈=),...,(1,R R q j x h p i x g x f n j i :,...,1),(;,...,1),();(==,如下的数学模型称为数学规划(Mathematical Programming, MP):⎪⎩⎪⎨⎧===≤q j x h p i x g t s x f j i ,...,1,0)( ,...,1,0)( ..)( min约束集或可行域X x ∈∀ MP 的可行解或可行点MP 中目标函数和约束函数中至少有一个不是x 的线性函数,称(MP)为非线性规划令 T p x g x g x g ))(),...,(()(1=T p x h x h x h ))(),...,(()(1=,其中,q n p n R R h R R g :,:,那么(MP )可简记为⎪⎩⎪⎨⎧≤≤ 0)( 0 ..)( min x h g(x)t s x f 或者 )(min x f X x ∈ 当p=0,q=0时,称为无约束非线性规划或者无约束最优化问题。

非线性规划基本概念

非线性规划基本概念

序列二次规划法原理及步骤
• 原理:序列二次规划法是一种迭代求解非线性规划问题的方法。它在每次迭代中构造一个二次规划子问题,通 过求解该子问题得到原问题的一个近似解,然后利用该近似解的信息构造下一个二次规划子问题,如此循环直 至收敛到最优解。
序列二次规划法原理及步骤
2. 求解二次规划子问题,得到近 似解。
与线性规划不同,非线性规划中的目标函数或约 束条件至少有一个是非线性的。
非线性规划问题通常更加复杂,需要采用特定的 算法和工具进行求解。
非线性规划重要性
01
广泛适用性
非线性规划在各个领域都有广泛 应用,如经济、金融、工程、管 理等。
02
解决复杂问题
03
推动技术进步
非线性规划能够处理涉及复杂非 线性关系的问题,提供更精确的 解决方案。
THANKS
感谢观看
REPORTING
https://
VS
5. 判断终止条件
若满足终止条件,则停止迭代,输出当前 迭代点作为近似最小值点;否则,返回步 骤2继续迭代。
拟牛顿法原理及步骤
原理
1. 初始化
拟牛顿法是一种改进牛顿法的方法, 其基本思想是通过构造一个近似海森 矩阵的逆矩阵来避免直接计算海森矩 阵及其逆矩阵。拟牛顿法利用目标函 数的一阶导数信息来构造一个满足拟 牛顿条件的矩阵来逼近海森矩阵的逆 矩阵,从而在保证收敛速度的同时降 低了计算复杂度。
选择初始点 x0,设置迭代终止条件。 初始化拟牛顿矩阵 B0(或其逆矩阵 H0)。
2. 计算梯度
计算函数在 x0 处的梯度 g0 和 g1。
拟牛顿法原理及步骤
3. 求解搜索方向 通过解线性方程组 Bdp = -gp 或 Hdp = -gp 得到搜索方向 dp。

运筹学胡运权第06章

运筹学胡运权第06章

f ( X ) 2 x2 x2
令 f(X)=0,即:2x1=0和-2x2=0,得稳定点 X=(x1,x2)T=(0,0)T
(2)再用充分条件进行检验:
2 f ( X ) 2 f ( X ) 2 f ( X ) 2 f ( X ) 2 0 2 2 2 x1 x1x2 x2x1 x2 2 0 2 f ( X ) 0 2
多元 函数 极值 点存 在的 条件
二阶可微的一元函数f(x)极值点存在的条件如下: 必要条件: ( x) 0 充分条件:f对于极小点: 且 f ( x) 0 且 f ( x) 0 对于极大点: f ( x) 0 f (x) 0
对于无约束多元函数,其极值点存在的必要条件和 充分条件,与一元函数极值点的相应条件类似。
其中,R为问题的可行域。
二 维 问 题 的 图 解
当只有两个自变量时,求解非线性规划也可像 对线性规划那样借助于图解法。如以下非线性 规划问题:
min f ( X ) ( x1 2) 2 ( x2 1) 2 2 x x 1 2 5 x2 0 x1 x2 5 0 x1 x 0 1 x2 0
1 f ( X ) f ( X (0) ) f ( X (0) )T ( X X (0) ) ( X X (0) )T 2 f ( X )( X X (0) ) 2
其中,X=X(0)+θ(X-X(0)),0<θ<1
若以X=X(0)+P代入,则变为: 其中,X=X(0)+θP
其中,X=(x1,x2,…,xn)T是n维欧氏空间 En中的点(向量),目标函数f(X)和约束 函数hi(X)、gj(X)为X的实函数。
非 线 性 规 划 的 数 学 模 型

非线性规划

非线性规划

非线性规划非线性规划(Nonlinear Programming ,简记为NP)研究的对象是非线性函数的数值最优化问题,是运筹学的最重要分支之一,20世纪50年代形成一门学科,其理论和应用发展十分迅猛,随着计算机的发展,非线性规划应用越来越广泛,针对不同的问题提出了特别的算法,到目前为止还没有适合于各种非线性规划问题的一般算法,有待人们进一步研究.§1 非线性规划基本概念一、引例例7.1 一容器由圆锥面和圆柱面围成. 表面积为S ,圆锥部分高为h ,h 和圆柱部分高2x 之比为a ,1x 为圆柱底圆半径.求21,x x 使面积最大.解: 由条件 a x h =2/22121231x x x ax V ππ+=21212222112221x x x x a x x S πππ+++⋅⋅=所以,数学模型为:212)311(max x x a V π+=s.t. S x x x x a x x =+++21212222112πππ0,21≥x x例7.2 某高校学生食堂用餐,拟购三种食品,馒头0.3元/个,肉丸子1元/个,青菜0.6/碗.该学生的一顿饭支出不能够超过5元.问如何花费达到最满意?解: 设该学生买入馒头,肉丸子,青菜的数量分别为321,,x x x ; 个人的满意度函数即为效用函数为321321321),,(aaax x Ax x x x u =.于是数学模型为321321321),,(max aaax x Ax x x x u =s.t.56.03.0321≤++x x x 321,,x x x 为非负整数二、数学模型称如下形式的数学模型为数学规划(Mathematical Programming 简称MP ) )(min x f z = (7.1) (MP ) t s . 0)(≥x g i m i ,,1 = (7.2) 0)(=x h j l j ,,1 = (7.3)其中Tn x x x x ),,,(21 =是n 维欧几里得空间nR 中的向量(点),)(x f 为目标函数,0)(,0)(=≥x h x g j i 为约束条件.称满足约束条件的向量x 为(MP )问题的一个可行解,全体可行点组成的集合称为可行域.K ={}l j x h mi x g R x j i n,,2,10)(,,2,10)( ===≤∈如果)(),(),(x h x g x f j i 均为线性函数,就是前面所学的线性规划问题(LP).如果至少有一个为非线性函数称为非线性规划问题.由于等式约束0)(=x h j 等价于下列两个不等式约束 0)(,0)(≥-≥x h x h j j 所以(MP)问题又可表示为 )(min x f z =s.t. 0)(≥x g i m i ,,1 = (7.4) 三、数学基础 1、线性代数知识考虑二次型Az z T ,z 为n 维向量正定的二次型:若对于任意0≠z ,有0>Az z T; 半正定的二次型:若对于任意0≠z ,有0≥Az z T ; 负定的二次型:若对于任意0≠z ,有0<Az z T ; 半负定的二次型:若对于任意0≠z ,有0≤Az z T ;不定二次型:0≠∃z ,有0>Az z T,又0≠∃z ,有0<Az z T.二次型Az z T 为正定的充要条件是它的矩阵A 的左上角各阶主子式都大于零. 二次型Az z T 为负定的充要条件是它的矩阵A 的左上角各阶主子式负正相间.2、分析数学知识(1)方向导数和梯度(二维为例)考虑函数),(21x x f Z =,及方向j i lϕϕsin cos +=梯度:Tx f x f j x f i x f x x f ),(),(212121∂∂∂∂=∂∂+∂∂=∇ ; 方向导数:⎪⎪⎭⎫⎝⎛∂∂∂∂=∂∂+∂∂=∂∂ϕϕϕϕsin cos ),(sin cos 2121x f x f x f x f l f )),,(cos(||),(||),(),(21212121l x x gardf x x gardf lx x gardf lx x f T=⋅=⋅∇=考虑等值线00201),(c x x f =上一点),(0201x x 梯度方向 ),(0201x x gardf 即为法线方向n.如果)(x f 二次可微,称⎪⎪⎪⎪⎪⎭⎫⎝⎛=)()()()()()()()()()(212222111211x h x h x h x h x h x h x h x h x h x H nn n n n n为)(x f 在点 x 处的Hesse 矩阵.(2)多元函数泰勒公式:若)(,),(0x f R S x x f u n⊆∈=在点0x 处的某个领域具有二阶连续偏导数,则有x x x f x x x f x f x x f T T∆∆+∇∆+∆∇+=∆+)(21)()()(02000θ 10≤≤θ )||(||)(21)()(||)(||)()(2020000x x x f x x x f x f x x x f x f T TT ∆+∆∇∆+∆∇+=∆+∆∇+=οο 四、最优解的类型定义7.1 (MP)问题的一个可行点*x 被称为整体极小点,如果对于任意的可行点K x ∈,都有不等式)()(*x f x f ≥成立.如果对于任意可行点*,x x K x ≠∈均有)()(*x f x f >,称点*x 是)(x f 的可行解集K上的严格整体极小点.定义7.2 问题(MP)的一个可行点*x 被称为一个局部极小点,如果存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*≥x f x f 成立.如果对任意的可行点K x ∈,*≠x x ,存在一个正数ε使得对于所有满足关系式ε<-*x x 的可行点x 都有)()(*>x f x f 成立.则称*x 是)(x f 在K 上的一个局部严格极小点.显然整体极小点一定是局部极小点,反之不然. 五、凸规划定义7.3 集合K 被称为nR 中的一个凸集,如果对于K 中任意两点21,x x 和任一实数]1,0[∈λ,点K x x ∈-+21)1(λλ.几何解释:当一个集合是凸集时,连接此集合中任意两点的线段也一定包含在此集合内,规定φ空集是凸集.定义7.4 凸函数:)(x f 是凸集K 上的实值函数,如果对于K 中任意两点21,x x 和任意实数]1,0[∈λ有不等式)()1()())1((2121x f x f x x f λλλλ-+≤-+成立.严格凸函数:)(x f 是凸集K 上的实值函数,如果对于K 中任意两点21,x x ,21x x ≠和任意实数)1,0(∈λ,有不等式)()1()())1((2121x f x f x x f λλλλ-+<-+成立.定义7.5 )(x f 是定义在凸集K 上的实值函数,如果)(x f -是K 上凸函数,称)(x f 是凹函数.定理7.1 设)(x f 是凸集K 上的凸函数,则)(x f 在K 中的任一局部极小点都是它的整体极小点.证明: 设*x 是一局部极小点而非整体极小点,则必存在可行点K x ∈(可行域))()(*x f x f <∍.对任一]1,0[∈λ,由于)(x f 的凸性,有 )()()1()())1((***x f x f x f x x f ≤-+≤-+λλλλ当0→λ时,*)1(x x λλ-+与*x 充分接近,与*x 是局部极小矛盾. 证毕. 定义7.6 设有(MP)问题)(min x f kx ∈,若可行域K 是凸集,)(x f 是K 上的凸函数,则称此规划问题为凸规划.定理7.2 凸规划的任一局部极小解为整体极小解. 六、非线性规划问题的求解方法 考虑(MP)问题:lj x h m i x g t s x f j i ,,10)(,,10)(.)(min ===≥ (7.5) 一般来说,MP 问题难以求得整体极小点,只能求得局部极小点.以后我们说求(MP)问题,指的是求局部极小点.1、无约束极小化问题(UMP ) )(min x f nRx ∈ (7.6) 这里)(x f 是定义在n R 上的一个实值函数定理7.3(一阶必要条件)如果)(x f 是可微函数.*x 是上述无约束问题(UMP )的一个局部极小点或局部极大点的必要条件是:0)(*=∇x f .满足0)(=∇x f 的点称为平稳点或驻点.定理7.4 设)(x f 为定义在n R 上的二阶连续可微函数,如果*x 是)(x f 的一个局部极小点,必有nT Ry y x H y x f ∈∀≥=∇0)(0)(**这里)(*x H 表示)(x f 在*x 处的Hesse 矩阵.证明:nE y ∈∀,根据)(x f 在点*x 处的展开式有)()(21)()(2*2**λολλ++=+y x H y x f y x f T)0)((*=∇x f若0)(,*<∍∈∃y x H y R y T n ,当λ充分小时,有 )()(21|2*2λολ>y x H y T∴有)()(**x f y x f <+λ.这和*x 是)(x f 的极小矛盾.定理7.5 设)(x f 是定义在nR 上的二阶连续可微函数,如果点*x 满足0)(*=∇x f ,而且存在*x 的一个邻域0)(),(,),(*≥∈∀∈∀∍*y x H y x x R y x T n 有 ,则*x 是)(x f 的一个局部极小点.在高等数学中求解极值点方法先求出满足0)(=∇x f 的点及不可导点.在这些点判断)(x f 是否取得极小值.2、等式约束的极小化问题考虑 )(min x fl j x h t s j ,,10)(. == (7.7)定义7.7 如果)(,),(),(21x h x h x h l ∇∇∇ 在点x 处线性无关,则称点x 是此约束条件的一个正则点.Langrange 乘子法:引进拉格朗日函数 ∑=-=lj jj x h u x f u x L 1)()(),(其中Tl u u u u ),,,(21 =被称为拉格朗日乘子向量.定理7.6 设l j x h x f j ,,1),(),( =是连续可微函数,*x 是)(x f 在可行集中的一个局 部极小点.在*x 是正则点的假定下必存在一个拉格朗日乘子向量u ,使得),(*u x 满足方程组)(0)()(*1**==∇-∇∑=x h x h u x f lj j j对等式约束,用拉格朗日乘子法求解出平稳点,判断是否极值点.用上述解析法求解无约束和等式约束极值问题的平稳点,再判断是否为极值点.该方法有一定的局限性:(1)它们要求函数是连续的,可微的,实际问题中不一定满足这一条件; (2)上述求平稳点的方程组求解比较困难,有些解不出来; (3)实际问题中有大量的不等式约束.因此求解非线性规划应有更好的新方法.实际应用中一般用迭代法来求解非线性规划问题,即求近似最优解的方法.3、非线性规划问题的求解方法—迭代法迭代法一般过程为:在(MP)问题的可行域K 内选择初始点0:,0=k x ,确定某一方向k p ,使目标函数)(x f 从k x 出发,沿k p 方向使目标函数值下降,即)0(,>∈+=λλK p x x k ,有)()(0x f x f <,进一步确定kλ,使)(m i n )(0k k k k k p x f p x f λλλ+=+>,令k k k k p x x λ+=+1.如果1+k x 已满足某终止条件,1+k x 为近似最优解.否则,从1+k x 出发找一个方向1+k p ,确定步长1+k λ,使K p x x k k k k ∈+=++++1112λ,有)(min )(1102++>++=k k k p x f x f λλ.如此继续,将得到点列{}kx .显然有 >>>>)()()(1kx f x f x f ,即点列{}kx 相对应的目标函数是一个单调下降的数列.当{}kx 是有穷点列时,希望最后一个点是(MP)问题的某种意义下的最优解.当{}kx 为无穷点列时,它有极限点,其极限点是(MP)的某种意义下的最优解(此时称该方法是收敛的).迭代法求解(MP)的注意点:该方法构造的点列{}kx ,其极限点应是近似最优解,即该算法必须是收敛的.迭代法一般步骤:①. 选取初始点0x ,0:=k ②. 构造搜索方向kp ③. 根据kp 方向确定k λ ④. 令k k k k p x xλ+=+1⑤. 若1+k x已满足某终止条件,停止迭代,输出近似最优解1+k x.否则令1:+=k k ,转向第②步.计算终止条件在上述迭代中有:若1+k x满足某终止条件则停止计算,输出近似最优解1+k x.这里满足某终止条件即到达某精确度要求.常用的计算终止条件有以下几个:(1)自变量的改变量充分小时,11||||ε<-+k k x x,或21||||||||ε<-+kk k x x x ,停止计算. (2)当函数值的下降量充分小时,31)()(ε<-+k kx f x f ,或41|)(|)()(ε<-+k k k x f x f x f , 停止计算.(3)在无约束最优化中,当函数梯度的模充分小时51||)(||ε<∇+k x f ,停止计算.迭代法的关键:① 如何构造每一轮的搜索方向kp ② 确定步长k λ关于k λ,前面是以)(min kk p x f λλ+产生的,也有些算法k λ取为一个固定值,这要根据具体问题来确定.关于kp 的选择,在无约束极值问题中只要是使目标函数值下降的方向就可以了,对于约束极值问题则必需为可行下降方向.定义7.8 设0,,:1≠∈→p R x R R f nn,若存在0>δ使),0(δλ∈∀,)()(x f p x f <+λ则称向量p 是函数)(x f 在点x 处的下降方向.定义7.9 设0,,,≠∈∈∈p R p K x R K nn,若存在0>λ使得K p x ∈+λ,称向量p 是点x 处关于K 的可行方向. 若一个向量p 既是目标函数f 在点x 处的下降方向,又是该点处关于可行域K 的可行方向,则称p 为函数f 在点x 处关于区域K 的可行下降方向.根据不同原理产生了不同的kp 和k λ的选择方法,就产生了各种算法. 在以后的讨论中,一维极值的优化问题是讨论求解步长k λ.无约束极值中讨论的最速下降法,共轭方向法,坐标轮换法,牛顿法,变尺度法及有约束极值中讨论的可行方向法都是根据不同的原理选择kp 得到的迭代算法.七、迭代算法的收敛性定义7.10 设有一算法A ,若对任一初始点(可行点),通过A 进行迭代时,或在有限步后停止得到满足要求的点;或得到一个无穷点列,它的任何一个聚点均是满足要求的点,则称此算法A 具有全局收敛性.定义7.11 设(UMP )问题的目标函数Px Qx x x f T+=21)(,Q 为对称半正定矩阵, 若由算法A 进行迭代时,不论初始点0x 如何选择,必能在有限步后停止迭代,得到所要求的点,则称此算法A 有二次有限终止性.定义7.12 设序列{}kr收敛于*r,定义满足∞<=--≤**+∞−→−βhkk k rr r r 1______lim0的非负数h 的上确界为{}k r 的收敛级.若序列的收敛级为h ,就称序列是h 级收敛的.若1=h 且1<β就称序列是以收敛比β线性收敛的. 若1>h 或1=h 且0=β就称序列是超线性收敛的. 如何判别算法的收敛性和收敛速度问题本书不讨论.本书给出的算法中,最速下降法具有全局收敛性、是线性收敛的;改进牛顿法具有全局收敛性、二次有限终止性、是二阶线性收敛的;变尺度法和共轭方向法具有全局收敛性和二次有限终止性、是超线性收敛的;Zoutenddijk 法不具有全局收敛性、改进的T-V 法具有全局收敛性;制约函数法具有全局收敛性.关于这些算法的收敛性的讨论和证明有兴趣的读者可参考其他文献.§2 一维极值问题的优化方法前面讨论迭代算法时,从kx 出发确定沿k p 方向的步长k λ是这样求解的),(min 0k k p x f λλ+>这里k x ,k p 已知.所以,若记)()(λλg p x f k k =+,则为求解)(min 0λλg >的过程.于是我们考虑如下形式的极值问题.)(min x f bx a ≤≤ (7.8)b a R x ,,1∈为任意实数很显然可应用高等数学中学过的解析法,即令0)('=x f 求出平稳点,但如前面所述如果该方程解不出来,怎么办?可用下述迭代算法—0.618法.定义7.13 )(x f 定义在],[b a 上,若存在点∍∈],[*b a x 当*x y x ≤<,有)()(y f x f >,当*x y x ≥>时,)()(y f x f >,称)(x f 在],[b a 中为单峰函数(单谷函数).显然满足定义要求的点*x 是)(x f 在],[b a 中的极小点.在],[b a 中任选两点21,x x ,且b x x a <<<21,根据)(x f 的单峰性,若)()(21x f x f <,则*x 必然位于],[2x a 内,如果)()(21x f x f >,则*x 必然位于],[1b x 内.如果)()(21x f x f =,则*x 必然位于],[21x x ,记此区间为],[11b a .如此继续,得闭区间套⊃⊃⊃⊃],[],[],[11n n b a b a b a .显然 ,1,0],,[*=∈i b a x i i ,又0→-i i a b .由闭区间套性质, *x 为极小值点.闭区间套的选择方法不同,求得的*x 的快慢及求解过程的计算量是不一样的,有一个常用的方法是0.618法.0.618法: 取],[],[b a =βα① 在],[βα中选取1λ和2λ,)(618.0),(382.021αβαλαβαλ-+=-+=,求出)(1λf 和)(2λf 进入②.② 若)()(21λλf f <,取],[],[2λαβα=,若αλ-2已足够小,停止,否则进入③.若)()(21λλf f >,取],[],[1βλβα=,若1λβ-已足够小,停止,否则进入④. 若)()(21λλf f =,取],[],[21λλβα=,若12λλ-已足够小,停止,否则进入①. ③ 取上一步中的1λ为2λ,显然有)(618.02αβαλ-+=,令)(382.01αβαλ-+=,求出)(1λf ,返回②.④ 取上一步的2λ为1λ,则有)(382.01αβαλ-+=,令)(618.02αβαλ-+=,求出)(2λf 返回②.设初始区间为],[b a ,用0.618法,经过k 次迭代后],[βα的长度ka b 618.1)(-=-αβ,只要k 充分大αβ-可以小于任何给定的正数.例7.3 用0.618法求解λλλ2)(min 2+=f单峰区间为[-3,5],2.0=ε解:[α,β]=[-3,5]1λ=-3+0.382×8=0.056 )(1λf =0.1152λ=-3+0.618×8=1.944 )(2λf =7.667由于)(1λf <)(2λf 所以新的不定区间为[α,β] =[-3,1.944] 由于β-α=4.944>0.22λ:=1λ=0.056 )(2λf :=)(1λf =0.115 1λ=-3+0.382×4.944=-1.112 )(1λf =-0.987如此反复得下表7-1:在进行8次迭代后,2.0112.1936.0<+-=-αβ取中间值024.1*-=λ或032.12-=λ作为近似最优解.显然真正极小点是-1.0.一维收索方法很多,如函数逼近法、牛顿法等可参考其他文献.§3 无约束极值的优化方法考虑无约束最优化问题(UMP ))(min x f nR x ∈ (7.9) 前面已经讨论过,求解此无约束优化问题,可以求出平稳点及不可导点的方法.令0)(*=∇x f ,求出平稳点.如果)(*2x f ∇是正定的,则*x 是UMP 的严格局部最优解.若)(x f 在n R 上是凸函数,则是整体最优解.在求解0)(*=∇x f 这n 维方程组比较困难时,就用最优化算法——迭代法.本节将介绍最速下降法,牛顿法,共轭方向法,坐标轮换法,变尺度法.这些算法就是用不同的方法来选择搜索方向k p 而得到的.当然kp 必须是下降方向.定理7.7 设R R f n→:,在点x 处可微,若存在nR p ∈,使0)(<∇p x f T,则向量p是f 在x 处的下降方向.证明:)(x f 可微(在x 处),由泰勒展开式,有 ||)(||)()()(p p x f x f p x f Tλολλ+∇+=+ ,0,0)(><∇λp x f T0)(<∇∴p x f Tλ),(当δλδ0∈∃∴时,有0||)(||)(<+∇p p x f Tλολ),0()()(δλλ∈∀<+∴x f p x fp ∴是)(x f 在点x 的下降方向. 证毕.一、最速下降法最速下降法又称梯度法,选择负梯度方向作为目标函数值下降的方向,是比较古老的一种算法,其它的方法是它的变形或受它的启发而得到的,因此它是最优化方法的基础. 基本思想:迭代法求解无约束最优化(5.9)问题的关键是求下降方向kp .显然最容易想到的是使目标函数值下降速度最快的方向.从当前点kx 出发,什么方向是使)(x f 下降速度最快呢? 由泰勒展开知:||)(||)()()(k k T k k k k p p x f p x f x f λολλ+∇-=+-略去λ的高阶无穷小项,取)(kkx f p -∇=时,函数值下降最多.而)(kx f ∇为)(x f 在kx 处的梯度,所以下降方向kp 取为负梯度方向时,目标函数值下降最快.最速下降法:①. 取初始点0x ,允许误差0>ε,令0:=k ②. 计算)(kkx f p -∇=③. 若ε<||||k p ,停止,点k x 为近似最优解.否则进入④.④. 求 k λ,使)(min )(0kk k k k p x f p x f λλλ+=+≥ ⑤. 令kk k k p x xλ+=+1,1:+=k k ,返回②例7.4 用最速下降法求解下列无约束优化问题1222121225),(m in x x x x x f -+=取初始点Tx )2,2(0= 终止误差 610-=ε解:很显然,该问题的整体最优解为Tx )0,1(*=⎪⎪⎭⎫⎝⎛-=∇215022)(x x x f ,令0,10)(21==⇒=∇x x x f易验证)(*2x f ∇是正定的, ∴是整体最优解. 下面用最速下降法求解T T x x x f x f x f )50,22(),()(2121-=∂∂∂∂=∇ T x )2,2(0=T x f )100,2()(0=∇∴取Tp )100,2(0-=由⎪⎪⎭⎫⎝⎛--=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+λλλλ10022210022200p x4)22(2)1002(25)22()(2200+---+-=+λλλλp x f得0)1002(5000)22(4=----=λλλd df020007679.0500008100080==⇒λ⎪⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛=+=0007679.0959984642.11002020007679.0220001p x x λ重复上述过程得 Tx )01824717.0,009122542.1(2=789850288.0)(,078282.0)(,100)(21-=-==x f x f x f图7-1从图7-1可知,{}kx 随着迭代次数的增加,越来越接近与最优解)0,1(,同时也看到,随着迭代次数的增加,收敛速度越来越慢.极小点附近沿着一种锯齿形前进,即产生“拉锯”现象:{}kx沿相互正交的方向小步拐进,趋于最优解的过程非常缓慢.这种现象怎样解释?如何克服?在求k λ时,由于)()(kkp x f λλϕ+=,求导得0)('=λϕ,k λ是)(λϕ的极小点.故有0)()('=⋅+∇=k T k k k k p p x f λλϕ,即0)(=⋅+∇kk k k p p x f λ,又)(11++-∇=k k x f p,即0)(1=⋅+k T k p p 或0)()(1=∇⋅∇+k T k x f x f .也就是最速下降法相邻两个搜索方向是彼此正交的.因此最速下降法是局部下降最快,但不一定是整体下降最快的.在实际应用中一般开始几步用最速下降法,后来用下面介绍的牛顿法.这样两个算法结合起来,求解速度较快.二、牛顿法 基本思想:考虑无约束优化问题(5.9))(min x f nRx ∈ 由前面的讨论知,若能解出方程组0)(=∇x f ,求出平稳点*x ,则可验证*x 是否为极值点.由于0)(=∇x f 难以求解.如果)(x f 具有连续的二阶偏导数,则考虑用)(x f 在点*x 二阶泰勒展开式条件替代)(x f ∇,即由22||)(||))(()(21)()()()(k k k T k k T k k x x x x x f x x x x x f x f x f -+-∇-+-∇+=ο))(()(21)()()()()(2kk T k k T k k x x x f x x x x x f x f x g x f -∇-+-∇+=≈⇒令0))(()()()(2=-∇+∇=∇≈∇kk k x x x f x f x g x f)())((121k k k k x f x f x x ∇∇-=⇒-+即从kx 出发,搜索方向为)())((12kkkx f x f p ∇∇-=-,步长恒为1,得到下一个迭代点1+k x.牛顿法:①. 选取初始点0,0=:k x ,精度0>ε ②. 计算)(kx f ∇,如果ε≤∇||)(||kx f ,计算终止.否则计算)(2kx f ∇,求出搜索方向)())((12kk k x f x f p ∇∇-=-. ③. 令1:,1+=+=+k k p x x k k k ,返回②.例7.5 考虑无约束问题22122214)(m in x x x x x f -+=试分别取初始点(1)T x )1,1(0=,(2)T x )4,3(0=(3)Tx )0,2(0=,取精度要求310-=ε,用牛顿法求解.解:⎪⎪⎭⎫ ⎝⎛--=∇212211228)(x x x x x x f ⎪⎪⎭⎫⎝⎛---=∇22228)(1122x x x x f (1) 取Tx )1,1(0=有Tx f )1,6()(0=∇ ε>=∇0828.6||)(||0x f⎪⎪⎭⎫⎝⎛--=∇2226)(02x fT x f x f p )2500.2,7500.1()())((01020--=∇⋅∇-=-Tp x x )2500.1,7500.0(01--=+= 重复计算结果得表7-2.ε<=0||)(||4x f T x )0,0(4=∴为近似最优解.实际上,该问题最优解为**)0,0(=x(2) 取Tx )4,3(0=,同上计算,得TT x x x )4,8284.2(,)4,8333.2(),4,3(21===有ε<=∇=∇=∇0||)(||,1667.0||)(||,1||)(||210x f x f x f ,这一迭代结果收敛到)(x f 的鞍点T)4,22(.(3) 取Tx )0,2(0=T x f )4,16()(0-=∇ ⎪⎪⎭⎫⎝⎛--=∇2448)(02x f0)(02=∇x f , 即)(02x f ∇不可逆,所以无法求得点1x .牛顿法的主要缺点:(1) 该法的某次迭代反而使目标函数值增大(见上例).(2) 初始点0x 距极小点*x 较远时,产生的点列{}kx可能不收敛,还会出现)(*2x f ∇的奇异情况.(3) )(*2x f ∇的逆矩阵计算量大. 牛顿迭代法的主要优点:当目标函数)(x f 满足一定条件,初始点0x 充分接近极小点*x 时,由牛顿法产生的点列{}kx 不仅能够收敛到*x,而且收敛速度非常快.实际应用中常将最速下降法和牛顿法结合起来使用.牛顿法的改进:上面介绍的牛顿法中,kx 处的搜索方向为)())((12kkkx f x f p ∇∇-=-,步长恒为 1.若通过一维搜索来取最优步长k λ,可防止在迭代中步长恒为1时标目标函数值增大的可能. 改进的牛顿法:①. 取初始点nR x ∈0,允许误差0:,0=>k ε.②. 检验是否满足ε<∇||)(||kx f ,若是,迭代停止,得到k x 为近似最优解.否则进入③.③. 令)())((12kk k x f x f p ∇∇-=-.④. 求k λ,使)()(min kk k k k p x f p x f λλλ+=+. ⑤. 令k k k k p x x λ+=+1,令1+=k k :转②.三、坐标轮换法既然求解非线性规划问题的迭代法是给出初始点0x ,求出一个方向kp ,根据kp 确定步长k λ,使k k k k p x xλ+=+1,如果1+k x 满足某精度要求则停止,否则继续找方向1+k p .显然构造出搜索方向有一定的困难,能否按既定的搜索方向寻找最优解,省去找搜索方向kp 呢?在最速下降法中我们看到相邻两个搜索方向kp 和1+k p是正交的.我们知道在n 维欧氏空间中坐标轴向量n εεε,,,21 是正交的,可否选坐标轴向量为搜索方向kp 为呢?回答是肯定的,这样我们得到了坐标轮换法.基本思想:从1x 出发,取11ε=p ,沿1p 进行一维搜索得到1112p x x λ+=.若2x 满足精度要求,则停止.否则取22ε=p ,2223p x x λ+=.如此继续,, 取n n n n n n p x x p λε+==+1,,若1+n x 满足精度要求,则停止.否则令11ε=+n p ,1112+++++=n n n n p x x λ,如此反复连续,可以求出近似最优解.坐标轮换法的缺点是收敛速度较慢,搜索效率较低,但基本思想简单,沿坐标轴的方向进行搜索.四、共轭方向法和共轭梯度法共轭方向法是一类方法的总称,它原来是为求解目标函数为二次函数的问题而设计的.这类方法的特点是:方法中的搜索方向是与二次函数的系数矩阵Q 有关的所谓共轭方向,用这类方法求解n 元二次函数的极小化问题最多进行n 次一维搜索便可以得到极小点.由于可微的非二次函数在极小点附近的性态近似于二次函数,因此这类方法也用于求可微的非二次函数的UMP 问题.定义7.14 设Q 为n n ⨯对称正定矩阵,如果0=Qy x T称n 维向量x 和y 关于Q 共轭.定义7.15 设k p p p ,,,21 为nR 中一组向量, Q 是一个n n ⨯对称正定矩阵.如果k j i j i Qp p Qp p i T i j T i ,,2,1,,,0,0 =≠≠=,称k p p p ,,,21 为Q 共轭向量组,也称它们为一组Q 共轭方向.当E Q =(单位矩阵)时,为正交方向.定理7.8 若k p p p ,,,21 为矩阵Q 共轭向量组,则它们必线性无关. 证明: 若存在k l l l ,,,21 ,使011=++k k p l p l ,则对任一k j ,,2,1 =,由 0)(11===∑∑==j T j j ki j T j iki iiT jQp p l Qp pl p l Q p又0>j Tj Qp p , 0=∴j l∴ k p p p ,,,21 线性无关. 证毕.由高等代数知识可知, Q 共轭向量组中最多包含n 个向量, n 是向量的维数.反之,可以证明,由n 维空间的任一组基出发可以构造出一组Q 共轭方向11,,,-n pp p .前面我们已经讲述了坐标轮换法,在n 维欧几里德空间中, n εεε,,,21 是一组线性无关的正交向量.从0x 出发,依次使用n εεε,,,21 作为下降方向进行一维精确搜索来确定n x x x ,,,21 ,重复进行得点列{}k x ,最终求得满足精度要求的最优解.刚才我们引进了共轭向量组11,,,-n p p p ,又证明了它们的线性无关性,那么是否可以用这共轭向量组像坐标轮换法一样,从0x 出发依次用11,,,-n pp p 作为下降方向来确定{}kx,最终求得近似最优解?回答是肯定的.这个方法称为共轭方向法.共轭方向法适合任何可微凸函数,且对于二次函数极值)(min x f x p Qx x T T+=21特 别有效.下面的定理告诉我们用共轭方向法求解二次函数的极值,经过n 次迭代就能求得最优解.定理7.9 设Q 为n n ⨯对称正定矩阵,函数x p Qx x x f T T+=21)(,又设 110,,,-n p p p 为一组Q 共轭向量组,且每个i p 是(下面形成的)i x 点处的下降方向.则由任一点0x 出发,按如下迭代至多n 步后收敛,k k k k p x xλ+=+1,这里k λ满足)(m i n )(0k k k k k p x f p x f λλλ+=+>.证明: 欲证至多n 步收敛,即证0)(=∇nx f .下证)(nx f ∇和11,,,-n pp p 正交.p Qx x f +=∇)( p Qx x f kk+=∇∴)( p p x Q p Qx xf k k k k k ++=+=∇++)()(11λkk k k k k Qp x f p Qp Qx λλ+∇=++=)( =+∇=∇---111)()(n n n n Qpx f x f λ 11111)(--++++++∇=n n k k k Qp Qp xf λλQ p Q p x f x f Tn n T k k T k T n )()()()(11111--++++++∇=∇λλkT n n k T k k k T k k T n Qp p Qp p p x f p x f )()()()(11111--++++++∇=∇λλ000+++= )2,,2,1,0(-=n k 又0)(1=∇-n Tn px f0)(=∇∴kT n p x f )1,,1,0(-=n k)(nx f ∇∴和11,,,-n pp p 正交, 又110,,,-n pp p 线性无关.0)(=∇∴nx fnx ∴是问题的最优解. 证毕. 共轭方向法具有二次有限终止性. 由于共轭方向组11,,,-n p p p 的取法有很大的随意性,用不同方式产生一组共轭方向就得到不同的共轭方向法.如果利用迭代点处的负梯度向量为基础产生一组共轭方向,这样的方法叫共轭梯度法.下面对二次函数讨论形成Q 共轭梯度方向的一般方法,然后引到求解无约束化问题上.任取初始点n R x ∈0,若0)(0≠∇x f ,取)(0x f p -∇=,从0x 点沿方向0p 进行一维搜索 ,求得0λ.令0001p x x λ+=,若0)(1=∇x f ,则已获得最优解1*x x =.否则,取0011)(p x f p υ+-∇=,其中0υ的选择要使1p 和0p 关于Q 共轭,由0)(01=Qp p T ,得0100)()()(Qp p x f Q p T T ∇=υ一般地,若已获得Q 共轭方向kp p p ,,,1和依次沿它们进行一维搜索的得到的点列110,,,+k x x x ,若0)(1=∇+k x f ,则最优解为1*+=k x x ,否则∑=+++-∇=ki i i k k p xf p011)(α为使1+k p 和11,,,-k pp p 是共轭,可证0110====-k ααα所以有 k k k k p x f pυ+-∇=++)(11又1+k p和kp 是Q 共轭的.有0)(1=+k Tk Qp p,得kT k k T k k Qpp x f Q p )()()(1+∇=υ 2,,2,1,0-=n k 进一步可得k υ221||)(||||)(||k k x f x f ∇∇=+ 2,,1,0-=n k综合起来得 Fletcher-Reeves 公式2)21110||(||||)(||)()(k k k k k k k x f x f p x f px f p ∇∇=+-∇=-∇=+++υυ 2,,2,1,0-=n k (7.10)共轭梯度法: ①. 选取初始点0x ,给定终止误差0>ε. ②. 计算)(0x f ∇,若ε≤∇||)(||0x f ,停止迭代,输出0x .否则进行③.③. 取)(0x f p -∇=,令0:=k④. 求k λ,)(min )(0kkkk kp x f p x f λλλ+=+≥,令k k k k p x xλ+=+1⑤. 计算)(1+∇k xf ,若ε≤∇+||)(||1k x f ,停止迭代,1*+=k x x 为最优解.否则转⑥.⑥. 若n k =+1,令nx x =:0,转③(已经完成一组共轭方向的迭代,进入下一轮)否则转⑦ ⑦. 取kk k k p xf pυ+-∇=++)(11,其中221||)(||||)(||k k k x f x f ∇∇=+υ,令1:+=k k ,转④当)(x f 是二次函数时上述共轭梯度法至多进行n 步可求得最优解.当)(x f 不是二次函数,共轭梯度法也可以构造11,,,-n p p p ,但已不具有有限步收敛的性质,于是和坐标轮换法一样经过一轮迭代后,采用重新开始的技巧.上述共轭梯度法就是带有再开始技巧的F-R 法.例7.6 用F-R 法求下面问题 2212121252),(m in x x x x x f +-=取初始点T x )2,2(0=,终止误差为610-=ε解:在例7.4中已得Tx f p )100,2()(0-=-∇= Tx )0007679.0,959984642.1(1-= Tx f )038395.0,919969284.1()(1-=∇000368628.010004687756228.3||)(||||)(||20210==∇∇=x f x f υ ⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎭⎫ ⎝⎛-=+-∇=0015322.092070654.11002000368628.0038395.0919969284.1)(0011p x f p υ⎪⎪⎭⎫ ⎝⎛+--=+0015322.00007679.092070654.1959984642.111λλλp x0378228399.7687703443.3)(11=+-=+λλλd p x df499808794.01=∴λ⎪⎪⎭⎫ ⎝⎛≈⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫⎝⎛⨯+--⨯+=+=010********.0999998622.00015322.0499808794.00007679.0)92070654.1(499808794.0959984642.11112p x x λε<=∇0||)(||2x f , ∴最优解⎪⎪⎭⎫⎝⎛==012*x x .五、变尺度法当初始点为)(x f 的其极值点附近时牛顿法收敛速度很快,但缺点是需计算)(2kx f ∇的逆矩阵,在实际问题中目标函数往往相当复杂,计算二阶导数的工作量或者太大或者不可能,在x 的维数很高时,计算逆矩阵也相当费事.如果能设法构造另一个矩阵kH ,用它来逼近二阶导数矩阵的逆矩阵12))((-∇kx f 则可避免上述问题.下面就来研究如何构造12))((-∇kx f 的近似矩阵kH .我们希望:每一步都能以现有的信息来确定下一个搜索方向,每做一次迭代,目标函数值均有所下降,这些近似矩阵最后应收敛于最优解处的海赛矩阵的逆矩阵12))((-∇kx f .p Qx x f xp Qx x x f T T+=∇+=)(21)(考虑于是 )]()([)()()(11111k k k k k k k k x f x f Q x x x x Q x f xf ∇-∇=-⇒-=∇-∇+-+++当)(x f 是非二次函数时,令)]()([111k k k k k x f x f H x x ∇-∇=-+++ (7.11)称为拟牛顿条件.显然,我们构造出来的近似矩阵k H 必须满足上述拟牛顿条件及递推性:k k k H H H ∆+=+1,这里k H ∆称为矫正矩阵.记 k k k kk k x x x x f x f G -=∆∇-∇=∆++11)()( 有 kk k k k k G H H G H x ∆∆+=∆=∆+)(1 .变尺度法即DEP 法是由Davidon 首先提出,后来又被Fletcher 和Powell 改进的算法.记kk T k kT k k k k T k T k k k k kk T k kT k k k k T k T k k kG H G HG G H x G x x H H G H G H G G H x G x x H ∆∆∆∆-∆∆∆∆+=∆∆∆∆-∆∆∆∆=∆+)()()()()()()()(1 (7.12)容易验证1+k H 满足拟牛顿条件,称上式为DEP 公式.变尺度方法计算步骤:(1) 给出初始点nR x ∈0,允许误差0>ε.(2) 若ε<∇||)(||0x f ,停止,0x 为近似最优解;否则转下一步.(3) 取I H =0(单位矩阵),0=:k . (4) )(kk k x f H p ∇-=(5) 求k λ,使)(min )(0kk k k k p x f p x f λλλ+=+≥. (6) 令kk k k p x xλ+=+1(7) 若ε<∇+||)(||1k xf ,1+k x 为最优解,停止;否则当1-=n k 时,令n x x =:0转(3).(即迭代一轮n 次仍没求得最优解,以新的0x 为起点重新开始一轮新的迭代).k k k k k kx x x x f xf G n k -=∆∇-∇=∆-<++11),()(1时,令当.计算kk T k kT k k k k T k T k k kk G H G H G G H x G x x H H∆∆∆∆-∆∆∆∆+=+)()()()(1,令1+=k k :,转(4). §4 约束极值的最优化方法考虑(MP)问题:0)(0)(..)(min =≥x H x g t s x f (7.13)其中Tl T m x h x h x h x g x g x g ))(,),(()(,))(,),(()(11 ==是向量函数.显然 0)(0)(0)(≥-≥⇔=x h x h x h , 于是(MP )问题可以写为:Tm x g x g x g x g t s x f ))(,),(()(0)(..)(min 1 =≥ (7.14)一、积极约束设0x 是(MP )问题(5.14)的一个可行解.对0)(0≥x g i 来说,在点0x 有两种情况:或者0)(0>x g i ,或者0)(0=x g i .0)(0>x g i 时,则0x 不在0)(0=x g i 形成的边界上,称这一约束为0x 的非积极约束;0)(0=x g i 时,0x 处于由0)(0≥x g i 这个约束条件形成的可行域边界上,当0x 有变化时就不满足0)(0=x g i 的条件,所以称为积极约束,记为:{}()|()0,1i I x i g x i m ==≤≤.定义7.16 设x 满足约束条件0)(0≥x g i ),,1(m i =,0)(|{)(==x g i x I i ,}m i ≤≤1,如果)(x g i ∇,)(x I i ∈线性无关,则称点x 是约束条件的一个正则点.二、可行方向、下降方向的代数条件前面我们已经给出可行方向和下降方向的定义,下面给出其代数条件.可行方向:设K 是(MP )问题(5.14)的可行域,K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时有K p x ∈+λ,称p 为x 点处的一个可行方向.由泰勒公式:||)(||)()()(p p x g x g p x g T i i i λολλ+∇+=+当x 为)(x g i 的积极约束时,有0)(=x g i .只要0>λ足够小,)(p x g i λ+和p x g T i )(∇λ同号,于是当0)(>∇p x g T i 时有0)(≥+p x g i λ )(x I i ∈.当x 为)(x g i 的非积极约束时,有0)(>x g i .由)(x g i 的连续性,当0>λ足够小时,由保号性知 0)(≥+p x g i λ )(x I i ∉.所以只要 0)(>∇p x g T i ,)(x I i ∈就可保证0)(≥+p x g i λ,于是p 为x 点处的一个可行方向.称0)(>∇p x g T i ,)(x I i ∈ 为p 在点x 处是可行方向的代数条件.下降方向:设K 是(MP )问题的可行域,K x ∈,0,≠∈p R p n.若存在00>λ使得],0[0λλ∈时,有)()(x f p x f <+λ,称p 为x 点处的一个下降方向.由泰勒公式:||)(||)()()(p p x f x f p x f Tλολλ+∇+=+.当λ足够小时,只要0)(<∇p x f T,有)()(x f p x f <+λ. 称0)(<∇p x f T为p 在x 点处的一个下降方向的代数条件.三、可行下降方向设K 为(MP )问题(5.14)的可行域,K x ∈,若存在0,≠∈p R p n,p 既是x 点处的下降方向又是可行方向,则称p 为点x 处的可行下降方向.定理7.10 考虑非线性规划问题(5.14),K x ∈,),,1)()(m i x g x f i =(和在x点处可微,若*x 是局部极小点,则x 点处必不存在可行下降方向,即不存在p 同时满足:⎪⎩⎪⎨⎧∈>∇<∇)(0)(0)(x I i p x g p x f Ti T证明:反证法,设局部极小点x 处存在可行下降方向p ,于是1λ∃,当],0[1λλ∈时有)()(x f p x f <+λ,又p 为可行方向.2λ∃∴当],0[2λλ∈时K p x ∈+λ,这与x 是。

运筹学标准型

运筹学标准型

运筹学标准型运筹学是一门研究如何有效地利用有限资源来实现最优决策的学科,它涉及到了数学、经济学、管理学等多个领域的知识。

在实际应用中,运筹学被广泛运用于生产调度、物流管理、供应链优化等领域,为企业提供了重要的决策支持。

在本文中,我们将介绍运筹学的标准型,包括线性规划、整数规划、动态规划等内容。

首先,我们来介绍线性规划。

线性规划是运筹学中最基本的模型之一,它的数学表达形式为最大化(或最小化)一线性函数,同时满足一组线性不等式约束。

线性规划在资源分配、生产计划等方面有着广泛的应用,通过对决策变量的合理安排,可以使得企业在有限资源下达到最优的利润或效益。

其次,我们介绍整数规划。

整数规划是在线性规划的基础上增加了决策变量必须为整数的限制条件,这使得问题更加复杂。

整数规划在生产调度、设备配置等领域有着重要的应用,通过合理的整数规划模型可以使得企业在实际操作中更加高效和节约成本。

接下来,我们介绍动态规划。

动态规划是一种通过把原问题分解为相对简单的子问题的方式来求解复杂问题的方法。

它在资源分配、路径规划等领域有着广泛的应用,通过动态规划可以找到最优的决策路径,使得企业在实际操作中能够更加灵活和高效。

除了上述三种标准型,运筹学还包括了许多其他的模型和方法,如网络流模型、多目标规划、非线性规划等。

这些模型和方法为企业决策提供了多样化的选择,使得企业在面对不同的问题时能够找到最优的解决方案。

总之,运筹学标准型是企业决策中不可或缺的重要工具,它为企业提供了科学的决策支持,帮助企业在有限资源下实现最大化的利润或效益。

通过合理地运用运筹学的模型和方法,企业可以更加高效地运营,提高竞争力,实现可持续发展。

因此,我们应该深入学习和应用运筹学标准型,不断提升自身的决策能力和水平,为企业的发展贡献力量。

高级运筹学第4章new

高级运筹学第4章new

4.2 一维搜索算法
一、缩小区间的精确一维搜索(续)
定义:设φ: [α, β] →R, λ* ∈[α, β] 是φ在[α, β] 上的最小点 ,
若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足:
1º若λ2 ≤ λ* ,则φ(λ1) > φ(λ2);
2º若λ1 ≥λ* ,则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。 若只有当φ(λ1) ≠φ(λ* ), φ(λ2) ≠φ(λ* )时,上述1º , 2º式才成立, 则称φ(λ)在[α, β] 上单峰。
4.2 一维搜索算法——常用的搜索算法结构
二、收敛速度 设算法产生点列{x(k)},收敛到解x*,且x(k)≠x*, k, ( k +1 ) x* || || x 1.线性收敛: 1 当k充分大时成 (k ) * || x x || 立。
x* || || x 0 2.超线性收敛: klim ( k ) * || x x ||
同时满足上述两个性质的方 向称下降可行方向。
4.2 一维搜索算法——常用的搜索算法结构
• 模型算法
初始x(1) ∈S, k =1
k=k+1
对x(k)点选择下降 可行方向d(k)
线性搜索求 l k , 新点 x ( k +1) x ( k ) + l( k ) d ( k ) 使 x(k+1)∈S no 是否满足停机条件? yes
α
λ * λ1 λ2 β 强单峰
α
λ*
β 单峰
4.2 一维搜索算法 一、缩小区间的精确一维搜索(续) 定理:设Ф:R→R 在[α,β ]上单峰,α≤λ<μ≤ β 。 那么 1°若Ф(λ)≥ Ф(μ),则Ф(ρ) ≥Ф(μ), ρ ∈[α,λ];如左下图 2°若Ф(λ)< Ф(μ),则Ф(ρ)≥Ф(λ), ρ ∈[μ , β];如右下图
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

x2 1
x2 1
这个方向上的单位向量是:
e
f x f x
4 2
42 22
2
5 1
5
5
5
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点x =[0,1]T
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
e
f x f x
➢(2)简记形式: 引入向量函数符号:
h( x)(h1( x),,hq ( x))T g( x)( g1( x),,g p( x))T
X
x
Rn
gi hi
(x) (x)
0, 0,
i j
1,, 1,,
p q
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,, q
③最后画出目标函数等值线,
• 所以 最优解 x*=(4,1), 最优值 min f(x)=4.
4 梯度、Hesse矩阵、Jacobi阵
• (1) 二次函数
一般形式:
f
x1 ,
x2 ,,
xn
1 n
2 i1
n
gij xi x j
j 1
n
bi xi
i 1
c
矩阵形式:
f x 1 xT Ax bT x c
性质:设f(x) 在定义域内有连续偏导数,即有连续梯度, 则梯度有以下两个重要性质:
性质一 函数在某点的梯度不为零,则该梯度方向必与 过该点的等值面垂直;
性质二 梯度方向是函数具有最大变化率的方向(负梯 度方向也叫最速下降方向)。
例:试求目标函数 f x1, x2 3x12 4x1 x2 x22 在点 x =[0,1]T
处的最速下降方向,并求沿这个方向移动一个单位长度后 新点的目标函数值。
解: 由于
f x1 6 x1 4 x2 ,
f x2 4 x1 2 x2
则函数在 x =[0,1]T 处的最速下降方向是
P
f
x
f
x1 f
x2 x1 0
6 x1 4 x2
4 x1 2 x2
x1 0
4 2
则称f是S上的凸函数,或 f在S上是凸的。
若 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
则称f是S上的严格凸函数,或 f在S上是严格凸的。
若 f 是S上的(严格)凸函数,称f是S上的(严格) 凹函数 , 或f在S上是(严格 )凹的。
r x1 2 x2 2 2 2
而木梁长度无法改变,因此成本只与圆形 木材的横截面积有关。
目标函数为 约束条件为
min
s
r2
x12 4
x22 4
,
x1 H x12 x2 W x1 x2 x1 4 x2 x1, x2 0.
(高度不小于H ) (惯性矩不小于W) (高度介于宽度与
4 倍宽度之间) (高度与宽度非负)
3 非线性规划问题的图解法
例2: 用图解法求解 min f(x)=(x1 - 2)2 +(x2 - 2)2 s.t. h(x)= x1 + x2 - 6 ≤ 0
x2
6
最优解 x* = ( 2,2 )T
2
0
2
D可行域
最优级解即为最小圆的半径:
f(x)=(x1 - 2)2 +(x2 - 2)2 = 0
例 f ( x)|| x||其中xRn是凸函数
例 f ( x) T x ,其中 , xRn , R1即是凸的也是凹的。
例:正定二次函数 f ( x) 1 xT Ax bT x c, 2
其中A是正定矩阵, f(x)是凸函数。 参见P104例。
➢(2)凸函数的性质
性质1: 设S Rn是非空凸集
称f ( x* )是(MP)的局部最优值或局部 极小值
如果有 f ( x* ) f ( x),x N ( x* ) X , x x* 称x*是(MP)的严格局部最优解或 严格局部极小点 f ( x* )是(MP)的严格局部最优值或 严格局部极小值。
3 非线性规划问题的图解法
对二维最优化问题,总可以用图解法求解,而对三维或高维问题, 已不便在平面上作图,此法失效。
2
f x 1 xT Ax, A对称 f ( x) Ax, 2 f ( x) A.
2
(4)Jacobi矩阵
• 向量变量值函数:g( x) ( g1( x), g2 ( x),, gn ( x))T x ( x1 , x2 ,, xn )T
• 向量变量值函数的导数:
g1 x0
gx0
min
mn
mn
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
约束条件为
(1)每个仓库向各市场提供的货物量之和不能超过它的
存储容量。
n
zij ai , i 1,2,, m
j 1
(2)每个市场从各仓库得到的货物量之和应等于它的
需要量。
m
zij bj , j 1,2,, n
x1
g2 x0
x1
g
m
x0
x1
g1 x0
x2
g2 x0
x2
gm x0
x2
向量值函数g(x)在点 x0处的Jacobi矩阵
g1
x0
x
g2
n
x0
xn
g
m
x0
xn
5 凸函数和凸规划
(1)凸函数:
定义 设S Rn是非空凸集,f : S R1,若对 (0,1)有 f (x1 (1 )x2 ) f ( x1 ) (1 ) f ( x2 ),x1 , x2 S
若x在X内,称x为MP的可行解或者可行点。
➢(5)最优解和极小点
定义: 对于非线性规划(MP),若 x* X ,并且有
f ( x* ) f ( x), x X
则称x*是(MP)的整体最优解或整体 极小点,
称f ( x* )是(MP)的整体最优值或整体 极小值。 如果有 f ( x* ) f ( x), x X , x x*
1 非线性规划问题举例
例一:选址问题
设有 n 个市场,第 j 个市场位置为( p j , q j ) ,它对某种货物的需要 量为 bj ( j 1,2,, n)。现计划建立 m 个仓库,第 i 个仓库的存储 容量为 ai (i 1,2,, m). 试确定仓库的位置,使各仓库对各市场的
运输量与路程乘积之和为最小。
.
3. f x xT x 则f x 2x
.
4. A对称矩阵。 f x xT Ax 则 f x 2Ax
(3)Hesse矩阵
多元函数 f(x) 关于x的二阶导数,称为 f(x)的Hesse矩阵.
2
f
x
x12
2
f
x
f
x
2 f x
x1x2
2
f
x
x1xn
2 f x
x2x1
2 f x
设第 i 个仓库的位置为 ( xi , yi ), i 1,2,, m, 第 i 个仓库到第 j 个市场的货物供应量为 zij (i 1,2,, m, j 1,2,, n). 则第 i 个
仓库到第 j 个市场的距离为
dij ( xi p j )2 ( yi q j )2 ,
目标函数为
4 2
42 22
2
5 1
5
5
5
新点是: x1
xe
0 1
2
5 1
5
5
5
1521
5
5
5
函数值:
f
x1
3 x12
4 x1 x2
x
2 2
|x1
26 5
2
5
• 几个常用的梯度公式:
1. f x C常数, 则f x 0. 即 C 0
2. f x bT x 则f x b
i 1
(3)运输量不能为负数
zij 0, i 1,2,, m, j 1,2,, n
例2. 木梁设计问题
把圆形木材加工成矩形横截面的木梁,要求木梁高度
不超过 H ,横截面的惯性矩(高度的平方 宽度)不小
于W ,而且高度介于宽度与4倍宽度之间。问如何确定木
梁尺寸可使木梁成本最小.
x1 x2
设矩形横截面的高度为 x1 , 宽度 为 x2 ,则圆形木材的半径
(1)若f是S上的凸函数, 0,则 f是S上的凸函数;
(2)若f1, f2是S上的凸函数, f1 f2是S上的凸函数。 性质2: 设S Rn是非空凸集, f是凸函数,cR1,则集合
H S ( f ,c)xS | f ( x) c 是凸集。
证明:略.
➢ (3) 凸函数的判定 定理1:(一阶条件)
设S Rn是非空开凸集, f:S R1可微,则 (1)f是S上的凸函数
例1: 用图解法求解 min f(x)=(x1-2)2 +(x2-2)2 s.t. h(x)= x1 + x2 - 6 = 0
x2
6
可行解 x = ( 1.5,4.5 )T
最优解 x* = ( 3,3 )T
3 2
0
23
最优级解即为最小圆的半径:
f(x)=(x1-2)2 +(x2-2)2 = 2
6
x1
2 非线性规划问题的数学模型
➢(1)数学规划模型的一般形式:
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,,q
相关文档
最新文档