运筹学——约束极值问题
约束条件下的极值
在数学优化问题中，当我们寻找某个函数在满足一定约束条件下的极值（最大值或最小值）时，我们通常面对的是带有约束条件的优化问题。
这个问题可以通过拉格朗日乘数法（Lagrange Multiplier Method）或者KKT条件（Karush-Kuhn-Tucker Conditions，对于非线性优化问题中的约束条件）等方法来解决。
例如，设有函数f(x, y)要在区域D内找极值，区域D由g(x, y)=c这样的一组或几组约束条件定义，这里的c是一个常数。
拉格朗日乘数法的基本思想是构造拉格朗日函数L(x, y, λ) = f(x, y) - λ(g(x, y) - c)，其中λ是拉格朗日乘子。
接下来需要求解L(x, y, λ)的偏导数，并令它们等于零，得到一组方程组，解这个方程组就可以找到可能的极值点。
对于KKT条件，它扩展了拉格朗日乘数法，适用于更广泛的优化问题，包括不等式约束。
在满足KKT条件的情况下，优化问题的解有可能是最优解。
具体步骤如下：
1.构造拉格朗日函数（若有不等式约束，需要构造广义拉格朗日函数）。
2.对目标函数和所有的约束函数分别求偏导数，并令它们等于零，得到必要条
件。
3.检验求得的点是否满足KKT条件，包括互补松弛条件、梯度条件以及可行
性条件（即该点必须位于可行域内）。
4.对于可能的极值点，还需进行二阶条件检验（如海森矩阵判别法）来判断是
局部极大值、局部极小值还是鞍点。
通过这些方法，我们可以在给定约束条件下寻找到函数的极值点。
第7章 约束极值问题ppt课件
X
(0)
满足它有两种可能：其一为 g j (X) ，这时，点 0 X
(0)
不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是 X
(0) 点的不起作用约束(或无效约束)；其二是 gj (X ) 0 ，这时X
(0)
(0)
点处于该约束条件形成的可行域边界上，它对 X
m m * * * f (X ) λi h * gj (X*) 0 i (X ) j i 1 j 1 * (7-11) gj (X*) 0, j 1 ,2, ,l j 使下述条件成立： * j 1 ,2, ,l j 0, * * * * * * (7-10)式和(7-11)式中的 λ ,λ , ,λ 以及 1,1, ,l 称为广义拉格朗日乘子。
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1(X*) 0 )。若X*是极小点，则
* g 必与 f ( X * ) 在一条直线上且方向相反。 1(X ) 0
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 1 0 ，使
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
清华大学出版社
第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ[0, λ'] 均有 λ' ，使对任意 0
第一章 第五节 有约束条件的极值问题
一般地，有约束问题模型为 （1）Min f(x) i=1,2,...,m hi(x)=0 可用如下形式惩罚函数
F( X , µ) = f (x) + µ∑(hi (x)) 2
i=1
m
（2）Min f(x) 2 gj(x)≥0 j=1,2,...,l 其惩罚函数可为 F(X,μ)=f(x)+μψ(x)
∂F = (x1 +1)2 + 2µ(x1 −1) = 0 ∂x1
∂F = 1+ 2µx2 = 0 ∂x ∂x2
r 解得 x = (x , x )T = (−1− µ + µ2 + 4µ ,− 1 µ)T 1 2 2 取μ1=0.001,β=10为初始值,然后μ2…μ8μ9,分 别取0.01,0.1,1,10,100,1000,10000,100000得 X*=(0.9999,-0.000005)T 本 题 最 优 解 为 X*=(1，0)T, 最 优 目 标 函 数 值 f(X*)=8/3。
第五节 有约束条件的极值问题 Min f(x) hi(x)=0 gj(x)≥0 i=1,2,...,m j=1,2,...,l
对于有约束条件问题采取制约函数法： 可将有约束条件的问题转化为一系列无约束极值问题。 常用的制约函数有两类； 一为惩罚函数，二为障碍函数。 对应于两种函数有外点法和内点法。
一 外点法 以例来说明外点法基本思路： Min f（x）＝x12＋x22 x1＋x2－2＝0 该问题的可行域是直线 x1 + x2 − 2 = 0 构造出这样的函数，对可行点不加“惩罚”，对非可 行点给以正无穷大的“惩罚”，即 当x1＋x2＝2时 当x1＋x2≠2时 F(X)＝x12＋x22 F(X)＝＋∞
1 2 m f (x) = (x1 +1) + x2 in 3 x1 −1≥ 0 x2 ≥ 0
运筹学[第七章约束极值问题]山东大学期末考试知识点复习
![运筹学[第七章约束极值问题]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/3087106e783e0912a2162abd.png)
第七章约束极值问题1．库恩—塔克条件设X*是非线性规划的极小点，而且与X*点的各起约束作用的梯度线性无关，则存在向量，使下述条件成立上述条件常称为K一Τ条件，满足这个条件的点(它当然也满足非线性规划的所有约束条件)称为库恩—塔克点(或K—Τ点)。
2．制约函数(1)常用的制约函数基本上有两类：一为惩罚函数(或称罚函数)，一为障碍函数，对于这两种函数，SUMT有外点法和内点法。
(2)外点法的迭代步骤如下：①取M1>0(例如说取M1=1)，允许误差ε>0，并令k：=1。
②求无约束问题的最优解：③若对某一个j(1≤j≤l)有-gi(X(k))≥ε则取Mk+1>Mk(例如，Mk+1=cMk，c=5或10)令 k：=k+1并转向第2步。
否则，停止迭代，得Xmin≈X(k)(3)内点法迭代步骤。
①取ri >0(例如，r1=1)，允许误差ε>0。
②找出一可行内点X(0)∈R0，并令k：=1。
③构造障碍函数，障碍项可采用倒数函数，也可采用对数函数。
④以X(k-1)∈R0为初始点，并对障碍函数进行无约束极小化(在R0内)3．可行方向法的迭代步骤(1)确定允许误差ε1>0和ε2>0，选初始近似点X(0)∈R，并令k：=0。
(2)确定起作用约束指标集。
J(X(k))={j｜gi(X(k))=0，1≤j≤l)①若J(X(k))= ∅ (∅为空集)，而且‖▽f(X(k))‖2≤ε1，停止迭代，得点X(k)；②若J(X(k))= ∅，但▽‖f(X k)‖2>ε1，则取搜索方向D(k)=-▽f(X(k))，然后转向第(5)步；③若J(X(k))=∅，转下一步。
(3)求解线性规划。
设它的最优解是(D(k)，ηk)(4)检验是否满足｜ηk｜≤ε2。
若满足则停止迭代，得到点X(k)；否则，以D(k)为搜索方向，并转向下一步。
(5)解下述一维极值问题。
(6)令 X(k-1)=X(k)+λkD(k)k：=k+1转回第(2)步。
运筹学ch06
第6章
无约束问题 第7章 约束极值问题
1ቤተ መጻሕፍቲ ባይዱ
清华大学出版社
引 言
在科学管理和其他领域中，很多实际问题可归结为线性 规划问题。但也有很多问题，其目标函数和(或)约束条 件很难用线性函数表达。如果目标函数或约束条件中含 有非线性函数，就称这种问题为非线性规划问题。 解这类问题需要用非线性规划方法。目前，非线性规划 已成为运筹学一个重要分支，在最优设计、管理科学、 系统控制等许多领域得到越来越广泛的应用。 一般说来，由于非线性函数的复杂性，解非线性规划问 题要比解线性规划问题困难得多。而且，也不像线性规 划那样有单纯形法等通用方法。非线性规划目前还没有 适于各种问题的一般性算法，各个方法都有自己特定的 适用范围。
(6 14)
13
清华大学出版社
第1节 基本概念
1.3 凸函数和凹函数
1. 什么是凸函数和凹函数
设f(X) 为定义在n维欧式空间En中的某个凸集R上的函数，若对任 何实数α（0< α<1）以及R中的任意两点X(1)和X(2)，恒有
f ( X (1) (1 ) X (2) ) f ( X (1) ) (1 ) f ( X (2) )
T
ai j wi / ，可得 wj
2 n n min ai j w j wi i 1 j 1 n wi 1 i 1
5
清华大学出版社
第1节 基本概念
2．非线性规划问题的数学模型
非线性规划的数学模型常表示成以下形式
min f ( X ) h i ( X ) 0, i =1, 2, m g j ( X ) 0, j 1, 2,…, l
第7章+约束极值问题
D是可行点x(0)处的可行方向的关键是，对该点的 所有起作用约束满足gj(x(0)+λD)≥0。考虑到
gj(x(0)+λD)= gj(x(0))+λ▽gj(x(0))TD+o(λ)
则对所有起作用约束，当λ足够小时，只要满足条件
▽gj(x(0))TD＞0，j∈J（起作用约束下标集）
对于非线性规划的一个可行点x(0) ，考虑方向D，若 存在实数λ0'>0，使对任意λ∈[0, λ0']，均有f(x(0)+λD)＜ f(x(0)) ，则称方向D是x(0)点的一个可行方向。
……，如此迭代下去，可得最优解x*=(1.6, 1.2)T, f(x*)=-7.2。 而原来问题的最优解为： x*=(1.6, 1.2)T, f(x*)=- f(x*) =7.2
第4节 制约函数法
使用制约函数法，可将非线性规划问题转化为一 系列无约束极值问题，因而也称为序列无约束极小化 技术，简记为SUMT。SUMT有外点法和内点法。
解得
理论上，障碍因子r越小对提高解的精度越有利。 但在实际应用中，与外点法类似，过小的r会引起很大 的舍入误差，反而会使精度降低。因而，要先取较大 的r1，若求得的解不满足要求则减小为r2，……直到求 得的解满足要求为止。就此，通过求解一系列无约束 问题，来获得约束极值问题的解。当r1>r2…>rk>…>0 趋于0时，求得的解趋于原问题的极小点。
其一为gj(x(0))＞0。这时，它对x(0)点的微小变动不 起限制作用，称该约束为x(0)点的不起作用约束。
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
运筹学第15讲 约束最优化方法 (1)
⎛1 ⎞ (2) = ⎜ ⎜ 2 ⎟ ⎟ ⎝ ⎠
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
m ⎧ ⎪ ∇ f ( x ) − ∑ u i∇ g i ( x ) = 0 i ⎪ u i ≥ 0 , i = 1,2 ,L , m → ⎨ ⎪ u ig i( x ) = 0 ⎪ ⎩
< 寻找下降可行方向： 定理 1：设 其中 x 是可行解，在
1 2
6.2 可行方向法
一、解线性约束问题的可行方向法 （续）
d x 处有 A 1 x = b 1,A
2
x > b2,
⎛ A A = ⎜ ⎜A ⎝
⎞ ⎛ b1 ⎟ ⎜ ， b = ⎟ ⎜b ⎠ ⎝ 2
⎞ ⎟ ⎟ 。则非零向量 ⎠
d 为 x 处的下降可行
g3=0 x2 2 1 1
▽g2(x*)
第六章
例
-▽f(x*) (3,2)T
x* 2 3 g1=0
▽g1(x*)
4
g4=0 x1 g2=0
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： （续）
在 x *点 ⎧ g 1 ( x1 , x 2 ) = 0 ⎨ ⎩ g 2 ( x1 , x 2 ) = 0
∗ ∗ ∗பைடு நூலகம்
第六章
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件 (续)
如果 x ∗ − l .opt .那么 ∃ u i∗ ≥ 0 , i ∈ I , v ∗j ∈ R , j = 1, 2 , L , l ∇f (x ) −
∗
∑u
5-不等式约束的极值问题及其经济学应用
例子 2 ：利用图解法求解下列极大化模型均衡解
2x2 + y2 – 54 ≤ 0
x ≥ 0， y ≥ 0
首先，确定可行域（见下页图）。
非线性规划的目标就是从可行域内选择一点 (x*, y*) ，使其目标函数值最大。
§5.2
简单不等式约束极值问 题的图解法
对于本题来讲，实际 就是要使得直线与坐标轴 的截距最大。 即：直线与可行域相切。
§5.3
库恩—塔克条件
1. 两变量一约束极值问题的库恩—塔克条件
两个变量一个约束条件的极值问题可写为：
max
s.t.
y = f(x1 , x2)
g(x1 , x2) ≤ 0
…(5-5)
在约束条件中 引入松弛变量 s， 则 (5-5) 可写为：
max
s.t.
y = f(x1 , x2)
g(x1 , x2) + s = 0 s≥0
在这个切点，椭圆 切线的斜率与直线的斜 率相等。
§5.2
简单不等式约束极值问 题的图解法
所以，我们首先求椭圆的切线的斜率。对椭圆 求全微分，得：4xdx + 2ydy = 0 。
整理得：
，于是有：
与 2x2 + y2 – 54 = 0 建立方程组得：
解方程组，得均衡解：(x*, y*) = (3, 6) 。
A
O
x*
x
§5.3
库恩—塔克条件
第二种情况：y 的极大值对应的均衡解 x* 出现在可 行域的边界上，但仍能保证一阶必要 条件 。 在这种情况下，一阶 必要条件为：
y B
且： x* = 0
O
x*
x
§5.3
库恩—塔克条件
运筹学——约束极值问题
8 上游河水进入水库 放水，调整水位 水闸管理员
3
二、排队系统的组成和特征
1、输入过程
输入即指顾客到达排队系统，可能有以下不同情况。
（1）顾客源的组成
有限的 无限的
（2）顾客到来的方式
一个一个的 成批的
（3）顾客相继到达的间隔时间
确定型的 随机型的
（4）顾客的到来
相互独立的 关联的
（5）输入过程
平稳的，或称对时间是齐次的 非平稳的
第十二章 排队论
1
第一节 基本概念
一、排队系统的一般表示
例1 各个顾客由顾客源出发，到达服务机构前排队等候 服务，服务完了后就离开。
服
顾客到来
顾客源
排队结构 服务规则
务 机
排队规则
构
离去
排队系统
排队结构指队列的数目和排列方式
排队规则和服务规则是说明顾客在排队系统中按怎样的 规则、次序接受服务的。
2
Ls=Lq+正被服务的顾客数
3、逗留时间(Ws)：指一个顾客在系统中的停留时间。 4、等待时间(Wq)：指一个顾客在系统中排队等待的时间。
Ws=Wq+服务时间 5、忙期：指从顾客到达空闲服务机构起到服务机构再次空闲止
这段时间长度，即服务机构连续繁忙的时间长度。 6、系统的状态概率[Pn( t )] ：指系统中的顾客数为n的概率。
7、稳定状态：limPn(t)→Pn
10
第二节 时间分布
一、经验分布
例2 某服务机构单服务台，先到先服务，对41顾客记录到达 时刻和服务时间s（单位：分钟）如下表，表中第1号顾客到 达时刻为0。全部服务时间为127（分钟）。
(1) (2) (3) (4) (5) (1) (2) (3) (4) (5) (1) (2) (3) (4) (5) i τi si ti wi i τi si ti wi i τi si ti wi 1 0 5 2 0 5 12 2 7 10 9 36 1 2 0 2 2 7 4 3 6 19 4 3 5 10 38 2 7 0 3 6 1 5 6 7 22 3 4 6 11 45 5 2 0 4 11 9 1 2 8 26 3 10 5 12 47 4 2 3
《有约束极值问题》课件
一种用于解决非线性规划问题的迭代
算法，通过计算目标函数的梯度来寻
找最优解。
3
遗传算法
一种用于解决整数规划问题的启发式 算法，通过模拟生物进化过程寻找最 优解。
案例分析
生产线优化
通过优化生产线的配置和工艺参数，实现生产 效率的最大化。
供应链优化
通过优化供应链网络和运输方案，降低成本并 提高服务质量。
问题分类
线性规划
研究代数形式的线性目标函数和线性约束条 件下的极值问题。
整数规划
研究目标函数和约束条件都是整数的极值问 题。
非线性规划
研究非线性目标函数和非线性约束条件下的 极值问题。
多目标规划
研究含有多个目标函数的极值问题。
常见解法
1
单纯形法
一种用于解决线性规划问题的基本算
梯度 最优解。
《有约束极值问题》PPT 课件
通过本课件，我们将一起探索有约束极值问题，从背景、分类、常见解法、 案例分析、问题讨论，最后总结该问题的内容并展望未来的研究方向和应用 前景。
问题背景
有约束极值问题指的是在一定约束条件下寻找使得目标函数取得最大值或最小值的问题。在本节中，我 们将介绍有约束极值问题的定义和意义。
投资组合优化
通过优化资产配置和风险控制，实现投资组合 的最优化。
项目调度优化
通过优化项目的资源分配和任务安排，提高项 目的执行效率。
问题讨论
1 约束条件的灵活性
2 算法的效率和准确性
在有约束极值问题中，如何有效平衡约束 条件的限制和问题求解的需要？
如何选择合适的算法来解决不同类型的有 约束极值问题，并保证求解结果的准确性？
总结和展望
主要内容总结
运筹学胡运权第06章
f ( X ) 2 x2 x2
令 f(X)=0，即：2x1=0和-2x2=0，得稳定点 X=(x1,x2)T=(0,0)T
（2）再用充分条件进行检验：
2 f ( X ) 2 f ( X ) 2 f ( X ) 2 f ( X ) 2 0 2 2 2 x1 x1x2 x2x1 x2 2 0 2 f ( X ) 0 2
多元 函数 极值 点存 在的 条件
二阶可微的一元函数f(x)极值点存在的条件如下： 必要条件： ( x) 0 充分条件：f对于极小点： 且 f ( x) 0 且 f ( x) 0 对于极大点： f ( x) 0 f (x) 0
对于无约束多元函数，其极值点存在的必要条件和 充分条件，与一元函数极值点的相应条件类似。
其中，R为问题的可行域。
二 维 问 题 的 图 解
当只有两个自变量时，求解非线性规划也可像 对线性规划那样借助于图解法。如以下非线性 规划问题：
min f ( X ) ( x1 2) 2 ( x2 1) 2 2 x x 1 2 5 x2 0 x1 x2 5 0 x1 x 0 1 x2 0
1 f ( X ) f ( X (0) ) f ( X (0) )T ( X X (0) ) ( X X (0) )T 2 f ( X )( X X (0) ) 2
其中，X=X(0)+θ(X-X(0)),0＜θ＜1
若以X=X(0)+P代入，则变为: 其中，X=X(0)+θP
其中，X=(x1,x2,…,xn)T是n维欧氏空间 En中的点(向量)，目标函数f(X)和约束 函数hi(X)、gj(X)为X的实函数。
非 线 性 规 划 的 数 学 模 型
第五章约束问题的最优化方法
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
惩罚函数法
显然 p( x) 满恰足前面的条件（1）和（2）。
连续， 也连续。 结论 1 ： 如果 g j ( x ) j = 1,2, L , m ） （ 连续，那么 p( x ) 也连续。
事实上，只须注意： 事实上，只须注意： f1 ( x ) + f 2 ( x ) − f1 ( x ) − f 2 ( x ) min { f 1 ( x ), f 2 ( x )} = 2
m
n
得到其最优解 x * (λ k )，记为 x k + 1。 step 3 . 如果 µ k q( x k + 1 ) ≤ ε , 则 x k + 1 就是问题 min f ( x ) 的最优解， stop;否则转 step 4。 的最优解， （A）：
x∈ D
step 4 . 给定 µ k + 1 < µ k（可取 µ k + 1 = βµ k 这里 β < 1 为惩罚 因子的缩小系数） , 因子的缩小系数） k := k + 1, 转 step 2。
x∈ D
: 证明 ： 因为 x * (λ k ) 是（B） min ϕ k ( x ) 的最优解 。
x∈ R n
所以 ϕ k ( x * (λ k )) ≤ ϕ k ( x ) , ∀ x ∈ R n 。
, 又 x * (λ k ) ∈ D, 即g j ( x * (λ k )) ≥ 0 j = 1,2,L, m ） （ 所以 p( x * (λ k ) ) = 0 。
1 ∑ 例如： 例如： q( x ) = 或 q( x ) = j =1 g ( x ) j
m m
1 等; 2 j =1 g ( x )
第四章 非线性规划1-约束极值问题
第四章 非线性规划⎧⎪⎧⎨⎨⎪⎩⎩无约束最优化问题线性规划约束最优化问题非线性规划⎧⎨⎩凸规划约束最优化问题非凸规划⎧⎨⎩直接解法约束最优化问题求解方法间接解法间接解法是将约束优化问题转化为一系列无约束优化问题来解的一种方法。
由于这类方法可以选用有效的无约束优化方法，且易于处理同时具有不等式约束和等式约束的问题，因而在工程优化中得到了广泛的应用。
直接解法是在满足不等式约束的可行设汁区域内直接按索问题的约束最优解。
第一节 目标函数的约束极值问题所谓约束优化设计问题的最优性条件．就是指在满足等式和不等式约束条件下，其目标函数值最小的点必须满足的条件，须注意的是，这只是对约束的局部最优解而言。
对于带有约束条件的目标函数，其求最优解的过程可归结为：一、约束与方向的定义 一）起作用约束与松弛约束对于一个不等式约束()0g X ≤来说，如果所讨论的设计点()k X 使该约束()0g X =(或者说()k X当时正处在该约束的边界上)时，则称这个约束是()k X点的一个起作用约束或紧约束，而其他满足()0g X <的约束称为松弛约束。
冗余约束40g ≤当一个设计点同时有几个约束起作用时，即可定义起作用约束集合为{}()()()|()0,1,2,,k k u I X u g X u m ===其意义是对()k X点此时所有起作用约束下标的集合。
二）冗余约束如果一个不等式约束条件的约束面(即()0g X =)对可行域的大小不发生影响，或是约束面不与可行域D 相交，即此约束称为冗余约束。
三）可行方向可行方向：一个设计点()k X 在可行域内，沿某一个方向S 移动，仍可得到一个属于可行域的新点，则称该方向为可行方向。
1）设计点为自由点 设计点()k X 在可行域内是一个自由点，在各个方向上都可以作出移动得到新点仍属于可行域，如图所示。
2）设计点为约束边界点当设计点()k X 处于起作用约束i g 上时，它的移动就会受到可行性的限制。
第七章约束极值问题
§6 多目标决策分析简介 一、问题的提出如设计导弹, 射程远, 耗料少, 命中高等多目标. 如企业生产, 费用最少, 质量最好, 利润最大等. 一般只能是兼顾, 满意等 二、基本概念 一般形式12min (),(),...,():()0,1,2,...,p i V f x f x f x VP g x i m ⎧⎡⎤=⎪⎣⎦⎨≥=⎪⎩其中12(),(),...,()p f x f x f x 为目标函数,()0i g x ≥为约束条件, x 为决策变量. 记{|()0,1,...,}i R x g x i m =≥=,称为VP 的可行解集(决策空间), F(R)=为VP 像集. 定义1 设x R ∈, 若对x R ∀∈, 有()(),1,2,...,i i f x f x i m ≤=则称x 为VP 的绝对最优解, 解集记ab R *.一般很难, 或根本不存在, 故引入非劣解或有效解. 意大利经济学家Pareto:2f 1f 12((),())f x f x g当一个国家的资源和产品是以这样一种方式配置时，即没有一种重新配置，能够在不使一个其他人的生活恶化的情况下改善任何人的生活， 则可以说处于Pareto 最优.定义2设x R ∈, 若不存在x R ∈, 使()(),1,2,...,i i f x f x i p ≤=且至少有一个()()j j f x f x <, 则称x 为VP 的有效解 (或Pareto 最优解),()f x 称为有效点.2f 1f 12((),())f x f x •有效解集记为e R *和有效点集记为e F *常转化为加权形式的一个单目标函数1min ()():pj j j f x P x R λλ=⎧⎪⎨⎪∈⎩∑, 其中10,1p j j j λλ=≥=∑ (12(,,...,)T p λλλλ=,不加证明地引入: 定理1 设x 是单目标问题()P λ的最优解, 若下面两个条件之一成立, 则e x R *∈ 1) 0,1,2,...,j j p λ>=; 2) x 是()P λ的惟一解.定理2 设12(),(),...,()p f x f x f x 是凸函数. 若设x 是多目标问题VP 的有效解, 则存在λΛ+∈,使得x 是()P λ的最优解.三、权系数的确定这里假设: 决策者是根据综合效用(最大)来决策, 则基本思想为: 对重要的分量()j f x , 给大权. 即假设决策者的效用函数为:1()()pi i i u x f x λ==∑其中()i f x 为给出的每个属性的效用函数, 只要再确定权系数i λ, 就可求出使max ()u x 的决策(或解).确定i λ方法有: 1. 专家法 首先给专家填表, 然后汇总, 如右表 算出均值j λ,算出偏差||ij ij j ∆λλ=-, 让偏差大的发言,1212111212122212.........1...2..................n nn n K K Kny y y Kλλλλλλλλλλλλ专家修改权系数, 直到基本满意为止. 有一定的科学性.2. 特征向量法利用AHP 法确定权系数, 即确定111212122212//...///.../............//.../n n n n n n ww A λλλλλλλλλλλλλλλλ⎡⎤⎢⎥⎢⎥≈⎢⎥⎢⎥⎢⎥⎣⎦判断CI 满意后, 求出max λ, 求出特征向量λ即为权系数.四、有限方案的多目标决策方法(关于max 的) 1. 决策矩阵及其规范化设12{,,...,}m X X X X =为可行方案,12{,,...,}n Y y y y =为属性集(相当于各目标)每个方案i X 关于属 性j y 的结果记为:(),1,...,,1,...,ij j ij y f x i m j n === 作决策矩阵, 如右图.1211112122122212...........................nn n mm m mny y y X y y y Xy y y X y y y 属性方案统一量纲的方法有(各目标物理量不一致) (1) 列向量规范化:21/mij ij iji z y y==∑(2) 线性变换, 设maxmax jij iy y =若希望j y 愈大愈好, 则令max/ij ij jz y y =若希望j y 愈小愈好, 则令max1/ij ij jz y y =-(注:各目标都归结为最大, 如设01i y ≤≤, 则12[min ,max ]y y →12[max(1),max ]y y -(3) 其它变换若望i y 大, 则选min max min ij j ij j j y y z y y -=-,若望i y 小, 则选max max min j ij ij jjy y z yy-=-2. 简单线性加权法设()j u ⋅为第j 个目标的效用值, 通过求1max ()nj j x Rj u u x λ∈==∑选择使综合效用值u 最大的方案作为最优方案. 例 某人拟 购买一套住房, 有四处地点可 选, 有关信息 如右表.解 设决策人对各属性比较后得2123451234(m )(km)3.010010772.5808351.850205112.2701258y y y y y X X X X 价格面积距离设备环境方案万元1313-表11/31/21/41/531211/221/211/21/24121152211A ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦价格面积距离设备环境 用AHP 方法, 可求得特征向量(已作归一化)(0.0598,0.1942,0.1181,0.2363,0.3916)T λ=clear;clca=[1 1/3 1/2 1/4 1/5; 3 1 2 1 1/2; 2 1/2 1 1/2 1/2; 4 1 2 1 1 ;5 2 2 1 1];n=5;for i=1:5temp=1;for j=1:5 temp=temp*a(i,j);end; w(i)=temp^(1/n);end;wsum=sum(w);w=w/wsumlmbdmax=(1./w)*a*w'/n[v,d]=eig(a)(有误差)规范化表对第1, 3列用maxmax minj ijijj jy yzy y-=-规范化;对第2, 4, 5列用minmax minij jijj jy yzy y-=-规范化;2123451 2 3 4(m)(km)3.01001077 2.5808351.850205112.2701258 y y y y yX X X X 价格面积距离设备环境方案万元010.83310.3330.4170.61001000.510.6670.40.6670.50.667Z ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦然后计算出每个方案i X 的综合效用1()ni j ij j u X z λ==∑得到: 1()0.6593u X =, 2()0.2596u X =,3()0.5696u X =, 4()0.5757u X =,所以选第1方案.***补充: 1. 基本解法例1设21()2f x x x =-2,01()23,12x x f x x x ≤≤⎧=⎨-+≤≤⎩ [0,2],R =求max ()x RV F x ∈-.解单个最优解(0)111(1)max ()ff f x ==;(0)222(1)max ()f f f x ==是同一个点, 所以1x =是问题的最优解.11f 2f 1f x122f2. 变量空间与目标函数空间的图解法clear;clf;x=[0:1/50:1];f1=2*x-x.^2; f2=x; for i=1:size(x,2)subplot(121);axis([0,2,-1,1]);plot(x(i),f1(i),'.');hold on;plot(x(i),f2(i),'.'); subplot(122);axis([0 1 -1 1]);plot(f1(i),f2(i),'.');hold on; pause(0.1); end2()f βg 1f 12(1)1()(1)1f f x f *⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦()f α2f g 11f 2f 1f x 122f |α|βx−−→x=[1:1/50:2]; f1=2*x-x.^2; f2=-2*x+3; for i=1:size(x,2)subplot(121);plot(x(i),f1(i),'.');hold on;plot(x(i),f2(i),'.'); subplot(122);plot(f1(i),f2(i),'.');hold on; pause(0.1); end例2 设212()2,(),[0,2]f x x x f x x R =-==,求最大. 解 易得单独的(1)(2)1,2x x ==, 无公共解.1f 2f 11f 2f 2f ()f α'()f α()f βg gg 1[1,2]内都是非劣解.例3 设21()2,f x x x =- 22()(123615)8,f x x x =-+-[0,2]R =,求最大max ()x RV F x ∈-. 解 易求得(1)(2)1, 1.5x x ==, 无公共解. [1,1.5]内都是非劣解.2f 11f 2f 2f 11f 1.5clear;clf;x=[0:1/50:2]; f1=2*x-x.^2; f2=(-12*x.^2+36*x-15)/8; for i=1:size(x,2)subplot(121);axis([0,2,-2,2]);plot(x(i),f1(i),'.');hold on;plot(x(i),f2(i),'.'); subplot(122);axis([0 1 -2 2]);plot(f1(i),f2(i),'.');hold on; pause(0.1); endsubplot(121);grid on;subplot(122);grid on;例4 设112()32,f x x x =-+ 212()2f x x x =+1212122318:2100,0x x R x x x x --+⎧⎪--+⎨⎪≥≥⎩, 求max ()x RV F x ∈-.解得(0,6)是单独最优解, 但这一解可接受.例5 设112()32,f x x x =-+ 212()43f x x x =+,R 同例4, 求max ()x RV F x ∈-. 解 易得(1)(0,6)x =,(2)(3,4)x =非最优解, 但非劣解.62x 1x 112f =212f =(3,4)B AC 2f 1f 1A 'B 'C 'g g g这两点连线上的点都是非劣解.%p439%%%%例666666666666666%%第一段 clf;112f =224f =62x 1x (3,4)A B (5,0)C 2f 1f 1A 'B 'C 'g g gx1=[0:1/10:5];x2=zeros(1,size(x1,2));for i=1:size(x1,2)subplot(121);axis([0 6 0 6]);hold on;plot(x1(i),x2(i),'.');f1=-3*x1(i)+2*x2(i);f2=x1(i)+2*x2(i);subplot(122);axis([-16 12 0 12]); hold on; plot(f1,f2,'.');pause(0.1);endpause;%%第2段x1=[5:-1/10:3];x2=10-2*x1;for i=1:size(x1,2)subplot(121); %axis([0 6 0 6]);hold on;plot(x1(i),x2(i),'.');f1=-3*x1(i)+2*x2(i);f2=x1(i)+2*x2(i);subplot(122);%axis([-16 12 0 12]); hold on;plot(f1,f2,'.');pause(0.1);endpause;%%第3段x1=[3:-1/10:0];x2=(18-2*x1)/3;for i=1:size(x1,2)subplot(121);%axis([0 6 0 6]);hold on;plot(x1(i),x2(i),'.');f1=-3*x1(i)+2*x2(i);f2=x1(i)+2*x2(i);subplot(122);%axis([-16 12 0 12]); hold on;plot(f1,f2,'.');pause(0.1);endpause;%%第4段x2=[6:-1/10:0];x1=zeros(1,size(x2,2));for i=1:size(x1,2)subplot(121);%axis([0 6 0 6]);hold on;plot(x1(i),x2(i),'.');f1=-3*x1(i)+2*x2(i);f2=x1(i)+2*x2(i);subplot(122);%axis([-16 12 0 12]); hold on;plot(f1,f2,'.');pause(0.11);end。
有约束极值问题
f
(
X
)
1
0
,
g1
(
X
)
3(1
x1 1
)2
,
g2
(
X
)
1 0
,
g3
(
X
)
0 1
K-T条件
f
(ቤተ መጻሕፍቲ ባይዱ
X
*
)
1*g1
(
X
*) 2*g2 ( X 1*g1( X *) 0 2*g2 ( X *) 0
X 2
2 , X 2
2
带入（6）式都不满足
故该问题有唯一的K-T点X (0, 3)T 即为极小值点，
三、Wolfe对偶问题
1 定义
设
g
j
min f (X (X ) 0, j
)
1,
...,
l
(1) 或
min f ( X ) g j ( X ) 0, j 1,...,l hi ( X ) 0,i 1,..., m
则在 X (0) 处不存在可行下降方向。即不存在向量 D
g j ( X ) (0) T D 0, j J (1)
f ( X (0) )T D 0 (2)
同时成立
二、最优性条件
1、Gordan引理
设
A1,..., Al
为l
个n
维向量，不存在向量P 使得
AT j
P
0,
J
1,...,l成立
7约束极值问题
对于非线性规划minf(x), R={x|gj(x)≥0, j=1,2,…,l}， 对于非线性规划 ， 是它的一个可行点。现考虑方向D， x(0)是它的一个可行点。现考虑方向 ，若存在某个实 数λ0>0，使对任意 ∈[0, λ0]，均有 (0)+λD∈R，则称方 ，使对任意λ∈ ，均有x ∈ ， 向D是x(0)点的一个可行方向。 是 点的一个可行方向。 D是可行点 (0)处的可行方向的关键是，对该点的 是可行点x 是可行点 处的可行方向的关键是， 所有起作用约束满足： 所有起作用约束满足： gj(x(0)+λD)≥0, j∈J（起作用约束下标集） ∈ （起作用约束下标集） g 考虑到 gj(x(0)+λD)= gj(x(0))+λᐁj(x(0))TD+o(λ) 则对所有起作用约束， 足够小时 足够小时， 则对所有起作用约束，当λ足够小时，只要满足条件 g ᐁj(x(0))TD＞0，j∈J ＞ ，∈ 对于非线性规划的一个可行点x 考虑方向D， 对于非线性规划的一个可行点 (0) ，考虑方向 ， 若存在实数λ 若存在实数 0'>0，使对任意 ∈[0, λ0']，均有 (0)+λD) ，使对任意λ∈ ，均有f(x 则称方向D是 点的一个可行方向。 ＜ f(x(0)) ，则称方向 是x(0)点的一个可行方向。 考虑到f(x 的泰勒展开， 考虑到 (0)+λD)的泰勒展开，可知满足条件 的泰勒展开 f(x(0))TD＜0 ＜
第7章 约束极值问题
约束极值问题： 约束极值问题： minf(x) 或 minf(x) gj(x)≥0, j=1,2,…,l hi(x)＝0, i=1,2,…,m ＝ gj(x)≥0, j=1,2,…,l
第1节 最优性条件