非线性规划a-V12

j=1

4/13/2018
6
NLP的建立
❑非线性规划模型
• 决策变量: ai, qi, i = 1,2,3, 即 a1, a2, a3, q1, q2, q3
• 目标函数:
对于四个月的所有产品，使其误差 emi的平方和最小 (最小
二乘法)
min a,q
4
f (a,q) =
3
4
e2 mi
(1) f1 (x) = (x1−2 )2 + (x2 − 2 )2
(2) f2 ( x) = 2x1 + 3x2 + 0.5x3 − x4
2
( ) (( )) f1
x*
2 =
2
x1* − 2 x2* − 2


( ) f2
x*
=

3

0.5

−1

4/13/2018
(2) f2 (x) = 2x1 + 3x2 + 0.5x3 − x4
( ) 2 f
x*
=
2 0
0 2
0 0 0 0
( ) 2 f2
x*
= 0 0
0 0
0 0
0 0
0 0 0 0
4/13/2018
19
矩阵正定的定义
A是一个n×n 的矩阵
▪ 正定矩阵 对于任意非零向量 x, 矩阵A 都满足 xTAx > 0
a11 a12 a13 a21 a22 a23 0 a31 a32 a33
4/13/2018
20
预备知识
❑NLP的可行方向
min f ( x) where Rn x
▪点x处的可行方向d 当一个方向d (即一个n维向量) 是可行域Ω 内点 x处的可行方向时，那么存在参数���������使��� 方向d 满足：
例如
f (x) = 1− 1 , = x : x 0.5, max f (x) = ?
x
x
4. 可行域可能不是相互连接的
例如
= x : g1(x) g2(x)
4/13/2018
11
预备知识
❑ 极大值解和极小值解 ▪ x*=1是函数 f1(x)的全局极小值解 ▪ x*=1是函数 f2(x)的全局极大值解
16
多元函数--梯度
❑梯度的几何解释
给定一个函数 f(x)=x1+x2, 在点 x=(2,1)处，梯度为：
f (2, 1)= (1, 1)T
✓ 观察发现： 1.当沿着点x的梯度方向移动时，函数值将增加； 2.当沿着点x的负梯度方向移动时，函数值将减小。
对于使目标函数值最小的问题，负梯度方向为其提供了一 个重要的线索。如何证明？
Infeasible Region
起作用约束
起作用约束
4/13/2018
22
预备知识
❑NLP的可行方向
X = X (0) + D
证明：用泰勒展开
: 步长
( ) ( ) f ( X ) = f ( X (0)) + f X (0) T X − X (0) + ( X − X (0))
g j ( X (0) + D) = g j( X (0) ) + g j( X (0) )T D + ()
4/13/2018
1
交通分析1
非线性规划a
东南大学交通学院 刘志远 教授
4/13/2018
2
非线性规划
❑ 学习目标 ⚫了解非线性规划（Nonlinear Programming, NLP ）的概念和分
类；
⚫熟悉一阶和二阶必要最优性条件； ⚫学习KKT(Karush-Kuhn-Tucker)条件； ⚫知道如何用KKT条件找到局部最优解； ⚫了解求解多元无约束极小化问题的最速下降方向法； ⚫掌握求解多元有约束极小化问题和交通分配问题的Frank-
( )
2 f
x*
/
x1xn

( )
2 f
x*
/
x2xn







( ) ( ) ( )

2
f
x* / xnx1
2 f x* / xnx2

2 f
x*
/2x 2
nn
▪例
(1) f1( x) = (x1 − 2)2 + (x2 − 2)2
x +d for all 0
例: Ω={(x1,x2)|x1+x2≤2, x1≥0, x2≥0} ✓ 对于内点 (1,0.5), 任意一个方向都是可行方向(Why?)
✓ 对于顶点 (2, 0), 可行方向: d = (1,0.5) - (2,0) = (-1,0.5)
不可行方向: d = (3, 1.5) - (2,0) = (1, 1.5)
因为 g j ( X (0))=0
而且，步长 0 , g j ( X (0) + D) 0, j J
所以
g
j(
X
(0)
) T
D

0,
j
J
对于不起作用约束：即 gi( X (0) ) 0,i J
对于任意方向D，总存在
0
，满足
gi( X
)
(0)

0,i

J
4/13/2018
x
=

x 2


2

xx43
4/13/2018
15
多元函数--梯度
❑ 一个n元函数f(x)在最优解x=x*处的梯度可表示为：
( ) f

x*
/
x1

( ) ( ) f
x*
f =
x*
/
x
2



▪例
( ) f x* / xn
f : Rn →R1 what if Rn → Rn ? Jacobian矩阵
j =1
我们的问题是从他的月消费记录中推断出参数qi 和ai (i=1,2,3)
4/13/2018
5
NLP的建立
四个月的购买记录
注: pmi 为第m个月产品i 的价格; Qmi 为第m个月购买产品i的数量
在第m个月中，对于产品i的实际花费和预测花费的误差为:

3

emi = pmiQmi − pmiqi + ai(Em − pmjq j) , m = 1,2, 3, 4;i = 1,2, 3
4/13/2018
21
预备知识
❑NLP的可行方向
• 起作用约束 gi (X) 0 i = 1,2,..., m
假设D是点X (0)处的可行方向。点 X (0)处起作用约束
是 gj(X) = 0，假设J 是点X (0)处所有起作用约束的集
合，则 g j (X ) (0) T D 0, j J
Wolfe算法.
4/13/2018
数学规划
❑ 线性规划 ❑ 非线性规划 ❑ 动态规划 ❑ 图论 ❑ 随机规划 ❑ ……
3
非线性规 划
无约束最优化 有约束最优化
凸规划
非凸规划
线性约束规划
几何规划
二次规划
分数规划
非线性有约束规划
可分规划
4/13/2018
4
NLP的建立
❑ 例：消费者行为预测模型
假设在一个月内，一个消费者把E美元用在3种不同的产品上 (i=1,2,3)。假设第i种产品的价格为pi，该消费者购买第i种产品数 量至少为qi 单位。在剩余的钱中，消费者将以占剩余钱的固定
12
预备知识
▪ 函数 f3(x)的全局极小值解和极大值解分别是什么? ▪ 函数 f3(x)在可行域 −5 x 2 内的全局极小值解和极大值解
分别是什么?
6
5
Local minimum
4
Local
3
maximum
2
Local
1
0
-5
-4
-3
-2
-1
0
1
2
( ) (c) 函数
f3 (x) =
x 2
min (or max) f ( x1,, xn )
g1(x1,, xn) 0 g2(x1,, xn) 0

( gm1 x1,,xn) 0 h1(x1,, xn)= 0 h2(x1,, xn)= 0

( hm2 x1,,xn) = 0
目标函数 不等式约束
等式约束
4/13/2018
2
−
2)2
(x1 − 1)2+(x x1 + x2 1
2
−
1)2 −
1
0
x ,x 12

0
x2
可行域为: Ω= Hale Waihona Puke Baidu2
(2,2)
x1 x2
5
Ω
(2,2)
x1 5
x2
Ω
(2,2)
1
x1 1
4/13/2018
8
NLP的定义
❑问题描述
确定一组决策变量的值,使目标函数达到最优，同时满足约
束条件。
subject to
( ) f ( X (0) + D) = f ( X (0)) + f X (0) T D + ( X − X (0))
9
NLP的定义
➢ 向量表示: – 决策变量: – 不等式约束:
x = (x1,, xn )T
( ) g = g1,, g m1 T
– 等式约束:
( ) h = h1,,hm2 T
➢ 假设
f(x), g(x) 和 h(x) 都是连续可微函数
➢ 非线性规划的向量表示
min f ( x) x
subject to
(ii)(最优性)对于x*邻域内的任意x都满足 f (x) f (x*)
4/13/2018
14
多元函数
❑例
(1) f1 (x) = (x1 − 2)2 + (x2 − 2)2
向量:
x
=

xx12

2
(2) f2 (x) = 2x1 + 3x2 + 0.5x3 − x4
x1
向量:
▪ 半正定矩阵 对于任意非零向量 x, 矩阵A 都满足 xTAx ≥ 0
▪ 正定的充要条件 如果矩阵A的k(k=1,2,…,n)阶顺序主子式都大于0，那么矩
阵A是正定的
a a a

11
a21
12
a22
13 a23
a31
a32
a33

a11 0
aa 11 12 0
a21 a22
4/13/2018
17
多元函数--梯度
❑梯度的几何解释
4/13/2018
18
多元函数—海塞矩阵
❑ n元函数f(x)在最优解 x=x* 处的海塞矩阵可表示
( ) 为：
2 f
x* / 2x1
( ) ( ) 2 f
x*
2 f =
x* / x2x1
( ) 2 f x* / x1x2 ( ) 2 f x* / 2x2
4/13/2018
7
NLP的定义
➢ 例1
min
xR2
f
(x) =
(x1
−
2)2+ (x
2
− 2)2
➢ 例2
min f (x) subject to
=
(x 1
−
2)2+ (x
2
−
2)2
x1 x,
1
+ x
x2 2
− 0
5

0
➢ 例3
min f (x) subject to
=
(x 1
−
2)2 +
(x
f1 (x ) f2 (x )
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
0
0.5
1
1.5
2
2.5
x
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
0
0.5
1
1.5
2
2.5
x
(a) 函数 f1 (x) = (x −1)2 + 0.5
(b) 函数 f2 (x) = 0.5 − (x −1)2
4/13/2018
min f ( x) x
where
g ( x) 0
= x g (x) 0,h(x) = 0
h(x) = 0
▪ 不等式约束较为常见
4/13/2018
10
预备知识
❑NLP的求解难点
1.局部最优 ≠ 全局最优 2.与 LP相比, NLP的最优值可能不是在极值点（顶点）处出现 3.即使 f(x)是有界的 , 也可能不存在最优解
23
预备知识
❑NLP的下降方向
• 如果向量D是点X (0)处的下降方向,那么存在实数 >0, 满足 f ( X (0) + D) f ( X (0))
• 对于任意下降方向，我们进一步可得到f ( X ) (0) T D 0
• 证明: 由 f ( X ) 在点 X (0)处的泰勒展开，可得：
x
4/13/2018
13
预备知识
❑ 最小化问题的全局极小值解和局部极小值解
min f (x) x
▪ 全局极小值解 x* (i) (可行性) x* 是极小化问题的一个可行解,例如 x*
(ii)(最优性)对于任意的 x 都满足 f (x) f (x*)
▪ 局部极小值解 x* (i) (可行性) x*是极小化问题的一个可行解,例如x*
比例ai来购买产品i。参数ai可以解释为该消费者用剩余资金来购
买产品i的边际消费倾向。一旦这些数值可以被预估出来，我们
就可以用如下模型来预测消费者的消费行为：
3
piqi + ai[E − ( p1q1 + p2q2 + p3q3)] = piqi + ai(E − p jq j), i = 1,2,3
=
3

pmiQmi
−

pmi qi
+
ai (Em
−
3
2 pmj q j )
m=1 i=1
m=1 i=1

j=1

其中 a = (a1, a2 , a3 )T ,q = (q1, q 2 , q3)T
• 约束:
(2) a1+ a2 + a3 = 1
(1) ai 0; qi 0, i = 1,2,3 (3) qi Qmi, i = 1,2,3, m = 1,2,3,4