二次规划

z 0 max{ q i | i 1,...., m n } q s z 0 , w q ez 0 q eq s 0

主元选择规则：

若wi(zi)离基，则zi(wi)进基。 离基变量按最小比值原则选取。
用 Lemke 方法求解：
min f ( x ) x1 x1 x 2 2 x 2 x1 10 x 2
2 1 2 2 2 3
s .t .
x1 2 x1
x2 x2
x3 x3
4 2
21 x 11
43 22
3 22
T
起作用集方法
min f ( x ) s .t . 1 2 Ax b x Hx c x
T T
基本思想：
以已知的可行点为起点，把在该点起作用约束作为
(k )
)
(k )
A2 x ( k ) A2 d 0
min f ( x
(k )
b2
求 步 长 仅 与 不 起 作 用 集 有 关
d
(k )
)
s . t . 0 max 其中 max ( b2 A2 x ( k ) ) i (k ) ( A2d )i 0 min (k ) )i ( A2d ( A2 d A2d
gi(x) d 0
T
i I
可行下降方向
若 x 点的某一方向 d， 又是该点的下降方向，
既是该点的可行方向，
则称 d 为 x 的可行下降方向。
§5.5.1 Zoutendijk（约坦狄克）可行 方向法
I. 线性约束情形 II. 不等式约束情形 III.一般约束情形
待解决的问题

搜索方向的确定
2 1
(1 )

(1 ) 3
10
7 2
I
(1 )
{ 2}
(1 )
不变
I
(2)
减少
(2)
0 5 2
1 min{ 1, }
5
6
{ 2} x
0 5 2

(2) 2

I
(2)



(2)
2 1 2
z min 0 d 为下降可行方向 z min 0 x 是 Fritz John 点
步长： min f ( x
(k )
d
(k )
)
s . t . 0 max 其中 max sup{ g i ( x
(k )
d
(k )
) 0 , i 1 ,..., m }

准互补基本可行解


是基本可行解 有一对互补变量都不是基变量 人工变量是基变量，除了一对互补变量外，其他对互 补变量恰有一个是基变量
Lemke方法的原理


从一个准互补基本可行解到另一个准互补基本可 行解的转换，直至得到互补基本可行解。 初始解：人工变量为进基变量，选离基变量使之 成为准互补基本可行解。
搜索步长的确定 初始点的确定


线性约束情形
min s .t . f (x) Ax b Ex e
其中 f ( x ) 可微 .
下降方向：
d 为可行方向
f (x) d 0
T
A1 d 0 Ed 0
( A1 x b1 ; A 2 x b 2 )
起作用约 束
x 是可行解。
例： min x x 2 x1 4 x 2 6
2 1 2 2
s .t .
2 x1 x 2 1 0 x1 x 2 2 0 x 0, x 0 1 2 1 0
d
(1 )
凸规 划
初始可行点 ( 0 ,0 )
求 方 向 仅 与 起 作 用 集 有 关
搜索方向的确定： m in z f ( x ) d
T
LP问题
s .t .
A d 0 1 Ed 0 dj 1
获得有限解
d 0 是可行解
z min 0
d.
T
z min 0 , 则得到可行下降方向
z min 0 x 为 K T 点
T T
x L ( x, ) 0 L ( x, ) 0
Q R
Q H
1
H A
A 0
T
T A x c 0 b
R : S
T
1
H A
(k )
)i 0 0
(k )
两阶 段法
初始可行解的确定： m m in i i 1 i i 1
l
LP问题
s .t .
Ax b Ex e 0, 0
人工变量
若最优解
( x , , ) ( x ,0 ,0 )
作业P323
20
5.6 序列无约束化方法
q 0
z 0, w q
H u x w , z , M v y A
基本可行解
人工变量
q 0
w Mz ez 0 q
z 0先 进 基 ， 最 后 出 基 。
术 语

• •
互补基本可行解
是基本可行解 每个互补变量对中有一个变量是基变量
作业 P323
17、18、19
5.5 可行方向法
无约束下降算法的推广
典型策略：
I. II. III.
从可行点出发， 沿着下降可行方向进行搜索。 求出使目标函数值下降的新的可行点。
主要步骤：
方向+步长
下降方向:
定义 1 : 设 f ( x ) 是定义在 R 上的实函数， 若 0 , s .t . ( 0 , ), 有 f (x d ) f (x ) 则称 d 为 f ( x ) 在 x 处的下降方向。
2 2
3 x1 s .t . x1 0 x 0 2
w1 w2 w 3 z1 z 2 z3 z 0
2 x2
6
9 0 16 0 0 0 10
n
x R ,d 0 R
n
n
f (x) d 0
T
可行方向:
定义 2 : 设集合 S R ， x cl S , d 0 R
n n
若 0 , s .t . ( 0 , ), 有 x d S 则称 d 为 S 在 x 处的可行方向。 其中 " cl " 表示闭包。
Lemke方法
min f ( x ) 1 2 s .t . Ax b x 0 x Hx c x
T T
基本思想：
适当修改线性规划的单纯形方法，求二次规划的K-T点.
用 Lemke 方法求解：
min f ( x ) x1 x1 x 2 2 x 2 x1 10 x 2
2 min{ 1, }
7
1
x
(3)
2 7 18 7

增加
I
(3)
{1}

(3)
3 14 9 28
不变 3 min{ 1,8} 3 (4) 1 4
x
(4)

1 2 9 4
(k )
a 0,
i
i I

(k )
0
k min{ 1, p },
p

p
1
I
(k )
{ p}
bi a i x ( k ) (k ) i min i I ,a i (k ) a
(k )
0

p
1
起作用约束集不变
(k )

(k )
0 0 26 / 5 0 9/5 0 14 / 5
0 0 0 13 / 14 33 / 14 0 3/2

0 0 0 1/ 2 9/4 3/4 0
2 2
次规划问题：
min f ( x ) x1 x1 x 2 2 x 2 x1 10 x 2 3 x1 s .t . x1 0 x 0 2 初始点 ( 0 , 0 )
I
(1 )
2 x2
6
T
减少
{ 2 , 3}
(1 )
0 0
T
0 x1 0 1 x2
1 1
1 1 1 1 0 0
1 1
x
(2)
d
(2)
2
1 2
x
(3)

1 2 3 2
Farkars 定理： Ax 0 , c x 0 有解 A y c , y 0 无解
T
搜 索 步 长 的 确 定 ： in f ( x m
Hale Waihona Puke Baidu
(k )
d
(k )
)
s .t .
(k )
m in f ( x s .t .
d
A( x (k ) d (k ) ) b (k ) (k ) d ) e E(x 0
5.4
二次规划
二次规划

目标函数是二次函数 约束是线性的


Lagrange 方法 起作用集方法 Lemke方法


Lagrange 方法
min f ( x ) s .t .
L ( x, ) 1 2
T
1 2
x Hx c x
T T
Ax b
x Hx c x ( Ax b )
2 2
3 x1 s .t . x1 0 x 0 2
2 x2
6
min f ( x ) s .t .
1 2
x Hx c x
T T
Ax b x0
y u
v
K T 条件： w Mz q
w, z 0 w z 0
T
线性互 补问题
T A c , q b 0
等式约束，在此约束下极小化目标函数，而其余的
约束暂且不管，求得新的比较好的可行点后，重复
以上做法。
min s .t .
x x
(k )
1 2
x Hx c x
T T
a x bi ,
i
i I
(k ) T
(k )

min s .t .
1 2
H f (x
T
)
起作用约束集增加一个
0
i , i I
(k )

(k )
(k ) i
0, i I
(k )
x
是最优解
q
d A
( k )T
(k )
0, q I
1
(k )
I
(k )
/{ q | q
(k )
min{ i
(k )
0}}
(A
(k )
A
( k )T
) eq
起作用约束集减少一个
例 : 用起作用集方法求解二
1
x Qc R b
T
Rc Sb
1
H
1 T
1
A ( AH
1
T
A )
T
1
AH
R ( AH
A )
T
AH
1
x x
(k )
Qf (x
(k )
(k )
)
S ( AH
1
A )
1
Rf (x
)
例 : 用 Lagrange 方法求解下列问题： min f ( x ) x 2 x x 2 x1 x 2 x 3
d
(3)
x
(3)
是 K T点
不等式约束情形
min f ( x ) s .t . g i ( x ) 0 其中 f ( x ), g i ( x ) 均可微。
方向： min z Topkis Veinott 修正方向： min z
f ( x )T d z 0 f ( x )T d z 0 T s .t . g i ( x ) d z 0 , i I s .t . g ( x ) T d z g ( x ), i i i dj 1 dj 1