二次规划

x L ( x, ) 0 L ( x, ) 0
Q R H A : R S A 0
T T 1
H AT x c 0 b A
x Qc R T b
搜索方向的确定： min z f ( x ) d
T
LP问题
s.t.
A d 0 1 Ed 0 dj 1
获得有限解
d 0是可行解 zmin 0
zmin 0, 则得到可行下降方向. d
zmin 0 x为K T点
Fark ars 定理：Ax 0, c T x 0有解 AT y c, y 0无解
等式约束，在此约束下极小化目标函数，而其余的
约束暂且不管，求得新的比较好的可行点后，重复
以上做法。
x x (k )
1 T min x Hx cT x 2 i (k ) s.t. a x bi , i I 1 T min H f ( x ( k ) )T 2 s.t. a i 0, i I ( k )
基本思想：
适当修改线性规划的单纯形方法，求二次规划的K-T点.
用Lemke方法求解：
2 min f ( x) x12 x1 x2 2 x2 x1 10 x2
3 x1 2 x2 x 0 s.t. 1 x2 0
6
1 T min f ( x) x Hx cT x 2 s.t. Ax b y v x0

主元选择规则：

若wi(zi)离基，则zi(wi)进基。 离基变量按最小比值原则选取。
用Lemke方法求解：
2 min f ( x) x12 x1 x2 2 x2 x1 10 x2
3 x1 2 x2 x 0 s.t. 1 x2 0
w1 9 w2 0 w 3 16 z1 0 z 2 0 z3 0 z 10 0
求 步 长 仅 与 不 起 作 用 集 有 关
其中max
(b2 A2 x ( k ) ) i (k ) ( A2 d ) i 0 ( A2 d ( k ) ) i 0 min ( A2 d ( k ) ) i A2 d ( k ) 0
w Mz ez0 q
人工变量
z0先进基，最后出基。
术 语

• •
互补基本可行解
是基本可行解 每个互补变量对中有一个变量是基变量

准互补基本可行解


是基本可行解 有一对互补变量都不是基变量 人工变量是基变量，除了一对互补变量外，其他对互 补变量恰有一个是基变量
Lemke方法的原理
步长： min f ( x ( k ) d ( k ) ) s.t . 0 max 其中max sup{ gi ( x ( k ) d ( k ) ) 0, i 1,..., m }
作业P323
20
5.6 序列无约束化方法
惩罚函数法
2 1 2 2
2 x1 x2 1 0 初始可行点(0,0)T s.t. x1 x2 2 0 x 0, x 0 1 0 x1 0 2 1
0 1 x 2
x
1 2
( 2)
凸规 划
d
(1)
1 wk.baidu.com 1 1 1 0 0
5.4
二次规划
二次规划

目标函数是二次函数 约束是线性的


Lagrange 方法 起作用集方法 Lemke方法


Lagrange 方法
1 T T min f ( x) x Hx c x 2 s.t. Ax b
1 T L( x, ) x Hx cT x T ( Ax b) 2
0
,i I
(k ) i
(k )

(k ) i
0, i I
(k )
x (k )是最优解
(qk ) 0, q I ( k )
d A( k )T ( A( k ) A( k )T ) 1 eq
I ( k ) /{q | (qk ) min{(i k ) 0}}
2 1 ( 2 ) 1 2 min{1, } 7 2 1 不变 ( 4) 3 min{1,8} x 2 3 9 ( 4) 1 4 4
Lemke方法
1 T min f ( x) x Hx cT x 2 Ax b s.t. x 0
f ( x ) d 0
T
可行方向:
定义2 : 设集合S R n，x cl S , d 0 R n 若 0, s.t. (0, ), 有 x d S 则称d为S在x 处的可行方向。 其中" cl" 表示闭包。
g i ( x ) d 0
T
iI
6
0 0 26 / 5 0 9/5 0 14 / 5
0 0 0 13 / 14 33 / 14 0 3/ 2
0 0 0 1/ 2 9 / 4 3/ 4 0
K T条件：w Mz q
u
线性互 补问题
AT c , q 0 b
w, z 0 wT z 0
q0 q0
z 0, w q
H u x w , z , M v y A
基本可行解
1 1
1 1
d
( 2)
2
x ( 3)
1 2 3 2
d
( 3)
x (3)是K T点
不等式约束情形
min f ( x ) s .t . g i ( x ) 0 其中f ( x ), g i ( x )均可微。
方向： min z Topk is Veinott 修正方向： min z
两阶 段法
初始可行解的确定：
l m min i i i 1 i 1 Ax b s.t. Ex e 0, 0
LP问题
人工变量
若最优解 x , , ) ( x ,0,0) ( x是可行解。
例： min x x 2 x1 4 x2 6
不变
减少
I
(1)
{2}
减少
(1)
0 5 2
6 1 min{1, } 5
I
( 2)
0 7 ( 2) (22) {2} x 5 I ( 2) 2 2 2 3 增加 ( 3) ( 3) ( 3) x 7 I {1} 14 18 9 28 7
f ( x )T d z 0 f ( x )T d z 0 T s.t.g i ( x ) d z 0, i I s.t.g i ( x )T d z g i ( x), i d j 1 d j 1
z min 0 d为下降可行方向 z min 0 x是Fritz John点
起作用约束集增加一个

(k )
0
k min{1, p },
p 1
I ( k ) { p}
bi ai x ( k ) (k ) i (k ) p min i ( k ) i I , a 0 1 p a
起作用约束集不变

(k )
搜索步长的确定： f ( x ( k ) d ( k ) ) min A( x ( k ) d ( k ) ) b (k ) (k ) s.t. E ( x d ) e 0 (k ) (k )
d )
min f ( x s.t.
A2 x ( k ) A2 d ( k ) b2 0 min f ( x ( k ) d ( k ) ) s .t . 0 max
min f ( x ) Ax b s.t . Ex e 其中f ( x )可微.
下降方向：f ( x ) d 0
T
A1d 0 d为可行方向 Ed 0
( A1 x b1 ; A2 x b2 )
起作用约 束
求 方 向 仅 与 起 作 用 集 有 关
2 1 2 2 2 3
s.t.
x1 2 x1
x2 x2
x3 x3
4 2
21 x 11
43 22
3 22
T
起作用集方法
1 T T min f ( x) x Hx c x 2 s.t. Ax b
基本思想：
以已知的可行点为起点，把在该点起作用约束作为
Rc Sb
x x ( k ) Q f ( x ( k ) )
Q H 1 H 1 AT ( AH 1 AT ) 1 AH 1 R ( AH 1 AT ) 1 AH 1 S ( AH A )
1 T 1
R f ( x ( k ) )
例 : 用Lagrange 方法求解下列问题： min f ( x) x 2 x x 2 x1 x2 x3
作业 P323
17、18、19
5.5 可行方向法
无约束下降算法的推广
典型策略：
I. II. III.
从可行点出发， 沿着下降可行方向进行搜索。 求出使目标函数值下降的新的可行点。
主要步骤：
方向+步长
下降方向:
定义1 : 设f ( x)是定义在R n上的实函数，x R n , d 0 R n 若 0, s.t. (0, ), 有 f ( x d ) f ( x ) 则称d为f ( x)在x 处的下降方向。


从一个准互补基本可行解到另一个准互补基本可 行解的转换，直至得到互补基本可行解。 初始解：人工变量为进基变量，选离基变量使之 成为准互补基本可行解。
z0 max{ qi | i 1,...., m n} qs z 0, w q ez0 q eqs 0
可行下降方向
若x点的某一方向 ， d 则称d为x的可行下降方向。
既是该点的可行方向， 又是该点的下降方向
§5.5.1 Zoutendijk（约坦狄克）可行 方向法
I. 线性约束情形 II. 不等式约束情形 III.一般约束情形
待解决的问题

搜索方向的确定
搜索步长的确定 初始点的确定


线性约束情形
起作用约束集减少一个
例 : 用起作用集方法求解二次规划问题：
2 min f ( x) x12 x1 x2 2 x2 x1 10 x2
3 x1 2 x2 6 x 0 s.t. 1 x2 0 初始点(0,0)T (21) 1 0 I (1) {2,3} (1) 0 (31) 10