最优化理论与算法(第九章)

第九章 二次规划

§9.1 二次规划问题

称形如

1min ()2

T

T Q x x Hx g x =

+ 1,,. 1,,T i i e

T i i e a x b i m s t a x b i m m

⎧==⎪⎨≥=+⎪⎩ （9.1）

的非线性规划问题为二次规划问题。对二次规划问题，有如下的最优性条件。

定理9.1 设x *

是（9.1）的局部极小点，则必存在乘子(1,

,)i i m λ*=，使得

1

0 1,

, 0 1,,m

i i i T i i i e i e g Hx a a x b i m m i m m

λλλ**=**

*

⎧+=⎪

⎪

⎪⎡⎤-==+⎨⎣⎦⎪≥=+⎪⎪⎩

∑ （9.2） 且对于一切满足于：

0, ()T

i d a i E

I x *=∈

的n d R ∈，都有0T

d Hd ≥。

注：1）上述定理的前后两部分分别对应于一、二阶的必要条件；

2）满足上述条件的d ，都有(,)d S x λ*

*

∈； 3）当约束条件均为线性函数时，容易证明：

(,)(,)(,)FD x X SFD x X LFD x X *

*

*

==及(,)(,)S x G x λλ*

*

*

*

= 上面给出的是二次规划的必要性条件，下面给出充分性条件。 定理9.2 设x *

是K-T 点，λ*

是相应的Lagrange 乘子，如果对满足

0 0 () 0 () 0 T i T

i T i i d a i E d a i I x d a i I x λ*

**⎧=∈⎪≥∈⎨⎪=∈>⎩

且 （9.3）

的一切非零向量n

d R ∈，都有0T

d Hd >，则x *

是（9.1）的局部严格极小点。

注：条件组（9.3）表示的正好是(,)d G x λ**

∈的条件，因此这个定理实际上是上一节二阶充分性条件在二次规划情形的特殊表述。

对二次规划问题还有如下充分必要条件

定理9.3 设x *是（9.1）的可行解，则x *

是一局部最小点的充要条件是：存在乘子1(,

,)m λλλ***

=，

使得（9.2）满足，且对一切满足（9.3）的d 都有 0T

d Hd ≥

注：这个定理的证明可参见韩继业《二次规划理论与算法》，曲阜师范学院学报，1985年第一期1~8。

特别地，当H 为正定或半正定时，目标函数为凸函数，二次规划为凸规划。因此任何K-T 点必为二次规划的全局极小点，此时求解（9.1）等价于求解

0 0 T

i i T

i i T i i i i

g Hx A a x b i E a x b i I a x b i I i I λ

λλ⎧+=⎪=∈⎪⎪≥∈⎨⎪⎡⎤-=∈⎪⎣⎦⎪≥∈⎩ （9.4） 其中{1,,}e E m =，{1,,}e I m m =+，1,,m λλλ=（），1[,,]m A a a =

§9.2 对偶性质

二次规划问题： 1min ()2

T

T Q x x Hx g x =

+ 1,,. 1,,T i i e

T i i e a x b i m s t a x b i m m

⎧==⎪⎨≥=+⎪⎩ （9.5）

的Wolfe 对偶为： 1

max )2T T T T

x Hx g x A x b λ⎡⎤

+--⎢⎥⎣⎦（ . 0 i Hx g A s t i I

λ

λ+=⎧⎨

≥∈⎩ (9.6)

在H 正定时，若令A g Hx y λ-==，则（9.6）可改写为：

1

1

max )2

T

T b y H y Q

y λλ-⎡⎤-=⎢⎥⎣

⎦

（，

. 0 i A y g

s t i I

λλ-=⎧⎨

≥∈⎩ （9.7）

假定x 是（9.5）的可行解，而)y λ（，是对偶问题（9.7）的可行解，则有：

111

())()22

T T T T Q x Q y x Hx A y x b y H y λλλ--=+--+（， 111

1111)221221()()2T T

T T T T

T T T i i i i T

T i i i

i I

x Hx A x b y x y H y a x b x Hx y H y x y a x b x H y H x H y λλλ--=--∈=

+--+⎡⎤=-++-⎣⎦=-+--∑∑m

（（）（） 由于i I ∈时，0i λ≥，及0T

i i a x b -≥，并且H 正定，即得：

())Q x Q y λ≥（，

等式成立当且仅当：

0T

i i i i I

a x

b λ

∈-=∑（） 同时1x H y -=。

定理9.4 （对偶定理）设x 是原问题（9.5）的可行解，而)y λ（，是对偶问题（9.7）的可行解，

则总有：())Q x Q y λ≥（，；若存在（9.5）的可行点x *，（9.7）的可行点(,)y λ**

，使得：()(,)Q x Q y λ***=，则x *，(,)y λ**分别为原问题与对偶问题的最优解。

由于当且仅当：

0T i i i i I

a x

b λ

∈-=∑（）且1x H y -=时，())Q x Q

y λ=（，。从而有下面定理： 定理9.5 设H 正定，则（9.5）的可行点x *

是最优解的充要条件是存在对偶问题（9.7）的可行解

(,)y λ**满足：1x H y *-*=，及0T i i i i I

a x

b λ**

∈-=∑（）

。 定理9.6 设H 正定，则原问题不可行当且仅当对偶问题无界。

证明：1）若原问题可行，则由())Q x Q

y λ≥（，知对偶问题有界； 2）若原问题不可行，利用Farkas 引理，可构造一无界的对偶可行解，故对偶问题无界。

我们已经看到，原问题的Lagrange 函数 1

(,)()T

i i

i i L x Q x a x b λλ

==-

-∑m

（）

与对偶问题有密切联系，实际上它正是对偶形式（9.6）的目标函数。

求解问题（9.5）⇔求解上节的K-T 问题（9.4）⇔求Lagrange 函数(,)L x λ在区域