二次规划 ppt课件

(9-59)
证 考 虑 问 题 (9-58) 的 拉 格 朗 日 函 数
L ( x, ) 1 T x Gx r T x T ( AT x b), 2
(9-60)
则 问 题 (9-58) 的 Kuhn - Tucker 条 件 等 价 于 线 性 方 程 组 (9-59) ， 由 定 理 9-1(Kuhn-Tuker) ， 本 定 理 成 立 ．
GBB G NB
所以
* GBN xB rB AB * 0 * GNN 0 xN rN AN
1 * * AB (GBB xB GBN x* N rB ).
(9-70)
定 理 9-5 若 等 式 约 束 问 题 (9-58) 中 的 G 是 正 定 对 称 矩 阵 ，则 相 应 的 无 约 束 问 题 (9-67) 中 的 G N 也 是 正 定 对 称 矩 阵 ． 证 构造矩阵
(9-55)
关于凸二次规划，有如下性质． 定 理 9-2 设 矩 阵 G 半 正 定 ， 则 x* 是 二 次 规 划 问 题 (9-55) 的 全 局 极 小
* 点 的 充 分 必 要 条 件 是 ， x* 是 一 个 K - T 点 ， 即 存 在 * (1* , 2 , * T , m l ) ， 使
1 T 1 T bT AB (GBN GBB ( AB ) AN ) xN T T T 1 T (rN rB ( AB ) AN ) xN
(9-65)
1 1 T 1 T T 1 bT AB GBB ( AB ) b rB ( AB ) b, 2
令
1 T 1 T 1 T 1 T G N G NN AN AB G BN G NB ( AB ) AN AN AB G BB ( AB ) AN , T 1 1 T 1 r N rN AN ( AB ) rB (G NB AN AB G BB )( AB ) b, 1 T 1 T T 1 b T AB G BB ( AB ) b rB ( AB ) b
证 必 要 性 由 约 束 问 题 的 一 阶 必 要 条 件 ， 得 证 .下 面 证 明 充 分 性 . 设 x* 是 一 个 K - T 点 ，考 虑 x x* , x H ，这 里 H 是 问 题 (9-55) 的 可 行 域 ， H {x AiT x bi 0,1 i m, AiT x bi 0, m 1 i m l} ，由 于 矩 阵 G 半 正 定，因此有
* T i i *
m l
很 明 显 A ( x x ) =0 ， 而
i 1 * i T i *
m
i m 1
百度文库
A
* i
m l
T i
( x x* ) 可 以 写 成 两 部 分 之 和 ，分 别 是
根 据 x* 处 起 作 用 约 束 和 不 起 作 用 不 等 式 约 束 下 标 分 别 求 和 ， 由 （ 9-56 ） 和 x H 可以推出
1 f ( x ) f ( x * ) f ( x * ) T ( x x * ) ( x x * ) T G ( x x * ) 2 f ( x* )T ( x x* ) A (x x )
i 1 * T i i * m i m 1
A (x x )
(9-66)
1 2
则相应的无约束问题为
min f ( xN )
T 1 T xN G N xN r N xN 2
(9-67)
若 G N 是 正 定 对 称 矩 阵 ， 则 问 题 (9-67) 有 唯 一 解
x G r N
* N 1 N
(9-68)
由 (9-64) 式 可 以 得 到 问 题 (9-58) 的 最 优 解
1 T 1 T 1 T * ( A ) b ( A ) A G xB N rN B B N * x * 1 xN G N r N
(9-69)
由 于 相 应 的 乘 子 向 量 * 满 足
Gx* r A * 0
即
1 min f ( x) xT Gx r T x, x R n 2 s.t. hi ( x) AiT x bi 0, i {1,2, , m} I ( x* )
的全局极小点．
(9-57)
证 若 x* 是 凸 二 次 规 划 (9-55) 的 全 局 极 小 点 ， 则 x* 是 问 题 (9-55) 的 K - T 点，也是问题 (9-57) 的 K - T 点，由定理 9-2 可知， x* 是问题 (9-57) 的全局极小点．
二 次 规 划 是 最 简 单 的 约 束 非 线 性 规 划 问 题 (9-1) 在 f ( x) 是 二 次 函 数 、
hi ( x)(i 1,2, , m) 和 g j ( x)( j 1,2, , l ) 都 是 线 性 函 数 的 特 殊 情 形 ，即 可 写 成
1 T min f ( x) x Gx r T x, x R n 2 s.t. AiT x bi 0, i 1, 2, , m AiT x bi 0, i m 1, m 2, , m l
9.6.2 等式约束二次规划问题
本小节讨论等式约束二次规划问题
min
f ( x)
1 T x Gx r T x, 2
(9-58)
s.t. AT x b,
其 中 ，G 为 n n 阶 对 称 矩 阵 ， r 为 n 维 列 向 量 ， A 为 n m 阶 矩 阵 ， n m 且 秩 ( A )= m ， 即 矩 阵 A 是 列 满 秩 的 ．
9.6 二次规划
二次规划是特殊的非线性规划，它形式简单，既可以 使用求解非线性规划的一般方法求解，又有特定的解法； 此外，二次规划在实际中有着广泛的应用，例如著名的支 持向量机，在本质上就是一个二次规划问题．本节着重介 绍凸二次规划问题的一些性质和求解方法．
9.6.1 二次规划的基本概念与基本性质
min 1 T T T f ( x) ( xB GBB xB xB GBN xN xT G x x N NB B N GNN xN ) 2 T T (9-63) rB xB rN xN ,
(9-62)
T T s.t. AB xB AN xN b.
考 虑 问 题 (9-63) 的 约 束 条 件 ， 由 于 AB 非 奇 异 ， 可 将 xB 表 示 成 xN 的 函 数 ， 即 消 去 xB ， 得 到
T 1 T 1 T xB ( AB ) b ( AB ) AN xN
(9-64)
将 (9-64) 代 入 (9-63) 的 目 标 函 数 ， 得 到 相 应 的 无 约 束 问 题 ， 其 目 标 函 数 为
f ( xN )
1 1 xN (GNN AN AB GBN 2 T 1 T 1 T 1 T GNB ( AB ) AN AN AB GBB ( AB ) AN ) xN
得
Gx r i* Ai 0,
* i 1
m l
AiT x* bi 0, 1 i m, AiT x* bi 0, m 1 i m l ,
(9-56)
i* 0, m 1 i m l , i* ( AiT x* bi ) 0, m 1 i m l.
去法得到原问题的解．
例 9-10 用直接消去法求解 凸二次规划
min f ( x) x12 x22 x32 s.t. x1 2 x2 x3 4, x1 x2 x3 2.
9.6.2.2
广义消去法
直 接 消 去 法 简 单 、 直 观 ， 但 它 的 不 足 之 处 是 AB 可 能 接 近 一 奇 异 阵 ， 从 而 利 用 (9-69) 求 解 x* 可 能 导 致 数 值 不 稳 定 ． 消 去 法 的 一 个 直 接 推 广 就 是广义消去法． 设 s1 , s2 ,, sm 是 域 空 间 Range( A ) 中 的 一 组 线 性 无 关 的 列 向 量 ，
9.6.2.1
直接消去法
首先对矩阵 A 作分块，设
A A B ， 且 AB R mm 非 奇 异 ， AN
(9-61)
则其它相应的分块有
GBN x G rB x B , G BB , r r x G G NN N NB N 因 此 ， 等 式 约 束 二 次 规 划 问 题 (9-58) 可 以 写 成
T 1 T ( AB ) AN F , I
(9-71)
并 且 秩 ( F)= n -m ， 因 此
T 1 T G G ( A BB BN T 1 B ) AN (9-72) G N F GF ( AN AB , I ) G I NB G NN 由于 F 是列满秩的，并且 G 正定，因此 G N 也是正定的，对称性显然． 定 理 9-5 表 明 ，对 于 等 式 约 束 的 严 格 凸 二 次 规 划 问 题 ，可 以 用 直 接 消
z1 , z 2 ,, z nm 是 零 空 间 Null( A T ) 中 的 一 组 线 性 无 关 的 列 向 量 ． 记
S [s1 , s 2 ,, sm ], Z [ z1 , z 2 ,, z nm ].
其 中 G 为 n n 阶 对 称 矩 阵 ， r、Ai (i 1,2,, m l ) 为 n 维 列 向 量 ， ．若矩阵 G 为（正定）半正定矩阵，则 bi (i 1,2,, m l ) 为 纯 量 （ 实 数 ） 称 问 题 (9-55) 为 （ 严 格 ） 凸 二 次 规 划 ， 它 是 一 种 特 殊 形 式 的 凸 规 划 ． 对 于 二 次 规 划 ，可 行 域 只 要 不 空 必 定 是 凸 集 ，所 以 当 目 标 函 数 是 凸 函 数 时 ， 二 次 规 划 的 任 何 K-T 点 必 为 二 次 规 划 的 全 局 极 小 点 ．
定 理 9-4 设 G 是 半 正 定 （ 正 定 ） 矩 阵 ， 则 x* 是 约 束 问 题 (9-58) 的 全 局 最 优 解 ， * 是 相 应 的 乘 子 向 量 的 充 分 必 要 条 件 是 ： x* 、 * 是 线 性 方 程 组
G AT
的解．
A x r 0 b
定 理 9-4 表 明 ， 求 解 等 式 约 束 的 二 次 规 划 问 题 ， 可 转 化 为 求 解 线 性 方 程 组 的 问 题 ， 但 是 问 题 的 维 数 也 由 n 变 成 了 n+m， 维 数 的 增 大 会 增 加 求解线性方程组的难度，一种克服上述缺点的方法是变量消去法．消去 法包括直接消去法和广义消去法．
i m 1
A
* i
m l
T i
( x x* ) 0
因此
f ( x) f ( x* ) 0
从 而 ， x* 是 全 局 极 小 点 ， 易 见 ， 若 G 正 定 ， x* 是 严 格 全 局 极 小 点 ．
定理 9-3 若 x* 是凸二次规划 (9-55) 的全局极小点，设 I ( x* ) 为凸二次 规划 (9-55) 在 x* 处起作用的不等 式约束下标集 ， 则 x* 是如下等式约 束二 次规划问题