约束优化_二次规划与SQPppt课件

最优积极集！
第10章 约束优化：二次规划与SQP 实用优化方法
17
数学与系统科学学院
积极集法－算法的动机(motivation)
如果提前知道 ，求解
对最优积极集进行猜测，并不断修正，直到得到正确的！
考虑第 k 次迭代： x(k)是可行点， Wk 是工作集(由等式约束和部分或全部 积极不等式约束组成)
约束优化问题
可行域：
常用方法
特殊问题
一般问题
可行方向法－线性约束问题 逐步二次规划法
次梯度优化－对偶问题
惩罚函数法
内点法(原对偶内点法)－凸规划
第10章 约束优化：二次规划与SQP 实用优化方法
1
数学与系统科学学院
第10章：约束优化：二次规划与逐步二次规划法
Constrained Optimization: Quadratic Programming and SQP
无阻滞约束时，工作 集不变；否则给工作 集添加一个阻滞约束
第10章 约束优化：பைடு நூலகம்次规划与SQP 实用优化方法
19
数学与系统科学学院
积极集法－算法的原理(续)
◎ x(k)是当前等式约束问题的解，即s(k) =0： 设当前等式约束问题的Lagrange乘子是
⊙ 乘子中与不等式约束对应的分量非负： x(k)是原问题的KKT点，进而是全局解
9
数学与系统科学学院
等式约束二次规划－基本消元法
消去 x3 代入 q(x)
第10章 约束优化：二次规划与SQP 实用优化方法
10
数学与系统科学学院
等式约束二次规划－基本消元法(续)
找 A 的可逆子矩阵 A1，进行消元
如果 正定，解方程组
可得惟一解
第10章 约束优化：二次规划与SQP 实用优化方法
⊙ 否则，存在
通常取指标 q 满足：
第10章 约束优化：二次规划与SQP 实用优化方法
20
数学与系统科学学院
积极集法－算例
第10章 约束优化：二次规划与SQP 实用优化方法
21
数学与系统科学学院
积极集法－算例(续)
作业中用同样的初始点和不同的初始工作集进行迭代求解
第10章 约束优化：二次规划与SQP 实用优化方法
其中
第10章 约束优化：二次规划与SQP 实用优化方法
18
数学与系统科学学院
积极集法－算法的原理
◎ x(k)不是当前等式约束问题的解，即s(k) ≠0: ⊙ x(k) +s(k)满足其它约束： ，工作集保持不变 ⊙ x(k) +s(k)不满足某些约束，找阻滞约束和步长：
称取到最小值的指标 p对应的约束为阻滞(blocking)约束
局解是NP-难问题
第10章 约束优化：二次规划与SQP 实用优化方法
3
数学与系统科学学院
有价证券的组合优化
投资集合{1, …, n}，可能收益为ri ⊙ 问题：对收益与风险的折衷进行建模
◇ 假定I 设 是随机变量
◇ 假定II 所有资金均投资，不允许卖空 ⊙ 投资组合：设对第 i 项投资的资金投放比例为 xi
等式约束二次规划 积极集法 逐步二次规划法
第10章 约束优化：二次规划与SQP 实用优化方法
7
数学与系统科学学院
等式约束二次规划
第10章 约束优化：二次规划与SQP 实用优化方法
8
数学与系统科学学院
等式约束二次规划
其中
假定:
线性无关
核心思想：消元法(基本、广义)
其中
，A1可逆
第10章 约束优化：二次规划与SQP 实用优化方法
第10章 约束优化：二次规划与SQP 实用优化方法
15
数学与系统科学学院
积极集法
第10章 约束优化：二次规划与SQP 实用优化方法
16
数学与系统科学学院
积极集法－问题
其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 解的情况：无可行解、无界、有解
G 半正定
凸二次规划
技术注记：此处用线性约束规范代替LICQ! 故二次规划的任 一解x*均满足KKT条件
第10章 约束优化：二次规划与SQP 实用优化方法
4
数学与系统科学学院
有价证券的组合优化(续)
⊙ 证卷组合： 证卷组合的利润： 证卷组合的期望收益和方差：
G 是半正定矩阵！ ⊙ 证卷组合优化(portfolio optimization)：
第10章 约束优化：二次规划与SQP 实用优化方法
5
数学与系统科学学院
22
数学与系统科学学院
积极集法－算法
算法10.2.1 求解凸二次规划的积极集法
第10章 约束优化：二次规划与SQP 实用优化方法
23
数学与系统科学学院
积极集法－理论分析
11
数学与系统科学学院
等式约束二次规划－广义消元法
令 Y 和 Z 分别是 n×m 与 n×(n-m)矩阵，满足
考察方程组ATx=b: Yb是特解；通解x=Yb+ s， 其中s 是齐次线性方程组ATs=0的解
任一可行解均可表示为: x=Yb+Zy
如果ZTGZ正定，则原问题有惟一解，解方程组
第10章 约束优化：二次规划与SQP 实用优化方法
第10章 约束优化：二次规划与SQP 实用优化方法
2
数学与系统科学学院
其中 G 是 n 阶对称方阵，ai , d是 n 维常向量
G 半正定
凸二次规划
解的情况：无可行解、无界、有解
有解时：
⊙ G半正定：KKT点即为全局极小点
⊙ G 正 定 ：有惟一的极小点
⊙ G 不 定：局部解有可能不是全局解，此时找全
12
数学与系统科学学院
等式约束二次规划－广义消元法(续)
构造 Y 和 Z的正交分解法 对矩阵 A 进行QR分解，即
第10章 约束优化：二次规划与SQP 实用优化方法
13
数学与系统科学学院
等式约束二次规划－广义消元法(续)
第10章 约束优化：二次规划与SQP 实用优化方法
14
数学与系统科学学院
实用二次规划算法综述
⊙ 经典积极集法(classical active-set methods)
求解凸和非凸二次规划问题－－中小规模(几百个变量！)
⊙ 梯度投影法(gradient-projection methods)
界约束QP(BoxQP)!
⊙ 内点法(interior-point methods)
大规模凸二次规划！
有价证券的组合优化(续)
Markowitz引入风险容许参数(risk tolerance parameter)
找出“最优的”证券投资组合！
⊙ 参数
，设定值依赖于投资者的个人偏好
保守型投资者：大的参数取值 冒险性投资者：小的参数取值
第10章 约束优化：二次规划与SQP 实用优化方法
6
数学与系统科学学院