约束优化_二次规划与SQP

其中
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
积极集法－ 积极集法－算法的原理
不是当前等式约束问题的解， ◎ x(k)不是当前等式约束问题的解，即s(k) ≠0: 满足其它约束： ⊙ x(k) +s(k)满足其它约束： ，工作集保持不变 不满足某些约束，找阻滞约束和步长： ⊙ x(k) +s(k)不满足某些约束，找阻滞约束和步长：
如果提前知道 如果提前知道 提前
，求解
对最优积极集进行猜测，并不断修正，直到得到正确的！ 对最优积极集进行猜测，并不断修正，直到得到正确的！ 考虑第 k 次迭代： 次迭代： x(k)是可行点， Wk 是工作集(由等式约束和部分或全部 是可行点， 是工作集 由等式约束和部分或全部 积极不等式约束组成) 积极不等式约束组成
如果Z 正定， 如果 TGZ正定，则原问题有惟一解，解方程组 正定 则原问题有惟一解，
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划－广义消元法( 等式约束二次规划－广义消元法(续)
构造 Y 和 Z的正交分解法 的正交分解法 进行QR分解，即 分解， 对矩阵 A 进行 分解
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划－ 等式约束二次规划－广义消元法
矩阵， 令 Y 和 Z 分别是 n×m 与 n×(n-m)矩阵，满足 × × 矩阵 考察方程组ATx=b: Yb是特解；通解x=Yb+ s， 考察方程组 是特解；通解 ， 是特解 其中s 是齐次线性方程组A 其中 是齐次线性方程组 Ts=0的解 的解 任一可行解均可表示为: x=Yb+Zy 任一可行解均可表示为
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
有价证券的组合优化(续 有价证券的组合优化 续)
证卷组合： ⊙ 证卷组合： 证卷组合的利润： 证卷组合的利润： 利润 证卷组合的期望收益和方差： 证卷组合的期望收益和方差： 期望收益
G 是半正定矩阵！ 是半正定矩阵！ 证卷组合优化(portfolio optimization)： ⊙ 证卷组合优化 ：
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法－ 积极集法－算例
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法－算例(续 积极集法－算例 续)
作业中用同样的初始点和不同的初始工作集进行迭代求解
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束问题－ 等式约束问题－Lagrange-Newton法 法
KKT条件： 条件： 条件 其中
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束问题－ 等式约束问题－Lagrange-Newton法 法
对应的约束为阻滞 称取到最小值的指标 p对应的约束为阻滞 对应的约束为阻滞(blocking)约束 约束 无阻滞约束时， 无阻滞约束时，工作 集不变； 集不变；否则给工作 集添加一个阻滞约束
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
积极集法－算法的原理(续 积极集法－算法的原理 续)
保守型投资者： 保守型投资者：大的参数取值 冒险性投资者： 冒险性投资者：小的参数取值
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划 积极集法 逐步二次规划法
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
等式约束二次规划－ 等式约束二次规划－基本消元法
消去 x3
代入 q(x)
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划－基本消元法( 等式约束二次规划－基本消元法(续)
找 A 的可逆子矩阵 A1，进行消元
如果
正定， 正定，解方程组
可得惟一解
大规模凸二次规划！ 大规模凸二次规划！
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法－问题
阶对称方阵， 其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 是 解的情况：无可行解、无界、有解 解的情况：无可行解、无界、 G 半正定 凸二次规划
约束优化问题
可行域： 可行域：
常 用 方 法 一般问题 一般问题 特殊问题 特殊问题 可行方向法－ 可行方向法－线性约束问题 逐步二次规划法 惩罚函数法 次梯度优化－ 次梯度优化－对偶问题 内点法(原对偶内点法 原对偶内点法)－ 内点法 原对偶内点法 －凸规划
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
有价证券的组合优化(续 有价证券的组合优化 续)
Markowitz引入风险容许参数(risk tolerance parameter) 引入风险容许参数 引入风险容许参数
找出“最优的”证券投资组合！ 找出“最优的”证券投资组合！ ⊙ 参数 ，设定值依赖于投资者的个人偏好
数学与系统科学学院
等式约束二次Байду номын сангаас划
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划
其中 假定: 假定 线性无关
核心思想：消元法 基本 广义) 基本、 核心思想：消元法(基本、广义
其中
，A1可逆
数学与系统科学学院
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
求解凸和非凸二次规划问题－－中小规模(几百个变量！) 求解凸和非凸二次规划问题－－中小规模 几百个变量！ －－中小规模 几百个变量
梯度投影法(gradient-projection methods) ⊙ 梯度投影法
界约束QP(BoxQP)! 界约束
内点法(interior-point methods) ⊙ 内点法
是当前等式约束问题的解， ◎ x(k)是当前等式约束问题的解，即s(k) =0： ： 设当前等式约束问题的Lagrange乘子是 设当前等式约束问题的 乘子是
乘子中与不等式约束对应的分量非负： ⊙ 乘子中与不等式约束对应的分量非负： x(k)是原问题的 是原问题的KKT点，进而是全局解 点 否则， ⊙ 否则，存在 满足： 通常取指标 q 满足：
第10章：约束优化：二次规划与逐步二次规划法 10章 约束优化：
Constrained Optimization: Quadratic Programming and SQP
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
阶对称方阵， 其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 是 G 半正定 凸二次规划 解的情况：无可行解、无界、 解的情况：无可行解、无界、有解 有解时： 有解时： 半正定： ⊙ G半正定：KKT点即为全局极小点 半正定 点即为全局极小点 ⊙ G 正 定 ：有惟一的极小点 局部解有可能不是全局解， ⊙ G 不 定：局部解有可能不是全局解，此时找全 局解是NP-难问题 局解是 难问题
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
逐步二次规划法
Successive Quadratic Programming Method
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
假设和记号
在设计和分析算法时， 在设计和分析算法时，通常假设 f(x) , ci(x) 是连续 可微(二阶连续可微 二阶连续可微)的 且导数是李普希兹连续的！ 可微 二阶连续可微 的，且导数是李普希兹连续的！
个约束的可行方向， 设该问题的解为 s’ . 则 s’ 是第 j 个约束的可行方向，即 . 此外，如果 s’ 满足二阶充分条件，则 此外， 满足二阶充分条件，
.
定理10.2.2 假设 s(k) 是关于增量的等式约束二次规划子问题 定理 的最优解，且满足该问题的二阶充分条件， 的最优解，且满足该问题的二阶充分条件，则 p(k) =s(k) 是 原目标函数的下降方向. 原目标函数的下降方向 线搜索法、 线搜索法、每个迭代点都可行
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束二次规划－广义消元法( 等式约束二次规划－广义消元法(续)
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
实用二次规划算法综述
经典积极集法(classical active-set methods) ⊙ 经典积极集法
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法－ 积极集法－算法
算法10.2.1 求解凸二次规划的积极集法 算法
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
积极集法－ 积极集法－理论分析
定理10.2.1 设 x(k) 是等式约束二次规划子问题的最优解， 是等式约束二次规划子问题的最优解， 定理 是对应的乘子. 是对应的乘子 假设约束的梯度向量 线性无关， . 考虑 线性无关，且存在指标 使得 问题
技术注记：此处用线性约束规范代替 技术注记：此处用线性约束规范代替LICQ! 故二次规划的任 一解x*均满足 均满足KKT条件 一解 均满足 条件
最优积极集！ 最优积极集！ 第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
积极集法－算法的动机(motivation) 积极集法－算法的动机
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
积极集法－ 积极集法－进一步说明
存在许多技术确定初始点－－比如人工变量法！ －－比如人工变量法 ⊙ 存在许多技术确定初始点－－比如人工变量法！ 在恰当的假定下可证明－－算法有限步找到解！ －－算法有限步找到解 ⊙ 在恰当的假定下可证明－－算法有限步找到解！ ⊙ 可以推广来求解非凸二次规划 ⊙ 初试点相同，但初始工作集不同，则后面的迭代不同； 初试点相同，但初始工作集不同，则后面的迭代不同； 即使初始工作集相同， 即使初始工作集相同，后面的迭代也可能不同 选取初试工作集的额外要求： ⊙ 选取初试工作集的额外要求：所选约束的梯度线性无关 ⊙ 迭代次数有可能超过不等式约束的个数
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法 数学与系统科学学院
有价证券的组合优化
投资集合{1, 投资集合 …, n}，可能收益为 i ，可能收益为r 问题： ⊙ 问题：对收益与风险的折衷进行建模 假定I ◇ 假定 设 是随机变量
假定II 所有资金均投资， ◇ 假定 所有资金均投资，不允许卖空 投资组合： ⊙ 投资组合：设对第 i 项投资的资金投放比例为 xi
KKT条件： 条件： 条件 其中 设 是近似解， 是近似解，则其牛顿校正 满足
第10章 约束优化：二次规划与 章 约束优化：二次规划与SQP 实用优化方法
数学与系统科学学院
等式约束问题－Lagrange-Newton法(续) 法续
令 ，上述方程组即
给定初始点
，利用上面两式进行迭代
解等式约束问题的－ 解等式约束问题的－ Lagrange-Newton法 法 定理 假设 x*是等式约束问题的满足二阶充分条件的局 是等式约束问题的满足二阶充分条件的局 部极小点, 是惟一的Lagrange乘子 乘子. 部极小点 且rank (A*)=m ， 是惟一的 乘子 则当 充分接近 时，Lagrange-Newton 法有定义， 法有定义，且由该方法产生的序列 二次 . 收敛到