徐--稀疏最优化非凸正则化_理论

其中 | x |[ k ] 表示向量 | x | 的第 k 个最大分量 (ML)1/2 问题的解是有限的
L1/2正则化框架 (Half型算法）
Half
程求解问题的ｋ -稀疏解：
步骤1(求解ｋ稀疏问题)：对于确定的稀疏度ｋ，通过下述迭代过
型 算 法
= xn +1 H λn µn ,1/2 Bµn ( xn ) ,
z
2
x = arg min{ y − Ax 2 + β z − Bx 2 } = ( AT A + β BT B) −1 ( AT y + β BT z )
∗ x
2
2
L1/2正则化框架 (解的择一性理论）
定 理
对固定的 µ ∈ (0,1/ L) ，记 Bµ ( x) = x − µ∇Eemp ( x)。则 (ML)1/2 问题
y
min
x
x
0
s.t. y = Ax + ε
人脸识别问题
稀疏性 (稀疏性问题)
稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定的问题。
y F ( x1 , x2 , ..., xn )
压缩感知问题 图像处理问题 文本处理问题 复杂网络问题 基因选择问题 指数追踪问题 变量选择问题
挑战与问题
只在很严格的条件下才有L1/L0 等价性（Donoho,2006）； L1框架不能保证在最少采样下完全重构信号； L1理论对于正规化约束（ x1 + x2 + + xn = 1）问题失效.
纲
要
稀疏性与稀疏机器学习问题 L1/2 正则化理论 应用举例 非凸正则化理论 展望
稀疏最优化：非凸正则化理论
徐宗本 西安交通大学数学与统计学院 信息与系统科学研究所 2012.4.20
纲
要
稀疏性与稀疏机器学习问题 L1/2 正则化理论 应用举例 非凸正则化理论 展望
稀疏性 (表示稀疏性)
稀疏性(Sparsity)：信息表示的普遍属性 (在所选定的参考基底 (基、字 典)下, 一个表示所呈现出的多数系数(坐标)近似为零的特征)。
线性问题
稀疏表示问题
min x
A, x
0
s.t.= y Ax + N
压缩感知问题 min y − Ax 2 s.t. x 0 ≤ k
x
min {|| y − Ax ||2 2 +λ x
x
0
}
（正则化框架）
稀疏机器学习（流行框架）
L0框架
min {|| y − Ax ||2 2 +λ x
x 0
变换域下稀疏约束问题求解方法
1/2 min y − Ax + λ || Bx || 1/2 2 x∈R N z = Bx
2 2
{
2
}
2 2
x , z∈R
minN
{ y − Ax
+ λ || z ||
1/2 1/2
+ β z − Ax
}
L1/2正则化框架 (解的阈值表示理论）
意义和价值：提供了求解变换域下稀疏约束问题的全新手段。
(Olshausen & Field, Nature , 1996)
min E = ∑ [ I ( x , y ) − ∑ aiφi ( x , y )]2 + λ ∑ S (
a ,φ
外界信息
xy
i
i
σ
ai
)
视觉皮层
稀疏机器学习
器 学 f* = 习 机 D {( xi , yi )} ; f ∈ Ψ; lD : Ψ → R =
x si i
i 1 N
x si i , V={i : si }, | V | N
iV
y = F ( x1 , x2 , xN )
稀疏性 (表示稀疏性举例)
y = Ax; A = [ A1 , A2 ,..., Ak ]; Ai = [v1 , v2 ,..., v N i ]; y ∈ i − th class ⇔ x = [0, ,0, xi ,1 ,, xi , N i ,0,,0]
x* = arg min { f (x)+g(x) } = proxµλ , f ( x* − µ∇g ( x* ) )
1 2 此处 proxλµ , f : x → arg λµ f ( y ) + || x − y || 2 y
x
……
自然产生求解稀疏机器学习问题的迭代阈值算法：
}
L1范数是L0范数的凸包络
（S.Mallat (1993), J.A.Tropp & D.Needell (2007,2009)等）
L1框架
min {|| y − Ax ||2 2 + λ x 1}
x
（Donoho(1994, 2006), R.Tibshirani (1996), Candes, Tao & Romberg (2006)等）
L1/2正则化框架 (Half型算法收敛性）
定 理
如果 (ML)1/2 问题中的损失函 数α-Lipschitz 连续， µ<
定 理
1
L1/2正则子具有良好的Oracle统 计性质,即有无偏性、渐近正态 性且满足Oracle不等式：

α
则 Half 型算法收敛到(ML)1/2 问题的一个 k-稀疏解当且仅 当
L1/2正则化框架 (稀疏性度量选取原则）
什么样的稀疏性度量更可取？

什么样的稀疏 度量更好呢?
∂s / ∂xi
在零处突变 （稀疏性来源）
∂s ( x) 对角非线性（对大规模问题可用）
使相应的稀疏机器学习问题容易求解 （有解析表达） 使得问题的解依赖更少的样本信息（实现压缩感知目标）
特别建议：
min { y − Ax 2 + λ x 1/2 }
x
2
1/2
x ：真实稀疏信号 k|x* |i：绝对值的第个最大分量 x* i ˆˆ AT ( y − Ax* ), Cε ε ε
∞
*
x*
∞
| x* |i 5 li − p ( ) ,i = 1, , k − 1.则至多经过 < | x* |i +1 2 Half t = k + ∑ li 步,算法可精确恢复的支撑 x*
P i =1 1
数据建模
1 p = arg min Eemp ( f ) l ( f , xi , yi ) ∑ f ∈F p i =1
x1 xn
黑箱
y1 yn
非线性问题 稀疏机器学习问题：以极小化稀疏性为约束的机器学习问题
* = f sparse arg min { Eemp ( f ) + λ S ( f )} f ∈F
3 54 * 的解 x *满足： 或 xi* = 0 或 > ( ) (λµ ) 2/3 B x µ i
4
意义和价值
择一性直接推出 (ML)1/2 问题的解之稀疏度 k 与正则化参数 λ 的如下
基本关系:
3/2 3/2 96 96 * * Bµ ( x ) ≤λ< Bµ ( x ) [ k + 1] [k ] 9µ 9µ
L1/2正则化框架 (Why1/2 ?)
基于 Banach 几何启示及Lq/L0(0<q<1)的等价性研究（相 位图方法），徐宗本等提出了L1/2正则化框架。
sparsest sufficiently sparse
L(1/ 2)
Banach 几何 示 相位图 研启 究
L( k) sparse
L(1)
µ< 连续导数，
1
α
. 则
表 示 定 理
x* H λµ ,1/2 ( x* − µ∇Eemp ( x* ) ) =
1/ 2
H λµ ,1/ 2 (⋅)=(I+λµ∂ ( ⋅ 1/ 2 )) −1 是对角非线性阈值算子,定义 其中， 如下： H ( x) = h ( x ), , h (x )
λµ ,1/2
(
)
x0 ∈ R N = µ0 ∈ (0,1/ L) µ
λ= n
96 | Bµn ( xn ) |[3/2 k +1] , 9µ
分解成若干个ｋ-稀 疏问题，重复步骤1 ；获得一组 k -稀疏解，比较得出最优解。
步骤2(求问题的最优解)：将原问题 (ML)1/2 意义和价值
将通常的正则化参数选择问题（连续问题）划归到了稀疏度指定 问题（离散问题）。这一化简有重要意义。 对于k稀疏问题，给出了最优的正则化参数设置策略；然而很多 学习问题本身就是一个k-稀疏问题。
(
λµ ,1/2
1
λµ ,1/2
N
)
hµλ ,1/2
3 2 2π 2ϕλµ ( xi ) 54(λµ ) 2/3 ) , | xi | > = xi 1 + cos( − 3 3 3 4 0 , Otherwise
L1/2正则化框架 (解的阈值表示理论）
意义和价值：上述理论将经典的
2
L1/2正则化框架 (L0-L1/2等价性）
(P 1/2 ) min‖‖ x 1/2 1/2 s.t . y = Ax
x
x 1/2 1/2
假定,且且满足 µ A ≤ 0.2955k
精确恢复定理
−1
x
*
| x* |i 5 li −5 ( ) , < | x* |i +1 2
* k −1 i =1