稀疏性：新进展与发展趋势
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢L0 框架: 组合优化问题，对较大规模数据问题失效（Mallat et al., 1993; Tropp & Needell ,
2007, 2009; Blumensath & Davies , 2008, 2009等）
➢L1 框架: 凸优化问题，但难以诱导更强的稀疏性（ Donoho et al., 1998, 2006;Tibshirani et
压缩感知 图像处理 特征提取 机器学习 地震信号处理
……
min x s.t. y F(x)
x
0
信息表示
稀疏信息处理(稀疏性问题)
稀疏信息处理：涉及可压缩信息源的信息获取、传输、加工、理解与应用的相关 理论与方法。稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定 的问题。
al ., 1996; Candes, Tao & Romberg, 2006等）
➢Lq (0<q<1) 框架: 非凸、非光滑优化问题，难以快速有效求解（ Chartrand et al., 2007,
2008; Lai et al., 2008; Wang et al., 2011; Xu et al ., 2010, 2012等）
稀疏信息处理(基本理论)
重构理论：在什么样的条件下通过松弛模型可完全重构原稀疏信号？
RIP(Candes et al., 2005, 2006, 2007):
Ax 2
1k
max
x 0 k
x
2 2
1k
2
Coherence (Donoho et al., 2001, 2003):
( A) max ai , aj
稀疏信息处理理论与方法:若干 新进展与发展趋势
纲要
稀疏性与稀疏信息处理 新进展与发展趋势
稀疏性(典则稀疏性)
典则稀疏性：信息表示的普遍属性。意指：一个观测中感兴趣的信息单元 在整体表示单元中仅占少数部分的性质。通常用表示向量x的非零元素个数
x 0 刻画。
#i | xi | 0,i 1,
20 15 10
稀疏信息处理(基本框架)
稀疏信息处理模型
信号处理:
min x
||
x
||qq
s.t.
Ax
y
(Pq)
变量选择:
min x
Ax y
2 2
s.t.
||
x
||q
k
多目标:
来自百度文库
min{ x
Ax
y
2
,
||
x
||q}
Lq( 0 q 1 )框架
min x
|| Ax y ||22
x
q q
Lq (0 q 1) 框架
稀疏信息处理(基本理论)
等价性理论：在什么样的条件下松弛模型的解是原(P0)问题的解(唯一解)？
（Donoho et al., 2006, 2009）
物 理 相 变 图
信
号 恢
L1/L0 不等价
K/M
复
性
相
变
L1/L0 等价
图
M/N
q=0.5
q=1
(Donoho et al., 2006)
Lq 相变曲线 (Wang et al., 2013)
5 0 -5 -10 -15 -20 -25 -30
0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
4
n 2104, # i : xi 102 288 x 10
稀疏信号
, n || x ||0 || x ||q ( | xi |q )1/q, 0 q 1
i
n 40 40, # i : xi 102 321
iV
, |V | n
x
s
xˆ
A FFT, Wavelet, DCT, Dictionary, etc.
稀疏信息处理(稀疏性问题)
稀疏信息处理：涉及可压缩信息源的信息获取、传输、加工、理解与应用的相关 理论与方法。稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定 的问题。
y F(x)
观测
稀疏性 问题模型:
处图地像理特震去m模噪x信i征n型号提：x图取0 成m像s核模.成xt像i处.n稀磁型像y存模理疏共x模储：型图模微振0D量型Y像：型s波H2.去：t5m.x模6yX2ix糊nmN部Nm分xWiYnx傅inx里叶xAx阵➢➢➢➢0NX0去去填超s.stm2FF噪模充分.tDx.i：糊：辨syn.ytm：率DDA.图，为i：DxnF像XH为掩压1nD都D0填…单膜为xi为缩0sn…充1位，下.tl稀单x感(.阵 H采yN疏位为yKi， 样知,机阵 单NifH算1模(器为 位x子i(;学模 阵型M，习糊))Hx模核为X图s2型模.像t5.糊6超2算)分0 子辨k率
xx yy ˆ
稀 微 成特核共成y疏波像(y征磁振像t（)地提1n震记非取录w）平(采ty样,稳t点数地黑据)震W箱建x（S(记y模a地)mN震录doC子Lp采noil波n模i样D,lmni，e…n矩wgap时型e阵…r满 ra变yeRr足 ）s1nesR某 cievocxe类n（oss波nx反tesr傅动 射nDutC里sr系c方 ouit叶Fn数m学习机器c程g变）tp(换rxei ,xsys人经广性i核) 工网义回方inIn1神络线归法t;ernfa*lsxtirniNNuF1x1cxx.tM.1u2i.存11ri1(ie(xgxxx.储1MT1.2;ii.22,(rR2Nwx量axxe)（)列....in)....cxM....s学emy噪ixxxxNv习.M1N2i.声eNt.NNi机器）
, vNi ],
x 0
n
y i th class x [0, , 0, xi,1, , xi,Ni , , 0]
人脸识别问题
稀疏性(变换稀疏性)
(线性)变换稀疏性：信息表示中更为普遍的属性，指在某个线性 变换A下，Ax具有典则稀疏性。(用 Ax 来刻画)
0
N
s Ax
xiai
i1
xˆ
siaˆi , V = i : si
a a 1i jN i2 j2
定理.对于任意的 k-稀疏信号x*：
重 构
1) 若2k 1 , 则(P0)有唯一解x*; (Candes & Tao, 2006) 2) 若2k 0.414 , 则(P1) 精确恢复x*; (Candes & Tao, 2008)
稀疏图像
n 8080, # i : xi 102 406
稀疏SAR场景
稀疏性(表示稀疏性)
表示稀疏性：信息表示的普遍属性。意指在合适的参考基底(字典)下，一 个观测y仅由少数基(字典中的少数原子)来表示的特性。通常用其表示向量 x的非零元素个数来刻画。
y Ax, A [A1, A2,
, An ]: 字典, Ai [v1, v2,
2007, 2009; Blumensath & Davies , 2008, 2009等）
➢L1 框架: 凸优化问题，但难以诱导更强的稀疏性（ Donoho et al., 1998, 2006;Tibshirani et
压缩感知 图像处理 特征提取 机器学习 地震信号处理
……
min x s.t. y F(x)
x
0
信息表示
稀疏信息处理(稀疏性问题)
稀疏信息处理：涉及可压缩信息源的信息获取、传输、加工、理解与应用的相关 理论与方法。稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定 的问题。
al ., 1996; Candes, Tao & Romberg, 2006等）
➢Lq (0<q<1) 框架: 非凸、非光滑优化问题，难以快速有效求解（ Chartrand et al., 2007,
2008; Lai et al., 2008; Wang et al., 2011; Xu et al ., 2010, 2012等）
稀疏信息处理(基本理论)
重构理论：在什么样的条件下通过松弛模型可完全重构原稀疏信号？
RIP(Candes et al., 2005, 2006, 2007):
Ax 2
1k
max
x 0 k
x
2 2
1k
2
Coherence (Donoho et al., 2001, 2003):
( A) max ai , aj
稀疏信息处理理论与方法:若干 新进展与发展趋势
纲要
稀疏性与稀疏信息处理 新进展与发展趋势
稀疏性(典则稀疏性)
典则稀疏性：信息表示的普遍属性。意指：一个观测中感兴趣的信息单元 在整体表示单元中仅占少数部分的性质。通常用表示向量x的非零元素个数
x 0 刻画。
#i | xi | 0,i 1,
20 15 10
稀疏信息处理(基本框架)
稀疏信息处理模型
信号处理:
min x
||
x
s.t.
Ax
y
(Pq)
变量选择:
min x
Ax y
2 2
s.t.
||
x
||q
k
多目标:
来自百度文库
min{ x
Ax
y
2
,
||
x
||q}
Lq( 0 q 1 )框架
min x
|| Ax y ||22
x
q q
Lq (0 q 1) 框架
稀疏信息处理(基本理论)
等价性理论：在什么样的条件下松弛模型的解是原(P0)问题的解(唯一解)？
（Donoho et al., 2006, 2009）
物 理 相 变 图
信
号 恢
L1/L0 不等价
K/M
复
性
相
变
L1/L0 等价
图
M/N
q=0.5
q=1
(Donoho et al., 2006)
Lq 相变曲线 (Wang et al., 2013)
5 0 -5 -10 -15 -20 -25 -30
0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
4
n 2104, # i : xi 102 288 x 10
稀疏信号
, n || x ||0 || x ||q ( | xi |q )1/q, 0 q 1
i
n 40 40, # i : xi 102 321
iV
, |V | n
x
s
xˆ
A FFT, Wavelet, DCT, Dictionary, etc.
稀疏信息处理(稀疏性问题)
稀疏信息处理：涉及可压缩信息源的信息获取、传输、加工、理解与应用的相关 理论与方法。稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定 的问题。
y F(x)
观测
稀疏性 问题模型:
处图地像理特震去m模噪x信i征n型号提：x图取0 成m像s核模.成xt像i处.n稀磁型像y存模理疏共x模储：型图模微振0D量型Y像：型s波H2.去：t5m.x模6yX2ix糊nmN部Nm分xWiYnx傅inx里叶xAx阵➢➢➢➢0NX0去去填超s.stm2FF噪模充分.tDx.i：糊：辨syn.ytm：率DDA.图，为i：DxnF像XH为掩压1nD都D0填…单膜为xi为缩0sn…充1位，下.tl稀单x感(.阵 H采yN疏位为yKi， 样知,机阵 单NifH算1模(器为 位x子i(;学模 阵型M，习糊))Hx模核为X图s2型模.像t5.糊6超2算)分0 子辨k率
xx yy ˆ
稀 微 成特核共成y疏波像(y征磁振像t（)地提1n震记非取录w）平(采ty样,稳t点数地黑据)震W箱建x（S(记y模a地)mN震录doC子Lp采noil波n模i样D,lmni，e…n矩wgap时型e阵…r满 ra变yeRr足 ）s1nesR某 cievocxe类n（oss波nx反tesr傅动 射nDutC里sr系c方 ouit叶Fn数m学习机器c程g变）tp(换rxei ,xsys人经广性i核) 工网义回方inIn1神络线归法t;ernfa*lsxtirniNNuF1x1cxx.tM.1u2i.存11ri1(ie(xgxxx.储1MT1.2;ii.22,(rR2Nwx量axxe)（)列....in)....cxM....s学emy噪ixxxxNv习.M1N2i.声eNt.NNi机器）
, vNi ],
x 0
n
y i th class x [0, , 0, xi,1, , xi,Ni , , 0]
人脸识别问题
稀疏性(变换稀疏性)
(线性)变换稀疏性：信息表示中更为普遍的属性，指在某个线性 变换A下，Ax具有典则稀疏性。(用 Ax 来刻画)
0
N
s Ax
xiai
i1
xˆ
siaˆi , V = i : si
a a 1i jN i2 j2
定理.对于任意的 k-稀疏信号x*：
重 构
1) 若2k 1 , 则(P0)有唯一解x*; (Candes & Tao, 2006) 2) 若2k 0.414 , 则(P1) 精确恢复x*; (Candes & Tao, 2008)
稀疏图像
n 8080, # i : xi 102 406
稀疏SAR场景
稀疏性(表示稀疏性)
表示稀疏性：信息表示的普遍属性。意指在合适的参考基底(字典)下，一 个观测y仅由少数基(字典中的少数原子)来表示的特性。通常用其表示向量 x的非零元素个数来刻画。
y Ax, A [A1, A2,
, An ]: 字典, Ai [v1, v2,