基于稀疏模型的凸优化算法及其应用

1.2
1
0.8
0.6
0.4
0.2
0 20 40 60 80 100 120 140 160 180 200 220
measurement number
80%
2015-8-24
1.6
standard Lasso
GLasso
1.4
SDGLasso
1.2
1
0.8
0.6
0.4
0.2
0 20 40 60 80 100 120 140 160 180 200 220
0
0
0
0
1
1
Di,B
0
0 0 0 1
1
0 0 0 0 0 1
0 0 0 0 0 1
2015-8-24
16
分级稀疏的凸优化重建算法
充分条件
GLASSO
SS-GLASSO
SD-GLASSO
K0d GS
1
s
1
A
K0
1
d
SS G
1
K0d S
1
s
1
A
K0
1
d
SS G
arg min
x N
K
I
y Ax 2 1 x k 2 2
k 1
i 1
Di x
1
2015-8-24
15
分级稀疏的凸优化重建算法
分级稀疏信号凸优化重建模型
全变差矩阵
Di
Di,F
Di
,B
1 1 0 0 0 0
1 1 0 0 0 0
0 1 1 0
0
0
0
1
1
0
0
0
Di,F
AMUO 0.2
1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 Number of nonzero elements
1
0 20 40 60 80 100 120 140 160 180 200 Number of measurements
2015-8-24
24
有损稀疏信号估计：纯相位信号
2015-8-24
8
压缩感知基本理论
稀疏信号重建算法 基追踪（Basis Pursuit, 又称LASSO）
y = Ax
min x
x N
1
s. t. y Ax
2015-8-24
9
压缩感知基本理论
理论保证
零空间特性：对所有的子集，
S {1, 2,, N}, 严格等距特性
S S,
vS
Eldar et al. (Technion): Xampling Fudge et al. (Wisconsion & L3) Baraniuk et al. (Rice University): Single-pixel camera Dennis Healy, Defense Advanced Research Projects, (DARPA)
2015-8-24
2
研究背景
压缩采样 医疗成像 无线通信 数字图像处理 光学/雷达成像 计算生物学 地球物理数据分析 金融投资组合选择 社会财富分配问题
2015-8-24
3
压缩感知基础
稀疏表示 随机采样 稀疏信号重建
凸优化算法 贪婪算法
性能分析
2015-8-24
4
压缩感知基础
50
100 150 200 250 300 350 400 450 500
(c) AMUO
AMUO
ቤተ መጻሕፍቲ ባይዱ
50
100 150 200 250 300 350 400 450 500
标准稀疏信号估计
0.4 0.2
0 0
0.4 0.2
0 0
0.4 0.2
0 0
(a) The real compressive signal The real compressive signal
22
有损稀疏信号估计：测量矩阵误差
仿真实验
0.6 0.4 0.2
0 0
0.4 0.2
0 0
0.4 0.2
0 0
(a) The real sparse signal
The real sparse signal
50
100 150 200 250 300 350 400 450 500
(b) BP
BP
measurement number
100%
19
有损稀疏信号估计：测量矩阵误差
普通压缩感知结构
xˆ
有损压缩感知结构
测量不确定性 测量样本的信息丢失
2015-8-24
xˆ
20
有损稀疏信号估计：测量矩阵误 差
存在测量矩阵不确定性的压缩感知
电子系统中的模数转换器中量化格点误差 信道估计中训练序列误差 自适应波束形成中的阵列流形中波达方向格点误
电子科技大学博士学位论文答辩
基于稀疏模型的凸优化 算法及其应用
2015-8-24
学生：刘翼鹏 导师：万 群 专业：信息与通信工程 Email: dr.yipengliu@gmail.com
1
主要内容
研究背景 压缩感知基础 分级稀疏的凸优化重建算法 有损稀疏信号估计：测量矩阵误差 有损稀疏信号估计：纯相位信号 压缩感知在宽带谱感知中的应用 分级稀疏约束在自适应波束形成中的应用 总结与展望
50
100 150 200 250 300 350 400 450 500
(b) LASSO
LASSO
50
100 150 200 250 300 350 400 450 500
(c) AUO
AUO
50
100 150 200 250 300 350 400 450 500
近似稀疏信号估计
2015-8-24
Partial Fourier matrices M ~ (s(logN))
2015-8-24
10
压缩感知基本理论
Analog-to-Information Converter
Candes et al. (CalTech & Northrop Grumman): Random modulator preintegrator (RMPI)
s. t. z Ax
min x 1
s. t. z p Ax
min x 1
s.t. diag z*p Ax 1
2015-8-24
26
有损稀疏信号估计：纯相位信号
仿真实验结果
0.5
Real sparse signal
0
0
20
40
60
80
100
0.5
ADBP
0
0
20
40
60
80
100
0.5
POSSR
0.3
0.15
0.2
0.1
0.1
0.05
0 0 100 200 300 400 500
0 0 100 200 300 400 500
100%
2015-8-24
18
分级稀疏的凸优化重建算法
仿真实验（SD-GLASSO为例）
MS E MS E
1.6
standard Lasso
GLasso
1.4
SDGLasso
理论研究：
Terence Tao (UCLA) Candes, Donoho, Boyd, et al (Stanford) Tropp (CalTech) Romberg (GeoTech) Baraniuk et al. (Rice University) Eldar, Elad et al. (Technion) Vetterli, Vandergheynst (EPFL) S. Mallat, Cohen (France)
0.2 0.15
0.1 0.05
0 0
SDGLasso 100 200 300 400 500
80%
Real 0.2
Lasso 0.2
0.15
0.15
0.1
0.1
0.05
0.05
0 0 100 200 300 400 500
0 0 100 200 300 400 500
GLasso 0.4
SDGLasso 0.2
17
分级稀疏的凸优化重建算法
仿真实验（SD-GLASSO为例）
Real 0.2
Lasso 0.2
0.15
0.15
0.1
0.1
0.05
0.05
0 0 100 200 300 400 500
0 0 100 200 300 400 500
0.25 0.2
0.15 0.1
0.05 0 0
GLasso 100 200 300 400 500
差 金融分析中投资组合选择等
xˆ
2015-8-24
21
有损稀疏信号估计：测量矩阵误差
信号模型
y Ax n, x N
稀疏 +
BAV
抗测量矩阵误差的稀疏信号重建优化模型
min x 1
s.t. y Bx M x
2
1
min t
s.t. y Bx M t 2 x t 1
2015-8-24
1
vSc
,
1
其中：v ker A \{0}
1 S
x1 x2
2
2
A x1
x2
2 2
1 S
x1 x2
2 2
相干度分析
max jk
aj
ak
常见随机采样矩阵
Gaussian matrices
M ~ (s log(N / s))
Bernoulli matrices
M ~ (s log(N / s))
23
有损稀疏信号估计：测量矩阵误差
Average wrong support number Average wrong support number
仿真实验
#i P0 | P1 #i P1 | P0
i
L
1.8
7
BP
1.6
AMUO 6
1.4 5
1.2 4
1 3
0.8
2 0.6
0.4 BP
总体稀疏分布，局部稀疏分布 S N , K0 K , smax d
总体稀疏分布，局部密集分布 S N , K0 K , smin / d 0.5
smax max s1 s2 sK
smin min sI (1) sI (2) sI (K0 )
2015-8-24
14
分级稀疏的凸优化重建算法
0
0
20
40
60
80
100
0.5
POBP
0
0
20
40
60
80
100
2015-8-24
27
有损稀疏信号估计：纯相位信号
The successful rate of support recovery (%) The support Recovery successful rate (%)
xT2
x(K1)d 1xN
xTK
xBS K0
xT x1T , xT2，, xTK N : xTk 0, for 1, 2,..., K,
K0
2015-8-24
13
分级稀疏的凸优化重建算法
分级稀疏信号模型
总体稀疏分布，局部分布未知
S N, K0 K, S和d之间关系未知。
2015-8-24
11
分级稀疏的凸优化重建算法
应用背景
多子带的宽带通信信号处理 无线传感器网络 雷达信号处理 基因表示级测量 数字图像处理 多测量向量处理问题
2015-8-24
12
分级稀疏的凸优化重建算法
分块稀疏信号（进一步开发结构信息）
xT
x1 xd
x1T
f Ψx
xd 1x2d
2015-8-24
7
压缩感知基本理论
稀疏信号重建算法
解稀疏问题（主要）：
凸优化算法
基追踪 Dantzig Selector
贪婪算法
min x , s. t. y Ax
x N
1
min x , s. t. AH y Ax
x N
1
匹配追踪 正交匹配追踪 正则化匹配追踪
分段正交匹配追踪 压缩采样匹配追踪
信号模型
y Φ f Ψx ya y p
ya abs(y) yR yR yI yI
yp
phase(y)
y1 ya,1
y2
yM
ya,2
ya,M
z diag v y
z p phase(z)
xˆ
2015-8-24
25
有损稀疏信号估计：纯相位信号
凸优化稀疏重建模型
min x 1
N-by-1
M-by-1
N-by-N
Shannon/Nyquist Compressive Sensing
2015-8-24
6
压缩感知基本理论
稀疏信号重建算法
优化准则：
传统方法
最小范数解
min θ
éêë
y - Aθ
+l
2
θ
2 ùúû
稀疏解（非凸）：
min θ
éêë
y - Aθ
+l
2
θ
0 ùúû
分级稀疏信号凸优化重建模型
总体稀疏分布，局部分布未知
xGLASSO
arg min
x N
y Ax
K
2 k 1
x k
2
总体稀疏分布，局部稀疏分布
xSS GLASSO
arg min
x N
y Ax
K
2 1
k 1
x k
K
2 2
k 1
x k
1
总体稀疏分布，局部密集分布
xSDGLASSO
稀疏表示：
信号模型：
x = Ψθ + n
稀疏信号：
向量θ中，大部分元素为零——标准稀疏信号 向量θ中，少部分系数包括向量大部分的能量——
可压缩信号（近似稀疏信号）
2015-8-24
5
压缩感知基本理论
随机采样模型：仅采样线性投影
y = Φx = Φ(Ψθ + n) = Αθ + v
M-by-N
1
K0d GS
1
s
1
A
K0
1
d
SS G
1
K0d S
1
s
1
A
K0
1
d
SS G
1
K0d GS
1 s 1 A K0
1
d
SS G
K 0 sb B
1 sb 1 B K0
1
1 d B
1
K0d S
1 s 1 A K0
1
d
SS G
1
1s
K0sA
1 A K0
1 d A
1
2015-8-24