基于稀疏表示的彩色图像超分辨率重建算法

representation. Through analyzing the regularization parameter and data item，we propose an adaptive regularization parameter and then introduce a fast and effective construction method of dictionary to implement image super-resolution reconstruction adaptively. Simulation results show that our method outperforms the other methods not only on visual perception but also on peak signal to noise ratio (PSNR).
张琼等：基于稀疏表示的彩色图像超分辨率重建算法
基于稀疏表示的彩色图像超分辨率重建算法
张琼 ，付怀正 ，沈民奋
1) 2) 3) 1) 2) 3)
（广东省数字信号与图像处理技术重点实验室, 汕头 515063）
1)
（中国科学技术大学电子科学技术系 安徽合肥 230026）
摘
要：本文针对图像降质过程，结合人眼视觉特性，提出一种基于稀疏表示的彩色图像超分辨率重建算法。对
[3-6]
96
第十五届全国图像图形学学术会议
深入分析的基础上，提出自适应正则化参数选取方 法，并引入了一种可以快速构造超完备字典的稀疏 编码算法，实现图像快速有效的超分辨率重建。
为解决邻近块之间的兼容性，按照光栅扫描的顺序 选取 y。要使超分辨率重建 Dhα (Dh 为与 Dl 对应的 高分辨率字典)和先前得到的高分辨率邻近块保持 一致，需将式 (3)修改：
≤ c, ∀j = 1,..., n
∑B
i
2 i, j
≤ c, ∀j = 1,...n.
(8)
张琼等：基于稀疏表示的彩色图像超分辨率重建算法
97
对于系数矩阵 S 的学习，最优化问题等价于正则化 最小二乘问题，从而可用最小二乘法求解 S。在已 知 S 后，上式的最优化问题转化为：
~ 其中 D α−~ y
数据项和正则项的特点进行了分析，提出了自适应正则化参数选取方法，并引入了一种可以快速地构造超完备字 典的稀疏编码算法，实现图像快速有效的超分辨率重建。仿真实验结果表明了本文算法的可行性，与其它方法相 比，可以得到更高的峰值信噪比。 关键词 ： 超分辨率; 稀疏表示; 字典构造; 彩色图像
A color image super-resolution reconstruction algorithm based on sparse representation
ZHANG QIONG ,
1) 2) 3) 1)
FU HUAI ZHENG , SHEN MIN FEN
1)
2)
3)
(Key Lab of Digital Signal and Image Processing of Guangdong Province, Shantou, 515063) Hefei 230026）
2 m ,n
的作用是防止将强噪声点误判
min || X − BS ||2 F s.t.
∑B
k i
为图像边缘，避免对强噪声的放大。在图像边缘区 2 域，由于 σ y (m, n) 取值大，λ (m, n) 取值小，能够减小
2 平滑，实现边缘细节的加强；而在平坦区域 σ y ( m, n )
2 i, j
α
1
+
y= D= l βw ；矩阵 P 的作用是提 PDh ， 其中
取当前目标块和先前已重建高分辨率图像重叠的 区域；w 包含的是先前已重建的高分辨率图像重叠 部分的值；参数 β 控制低分辨率输入的匹配和高分 辨率块寻找之间的平衡，在后面的实验中 β 设定为 1。 求解出系数 α 后， 与 y 对应的高分辨率块 x 可由 Dh 表示为：
α * = arg min λ (α ) α 1 + Dα − ~ y
~
2 2
(10)
正则化参数 λ(α)必须能根据拟合误差能量和正 则能量的变化来动态调节，以自适应地均衡重建图 像的高频和低频特征，使其在一定正则性条件下充 分逼近观测图像，所以 λ(α)的选取应该满足以下条 件：(1) λ(α)必须为一个光滑函数，以便求导运算；
Keywords: super-resolution; sparse representation; dictionary construction; color image
0
引
言
超分辨率技术始于 20 世纪 60 年代 Harris 和 [1-2] Goodman 的研究工作 ，他们将带限信号外推的方 法运用于光学图像超分辨重建。由于其应用前景十 分广阔，这种技术马上引起了学术界的重视。 传统超分辨率重建的是利用低分辨率图像恢 复高分辨率图像的逆问题。很多信息在高分辨率图 像到低分辨率图像变化的过程中丢失，使得重建问 题变成一个严重欠定问题。 针对传统超分辨率算法的不足，人们提出了不
→ →
[9]
→
量 的 训( m练 集 ξ ,..., ξ 和它们对应的系数 → → → (1) → ) ， 假定重建误差 ξ − b s 是 S ,..., S (未知的） j j j 满足零均值方差为 σ I 的高斯分布，那么基向量和
2
∑
(i )
系数的最大概率估计就是下式最优化问题的解：
1 n (i ) min br {sr } ∑ 2σ ξ − ∑ j =1 b j s j
min λ
1 稀疏表示理论
近几年基于超完备稀疏分解的信号表示理论 得到广泛关注。基本思想是用超完备字典中的冗余 基取代传统方法中的正交基。信号的稀疏分解即从 超完备字典中选择具有最佳线性组合的若干原子 [7] 来表示信号，实际上是一种逼近过程 ： (1) f = fm + fr = ∑α k dk + fr 式中：fm 为 f 的逼近，fr 为残差，dk 为给定超完 备字典 D 中的一个原子，αk 为稀疏矩阵 α 的原子。 我们希望在 fr 最小的情况下得到 α 最稀疏的解。 即：
(5) 至此，超分辨率重构问题的关键转化为如何构 造超完备字典 Dh， Dl 以及在已知超完备字典的情况 下如何快速的求解系数 α。 2.2 字典的构造 超完备表示中字典 D 由一组函数构成，并且至 少能张成整个空间。如果要想得到图像最稀疏的表 [8] 示，则要求所用字典具有有限冗余性 。
对任意给定信号 ξ ∈ R k ，可以表示成：
≤ c, ∀j = 1,...n.
(9)
从 (9) 式中求解字典是个具有二次约束的最小 二乘问题，本文采用拉格朗日对偶求解。 2.3 正则化参数的选择 式(4)中正则化参数 λ 的选取对重建算法至关重 要。若偏小，不能有效消除高频噪声；若过大，图 像会丢失很多边缘信息。针对传统选取方法中存在 的缺点，本文提出一种自适应正则化参数选择方 法，无需噪声方差的先验知识，自适应确定正则化 参数，使得重建图像边缘得到较好的保持，实现了 重建结果的全局最优化。 为了动态选取 λ， 我们把 λ 改写为 λ(α)，式 (4)可以改写为：
s.t. （c 为常数） (7) 式(7)也可以写成矩阵形式，假定 X ∈ R k × m 为输 入矩阵，B ∈ R k × n 为基矩阵，S ∈ R n× m 为系数矩阵， 那么上述的最优化问题就可以写成： min B , S 1 2 || X − BS ||2 F + β ∑i , j φ ( S i , j ) 2σ s.t.
m
r (i )
r bj
r
2

, j
(i )
i =1
2
+ β ∑ i =1 ∑ j =1 φ ( s j )
m n
2
min
α
0
s.t.
y − Dlα
2 2
≤l
(3)
式中 min||α||0 保证 y 在 Dl 中能得到最稀疏的表 示，y − Dlα 2 ≤ l 保证由字典 Dl 重建 y 的方差小于 l。 2
（Dept.of Electronic Science and Technology , USTC ,
Abstract: This paper proposes a novel color image super-resolution reconstruction algorithm based on sparse
min
α
0
s.t.
f −
k∈Ω m
∑α d
k
k 2
≤ε
(2)
式中：||.||0 是零范数。如何求取上式的惟一解 是一个典型的 NP 问题。为此，众多学者提出了多 种有效的稀疏求解算法，主要有 MP、OMP 及 BP 等。
2 彩色图像超分辨率重建算法
目前彩色图像超分辨率处理大都是将其分解 为 R、G、B 三个空间分别进行处理。由于三个颜 色的重要程度相同，所以需要使用相同的分辨率进 行存储，数据量很大。同时，由于三个通道中的边 缘并不具有空间上的一致性，会导致三通道增强区 域不协调，造成色彩失真。为了避免以上问题，本 文采用 Y、U、V 色彩模型，利用人眼对亮度比对 颜色更敏感，将图像的亮度信息和颜色信息分离， 并使用不同的分辨率进行存储，从而在对主观视觉 影响很小的前提下，更有效地存储图像数据；对亮 度分量采用稀疏表示高分辨率重建算法来达到高 的清晰度，而对色度分量采用简单的双三次插值来 提高计算效率。 2.1 基于稀疏表示的超分辨率重建过程 假设低分辨率图像 Y 中的每一小块 y，在低辨 率字典 Dl 中存在稀疏表示：