耦合光度配准的双边全变差正则化MAP超分辨率重建算法

耦合光度配准的双边全变差正则化MAP超分辨率重建算法陈琳;殷卫霞;卢荣胜
【摘要】针对曝光量不同的序列图像超分辨率重建问题,提出一种耦合光度配准的双边全变差正则化MAP超分辨率重建算法.首先计算感兴趣区域图像的方向梯度直方图(HOG)并以此为匹配的特征,其次采用直方图匹配的方法估箅序列图像之间的光度映射函数,最后采用双边全变差正则化的超分辨率重建算法进行重建.通过计算重建图像的平均梯度、标准差及图像对比度发现,该算法能够有效提高重建图像的细节信息,并能有效减小重建图像间的亮度差异,提高图像对比度.
【期刊名称】《计算机应用与软件》
【年(卷),期】2015(032)012
【总页数】5页(P188-192)
【关键词】光度配准;正则化;最大后验概率;超分辨率重建
【作者】陈琳;殷卫霞;卢荣胜
【作者单位】泰州学院计算机科学与技术学院江苏泰州225300;泰州学院计算机科学与技术学院江苏泰州225300;合肥工业大学仪器科学与光电工程学院安徽合肥230009
【正文语种】中文
【中图分类】TP391.9
所谓的超分辨率重建，顾名思义就是重现高分辨率的图像，它是指通过使用重建算法，从低分辨率的图像中获得分辨率较高的图像。

这种重建算法有多种，由
Elad[1]等人总结出的重建算法主要有3种应用最广泛的算法，即最大似然估计算法、凸集投影法以及最大后验概率算法。

然而由于低分辨率图像数量不足和模糊、噪声等降质因素的影响，导致超分辨率图像重建方法的病态性，因此有必要采用正则化方法来求解。

采用正则化的主要目的就是将问题良性化，在保证问题的保真度的前提下，也能够降低较小奇异值对问题解的非稳定性造成一定的影响。

将正则项加入到超分辨率重建的算法中，不仅有利于问题解的稳定，而且还能够对算法收敛的速度进行提高和加速。

对正则化问题的理解，不同人有不同的理解。

Tikhonov[2，3]对正则化的
理解是认为它是通过预调节共轭梯度法来对问题进行求解的，针对欠定系统采用交叉核实法来对正则参数进行估计。

通常高分辨率重建图像的先验信息大都包含在正则项中，一般会以惩罚函数的形式在最小化代价函数中出现。

对正则项的设计需要考虑多方因素的影响，这是因为它对重建图像的视觉效果有很大的影响作用。

就目前来说，正则项较常用的有多种形式的，比如像是连续全变差正则项，或是融合全变差正则项，以及双边全变差正则项等。

由于Tikhonov正则化存在一些不足，像是将解进行平滑处理，而实际图像是不平滑的，经过平滑处理后，必将会使信息缺失。

但基于全变差的正则化在图像重建时能够抑制噪声，并不对解强加一种平滑作用，这样就可以使解的跳变边缘得到保持。

基于最大后验估计(MAP)的超分辨率重建方法对超分辨率重建这个病态问题进行正则化，并具有降噪能力强、解惟一等优点，得到了广泛的应用。

文献[2]同时考虑
全局和非全局运动模型，基于Gaussian-MRF统计模型提出一种联合估计HR图
像和运动参数的MAP算法；文献[5]提出基于双边全变差模型的超分辨率重建算法，双边全变差模型本质上可以看作双边滤波与Laplacian-MRF统计模型的耦合；张新明等[7]基于Hube-MRF统计模型，提出基于多尺度边缘保持正则化的MAP
重建算法。

值得说明的是，尽管超分辨率重建算法的研究取得了一定的成果，但是目前大多数重构算法都假设图像获取条件相同，对于外界光照变化或获取图像出现局部曝光过度或不足的情况几乎不予考虑，这严重影响了重建算法的实用性。

本文针对获取图像曝光不均匀的情况，提出一种耦合光度配准模型的正则化MAP超分辨率重建算法。

实验表明，该算法针对局部曝光不均匀的序列图像能够进行有效的超分辨率重建，调节了图像光度并且使得图像细节更加清晰丰富，更具实用性。

根据数码相机成像原理，如图1所示是相机的成像过程，首先是相机接收到的光信号通过感光元件转换成模拟信号，一般的感光元件是CCD，而且转换的模拟电信号是与曝光量成正比关系的。

然后在通过A/D转换处理，将模拟信号转换成数字信号，在通过后期的一些非线性运算处理，最终将信号转换成数字图像形式。

因此外界光照强度变化或相机自动调节等因素极易造成图像曝光率不同。

在图像获取过程中造成图像退化的主要有四个因素：因光学系统和CCD器件的点扩散函数产生的模糊，通常把点扩散函数称为模糊函数，矩阵形式用B表示；二是反映欠采样的抽取模型，可用采样函数δ(k,l)表示，矩阵形式表示为D；三是帧间存在一定的运动变化，例如平移、旋转、局部位移等，旋转参数如非特殊要求通常可以忽略不计，平移参数可用矩阵M表示；四是噪声模型，在空域用n(k,l)表示。

如果将外界光照强度变化或相机自动调节等因素考虑在内，第k帧低分辨率图像yk与高分辨率图像X之间的数学模型如图2[8]所示。

本文采取矩阵对上述模型表述如下：
式中，V为系统产生的加性噪声列向量；f(·)定义为光度变化函数，表示光照变化或相机调节对图像产生的影响。

可以看出，对式(1)的逆求解过程就是超分辨率重建过程。

本文逆向求解过程如图3所示。

运动估计的目的在于对序列图像进行空间配准，由于本文序列的光度存在变换，因此采用对图像几何和光学形变都能保持很好的不变性的HOG特征进行运动估计。

所谓的HOG特征主要是针对图像局部单元进行操作的，HOG特征的内在涵义是
认为一幅图像中，可以用梯度或是图像边缘的方向密度来表征图像局部目标的形状或是表象状态。

利用梯度或是方向密度进行描述时，HOG估计需要通过三个步骤来进行[9，10]，如下介绍描述子的提取过程。

(1) 首先需要对梯度的幅值和方向进行计算。

梯度的幅值表征了图像灰度变化，而梯度方向则是对图像在某像素点附近灰度变化的方向进行表征。

梯度幅值m(x,y)
由式(2)计算得到，而梯度方向θ(x,y)由式(3)计算得到。

式中的Gx表示在水平方向上的梯度，而Gy表示的是垂直方向上的梯度，梯度方
向θ(x,y)的取值范围可以设置成从0到π，也可以设为从0到2π。

(2) 其次是构建以及对方向的直方图进行统计。

方法是得到图像的梯度之后对其进行加权统计。

如图4(a)，把图像划分为很多块，对每个块再进行划分，分成一些
小单元，然后以单元作为单位来对梯度直方图进行统计，最后得到一个点(BIN)维
的向量，如图4(b)。

(3) 最后对其进行归一化操作，并且给出HOG描述子。

图像采集时，由于局部光
照原因的影响，再加上图像前景和背景有对比度的变化，这就使得梯度强度的变化会产生较大的差异。

对梯度强度进行归一化时主要以块作为单位。

采用归一化操作，能够改善由于光照变化和阴影部分的图像采光效果。

假设V是未经过归一化的向量，这个向量包含所有信息，经过归一化处理后，其标准向量nf的值可以通过式(4)得出，式中的ξ是约为0的一个正数。

对所有的块进行归一化之后，按照空间
的排列规则就得到了HOG特征的描述子。

式中，L1-norm是曼哈顿距离，L2-norm是欧几里德距离。

提取HOG特征后，对3个通道分别采用Sobel模板来计算其梯度值。

使用通道
加权和梯度加权的方法对梯度直方图进行统计，投票的权重主要由梯度的模值来决定，具体投到哪个BIN，这主要是由梯度方向决定的。

图像划分成块后，每个块都
要对其归一化操作，每个区域使用一个直方图向量来表示这个区域HOG特征。

在进行几何运动估计得到空间配准的图像之后，对应像素之间存在亮度和色度的差异，因此有必要对该差异进行调整。

直方图既提供图像的亮度和颜色差异，又给出图像的整体描述。

本文采用直方图匹配校正对应图像之间的亮度差异。

该算法首先通过待配准图像亮度直方图和参考图像亮度直方图来建立映射函数，然后使用该函数来校正待配准图像的亮度与色度[11]。

该方法的优点在于性能不受简化的光照成像模型的影响，既可以校正线性偏差，又可以消除伽马效应之类的非线性差异。

设待配准图像zr和参考图像zi，直方图匹配过程分为以下四步：
STEP1 计算原图像和参考图像的3个颜色分量直方图。

待配准图像zr亮度直方
图可通过下式计算：
其中，w表示图像的宽，h表示图像的高，zr(i,j)表示zr在(i,j)像素的亮度值，
Hz(u)为zr亮度直方图在亮度为u处的值，表示图像为u的像素所占的百分比。

参考图像zi的直方图按照上式进行计算。

STEP2 计算积累分布函数——积累直方图。

待配准图像zr的亮度积累直方图由
下式进行计算：
其中，Czr(u)为zr亮度积累直方图，表示图像中亮度值小于或等于u的像素百分比。

STEP3 计算映射函数。

得到zr和zi的积累直方图后，可以通过积累直方图的对应关系建立亮度变换的映射函数，zr和zi的积累直方图在每个亮度值处有相似数值。

映射函数由下式进行计算。

其中，f(v)表示亮度映射函数，(u)表示待配准图像zr的亮度分量积累直方图，(v)
表示参考图像zi的亮度分量积累直方图。

在式中，当(u)<(v)<(u+1)条件满足时，即表示zr中亮度小于或者等于v的像素和zi中亮度小于或等于u的像素数目相似，此时将待配准图像zr中亮度值为v的像素校正成u。

STEP4 待配准图像中的每个像素进行亮度映射
这样便完成两幅图像的光度配准。

几何配准可以求出重建模型中的平移矩阵Mk，如果考虑图像之间的光度函数f(·)，那么MAP框架下的超分辨率重建求解可以等价为下列代价函数的求解[12，13]：其中，进行几何配准后H只包含模糊集下采样矩阵。

式(10)前一项称为保真项，
后项为正则化项。

f(·)表示序列图像间的光度函数，λ为正则化参数，γ(X)为正则化项。

p表示所使用的范数，若p=1，则使用L1范数；若p=2，则使用L2范数。

采用双边全变差(BTV)正则项对式(10)进行求解，该正则项不仅在计算上易于实现，而且能够保持边缘信息，其正则化函数形式写为：
其中，Sxl、Sym为矩阵算子，表示将X在水平和垂直方向分别平移l和k个像素值，‖X‖表示X在不同尺度上的差分，α为权重系数。

将式(11)代入式(10)，即为：
通过最陡下降法求解上式，迭代求解重建图像：
其中，分别表示的转置，sign(·)为取符号函数，正则参数λ的选取已有许多成熟的方法可以选用。

β为迭代步长，在重建过程中，初始阶段一般选择较大步长以使结果收敛，然后随着迭代次数的增加，步长逐渐减小，以提高重建的精度。

对图像细节出现的微小反差或是图像的纹理变换的一些特征，可以通过平均梯度来进行表征。

同时平均梯度也能够对图像的清晰度进行表征。

一般来说，平均梯度与图像清晰度成正比关系，平均梯度越大，则图像的清晰度就越好，而且图像的细节反差也比较好。

平均梯度的计算通过下式得到。

式中，f(i,j)表示的是像点的灰度值，▽if(i,j)表示灰度值在行方向上的梯度值，而
▽jf(i,j)表示灰度值在列方向上的梯度值，M是代表图像的行数，N表示图像的列数。

图像的灰度值是离散的，用图像灰度标准差进行度量。

对于标准差大的，其图像灰度较为分散，对比度较高，相反，如果灰度标准差较小，则说明图像反差比较小，
图像的对比度相对小些[14]。

所以，由此可知，利用图像的灰度标准差可以分析出图像的对比度信息，继而可以分析得出图像的细节分析情况，计算图像灰度标准差的公式为：
式中，I(I,j)表示的是在坐标(i,j)处的图像像素的灰度值，表示的是图像的所有像素
的平均值，m是图像像素的行数，n表示的图像像素的列数，其中像素的平均值
由下式给出：
除此之外，还有一种评价指标是针对彩色图像的，即ICM[15]。

这种评价指标主
要是利用灰度和彩色直方图信息，并且使用L*a*b颜色空间来进行分析评价的。

在L*a*b颜色空间中，L*表示的是米制明度，而a*和b*表示的都是米制色度。

式(17)是求解ICM的计算公式。

式中，ω1是Cg的权重，而ω2是Cc的权重，Cg表示的是图像灰度对比度，而Cc表示的是图像彩色对比度，其中计算灰度对比度和彩色对比度的公式如式(18)
和式(19)所示。

通常情况下，评价指标ICM的取值范围从0到1，其中0代表对比度最差的情况，而1代表对比度最好的情况。

本文实验环境为MTLAB7.0(2010b)，Intel(R)Xeon(R)**************** 2.13GHz PC，显卡为Inter(R) HD Graphics Family，内存为3.48GB金士顿内存。

实验图像采用16幅低分辨率多曝光图像进行实验，图像大小均为512×384。

本
文在RGB空间中编程实现算法，分别对三个通道采用上述算法，最后得到重建后
的高分辨率图像。

Gauss窗口设为5×5大小，正则化参数λ选为0.05。

对第5帧低分辨率图像(曝光过度)用传统重建算法和本文算法分别进行重建，重建结果如图6所示。

其中图(a)采用双线性插值算法，图(b)采用未经光度配准的传统MAP算法，图(c)为本文提出算法，图(d)为图(a)(b)(c)图像的局部细节放大图像。

第5帧图像整体曝光过度，单从主观视觉上，本文算法优于插值算法和传统MAP
算法，边缘保持得更好，图像细节还原的更细腻(如树叶和灯罩处)，如图7(f)所示。

另外由于本文算法中包含光度配准，因此本文算法得出的结果光亮度与前两种算法相比有所下降(如灯泡和花盆处)。

取第13帧为重建帧，按照与第5帧相同的步骤进行重建，其实验结果如图7所示。

由于第13帧图像整体曝光不足，就细节重建而言，传统MAP算法和本文算法都
明显优于插值算法。

从图7来看，传统MAP算法也能够进行一定的亮度调节，重建出的图像亮度比插值算法均匀的多。

但是与本文算法相比，由于本文算法进行光度配准，因此得到的重建图像的亮度最好且能恢复出插值算法与传统MAP算法无法恢复出的细节信息(如图像右侧的树木)。

开始分块越小越耗时，在50和65大小的时候分块较大，消耗时间较长，这主要
由于分块图像的对梯度直方图进行统计，得到一个点(BIN)维的向量的计算以及分
离操作和归一化操作组合需要耗费时间。

因此可以根据实际需要，选择合适的分块大小来平衡图像超分辨率重建质量和运算时间问题，从图8中可以看出当分块从5开始增大以后峰值信噪比逐渐下降输出，运算时间增加速度提高。

结合图9，从实验结果看出选择50作为分块大小，可以在重建质量和计算速度上都得到了折中。

计算上述各算法重建图像的平均梯度和均值标准差，结果如表1和表2所示。

计
算均值标准差时分别提取图像的R、G、B分量，对R分量进行分离块操作(块大
小取50×50)，求各块标准差的平均值作为图像质量评价标准。

从平均梯度和均值标准差的计算结果来看，传统MAP算法和本文算法都优于插值算法，两种算法都能提高重建图像的细节信息和对比度，本文重建算法结果比传统MAP算法重建效果更好。

本文提出一种耦合光度配准的双边正则化MAP超分辨率重建算法。

首先采用基于HOG特征点的运动估计方法进行几何配准，其次采用直方图匹配的方法计算待重建帧与参考帧之间的光度函数，最后在双边正则化的MAP算法下进行超分辨率重
建。

由于本文算法考虑了重建图像之间的曝光量的差异并对其进行了估计，因此本文算法不仅能够提高重建图像的细节信息且保持边缘，更能对序列图像间存在的光度变化进行调节，使得重建曝光过度的重建图像亮度降低，曝光不足的图像亮度有所提升。

【相关文献】
[1] Maiseli B,Wu C,Mei J,et al. A robust super-resolution method with improved high-frequency components estimation and aliasing correction capabilities[J]. Journal of the Franklin Institute,2014,351(1):513-527.
[2] Villena S, Vega M, Babacan S D ,et al. Bayesian combination of sparse and non-sparse priors in image super resolution[J].Digital Signal Processing,2013,23(2):530-541.
[3] Mesarovic V Z,Galatsanos N P,Katsaggelos A K. Regularized constrained total least squares image restoration[J]. IEEE Transaction on Image Processing,2009,4(8):1096-1108.
[4] Zhou Weifeng, Li Qingguo. Adaptive total variation regularization based scheme for Poisson noise removal[J]. Mathematical Methods in the Applied Sciences,2013,36(3):290-299.
[5] Farsiu S,Elad Michael,Milanfar P. Fast and robust multi-frame super resolution[J]. IEEE Transaction on Image Processing,2004,13(10):1327-1343.
[6] Protter M,Elad M,Takeda H,et al. Generalizing the nonlocal-means to super resolution reconstruction[J]. IEEE Transaction on Image Processing,2009,18(1):36-51.
[7] 张新明,沈兰孙. 基于多尺度边缘保持正则化的超分辨率复原[J]. 软件学报,2003,14(6):1075-1081.
[8] Salem Faisal,Andrew E Yagle. Non-Parametric Super-Resolution Using a Bi-Sensor Camera. Multimedia[J]. IEEE Transactions,2013,15(1):27-40.
[9] 曹治国,吴博.采用HOG特征下的视景象匹配算法[J].红外与激光工程,2012,41(2):514-516.
[10] Navneet Dalal,Bill Triggs. Histogram of oriented gradients for human
detection[C]//International Conference on Computer Vision and Pattern Recognition,2005,2:886-893.
[11] 陈建乐,刘济林,叶建洪. 多视点视频中基于局部直方图匹配的亮度和色差校正[J]. 中国图像图形学报,2007,12(11):1992-1999.
[12] 路庆春.正则化超分辨率图像重建算法研究[D]. 合肥,中国科学技术大学,2010.
[13] Fouad M M,Dansereau R M,Whitehead A D. Two-step super-resolution technique using bounded total variation and bisquare M-estimator under local illumination
changes[C]//Image Processing (ICIP),2011 18th IEEE International Conference. IEEE,2011:1357-1360.
[14] 吴琼.可见光图像超分辨率客观评价方法研究[D].北京:首都师范大学,2009.
[15] Yihui Yuan,Junju Zhang,Benkang Chang,et al. Objective quality evaluation of visible and infrared color fusion image[J].Optical Engineering. 2011,50(3): 3278-3286.。