超分辨率算法综述

超分辨率复原技术的发展
The Development of Super2Re solution Re storation from Image
Sequence s
1、引言
在图像处理技术中,有一项重要的研究内容称为图像融合。

通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥
补观测图像上的有限信息量是一个需要解决的问题。

图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅)
携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。

（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。

由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。

从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。

增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。

增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提
高图象的空间分辨率。

对图象空间分辨率进行增强的技术也叫超分辨率
(super2resolution) 技术,或亚像元分析技术。

本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。

）
（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如
光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。

图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。

按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。

显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极
限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。

超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。

超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。

例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。

正因为如此,超分辨率图像复原在近年
来已成为国际上图像复原领域最为活跃的研究课题,）
（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。

在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。

由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。

这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。

由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。

将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。

相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。

）
(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。

造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。

另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。

此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。

图1所示为图像的降质过程。

提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。

提高图像分辨率的另一方法是提高芯片尺寸,但这
将导致电容的增加和电荷转移速度的下降。

一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率
SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。

若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。

SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。

由于SR重建技术可以克服图像系统内在分辨率
的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:)
(图像超分辨率技术的应用很广泛。

就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。

该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。

)
1、超分辨率复原技术的含义
许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。

虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。

如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。

解决这一问题的一个有效办法就是超分辨率复原技术。

这种方法的目的就是由一些低分辨率变形图像(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。

大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。

单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。

虽然单帧
图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。

在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大
的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。

（超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图象序列) 换取空间分辨率,实现时间分辨率向空间分辨率的转换。

由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。

但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。

）
3 超分辨率复原技术的类型
超分辨率复原技术主要分成两类方法:频域方法和空域方法。

频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1 ] 。

频域方法有以下优点:理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。

但这类方法还存在以下缺点:只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。

所以目前这类方法不再成为研究的主流。

（3. 1 频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法(Re2construction via Alias Removal) 。

消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai 和Huang 在1984 年进行的。

在原始场景信号带宽有限的假设条件下,利用离散Fourier 变换和连续Fourier 变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR 影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每一帧观察图象都必须只对方程组中的一个不相关
的方程作出贡献。

Tsai&Huang 的方法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。

由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。

Tekalp ,Ozkan 和Sezan 针对Tsai&Huang 方法的限制, 于1992 年提出一种改进的方法, 对Tsai&Huang 的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSI PSF (Linear
Shift Invariant) 和观测噪声。

Tekalp 在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang 方法及Tekalp 等人对Tsai&Huang 方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。

Kaltenbacher 和Hardie 于1996 年在Tsai&Huang 算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang 方法相比有重大的进步,对提高计算效率方面有很大的帮助。

Lucas 等提出了一种基于数据驱动的稳健计算方法,该方法具有较少的计算复杂度,便于用硬件进行实现。

后来还出现了用递归最小二乘方法以及基于多通道采样定理的方法,但总的说来,这些方法都只是对Tsai&Huang 方法的改进, 都存在着与Tsai&Huang 方法中整体平移假设这一相似的缺点,通过混叠解混叠方法进行超分辨率重建的理论目前仍然没有取得重大突破。

）在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。

空域方法具有很强的包含空域先验约束的能力,例如马尔科夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。

空域方法主要包括非均匀空域样本内插法[2 ] 、迭代反投影方法[3 ] 、集合理论复原方法(凸集投影POCS ) [4 ] 、统计复原方法(最大后验概率估计器MAP 和最大似然估计器ML) [5 ] 、混合MAPPPOCS 方法[6 ] 以及自适应滤波方法[8 ] 等。

迭代反投影方法( IBP) 是首先用输出图像的一个初始估计作为当前结果,并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差,根据模拟误差不断更新当前估计。

迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配,但这种方法
的超分辨率重建结果不惟一,而且把先验约束引入到这种方法中也不是一件容易的事情。

凸集投影方法( POCS) 是一类解决超分辨率图像复原问题的流行算法。

超分辨率图像解空间与一组凸形约束集合相交叉,而这组凸形约束集合代表了期望的超分辨率图像的一些特性,如正定、能量有界、数据可靠、平滑等,这样通过这些约束集合就可以得到简化的解空间。

POCS 是指一种迭代过程,在给定超分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸形约束集合条件的收敛解。

在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。

最大后验概率(MAP ) 的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。

根据贝叶斯原理,高分辨率图像的后验概率等价于以下两项之积: ①已知理想高分辨率图像的前提下,低分辨率视频序列出现的条件概率; ②理想高分辨率图像的先验概率。

条件概率项通常采用高斯模型,先验概率项在不同的算法中采用不同的模型。

最大后验概率估计方法的收敛稳定性取决于先验概率项。

先验概率模型应该具有下面3 个特点: ①是一个局部平滑函数;
②具有边缘保持能力; ③是一个凸函数。

最大似然复原方法可以认为是最大后验概率复原方法在等概率先验模型下的特例。

混合MAPPPOCS 方法就是在最大后验概率方法的迭代优化过程中加入了一些先验约束。

已有的理论证实,只有采用梯度下降最优化方法才能保证这种混合MAPPPOCS 方法收敛到全局最优解。

在空域方法中,研究较多的是凸集投影方法和最大后验概率估计方法。

凸集投影方法的优点是可以方便地加入先验信息,可以很好地保持高分辨率图像上的边缘和细节;缺点是解不惟一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。

为了提高凸集投影算法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。

最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和惟一、降噪能力强和收敛稳定性高等;缺点是收敛慢和运算量大。

另外,最大后验概率估计算法的边缘保持能力不如凸集投影算法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。

3. 2 空间域方法
空间域方法是图象超分辨率重建应用中另一类主要的方法,它将复杂的运动模型与相应的插值、迭代及滤波重采样放在一起进行处理,作为影像重建的全部内容,其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模糊、空间可
变点扩散函数、非理想采样及其他一些内容。

空间域影像超分辨率重建方法主要包括非均匀间隔样本内插( Interpolation of Non2Uniformly Spaced
Sam2ples) 、代数滤波后向投影(Algebraic Filtered Backpro2jection) 、概率论方法(Probabilitic Methods) 以及集合论方法(Set Theoretic Methods) 、混合MAP/ POCS 方法以及自适应滤波方法等。

3. 2. 1 非均匀间隔样本内插
LR 的观测影像序列经过配准后,形成一幅由非均匀间隔采样格网点上的样本值形成的复合影像,这些非均匀间隔样本点经过内插和重采样可形成超分辨率的采样格网。

Keren、Peleg 和Brada 提出了一种包括整体平移和旋转的超分辨率重建模
型,但该方法的内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。

Aizawa 、Komatsu和Saito 提出了另一种基于内插的方法,对通过立体相机获取超分辨率影像的方法进行了讨论。

Masayuki 用内插滤波方法对遥感影像进行了模拟试验,证明了超分辨率的可行性,但效果并不很理想。

近年来,有的学者对基于小波的图象超分辨率技术进行了初步的研究和试验,将多帧低分辨率数据变换到不同尺度的小波空间,然后在不同尺度的小波空间再对图象进行重建,得到高分辨率的重建图象,取得了比较满意的试验结果。

但总的说来,这一类方法基本没有考虑光学模糊和运动模糊的影响,不能够利用任何先验信息,因而图象重建效果受到一定的影响。

3. 2. 2 代数滤波后向投影方法
代数层析滤波后向投影方法是Friden 和Aum2man 在1987 年提出的,当时的研究并不是由影像序列重建超分辨率影像,而是一个与超分辨率重建相关的、由线性成像阵列对一固定景物进行多次一维扫描的重建问题。

Friden 和Aumman 研究的问题和超分辨率重建仅仅在成像系统的PSF 方面不同,Friden 和Aumman 重建公式中假定线阵列传感器的分辨率高于光学系统的有限分辨率,成像几何能够提供
给定景物区域的重叠扫描,但没有考虑观测值噪声,对高频噪声非常敏感,该方法的主要贡献在于将层析成像领域中的重建技术应用于影像超分辨率重建领域。

3. 2. 3 基于概率论的方法
在统计复原方法中,超分辨率复原问题可以解释为一个统计估计问题。

因为超分辨率重建问题是一个病态(ill2posed) 问题,欲使病态问题转化为可解的良(well2posed) 问题,必须施加一定的先验附加条件和限制。

在最近几年,本质上就包含着以先验概率密度函数为先验限制条件的Bayesian方法,由于其较好的重建结果已经赢得了越来越多人的重视, 成为处理病态问题最有前景的(mostpromising) 方法之一。

Bayesian 方法实际上就是极大后验概率估计MAP(maximum a posteriori probabil2
ity estimate) 方法,它的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图象的后验概率达到最大。

Schultz 和Stevenson 最早在1992 年将极大后验概率估计方法应用于以Huber2Markov 随机场作为先验知识的影像内插,以改善影像的清晰度。

1995年他们又将早期的研究结果推广到了影像超分辨率重建的研究,提出了一种基于运动补偿亚采样矩阵的观测值模型。

1997、1998 年Schultz , Stevenson
和Meng 认识到了精确运动估计信息对超分辨率重建的重要性,对子像素级精度(sub2pixel accuracy)运动估计(motion estimation) 方法,特别是对具有8个参数的块运动估计投影模型以及基于光流(opti2cal flow) 的运动估计方法进行了深入的研究,提出检测和排除不精确运动估计向量的方法,使得超分辨率影像重建的效果得到了极大改善。

注意到运动估计本身就是一个病态问题,Schultz 和Stevenson 还提出了正则化运动估计方法,这种方法将Bayesian 运动估计量用于块运动估计,获得了十分满意的超分辨率重建效果。

Hardie ,Barnard 和Bognar 也提出了一种本质上与Schultz 和Stevenson 相同的MAP 方法,不同的是他们考虑了整体和非整体运动模型。

后来Hardie 对这一工作进行了推广,考虑了一种运动估计和超分辨率重建
同时解算的问题,并给出了极大后验估计的公式。

尽管这一公式的收敛速度比较慢,但因为其运动估计参数不再是像其它大多数超分辨率重建算法那样直接用LR 观测数据估计,得到了较好的重建效果。

Wesley 提出了一种基于平稳随机场退火
的优
化内插方法,取得了分辨率提高2 倍的结果。

3. 2. 4 基于集合论的方法
解决超分辨率重建问题的另一著名方法就是
基于集合理论的凸集投影POCS (projection ontoconvex set ) 方法。

在这种理论中,限制集定义为超分辨率解空间中可行解的限制条件(如正定性、能量有界性、观测一致性以及光滑性等) ,而每一个限制条件则定义为向量空间中的凸集合( convex
sets) ,通过对这些限制集合进行求交,形成超分辨率重建问题的解空间。

Yoyla 和Webb 在1982 年最先将凸集投影的理论应用影像复原。

此后1987年Friden 、Aumman 研究了利用局部滤波投影的方法进行线阵列扫描影像、面阵列扫描影像的复原。

Stark 和Oskoui 在1987 年首次将POCS 应用于超分辨率影像重建。

Tekalp ,Patti 和Sezan 在1992年和1994 年分别指出了上述缺陷,提出了包含系统矩阵的运动模型,该模型考虑了空间变化的点扩散函数SVPSF(Space Variying Point Spread Function)的影响,模型化了由LR 采样引起的退化以及由于传感器和景物之间的相对运动产生的模糊。

但总的说来,超分辨率图象复原技术受 3 个关键因素的影响:首先,最根本的就是子像素位移信息的可靠性,不可靠的运动估计造成的影响比缺少运动信息更大;其次,观察模型必须能精确地对成像系统及其退化进行描述;第三,影像重建算法必须尽可能地包含先验信息。

基于这样的认识和对解空间进行约束的讨论,未来的研究工
作将主要在运动估计、退化模型、重建算法等3 个最重要的方面展开。

运动估计虽然目前已经出现了许多种运动估计方法,但在实际应用中仍然无法获得令人满意的运动估计效果,同时这些运动估计方法的适用场合非常有限,从而有必要对现有的运动估计算法进行研究,在回顾与分析现有算法的基础上对其进行扩展。

在进行运动估计的过程中,运动模型及其估计方法应根据场景/ 相机运动的先验知识来进行选择,并且运动估计还应当考虑到多种互不相关的运动方式。

值得注意的是,由于运动估计是根据退化图象进行的,而且运动估计的效果与超。