关于图像超分辨率重构的现状研究

关于图像超分辨率重构的现状研究

摘要：图像超分辨率的重构技术是近20年来兴起的一门新的数字图像处理技术。随着计算机硬件技术和软件设计技术的不断发展,各种图像超分辨率重构算法被提出。综述超分辨率重构的相关研究,指出图像超分辨率重构技术近几年来的一些研究成果。

关键字：图像超分辨率；图像超分辨率重构；迭代法投影法

Abstract:Image super-resolution reconstruction technology is nearly 20 years the rise of a new digital image processing technology. With the continuous development of computer hardware and software design technology, all kinds of image super-resolution reconstruction algorithm was proposed. Of related studies on super-resolution reconstruction, and points out that the technology of image super-resolution reconstruction in recent years, some of the research.

Keywords:image super-resolution; image super-resolution reconstruction; iterative projection method

1引言

超分辨率重构算法始于20世纪80年代,其目的在于恢复一些已丢失的频率分量。在成像过程中,由于受成像系统的物理性质和天气条件的影响,图像中存在着光学和运动模糊、采样不足和附加噪声等退化现象,图像空间分辨率较低。而在实际应用中,需要高分辨率的图像,如在遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。在现有的传感器不作改变的情况下,人们希望利用信号处理的方法,通过一系列低分辨率图像来重构高分辨率图像。这种从同一场景的低分辨率图像序列中,通过信息融合来提高空间分辨率的方法通常被称为超分辨率重构。

超分辨率图像需要获得同一场景的图像序列,并且序列中各帧图像间存在像素平移和旋转,使各帧图像能包含了不同的观察角度的同一场景互补信息。这样重构后的图像包含各帧图像提供的信息, 并且分辨率要高于各输入图像的分辨率。

2图像超分辨率重构的概述

超分辨率影像重构技术于60年代有Hamm和goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法都做出了较好的仿真结果，但并没有在实际中得到广泛的应用。在90年代初，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨影像重构方法研究上取得了突破性的进展，其应用已经渗透到航天航空遥感，医学计算机成像的分析，目标识别、监视系统成像等诸多领域。

从目前的研究和应用成果来看，人们提出了很多图像超分辨率的算法。这些算法按照可以获得的低分辨率图像的数量可以分为两类：①序列图像的高分辨率估计：组合同一场景的多幅低分辨率图像以获得一副高分辨率图像的过程；②单幅图像的高分辨率估计：由一副低分辨率图像得到一副高分辨率图像的过程。另外序列图像超分辨算法也可以分为空间域方法和频域方法。早期的研究工作主要集中在频域进行，但随着更一般的退化模型的考虑，后期的研究工作几乎都集中在空间域进行。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。

3 图像超分辨率研究的主要方法

3．1频域方法

频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重构方法。消混叠重构方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。

频率域成像模型针对的理想图像是连续的,对于成像过程的描述更加精确求解精度和抗噪声能力都要较空间域模型好,有助于问题更加精确的描述和求解,这是频率域方法研究的意义所在。图1为频率域重构过程。

图 1 频域重构高分辨率图像过程

3.2空间域方法

3.2.1迭代反投影法(Iterative Back Projection, IBP)

在图像处理领域“估计—模拟—比较—修正”模式的迭代方法应用十分广泛,Peleg等人用模拟采样方法,采用类似层析成像中的反投影的方法进行重构高空间分辨率图像,他们所用的迭代式为：

f( n)表示n 次迭代的结果; g 为p 帧低分辨率图像的采样点;h PSF图像模糊系统的

点扩散函数; h BP反投影滤波函数; c为(常数)归一化因子;*表示空间卷积。IBP法适用于线性和非线性成像模型,收敛速度较快,是一种特殊的POCS法。

迭代法反投影法是空域方法中具有性的方法之一，其原理主要是要求超分辨率图像与观数据匹配(通过观测模型)。然而,由于图像超分辨率是一个病态求逆问题。因此，IBP方法的解通常也是不唯一的，该算法的收敛性要求帧间变化是仿射变换。此外,IBP方法也很难引入先验知识。

3.2.2凸集投影法( POCS)

凸集投影方法的优点是可以方便地加入先验信息, 可以很好地保持高分辨率图像上的边缘和细节;缺点是解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影方法的收敛稳定性, 可以采用松弛投影算子, 但松弛投影算子不利于保持图像的边缘和细节。

3.2.3贝叶斯分析法

贝叶斯分析法包括最大后验概率估计法( MAP)和最大似然估计法( ML) , 最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外, 最大后验概率估计方法的边缘保持能力不如凸集投影方法, 由这类方法获得的高分辨率图像上的细节容易被平滑掉。

3.3 运动估计方法

图像超分辨率重构需要知道不同图像所对应的像素之间的亚像素位移量,这是实现超分辨率的前提。在一些成像系统中,可以通过硬件控制的方法得到序列影像之间的位移量。例如SPOT5 卫星的HRG( High resolution geometric) 成像仪在焦平面内放置两个12000 个单元的线性阵列, 两个阵列在水平和垂直方向分别错开0. 5 像素并单独成像, 获取两幅相互错位的分辨率为5m 的图像, 然后通过超分辨率重构技术可以得到一幅分辨率为 2. 5m 的高分辨率图像( 实际