超分辨处理理论基础

2超分辨处理理论基础

2.1超分辨率基础知识

2.1.什么是分辨率

分辨率是屏幕图像的精密度，是指显示器所能显示的像素的多少。由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。

分辨率决定了位图图像细节的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰，印刷的质量也就越好。同时，它也会增加文件占用的存储空间。

用于量度位图图像内数据量多少的一个参数。通常表示成ppi（每英寸像素）。包含的数据越多，图形文件的长度就越大，也能表现更丰富的细节。但更大的文件也需要耗用更多的计算机资源，更多的ram，更大的硬盘空间等等。在另一方面，假如图像包含的数据不够充分（图形分辨率较低），就会显得相当粗糙，特别是把图像放大为一个较大尺寸观看的时候。所以在图片创建期间，我们必须根据图像最终的用途决定正确的分辨率。这里的技巧是要首先保证图像包含足够多的数据，能满足最终输出的需要。同时也要适量，尽量少占用一些计算机的资源。

通常，“分辨率”被表示成每一个方向上的像素数量，比如640x480等。而在某些情况下，它也可以同时表示成“每英寸像素”（ppi）以及图形的长度和宽度。比如72ppi，和8x6英寸。

2.1.1什么是超分辨

图像的超分辨率(super resolution , SR)是指由一幅低分辨率图像(low resolution , LR)或图像序列恢复出高分辨率图像(high resolution , HR )。低分辨率

的图像包含的细节信息较少，但我们可以得到一系列低分辨率的图像，这些图像包含的部分细节信息各有不同，能够相互补充。通过这一系列低分辨的图像，经过一定的处理，可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。

在图像采集系统中，光学传感器的分辨率不能满足一些特殊应用的需求，而且成像过程受加性噪声及透镜点扩散函数(PSF, Point Spread Function)的影响，

因此，图像成像过程只能获得降质的低分辨率图像}s-ion。尽管随着技术的进步，传感器的分辨率有了明显的提高，但受成本的影响，也限制了其使用范围，而且受工艺等因素的影响，依靠提高传感器的分辨率来提高图像质量的能力是有限的。按照傅立叶光学的观点，在成像系统中的光学透镜是一个低通滤波器，由于受到光学衍射的影响，其传递函数在由衍射极限分辨率所决定的某个截止频率以上的值均为零，图像超分辨率处理试图重构截止频率以外的信息。

另一方面，对于通常的图像显示设备具有固定的分辨率，而对低分辨率的图

像数据，需要进行超分辨率处理获得与显示设备相匹配的分辨率才能正常显示(如HDTV High-Definition TV)，这一过程本质上也是一种图像超分辨处理。

2.1.2超分辨处理技术

超分辨率处理技术的方法有多种，这里我们阐述几个目前最常使用的方法：(1)基于插值。该方法是目前超分辨率研究中最直观的方法。通过对该图像的多帧进行比较估计，得到它们之间的相对关系信息，以此获得高分辨率图像在非均匀间距采样点上的像素值。然后通过非均匀插值的方法，经过一定的插值，就可以得到一幅高分辨率的图像。当然，这样得到的图像会存在噪音、模糊等问题，因此可以通过图像恢复技术进行一定的修复。

(2)基于重建。该方法主要有配准和重建两个关键步骤。在配准时，利用多帧低分辨的图像作为数据一致性的约束，这样可以获得其他低分辨率的图像和参考低分辨图像之间的亚像素精度的相对运动。重建时，可以利用图像的先验知识对目标图像进行优化。该方法常见的算法有迭代方向投影、最大后验概率、凸集投影等。

(3)基于学习。该方法的前提是认为低分辨率的图像完全拥有用于推理预测其所对应的高分辨率部分的信息。这样就可以对一个低分辨率图像集进行训练，产生一个学习模型，这个模型可以计算出图像高频细节信息。目前，常用的学习算法有Freeman等人提出的Example-based方法、Chang等人提出的基于邻域嵌入的方法等等。

本文介绍的单帧超分辨重建算法是基于插值的超分辨处理技术。基本任务是消除模糊。基本思路：先建立退化的数学模型，然后根据该模型对退化图像进行拟合。

单帧超分辨率技术利用空间有界和频带限制之间的不相容性来重建特定图

像中衍射极限以外的频谱。Wang等提出了有向滤波器,保护有向多项式表示的有向图像特征。Ayazifar提出了边缘保持的插值技术,该技术不仅能沿线性边缘插值,也能沿弯曲的轮廓插值。Schultz等将插值图像看作是非连续性保持的

Huber-Markov随机场,并计算它的最大后验概率(MAP)估算,以获得高分辨率图像。Thurnhofer等提出了图像插值的自适应算法,并进行了视觉边缘增强。

2.1.3超分辨率理论基础

在图像超分辨率重建算法中，首先要建立高分辨率图像之间的关系。一般来说，在单帧图像超分辨图像重建算法中，几何扭曲可以忽略不计，因此可以将图像获取过程中的退化现象模拟为原始高分辨率图像经过光学模糊、下采样和噪声干扰等一系列过程，用数学表达式表示如式所示：

Y=DBX+n(2.1) 其中，X表示原始的高分辨率图像，Y表示经过退化后的低分辨率图像，D 表示下采样因子，B表示模糊因子，n表示噪声。

图2.1 单帧超分辨算法模型图

单帧图像超分辨算法模型如图2.1所示。从图2.1可以看出，图像超分辨率重建就是利用信号处理方法求解图像退化的逆过程，即利用获得的低分辨率图像Y，通过超分辨率算法估计出满足需要的高分辨率图像X。

2.2单帧超分辨插值算法的基本理论

在生产和科研过程中经常会用到数学中的各种插值算法，如果在其中遇到Y 二f(x)，是不能直接写出表达式的，而是假定区间「a, b」上的实函数f(x)在该区间上n+1个相互不同的点x0,x1,x2,......,xn处的值是

f[xo],F[x1],......,f[xn]，要求估算f(x)在[a,b),b中某点xz，的值。其解决的基本思路是，找到一个函数P(x)，在xo,x1,......,xn。的节点上与f(x)函数相同，甚至一阶导数值也相同，用P(xZ)的值作为函数f(xz)的近似。

而计算过程中通常的做法是:在事先选定的一个由简单函数构成的有n+1个参数c0,c1，……，cn的函数类中φ(c0,c1，……，cn)中求出满足条件

P(xi)=f(xi)(i=0,1,......,n)的函数P(x)，并以P(x)作为f(x)的估值。此处f(x)称为被插值函数x0,x1,x2,......,xn称为插值结点，φ(c0,c1，……，cn)称为插值函数类，上面的等式称为插值条件φ(c0,c1，……，cn)称为插值函数，

R(x)=f(x)-P(x)称为插值余项。当估算点属于包含x0,x1,x2,......,xn的最小闭区间时，相应的插值称为内插，否则为外插。

在数字图像的几何变换处理过程中所运用的插值，插值的几何意义就是通过n+1个点(xi,yi)(i=0,1,......,n)做一条代数曲线y=Pn(x)使其近似于代数曲线y=f(x)。

在数学上较为常见的几种插值类型为:多项式插值、埃尔米特插值、分段插值、样条插值、三角函数插值等，这些插值的具体原理本文就不予以详细介绍了。