视频的超分辨率增强技术综述

收稿日期:2004202226;修返日期:2004206211

基金项目:国家专项工程项目(“613”项目);国家杰出青年科学基金资助项目(60225015);高等学校优秀青年教师教学科研奖励计划资助项目

视频的超分辨率增强技术综述

3

王　勇1,2,郑　辉1,胡德文2

(11西南电子电信技术研究所国家重点实验室,四川成都610041;21国防科学技术大学机电工程与自动化学

院,湖南长沙410073)

摘　要:视频超分辨率增强的目的在于从时间上弥补视频采样设备采样帧率的不足,描述高速运动变化对象的细节信息;在空间上复原视频图像截止频率之外的信息,以使图像获得更多的细节。这项技术广泛应用于视频通信、监控、遥感和高清晰度电视等多个领域。从视频超分辨率的含义、发展现状、主要技术方法和未来研究展望等方面,对视频超分辨率增强领域的研究进行了综述。关键词:视频;图像;超分辨率;时空

中图法分类号:TP391 文献标识码:A 文章编号:100123695(2005)0120004204

Survey on Video Super 2Resolution Enhancement

W ANG Y ong 1,2,ZHE NG Hui 1,H U De 2wen 2

(11National K ey Laboratory ,Southwest Institute o f Electronic &Telecommunication Techniques ,Chengdu Sichuan 610041,China ;21College o f Mecha 2tronics &Automation ,National University o f De fense Technology ,Changsha Hunan 410073,China )

Abstract :Video super 2res olution enhancement technique has tw o main aims.T he first is rein forcing the sh ortage of video device frame

rate ,describing the details of fast 2m oving object.An other is recovering the lost image space in formation.T he technique is widely ap 2plied to many fields ,such as video communication ,surveillance ,rem ote 2sensing and H DT V.T his paper gives an overview of super 2res o 2lution in term of main used techniques.W ith the present problems in this area ,the paper gives s ome w ork and open issues that can be researched m ore in the future.K ey w ords :Video ;Image ;Super 2Res olution ;S pace 2T ime

1　引言

视频的超分辨率增强是指融合来自相同动态场景的多个低分辨率视频序列的信息,去重构一个高时空分辨率的视频序列。可想而知,视频超分辨率包括时间超分辨率和空间超分辨率。视频中某些事件发生变化比较快,这样就需要用所谓高速(高帧率)的摄像机来采样,如果使用普通帧率的摄像机,那么在时间上就会有一些细节信息的丢失。视频的时间超分辨率就是要恢复这些丢失的时间上的细节信息,而视频空间超分辨率就是通常人们提到的图像超分辨率复原。

摄像机在时间和空间上的分辨率能力是有限的。空间分辨率取决于摄像机光学传感器的空间密度及其本身引入的模糊误差,这些因素限制了图像中被观察到的物体或特征的最小空间尺寸;时间分辨率取决于摄像机的帧率和曝光时间,这就限制了视频序列中能被观察到的动态事件的最大变化速度。比摄像机帧率发生更快的动态事件在记录下来的视频序列中是不可见或者不正确的,如在网球比赛的视频中是不可能观察到高速运动的网球的全部运动和状态的。有两类非常

典型的由高速运动引起的可视化效果:①运动模糊,它是摄像机的曝光时间引起的,如高速运动的网球所带有的尾迹;②运动混淆,它是由于帧率限制的时间采样引起的,如一个小球以正弦波形向前运动,摄像机的帧率如果与小球正弦运动周期可比或相等,记录下的视频上就将观察到小球以很长的周期正弦运动或直线运动,这类似于一维信号的欠采样。这两种视频效果都不能依靠视频的慢速播放而消除,甚至使用复杂的时间插值算法来增加帧率也收效甚微[1],这是因为包含在单个视频序列中的信息是不足以恢复高速动态事件中丢失的信息。多个视频序列提供了附加的动态时空场景采样,这样就可融合这些信息去弥补丢失的信息,产生一个高时空分辨率的视频序列。

2　相关工作

图像超分辨率的概念和方法最早由Harris 和G oodman [2,3]

于20世纪60年代提出;随后有许多人对其进行了研究,并相继提出了各种方法,如长椭球波函数法[4]、线性外推法[5]、叠加正弦模板法[6]。以上这些方法虽然能给出令人印象深刻的仿真结果,但在实际应用中并没有获得理想的结果。80年代末之后,人们在超分辨率图像复原方法研究上取得了突破性的进展。Hunt 等人不仅在理论上说明了超分辨率存在的可能性[7],而且提出和发展了许多有实用价值的方法,如能量连续降减法[8]、Bayesian 分析法[9～12]和凸集投影法[13]。超分辨率

・4・计算机应用研究2005年

图像增强逐渐成为人们研究的热点,人们从多个角度对其进行了深入的研究。20世纪90年代初Irani和Peleg将经过相似性变换和仿射变换的图像[14,15]进行超分辨率增强,Mann和Pi2 card又研究了经过投影变换的图像[16],其他的研究者还研究了非参数运动模型[10]和区域追踪[17]。在成像建模方面,不同的图像污染模型被人们使用。Irani和Peleg的图像污染模型包括光学模糊和空间量化误差,Bascle等将运动模糊也包含进来[17],Cheeseman等从Vidicon相机的基准调平中建立成像模型[18]。人们在统计先验知识或调整规则的使用上也采取了不同的方法。Cheeseman等使用了基于高斯平滑先验知识的M AP 估计器来增强卫星遥感图像[18];Schultz和S tevens on改进了Bayesian方法,通过在边缘响应上使用带Huber惩罚函数的MRF先验知识来比较单幅和多幅图像的增强方法[10];Capel和Z isserman也比较了M L和MPA估计器对视频马赛克效果的超分辨率增强[19];Z omet和Peleg应用Irani和Peleg的误差反向投影方法来增强他们使用管道投影方法获得的视频马赛克效果[20];Rudin等应用了重采样和去模糊方法,在去模糊算法中使用了总变差规则[21]。利用序列和多幅图像进行超分辨率图像的增强也成为人们研究的热点[10,13,22,23],因为它充分利用了不同幅图像之间类似而又不同的信息,所以其超分辨率增强能力好于利用单幅图像进行增强所获得的超分辨率能力。

除以上所提到的,还有很多增加图像空间分辨率的方法被提出,这些方法多是融合子像素替换得到的多个低分辨率图像的信息[24,25]。然而,这些方法通常是假设静态场景,而没有关注在动态场景中有限的时间分辨率。随着视频应用需求的发展,视频分辨率增强逐渐被人们关注。视频区别于静态图像的最重要的特征,就在于其时间特性以及时空联合特性。通常视频摄像机采集帧率是50H z～60H z,电影被录制和播放在24H z, 25H z或30H z,而PC的显示器的图像刷新频率在60H z～120H z 之间。这样,如果普通广播电视视频要在PC显示器上显示的话,必须在时间上进行插值处理。一个好的运动补偿插值算法能够沿着运动轨迹将运动物体插值到当时正确的位置上,从而获得高质量的视频效果。

空间维和时间维是非常不同的,但又是相关的,这导致了视频在空间和时间上的折中。时间分辨率的大幅度提高,通常是以空间分辨率的降低为代价的,反之亦然。而这在传统的基于图像的空间超分辨率应用中是不存在的,这也带来了一些新的视频应用。比如,靠增加时间分辨率来处理一些对空间分辨率的人为影响(如运动模糊),融合不同时空分辨率的输入序列(如NTS V,PA L以及高质量的静态图像)去产生一段高质量的视频序列,等等。所以应该考虑一个统一的框架,融合来自时空未对准而获得的动态场景的多个视频序列信息,来增加视频的时空分辨率,这将提高动态事件的可视化能力,尤其是高速动态事件的表示能力。这些已经开始成为视频超分辨率的研究热点。

3　视频超分辨率增强技术的主要方法

对于视频序列图像或同一物体的多幅图像,如果图像之间存在着相互运动(如平移和旋转),则这些序列图像含有类似但不完全相同的信息。基于序列或多幅图像的超分辨率增强就是利用这些不同但相互补充的信息以及物体的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率复原法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的补充信息,因此其超分辨率增强能力高于单幅图像超分辨率复原法。视频超分辨率增强技术目前主要有以下三大类:基于重建的方法、基于学习的方法和基于插值运动估计补偿的方法。

3.1　基于重建的超分辨率方法

基于重建的算法的基础是均衡及非均衡采样定理。它假设低分辨率的输入采样信号(图像)能很好地预估出原始的高分辨率信号(图像)。绝大多数超分辨率算法都属于这一类,其中主要包括频域法和空域法。频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[26]。虽然频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制,但这类方法只能局限于全局平移运动和线性空间不变降质模型,并且包含空域先验知识的能力有限。因为目前这类方法不再成为研究的主流,所以本文也不再赘述。

在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样等内容。此时成像模型可描述为:Y=HX+N。其中,Y= [y1T…y k T]T表示像;H=[H1T…H k T]T表示运动补偿、欠采样和退化的影响;X表示原物;N表示噪声。

空域方法具有很强的包含空域先验约束的能力,主要包括迭代反投影方法[14]、凸集投影P OCS[13]、最大后验概率估计器M AP和最大似然估计器M L[10]以及混合M AP/P OCS方法[23]等。

迭代反投影方法(I BP)[14,15]首先用输出图像的一个初始估计作为当前结果,再将其投影到低分辨率观测图像上以获得低分辨率模拟图像。通过低分辨率模拟图像与实际观测图像的差值不断更新当前估计。I BP通过观测方程使超分辨率复原与观测数据匹配,但其超分辨率重建结果不唯一,而且难以引入先验约束。

在空域方法中,研究较多的是凸集投影方法和最大后验概率估计方法。凸集投影方法(P OCS)是一类解决超分辨率图像复原问题的流行算法。为了降低噪声和减少奇异性解,P OCS应用约束条件将先验知识整合到计算中。增强表达式为F m+1=P

1

…P m[F n]。超分辨率图像解空间与一组凸形约束集合相交叉,而这组凸形约束集合代表了期望的超分辨率图像的一些特性,如正定、能量有界、数据可靠、平滑等,通过这些约束集合就可以得到简化的解空间。P OCS是指一种迭代过程,在给定超分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸形约束集合条件的收敛解。其特点是方法简单,可利用任何成像模型方便地加入先验信息,也可以很好地保持高分辨率图像上的边缘和细节;但其缺点是解不唯一,收敛速度慢且稳定性不好,解依赖于初始估计,计算量大。

最大后验概率估计方法将超分辨率图像视为一个复杂最优化问题的M AP解,使用先验平滑假设来减少不连续测量的影响[9,10]。最大后验概率(M AP)的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最

・

5

・

第1期　王　勇等:视频的超分辨率增强技术综述