一种基于双模式成像的遥感图像去运动模糊方法

一种基于双模式成像的遥感图像去运动模糊方法
李奇;董文德;徐之海;冯华君;陈跃庭
【摘要】Most space optical imaging systems work in vibration environment, so optical axis motion and image plane jitter caused by the vibration result in motion blur of image, which is a serious impediment to high resolution imaging and high precision detection. Image deblur of space camera has two schemes to achieve mo-tion blur suppression:the first is combination of real-time hardware detection and real-time hardware compen-sation, and the second is combination of real-time hardware detection and software restoration compensation. The paper proposes a dual mode imaging of space camera to obtain two images:the first image is an inadequate exposure motion blur-free image and the second image is a precise exposure blurred image. Using image proc-essing tools, we can obtain motion path during exposure (blur kernel) from the two images, and restore the sharp image with the blur kernel as a priori knowledge. This method does not require compensation devices, detection devices and auxiliary detection optical path, and can automatically revise blur kernel during iterative processing. The method can be easily applied in the current space camera for remote sensing and has potential application value to improve remote sensing image quality.%对地观测载荷大多工作在颤振环境之中，这种颤振造成光轴偏移、像面抖动，由此产生的运动模糊对高分辨率成像与高精度探测产生了极为不利的影响。

对空间相机像面去模糊的工作，大致分为两种方案：一种为硬件实时探测加硬件实时补偿，另
一种为硬件实时探测加事后软件补偿。

文章提出通过主成像相机的双成像模式获得低信噪比无抖动图像和正常信噪比模糊图像，利用图像处理手段从这一对图像中求得抖动信息（模糊核），并以此为先验知识指导模糊图像的复原，抑制像面抖动。

这种方法既不需要补偿器件，也不需要探测元件和探测支路，并在图像迭代处理过程中不断修正模糊核，在初始模糊核有一定误差的情况下，同样可望取得良好的像面去模糊效果，对于遥感图像像质提高具有潜在的应用价值。

【期刊名称】《航天返回与遥感》
【年(卷),期】2013(000)004
【总页数】7页(P86-92)
【关键词】运动模糊;双模式成像;模糊核;图像复原;运动探测;空间相机
【作者】李奇;董文德;徐之海;冯华君;陈跃庭
【作者单位】浙江大学现代光学仪器国家重点实验室，杭州 310027;浙江大学现
代光学仪器国家重点实验室，杭州 310027;浙江大学现代光学仪器国家重点实验室，杭州 310027;浙江大学现代光学仪器国家重点实验室，杭州 310027;浙江大
学现代光学仪器国家重点实验室，杭州 310027
【正文语种】中文
【中图分类】TP75
1 引言
光电成像是对地观测、军事侦察的最重要手段之一。

高空间分辨率、高时间分辨率、高光谱分辨率的成像探测系统是各类光学成像载荷追求的目标。

然而这类成像系统
大多工作在颤振环境之中，载荷平台振动所造成的光轴偏移、像面抖动严重地影响了高分辨率成像与高精度探测。

国内外对空间相机像面去模糊（稳定成像）的研究开始于20世纪80年代，运用平台稳像、光学稳像对振动环境中的稳定成像进行研究。

进入90年代末期以后，随着CCD/CMOS光电成像技术的日益成熟，光电稳像、电子稳像、颤振图像的软件恢复与重建技术得到了进一步深入研究和发展，并在航空航天成像系统中逐步得到应用。

纵观国内外对空间相机像面去模糊的方法，大致分为两种方案：一种引入探测支路和补偿器件，探测支路获得空间相机的颤振信息，实时驱动反馈装置对补偿像面运动；另一种方案只引入探测支路，根据探测获得的颤振运动信息，对主成像相机上获得的模糊图像进行复原处理，得到像质改善的遥感图像。

国外有一些采用实时探测与实时补偿相结合方案的去模糊稳像系统。

美国NASA 的TRACE相机装备了图像运动补偿子系统；德国普朗克超高层气流物理学院、高度天文台（HAO）、洛克-马丁太阳和天体物理实验室等研究单位联合研制的SUNRISE项目[1]，采用了波前传感器来探测光轴的偏移，然后调整主光路中的校正反射镜来稳定成像；美国、日本和英国共同研制的Solar-B卫星上装载了稳像系统[2]，高速小面阵 CCD相机获取亚像素位移，通过伺服和驱动电路控制两维压电偏转镜实现像面颤振抑制；德国Dresden工业大学的K. Janschek等人研究了一种高分辨相机焦平面稳定技术的光学反馈方法[3]；德国宇航中心空间传感技术研究所的Ingo Walter等人提出了一种采用微机械器件对空间CCD成像系统进行稳像的方案；美国普林斯顿Electrim公司的Gaylord G Olson提出了在帧转移面阵CCD上采用稳定补偿[4]，并进行了相关试验研究。

近年来，国际上在颤振模糊图像的高清晰软件复原方面也开展了较多的研究工作。

图像复原这一去模糊的过程，往往需要先知道模糊核（即PSF）的数据，然后用这
个已经得到的准确的模糊核来解卷积而复原出清晰的图像。

目前对于采用实时探测、事后复原方案研究比较有代表性的包括：美国亚利桑那大学的L. M. Close和D. W. J. M cCarthy对太阳望远镜上的相关跟踪器及动态补偿系统进行了研究，用于探测及矫正大气湍流对成像品质的影响[5]；美国斯坦福大学的Suk Hwan Lim等人对高速CMOS图像传感器的视频处理应用作了相关研究[6]，他们利用高帧速率CMOS采样得到的图像序列，得到比基于普通帧速率（30帧/s）下更准确的Lucas-Kanade光流场估计，得到了更好的空间分辨率；美国哥伦比亚大学M. Ben-Ezra和S. K. Nayar利用高帧速率的辅助相机采集主成像相机一幅图像曝光
时间内的多帧图像，通过 Lucas-Kanade光流法计算帧间运动，得到相机的自身
运动轨迹，以此构建成像过程的点扩散函数PSF，最后使用Lucy-Richardson迭
代反卷积算法复原图像，取得了较好的效果[7-8]；德国德累斯顿工业大学的K laus Janschek等人提出了一种利用光学联合变换相关器探测成像部件偏移的方法，并根据得到的偏移矢量重构焦面的运动轨迹，通过图像后处理的方法补偿因平台颤振引起的像面模糊[9]。

2 双模式成像去模糊
图像复原的效果与运动路径的精细程度相关性非常大，实时探测时受限于探测器件的精度和带宽，难免会引入误差。

为了进一步精确地描述运动路径，可以采用双模式成像的方法进行处理，即采用两次曝光的方式获得正常曝光的模糊图像和短时间曝光的高噪声图像，近似认为模糊图是增强后的短曝光图与模糊核作用的结果，从而利用二者关系求取模糊核（即点扩散函数），进而实现运动模糊图像的复原，本文对这种方法进行改进，引入联合双边滤波器，取得更高品质的复原效果。

基于双模式成像的遥感图像去模糊步骤为：首先对两张不同亮度的图像进行配准和亮度校正；然后根据模糊图和非模糊的噪声图的关系计算模糊核（即点扩散函数）；最后进行图像复原，即使用余量解卷积和带有增益的余量解卷积RL方法，并用双
边滤波器合成低边缘振铃的图像。

2.1 图像配准和预处理
图像配准包括旋转配准、位置配准和缩放配准，已经有许多成熟方法，如基于像素点的方法和基于特征点的方法等。

但是模糊图和高噪声图的配准不同，两幅图存在很大的差异，即使特征点匹配也效果不佳。

根据模糊核具有一定的稀疏性和连续性的特点进行图像配准，如果模糊图和短曝光图配准不精确，如旋转角度不对等，将导致估计的模糊核有很多噪声，且会分散碎裂。

试验中发现，当旋转角度匹配正确时，所得的模糊核为最佳，而当旋转配准角度匹配错误（即使只相差0.1°），模糊核都会扩散开，并会严重影响复原的结果。

缩放比不同时，模糊核也会出现这样的情况。

因此可以根据此规律来得到正确的配准缩放比和配准角度。

2.2 模糊核估计
令I，K，B分别为清晰图像、模糊核和模糊图像的矢量表示式。

实验中清晰图I是用增强和去噪后的短曝光图像来代替[10]。

用Tikhonov约束准则求解K，如下：
式中λ为约束强度系数，其值越大，表示对K的平滑作用越强。

用拉格朗日法解得
对于上式可以用各种迭代法求解K，如Landweber迭代、共轭梯度法等。

在Landweber迭代过程中，由于缩放系数的值通常难以确定，只能靠人为调整，因此Landweber迭代算法的表现不够稳定，难以收敛到令人满意的解。

而共轭梯度法则不需要人为指定任何参数，且通常能收敛到较好的结果，故本文将Landweber算法中的迭代式替换为共轭梯度法迭代式，其它步骤保持不变。

考虑到模糊核的稀疏性和连续性，需在迭代的过程中加入对K的约束，即在每次迭代
后用一个迟滞滤波器滤除可能为噪声的小信号，这样噪声就不会被无限地放大而使结果不收敛。

如果图像的模糊核比较复杂，比如有两个断开的区域等，这时直接用这样的方法求模糊核可能会不够精确，因此可以采用多尺度框架下引导求模糊核。

即先在小尺度下进行模糊核和复原图的求取，然后逐步放大尺度，并以上一步得到的模糊核和复原图作为初始估计值继续优化，直到原始尺度最终得到准确模糊核和复原图。

2.3 带有增益控制的余量RL复原
直接对模糊图用 RL反卷积，反差大的边界会有较大的振铃出现，而边界反差小的边界处，这种现象则相对较小。

所以可以结合模糊图用反卷积的方法求出短曝光的去噪图与真实清晰图之间的微小差量。

对最简单的图像模糊模型进行推演，流程如图1所示。

图1 余量法求取清晰图流程Fig.1 Iterative process of residual algorithm
2.4 联合双边滤波增强
以上部分阐述了如何利用双模式成像方法求取模糊核及实现反卷积的过程，但由于图像复原问题固有的病态性，复原图像通常将受到噪声和振铃等负面效应的影响，虽然带有增益控制的余量 RL算法能对这些负面效应做有效控制，但所得的结果中细节同样会被抑制，致使复原图像显得较为平滑。

为了克服这一问题，本文将采用联合双边滤波器实现对图像细节的增强处理，以便得到更加符合人眼视觉感受的复原图像。

双边滤波器的公式为
式中Ip表示待滤波的图像在p点的像素值；表示待滤波的图像在q点的像素值；表示滤波后的图像p点的像素值；p表示整幅图中某像素点的坐标；q表示滤波窗口中某像素点的坐标；Ω表示滤波窗口像素坐标的集合；表示标准差为的高斯滤
波函数；表示标准差为的高斯滤波函数；表示空间滤波窗中空间临近权重的标准差；表示强度相似权重的标准差；W表示归一化项；||·||表示求绝对值。

联合双边滤波器相对于双边滤波器的改进之处在于，在用双边滤波器对用余量 RL
方法得到的复原图上滤波去振铃和噪声时，将双边滤波器中的强度相似度模板中的强度差改成两幅图对应的强度差，这两幅图分别为余量RL方法和带有增益的余量RL方法得到的图，这种方法可以表示为：余量RL的高频细节＋带增益余量RL的低频细节－它们共同得出的振铃＝复原结果。

3 仿真复原结果
图 2是以图像复原领域非常流行的飞天石雕图像的复原结果，原图来自文献[10]，其中(a)为短时间曝光图像增强后的高噪声图，图中噪声非常明显，且丢失了很多
颜色信息；(b)为正常曝光的模糊图，在曝光过程中相机有晃动，从而产生一个大
的模糊量，图右下角为求得的模糊核；(c)为用所求得的模糊核RL的复原结果；(d)为用本文方法的复原结果。

图2 实拍模糊图像的复原结果Fig.2 Restoration results of motion blur image 采用余量RL方法得到的图复原效果较好，图像边界尖锐，但是也存在振铃严重噪声被放大等问题；而采用带有增益的余量 RL方法复原得到的图振铃和噪声抑制的较好，平坦区域能保持光滑，但是图中真实存在的较弱的细节会被抹去。

本文的方法采用联合双边滤波综合了这两种方法的优点，得到了更加清晰准确的结果，从图像左上角的细节对比即可看出本文方法的振铃抑制效果。

4 面向遥感应用的模拟验证
通过以上软件处理验证了双模式成像去运动模糊的可行性，设计了面向遥感应用的模拟试验装置。

如图3所示，装置由光源、成像标板、平移微动台、平行光管、
反射镜组成。

环形照明光源发出的光将标板均匀照亮（作为目标景物的成像标板制
成鉴别率或遥感图像形式）。

照明后的标板位于平行光管的焦点处，经平行光管成像在无穷远处。

标板固定在平移微动台上，平移微动台可在计算机控制下实现各种平移颤振的精密模拟，并进行颤振形式和颤振参数的灵活调整。

微动台平移运动的幅度取决于计算机输出波形中的电压值，微动台平移运动的频率取决于计算机输出波形的频率，而输出波形可根据需要用软件编辑，由此完成空间运动环境中平移颤振的精密模拟。

标板经平行光管后的光线被反光镜反射转向进入成像系统和相机。

试验时，开启平移微动台使标板处于颤振状态，相机分别用极短的曝光时间和正常的曝光时间分别拍摄，获得同一景物的双模式图像。

实测的颤振模拟装置实测的幅频特性曲线如图4所示，颤振频率可以达到200 Hz，颤振幅度随着频率的升高而降低，在低频部分为150 μrad以上，可实现文献中报道的卫星颤振幅频特性[11]的模拟。

图4 模拟装置的幅频特性曲线Fig.4 Amplitude-frequency characteristic curve of simulation apparatus
5 结束语
在运动模糊图像的复原过程中，复原效果与运动路径（模糊核）的精细程度相关性非常大，受限于探测器件的精度和带宽，运动路径实时探测时引入的误差对复原结果有很大的影响。

为了进一步精确地描述运动路径，采用双模式成像（短时间曝光的高噪声图像和正常曝光的模糊图像）的方法进行处理，近似认为模糊图是增强后的短曝光图与模糊核作用的结果，从而利用二者关系求取模糊核。

本文提出方法包含图像配准及预处理、模糊核估计、图像反卷积、联合双边滤波增强等步骤，软件处理的结果证实了这种方法的有效性，同时设计了面向遥感应用的双模式成像模拟装置以进行下一步的实验。

这种方法既不需要补偿器件，也不需要探测元件和探测支路，并在图像迭代处理过程中不断修正模糊核，在初始模糊核有一定误差的情况
下，同样可望取得良好的像面去模糊效果，对于提高遥感图像像质具有潜在的应用价值。

参考文献(References)
【相关文献】
[1]Solankia S K, Gandorfer A M, et al. Sunrise: A Balloon-borne Telescope for High Resolution Solar Observations in the Visible and UV[J]. SPIE, 2003, 4853: 129-139.
[2]Toshifumi Shimizu, Shin’ichi Nagata, et al. Image Stabilization System on SOLAR-B Solar Optical Telescope[J]. SPIE, 2004,5487: 1199-1206.
[3]Janschek K, Tchernykh V. Optical Correlator for Image Motion Compensation in the Focal Plane of Satellite Camera[J]. Space Technology, 2001, 21(4): 127-132.
[4]Olson G G. Image Motion Compensation w ith Frame Transfer CCDs[J]. SPIE, 2002, 4567: 153-160.
[5]Close L M, M cCarthy D W. High-resolution Imaging w ith a Tip-tilt Cassegrain Secondary[J]. Publications of the Astronomical Society of the Pacific, 1994, 106: 77-86. [6]Lim S , Apostolopoulos J G , et al. Optical Flow Estimation Using Temporally Oversampled Video[J]. IEEE Transactions on Image Processing, 2005, 14(8):1074-1087. [7]Ben-Ezra M, Nayar S K. Motion Deblurring Using Hybrid Imaging[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003.
[8]Ben-Ezra M, Nayar S K. Motion-based Motion Deblurring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 689-698.
[9]Janschek K, Tchernykh V, et al. Integrated Camera Motion Compensation by Real-time Image Motion Tracking and Image Deconvolution[C]. IEEE/ASME International Conference on Advanced Intelligent Mechatronics, 2005: 1437-1444.
[10]Lu Yuan, Jian Sun, Long Quan,et al. Image Deblurring w ith Blurred / Noisy Image Pairs[J]. ACM Transactions on Graphics,2007, 26(3): 1-10.
[11]Wittig M, van Holtz L, et al. In-orbit Measurements of M icroaccelerations of ESA’s Communication Satellite OLYMPUS[J],SPIE, 1990, 1218: 205-214.。