运动模糊图像复原技术及其应用

5/93
图像复原方法的分类：
图像复原大致可以分为两种方法： 一种方法适用于缺乏图像先验知识的情况，此时可对退化过 程建立模型进行描述，进而寻找一种去除或消弱其影响的过 程，是一种估计方法； 另一种方法是针对原始图像有足够的先验知识的情况，对原 始图像建立一个数学模型并根据它对退化图像进行拟合，能 够获得更好的复原效果。 两种方法各有优缺点，第一种方法不需要先验知识，但其缺 点是速度较慢，效果也不如第二种好；而第二种方法只要有 正确的模型，就可在相对较短的时间内得到较好的效果，其 缺点是建立准确的模型通常是十分困难的。
由于高速运动产生的运动模糊图像
18/93
以拍摄快速运动的汽车为例来分析运动模糊图像的形 成过程。
运动模糊图像成像原理
19/93
解决运动模糊的方法一般有两种: •一是减少曝光时间。但相机的曝光时间并不可能无限制地减小， 随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以 这种方法用途极其有限; •二是建立运动图像的复原模型，通过数学模型来解决图像的复 原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主 要手段。
23/93
n(x,y) f(x,y) g(x,y)
H
图像降质过程模型
图像的降质公式：
g ( x, y ) = ∫
∞
−∞
∫ f (α , β )h(x − α , y − β )dαdβ + n(x, y )
24/93
以后讨论中对降质模型H作以下假设：
H是线性的
H [k 1 f 1 ( x , y ) + k 2 f 2 ( x , y )] = k 1 Hf 1 ( x , y ) + k 2 Hf 2 ( x , y )
4/93
图像复原与图像增强的关系：
图像复原与图像增强存在密切的联系，它们都是为了 改善图像的视觉效果，得到某种意义上的改进图像，也就 是希望改进输入图像的视觉质量，便于后续处理。 图像增强技术：更偏向主观判断，即要突出所关心的信息， 满足人的视觉系统，具有好的视觉结果。 图像复原技术：根据图像畸变或退化的原因，进行模型化 处理，将质量退化的图像重建或恢复到原始图像，即恢复 退化图像的本来面目，忠实于原图像。因此必须根据一定 的图像退化模型来进行图像复原。
7/93
逆滤波法 维纳滤波法 频域法 约束最小平方 滤波法 小波变换法 无约束复原法 有约束复原法 频谱外推法 伪逆滤波法 奇异值矩阵分解 SVD法 非线性代数 复原法
凸集投影法 最大熵复原法 贝叶斯复原法 遗传进化法 神经网络法
哈里斯外推法 长球波函数 外推法 能量连续降减法
线性代数 复原法
ห้องสมุดไป่ตู้
8/93
22/93
7.2.2 运动模糊图像的退化模型
模糊图像的一般退化模型：
在实际降质过程中，降质的另一个复杂因素是随机噪声， 考虑有噪声的图象恢复，必须知道噪声统计特性以及噪声和图 像信号的相关情况，这是非常复杂的。 实际中假设是白噪声---频谱密度为常数，且与图像不相 关，(一般只要噪声带宽比图像带宽大得多时，此假设成立)， 由此得出图像退化模型。 可以将图像退化过程描述成一个退化系统，这里原图像 f ( x, y ) 是通过一个系统 H 并与加性噪声n( x, y ) 相加退化成图像 g ( x, y ) 的，其过程如下图所示：
6/93
从方法和应用角度的分类：
• 频域图像恢复方法：逆滤波、维纳滤波等； • 线性代数恢复方法：线性代数滤波方法、空间域滤波方法等； • 非线性代数恢复方法：投影法、最大熵法、正约束方法、贝叶 斯方法、蒙特卡罗方法等； • 频谱外推法：哈里斯外推法、长球波函数外推法； • 反卷积恢复方法：盲复原方法 典型应用： • 大气湍流退化图像复原； • 离焦衍射图像复原； • 高速运动模糊图像的复原；………
f (x, y) ，则产生的退化图像 g(x, y) 可以用下式表示：
g ( x, y ) = h ( x, y ) ∗ f ( x, y ) + n ( x, y )
因此，图像复原是在已知 g(x, y) ，n(x, y)，h( x, y ) 等一些先 验知识的条件下，求得 f (x, y) 的过程。 由于空间域的卷积等同于频率域的乘积，所以上式的频率域 描述为：
2/93
7.1 图像复原技术概述
什么是图像复原技术？
图像复原技术也常被称为图像恢复技术，是当今图像 处理研究领域的重要分支。 图像复原技术能够去除或减轻在获取数字图像过程中 发生的图像质量下降（退化）问题，从而使图像尽可能地 接近于真实场景。
什么是图像退化？
景物形成过程中可能出现畸变、模糊、失真或混入噪 声，使所成图像降质，称为图像“退化”。
12/93
集成像移补偿法
集成像移补偿法是最新的像移补偿技术，它是将像移补 偿同芯片集成为一体，目前加拿大Dalsa公司为美国海军实 验室做成了5kByte× 5kByte带像移补偿功能的芯片，帧频 为2.5HZ，为超高分辨率CCD探测器。
13/93
图像式像移补偿法
图像式像移补偿又称软件补偿法。模糊图像是由清晰 图像与点扩散函数PSF卷积而得。根据这个原理，由退化图 像进行图像复原（Image Restoration，IR）来完成像移补 偿。图像式像移补偿法是对已有数字图像的后期处理，是 一种被动式的补偿方法且必须用在CCD相机上，通常是对事 后图像进行复原和分析。 优点：图像式像移补偿的成本低、软件算法相对比较成熟、 应用灵活等特点现已经引起广泛关注，随着DSP等快速高效 器件的推广使用，这种方法将很快用于准实时的像移补偿。
3/93
引起图像退化的原因：
造成图像退化的原因有很多，典型原因表现为： • 成像系统的象差、畸变、带宽有限等造成的图像失真； • 由于成像器件拍摄姿态和扫描非线性引起的图像几何失真； • 运动模糊，成像传感器与被拍摄景物之间存在相对运动，引起 所成图像的运动模糊； • 灰度失真，光学系统或成像传感器本身特性不均匀，造成同样 亮度景物成像灰度不同； • 辐射失真，由于场景能量传输通道中的介质特性如大气湍流效 应，大气成分变化引起图像失真； • 图像在成像、数字化、采集和处理过程中引入的噪声。
10/93
光学式像移补偿法
光学式像移补偿法的原理是按照与相机焦面上像移速度 一致的原则旋转或移动光路元件以改变光线方向达到抑制运 动模糊的目的。 目前常用旋转物镜前方的回转反射镜补偿前向像移。 优点：光学式像移补偿法的反射镜体积小、重量轻且易控制， 除补偿前向像移外还能补偿俯仰和偏航引起的像移，主要用 在长焦距全景式相机上。 KA-112A相机和美国芝加哥航空工业公司八十年代初研 制的KS-146航空侦察相机都用了该补偿法，它目前用得较多。
消除运动模糊的几种补偿方法
运动模糊的实质是由于相机与景物之间相对运动而造成 曝光瞬间感光介质相对被照物影像相对运动，也就是说存在 着像移。如果能减小或者消除这种像移就可以抑制运动模糊 的产生。目前常用的消除像移的方法有以下几种： 机械式像移补偿法 光学式像移补偿法 电子式像移补偿法 集成像移补偿法 图像式像移补偿法
11/93
电子式像移补偿法
电子式像移补偿方法主要是针对CCD相机，利用一系列 CCD电荷转移驱动技术来控制CCD曝光以同步像移速度的补偿 法。目前国内外采用的电子式像移补偿法有针对TDI CCD （Time Delay and Integrate Charge Coupled Device） 的真角度像移补偿法和对面阵CCD的阶梯式像移补偿法。 它已应用到美国的CA-260、CA-270、CA-290 等电光分 幅式航空侦察相机上，带有这种阶梯式像移补偿技术的面 阵CCD器件目前属于军事禁售品。
14/93
举例：图像式补偿方法的应用举例
模糊图像
复原后的清晰图像
15/93
小 结
图像复原的本质是根据图像退化原因，建立相应的数学模 型，从被污染或畸变的图像信号中提取所需的信息，沿着 使图像降质的逆过程恢复图像本来面貌。广义上讲，图像 复原是一个求逆过程，逆问题经常存在非唯一解，甚至无 解。 实际的复原过程是设计一个滤波器，使其能从降质图像 g ( x, y ) 计算得到真实图像的估值 fˆ ( x, y ) ，使其根据预先规定的误 差准则，最大程度地接近真实图像 f ( x, y ) 。 引出：如何建立图像的退化模型？
由于引起退化的因素众多，而且性质不同，而目前又没有统一的 恢复方法，许多人根据不同的物理模型，采用不同的退化模型、 处理技巧和估计准则，从而导出了多种恢复方法。 有效方法：针对特定条件，用特定模型处理。
A'
A
∆l = V ' t (mm)
ｔ为CCD摄像机的场积分时间
像移模型
21/93
小结：
像移量的存在导致图像模糊，为得到清晰图像，必须要对 像移进行控制。在实际工程中，CCD的积分时间不能无限的缩 小，而且高帧频CCD的价格很贵。积分时间缩短后，为了保证 图像质量，所需的地面照度就越大，这就限制了相机的工作条 件，在许多情况下是不能接受的。 目前解决运动模糊的主要手段是通过了解图像的退化过程， 建立运动图像的复原模型，通过数学模型来解决图像的复原问 题。
H是空间（或移位）不变的 对任一个 f ( x, y ) 和任一个常数 α、β 都有：
H f ( x-α , y-β ) = g ( x - α , y - β )
就是说图像上任一点的运算结果只取决于该点的输入值， 而与坐标位置无关。
25/93
如果考虑噪声的影响，运动模糊图像的退化模型可以描述为 一个退化函数和一个加性噪声项 n(x, y) ，设一幅输入图像
20/93
举例：以航空侦察相机为例讲述运动模糊的基本原理
当飞机以速度V在空中飞行时，如图所示，地 面景物A点相对飞机向后移动到A’。通过光学系统 成像于a’点，在CCD靶面上像移速度为：
a a' v
V ' V = f max H
'
V：飞机飞行速度； H：飞行高度； ' f max ：光学系统最大焦距。 在CCD摄像机每场积分时间内像移量为：
运动模糊图像复原技术 及其应用
赵丹培 宇航学院图像处理中心D座407 E-mail: zhaodanpei@buaa.edu.cn 2010年5月
目
7.1 图像复原技术概述
录
7.2 运动模糊图像复原的基本原理 7.3 典型的运动模糊图像复原方法 7.4 几种恢复方法的性能比较 7.5 图像复原质量评价 7.6 运动图像复原方法的应用
9/93
机械式补偿法：
利用机械结构及其组件在曝光时移动光感应介质，使剩余 像移量尽可能小，从而达到抑制运动模糊的目的。 该补偿法适用于飞行器横滚、俯仰和相机扫描引起的运动 模糊，主要用在胶片式垂直照相相机上，实现时是用拉动型量 片机构移动胶片并精确控制卷片机构以保证必要的补偿精度。 美国的KA-112A航空侦察相机用移动胶片法消除扫描和横滚造 成的像移。 优点：感光面上各点的补偿速度一样且没有附加光学系统。 缺点：它对结构的运行及制作精度要求高、需大功率传动装置， 限制了它在航空相机特别是广角镜头相机上的应用；感光材料 逐渐在由胶片往CCD 转变，其相应的像移补偿方法也在发生改 变。
G (u , v) = H (u , v) F (u , v) + N (u , v)
26/93
讨论恢复问题：
G F= 若略去噪音N，得： H
反变换,可求 F→ f
若H有零点，G也有零点出现，0/0的不定值，这样模型不保证所 有逆过程都有解？
H 通常， (u, v ) 在离频率平面原点较远的地方数值较小或为零，因此， 必须限制图像复原在原点周围的有限区域进行，即将退化图像的 傅里叶谱限制在 没有出现零点而且数值又不是太小的有限 H (u , v ) 范围内。
16/93
7.2 运动模糊图像复原的基本原理
运动模糊的基本原理 运动模糊图像的退化模型 运动模糊图像的点扩散函数 匀速直线运动模糊点扩散函数的参数确定 运动模糊点扩散函数的离散化
17/93
7.2.1 运动模糊的基本原理
在用摄像机获取景物图像时，如果在相机曝光期间景 物和摄像机之间存在相对运动，例如用照相机拍摄快速运 动的物体，或者从行驶中的汽车上拍摄外面静止不动的景 物时，拍得的照片都可能存在模糊的现象，这种由于相对 运动造成图像模糊现象就是运动模糊。 下图为实验室实际拍摄的含有噪声干扰的运动模糊图像。