红外图像处理技术现状及发展趋势_陈钱

Abstract：Because of the longer imaging wavelength, the characteristics of infrared images have defects of big noise, low contrast, large non-uniformity and limited spatial resolution. In order to overcome these drawbacks, the material, manufacturing crafts and imaging electronics components have throughout been three main research directions along with the development of infrared imaging technology. Under the present condition when the hardware has been well-developed, the updated infrared image processing technology succeeds to improve the performance of imaging system and applying capability. It attracts the attention of scientists all over the world, and various research results continue to emerge. Focusing on improving the temperature sensitivity of infrared images, this paper concludes the technologies of non-uniformity correction and image enhancement, and discusses its future development. Key words：infrared images，non-uniformity，digital detail enhancement 研究内容。红外图像处理技术需要针对红外图像的 具体特点而开展。受限于红外探测器的制作工艺难 度和材料纯度影响，红外图像主要存在如下几个共 性问题：第一，红外成像受非均匀性及无效像元的 影响，实际温度分辨率不高；第二，红外成像普遍 存在噪声大、图像对比度低、灰度范围窄的现象。 针对上述缺陷， 国内外学者均进行了相关研究， 并取得了一定进展。比如，针对红外图像非均匀性 问题，提出了非均匀性校正方法。针对图像对比度
Vij
Tb
(a) 原始响应曲线 (a) Original response curve 图2 非均匀性校正示意图
Tb
(b) 校正增益的响应曲线 (b) Response curve of corrected gain
Tb
(c) 增益和偏移校正的响应曲线 (c) Response curve of corrected gain and offsBaidu Nhomakorabeat
红 外 技 术 Infrared Technology
Vol.35 No.6 June 2013
低和灰度范围窄的问题开展了数字细节增强等相关 技术研究。本论文将综述上述技术的研究进展，分 析红外图像处理技术的发展前景。
下， 做这样的近似简化可以减少计算量和系统的复 杂性[5-7]。具体的校正示意图如图 2 所示。
1
非均匀性校正技术
理想情况下，凝视焦平面探测器受均匀入射辐 射时，视频输出幅度应完全一样。实际上，由于制 作器件的半导体材料不均匀 （杂质浓度、 晶体缺陷、 内部结构的不均匀性等） 、掩膜误差、缺陷、工艺条 件等影响下，其输出幅度并不相同（图 1 可看出神 舟十号整流罩分离红外图像的非均匀性） 。 凝视焦平 面探测器的视频输出非均匀性是红外敏感元件（探 测器） 、 读出电路、 半导体特性以及放大电路等各种 [1, 2-4] 因素综合的结果 。具体来源主要有：1）凝视焦 平面探测器中各像元的响应特性不一致。 2） 电荷传 输效率。3）1/f 噪声。4）凝视焦平面探测器外界输 入的影响。5）红外光学系统的影响。6）凝视焦平 面探测器中无效像元的影响。 7） 凝视焦平面探测器 所处环境温度的变化。8）基底掺杂变化，主要依赖 基底的生长技术。9）泄漏单元。10）多路转换器的 变化以及多输出的端口不匹配。 对红外图像非均匀性的校正，目前主要有基于 定标和基于场景的两大类校正方法。 1 .1 基于定标的非均匀性校正技术 无论是一点校正还是二点校正技术，它们都 是建立在以下一元线性时间不变的理论模型的基 础上的：
Fig.2 Diagram of non-uniformity correction
312
第 35 卷 第 6 期 2013 年 6 月
陈
钱： 红外图像处理技术现状及发展趋势
Vol.35 No. 6 June 2013
基于场景的非均匀性校正技术 所谓基于场景的非均匀性校正技术是指，红外 图像的非均匀性校正参数通过场景获得，而非通过 黑体的定标获得。基于场景的方法能够对校正参数 进行自适应更新， 因此其可以随时校正发生漂移的 红外图像，具有比基于定标法更好的校正效果。自 从基于场景校正这一概念出现以来， 国外学者便给 予了高度关注， 并取得了大量的研究成果与一批良 好的校正算法。总的来说，这些算法都是通过两大 类途径实现的。一类是基于统计的校正方法[8-13]， 这类方法通常对于焦平面每个像元接收到的辐射 量作一些时间上或者空间上的统计假设， 在此假设 的基础上不断修正校正参数， 校正焦平面像元的非 均匀性。其中最具代表性的技术有时域高通法，统 计恒定法，神经网络法，恒定范围法及其它相应的 扩展形式，如统计维纳滤波法，卡尔曼滤波法等。 该类算法一般要求目标场景与 IRFPA 器件相对运 动，以使 IRFPA 器件中所有探测单元在一段时间 内所接收到的目标场景辐射满足一定的统计假设。 然而，由于图像场景的多样性，该假设不一定能够 得到满足， 因此这类校正算法经常伴随较为严重的 鬼影问题。 另一类是基于配准的校正方法[14-16]， 这 类方法通常认为， 在较短的时间间隔内观察场景中 相同的位置时，每个像元的响应也应该是相同的， 因此这类技术需要准确估计帧与帧之间的移动。 其 中比较有代表性的技术有全景图积累法， 代数校正 法等。但是这类算法由于其要求限制较多，计算量 与存储量较大，且校正误差易逐级累计传播，所以 难以达到实际应用。 与基于定标的非均匀性校正方法相比，基于场 景的校正方法无论在校正的稳定性还是环境适应性 上均有所提高，是非均匀性校正技术的发展方向。
1.2
但是其也存在计算量大难以实时校正、鬼影严重、 收敛速度慢、需要目标长时间运动等严重影响其实 用的技术难题。 针对上述问题，南京理工大学的左超、陈钱等 提出了基于帧间配准的非均匀性校正方法[17]，该方 法认为，如果红外探测器是均匀的，那么相邻图像 对同一目标的响应应当是均匀的，正是由于探测器 非均匀性的存在，才导致了相邻像元对同一目标具 有不同的响应。该算法的核心思想就是，通过帧间 配准方法获得对同一目标响应的不同像元的位置， 利用最陡下降法使对同一目标进行响应的像元输出 逐渐逼近。图 3 为相邻两帧图像的示意图，重合部 分图像的校正参数为需要随时更新的参数，而配准 的目的则是获得相邻两帧图像的位移偏移值 di 和 dj。
yn yn-1
Z
-1
wn
bn
xn
+ CORRECTION
xn-1
N Frame n di
M Overlapped Area
dj
图3 Fig.3 相邻两帧图像的示意图
Frame n-1
Diagram of two adjacent images
图 4 是该算法的原理示意图，前后两帧原始红 外图像首先经过非均匀性校正， 之后进行图像配准， 并更新校正参数，更新后的校正参数用于后续视频 序列的非均匀性校正， 如此迭代， 便可完成该算法。 需要指出的是，在参数更新过程中可以选择不同的
收稿日期：2013-06-15 . 作者简介：陈钱（1964-） ，男，博士，教授，博导，主要从事夜视与红外技术、光电图像处理等方面的研究。E-mail：chenq@njust.edu.cn。 基金项目：国家自然科学基金“新型光致相变红外成像技术” ，编号：61177091。
311
第 35 卷 第 6 期 2013 年 6 月
Vij (Tb ) aij Tb bij
图1 Fig.1
2013 年 6 月 11 日发射的神舟十号红外监控图像的 非均匀性 Infrared image non-uniformity of the 10th Shenzhou spaceship launched in June 11, 2013
(1)
式中：aij 是各像元的增益系数，bij 是各像元的偏 移系数。 该模型假设红外焦平面阵列探测器响应电 信号 Vij 是黑体或场景红外辐射温度 Tb 的一元线性 函数关系，而且，响应是不随时间变化的。在稳定 的使用环境和较窄的场景红外辐射温度范围情况
Vij Vij
基于定标的校正法主要有如下优点： 1） 两点校正法的计算量很小， 每个像元的校正 只需要一次加法运算和一次乘法运算即可实现。 2） 由于计算量小， 因此两点校正法可以用硬件 实时实现，从而实现红外焦平面阵列探测器成像非 均匀性的实时校正。 3）对需要校正的目标图像无任何要求。 但也存在如下缺点： 1） 由于探测器单元响应的非线性， 系统工作偏 离校正定标点时，校正精度变差。 2） 由于探测器单元响应特性随时间漂移， 系统 工作一段时间后，校正效果有可能变差，需要重新 定标。 3） 如果系统的非线性比较严重或者系统对非均 匀性校正要求特别高时，两点校正法将无法满足应 用需求。 为解决基于定标的非均匀性校正方法的缺陷， 基于场景的非均匀性校正方法正得到快速发展。
The Status and Development Trend of Infrared Image Processing Technology
CHEN Qian
(School of Electronic and Optical Engineering, NUST, Nanjing 210094, China)
第 35 卷 第 6 期 2013 年 6 月
红 外 技 术 Infrared Technology
Vol.35 No.6 June 2013
〈综述与评论〉
红外图像处理技术现状及发展趋势
陈 钱
（南京理工大学电子工程与光电技术学院，江苏 南京 210094）
摘要：红外热成像系统因其成像波长较长，导致了红外图像存在噪声大、对比度低、非均匀性大、 空间分辨力差等缺陷，为克服这些缺陷，自红外热成像技术诞生之初，红外探测器材料、制造工艺 和成像电子学组件的研究便成为三大热点研究方向。在当前电子学硬件平台趋于完善的条件下，先 进的红外图像处理技术能够有效地提高红外成像系统的性能及其应用效果，受到了世界各国科技工 作者的广泛关注，各种研究成果不断涌现。本文从提高红外图像的温度分辨能力出发，重点对非均 匀性校正技术、图像细节增强技术的研究现状进行了总结，并对红外图像处理技术的发展趋势进行 了展望。 关键词：红外图像；非均匀性校正；数字细节增强 中图分类号：TN911.73 文献标识码：A 文章编号：1001-8891(2013)06-0311-08
0
引言
红外成像电子学组件是热成像系统的重要组成 部分，其肩负着充分发挥红外焦平面探测器性能、 将红外焦平面探测器输出的电信号经过处理转化为 视频信号或者其它系统规定格式的信号的功能。红 外成像电子学组件则包括硬件系统和图像处理算法 两大部分，由于当前硬件系统平台已经十分完善， 因此红外图像处理技术成为成像电子学组件的重要