微光和红外图像假彩色融合与处理算法研究

图Ｊ．Ｊ．１金字塔融合算法
在以往的塔式融合算法中，数据融合的方法一般有：①逻辑方法（与、或）； ②平均法：③特征选择方法（有基于像素和基于区域的选择法）；④加权法。在 图像的小波变换域，系数的幅值代表了原始图像在该分辨率下灰度变化的剧烈 程度，可用小波变换域的局部极值点来重构小波系数，从而重构原始图像。局 域能量较大像素代表了原始图像中的明显特征。由于图像的边缘特征一般大于 一个像素，可以使用基于区域的特征选择并结合加权方法，在各分辨率的细节 图像中选择代表各原始图像的明显特征的系数，构成融合图像的金字塔数据结 构，然后重构融合图像。如果重建的图像超出动态显示范围，则需要重新进行
碗卜论艾
微光和红外图像假彩色触台与处理算法研究
重灰度图像融合的差别在于，它是以伪彩色实现为目的的图像信息融合，然后 选择合适的彩色标尺（如温度标尺）进行伪彩色化，融合过程如图１．１．２所示。 此类算法适用于两幅以上的多幅原始图像或具有不同分辨率的图像融合。采用
灰度级平移叠加法和调制法，效果较明显，并且计算简单，易于实时化。
以往的微光和红外热像的显示图像是单色的，通过区分颜色可以提高人类 视觉，特别是在低亮度对比情况下，目标与背景之间的色度差别对将目标从其 周围背景中识别出来的概率有显著影响。另一方面，对于微光夜视系统，由于 其输入照度低及目标与背景的反射差别小，因而所获取的视频信息具有很低的 信噪比。对于红外热像夜视系统．尽管由于工作在较长光谱波段，对成像辐射 有良好的大气透射比，因而有更佳的图像探测性能，但热像细节对比常不如可 见与微光图像好，增加了目标识别困难。基于这样的实际技术背景，以提高目 标探测与识别概率为目的的多谱融合彩色夜视技术，受到入们越来越多的重视。
Leabharlann Baidu
灰度图像
＾（Ｘ ｒ） 最（Ｘ的
灰
廑 图
Ｉ融合图像ｔ
当伪 前黪
－１ 像
融Ａ
Ｇ僻ｎ
ｒ．
调色 色输
板出
伪 彩 色 融Ａ
口
囤
口
慷
图１．１．２基于伪彩色的多重图像融合
另外，由于热图像表现出低频特性，而可见光图像细节丰富，表现出高频 特性，因此，可以使用小波变换的方法进行灰度图像融合。由于小波变换的多 分辨图像融合原理，使融合结果不出现人为的拼凑痕迹，特性之间过渡自然， 并能同时表现出温度图像和可见光图像的特征。在温度较高区域．平均灰度级 高，而在温度较低区域，平均灰度级低，并且显示出可见光图像的细节。伪彩 色融合的结果，进一步提高了目标与背景之间的差别。
在融合处理前，需要对输入图像进行消畸变、非均匀性校正、增益调整、 对比度增强、配准等预处理，其中图像配准是最重要的预处理步骤；再将配准 的图像送到融合中心，按照一定的融合算法进行融合处理，从而得出对目标属 性的说明。在这种方法中，匹配的图像传感器数据直接融合，而后对融合的数 掘进行特征提取和属性说明。图像传感器的数据融合之后，识别的处理等价于 对单个传感器的处理。
ｃｈｒｏｍａｔｉｃｓ ａｎｄ ｒｅａｌ—ｔｉｍｅ ｐｒｏｃｅｓｓｉｎｇ，ａ ｎｕｍｂｅｒ ｏｆ ｔｈｅｏｒｅｔｉｃ ａｌｇｏｒｉｔｈｍｓ ｏｆ ｆａｌｓｅ ｃｏｌｏｒ ｆｕｓｉｏｎ ａｎｄ ｐｒｅ—ｐｒｏｃｅｓｓｉｎｇ ｏｎ ＬＬＬ ａｎｄ ＩＲ ｉｍａｇｅｓ ａｒｅ ｅｘｐｌｏｒｅｄ．Ｉｎ ｔｈｅ ｔｅｃｈｎｉｑｕｅ ｏｆ ｐｒｅ—ｐｒｏｃｅｓｓｉｎｇ ｏｎ ｎｉｇｈｔ ｖｉｓｉｏｎ ｉｍａｇｅｓ， ｓｕｃｈ ａｌｇｏｒｉｔｈｍｓ ａｓ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ，ｎｏｎ—ｕｎｉｆｏｒｍｉｔｙ ｃｏｒｒｅｃｔｉｏｎ，ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ａｒｅ ｍａｉｎｌｙ ｓｔｕｄｉｅｄ ａｎｄ ｒｅａｌｉｚｅｄ．Ａｎ ｉｎｎｏｖａｔｏｒｙ ａｌｇｏｒｉｔｈｍ ｏｆ ｆｕｌｌ．．ｓｃａｌｅ ｎｏｎ．．ｕｎｉｆｏｒｍｉｔｙ ｃｏｒｒｅｃｔｉｏｎ ｏｎ ＩＲ ｉｍａｇｅｓ ｉｓ ｐｒｅｓｅｎｔｅｄ ａｎｄ ａｎ ａｒｉｔｈｍｅｔｉｃａｌ ｐｒｏｇｒｅｓｓｉｏｎ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｎ ｔｈｅ ｅｎｈａｎｃｅｍｅｎｔ ｏｆ ｉｍａｇｅ ｉｓ ｖａｌｉｄａｔｅｄ ａｎｄ ｄｅｖｅｌｏｐｅｄ ｉｎ ｔｈｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ．Ｉｎ ｔｈｅ ｔｅｃｈｎｉｑｕｅ ｏｆ ｆｕｓｉｏｎ ｏｎ ｎｉｇｈｔ ｖｉｓｉｏｎ ｉｍａｇｅｓ，ｒｅｆｏｒｍａｔｉｖｅ ａｌｇｏｒｉｔｈｍｓ ｏｆ ｆａｌｓｅ ｃｏｌｏｒ ｆｕｓｉｏｎ ｏｎ ＬＬＬ ａｎｄ ＩＲ ｉｍａｇｅｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｄｅｒｉｖａｔｉｖｅ ａｌｇｏｒｉｔｈｍｓ ａｒｅ ｐｕｔ ｆｏｒｗａｒｄ，Ｔｈｏｕｇｈｔ ｓｏｆｔｗａｒｅ ｅｍｕｌａｔｉｏｎ ａｎｄ ｐｒａｃｔｉｃａｌ ｅｘｐｅｒｉｍｅｎｔ，ｔｈｅ ｆｕｓｉｏｎ ｅｆｆｅｃｔｓ ａｒｅ ｍｏｒｅ ｅｘｃｅｌｌｅｎｔ ｔｈａｎ ｔｈｏｓｅ ｏｆ ｔｈｅ ｏｒｉｇｉｎａｌ ａｌｇｏｒｉｔｈｍｓ，
南京理工大学 硕士学位论文 微光和红外图像假彩色融合与处理算法研究 姓名：蔡炜涛 申请学位级别：硕士 专业：光学工程 指导教师：柏连发
20030301
砸Ｉ论义
微光和红外幽像假彩色融合‘ｊ处理算往研究
摘要
本文在分析微光图像和红外图像特征的基础上，结合色度学和实时性考虑， 探索研究了微光和红外图像假彩色融合与预处理的理论算法。在夜视图像预处 理技术方面，主要研究实现了图像配准、非均匀校正、图像增强等算法，并创 新性地提出了红外图像基于全局的非均匀校正算法，验证并发展了等差数列直 方图均衡图像增强方法。在夜视图像融合技术方面，提出了微光图像和红外图 像假彩色融合的改进算法，并探索研究出一系列衍生算法。软件仿真与实际试 验表明，其融合效果优于原始的算法。
（２）基于ＲＧＢ色空间的假彩色图像融合 基于ＲＧＢ色空间（如图１．１．３（ａ１所示）的图像融合算法结构是：对Ｒ，Ｇ，
Ｂ各基色通道赋予来自不同图像传感器的图像数据（经过处理的或没有经过处 理的），合成一幅假彩色图像。以达到识别目标与背景、分辨图像细节等目的。 如图１．１，４将原始图像映射到ＲＧＢ三通道的预处理计算是该算法的核心环节。 本算法的最大特点是计算简单，速度快，便于硬件实现。但是，彩色调色板（即 彩色标尺）的确定需要通过多次试验比较，才能得到一个相对最佳结果，而不 同的目标和背景对彩色调色板的要求又各不相同。该方法一般用于１—３个图像 通道的数据融合。
比例变换和量化。 ２夜视图像的假彩色融合
由于应用环境（目标与场景）不同，图像的特性多种多样，对各种任务的 要求也各不相同，因此假彩色图像融合算法也各种各样。目前尚未发现在各种 任务要求下融合效果全优的算法。所使用的算法大体可分为三类；灰度融合后 采用伪彩色编码融合，基于ＲＧＢ色空间的假彩色融合，基于ＬＨＳ色空间的假 彩色融合。
关键词：预处理，假彩色，融合，非均匀校正，图像增强
删、Ｊ。论义
撇光和红外图像假彩色融台与处理算法掰ｆ究
ＡＢＳＴＲＡＣＴ
ＩＤ ｔｈｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ．ｏｎ ｔｈｅ ｂａｓｅ ｏｆ ａｎａｌｙｓｉｓ ｏｎ ｌｏｗ．１ｅｖｅｌ－ｌｉｇｈｔ（ＬＬＬ） ａｎｄ ｉｎｆｒａｒｅｄ（ＩＲ）ｉｍａｇｅ ｃｈａｒａｃｔｅｒ ａｎｄ ａｌｓｏ ｔａｋｉｎｇ ｉｎｔｏ ａｃｃｏｕｎｔ ｏｆ
１．１ ３像素级多传感器图像融合的方法
１ 夜视图像的狄度融合
夜视图像狄度融合的方法有很多，最简单的图像融合方法是直接对两幅图 像逐个像素耿平均，但是这种方法将使只在一幅图像中出现的特征对比度减弱。 为了解决这一问题，近年来提出了几种基于金字塔的图像融合方法，如高斯金 字塔、拉普拉斯金字塔、ＲＯＬＰ金字塔、梯度金字塔等。其基本思路是首先构 造输入图像的金字塔，再按一定的特征选择方法从中取值形成融合金字塔，通 过对融合金字塔实施逆变换即可获得融合图像。图１．１．１显示了从两幅图像的 金字塔形成一个融合金字塔，继而形成一幅融合图像的过程。
另外，各种图像传感器的性能极大地依赖于使用环境，至今还没有一种图 像传感器在多种不同的使用条件下，其各项性能（作用距离、测量精度、分辨 率、抗干扰、灵敏度等）都高于其它类型的图像传感器，融合多传感器图像能 够提高图像探测系统的探测和识别能力。多传感器图像融合改变了传统单一通 道显示和处理的落后方法，可有效地摹取多通道图像信息特征，构成统一图像 或图像特征．提供显示中心显示或决策机构判别。
多传感器图像融合系统具有广阔的时空覆盖区域、优良的目标分辨能力、 良好的故障容错性和系统重构能力、优秀的探测性能以及较高的量测维数等， 在军事上有重要的作用。同时多传感器图像融合技术在空中交通管制、海港监 控、机器人视觉、高速运输工具驾驶、自然资源遥测、气象预报、探伤及装配 等民用领域也有广阔的应用。
冠奄警酸骝
氆）ＲｏＨ色空问卿ｕ匹色童闾
图ｌ １ ３ ＲＧＢ和ＬＨＳ色空间示意图
图１．１．４ ＲＧＢ色空间假彩色融合
坝Ｉ．论义
微光和红外国像假彩色融台１ｊ处理算怯研究
典型的ＲＧＢ颜色通道的图像数据的来源有：多光谱图像、可见光图像、电 视图像、热成像图像、ｘ光图像和核磁共振图像及各种卫星遥感图像等等。以 多光谱图像融合和热成像图像与微光ＣＣＤ电视图像融合为例。当比较可见光 谱图像和近红外图像时，由于目标和场景在各波长的光谱反射特性各不相同， 导致各原始图像之间的灰度特性有很大差别，而热成像图像和微光图像的差别 更太。热成像图像反映目标和场景的红外辐射特性，而微光图像是反映物体的 反射特性，因此它们不仅在灰度特性表现出不相容，而且在热成像图像中，边 缘会在形状和尺度上发生变化。实验以及以往研究者的工作表明：图像之间的 这种差别，会给这类图像的配准和灰度图像融合带来较大的困难。而对于假彩 色图像融合来说，这种差别可以变成有利因素。利用这个差别，可开发出各种 算法，恰当地控制色差，达到更好地分辨目标与背景以及图像细节的目的。
小波变换被认为是傅里计分析方法的突破性进展，在夜视图像融合也得到 了应用。与金字塔方法相比，所做的主要修改就是用小波变换替代了金字塔ａ 小波变换把图像的边缘特征按尺度映射到塔式结构的各层中，在相同的尺度下， 对多幅原始图像在小波变换域进行基于像素级特征的融合。
——塑！：鱼苎
堂垄塑堑丛里堡堡墅鱼壁鱼！竺些竺竺里！塞 ￥ｏｔａｏ。ｎｎ蝴．Ｏａ
在现代高技术条件下的局部战争中，夜间观察能力已成为军队战斗力的重 要组成部分。夜视技术的迅速发展，以各种成像传感器为核心的夜视器材的广 泛使用，增加了需要同步观察和监视的图像数量，导致了信息表现形式的多样 性。它在使夜间战场变得透明的同时，加大了操作人员的工作负担，使得操作 人员在连续观察多个图像时，往往不能有效地对所获得的视觉信息进行综合分 析，特别是当几个操作人员同时观察多个成像系统时更是如此。利用交替显示 每个传感器的视频信号的办法来显示最佳传感器的信号，即使在静态环境中也 难以完成。因此把来自多个成像传感器的图像融合成一幅图像具有很大的实用 价值。
蛐Ｉ境卫
微光和红外图像假彩色融台与处理算法研究
由此可见，发展多谱融台彩色夜视技术势在必行。
１ １．２像素级多传感器图像融合的含义及其特点
多传感器图像融合包括像素级、特征级和决策级三个层次。像素级图像融 合是在对各种传感器的原始信息未作许多预处理之前就进行信息的综合分析。 特征级的融合是在信息的中间层次上进行的，它是对预处理和特征抽取后获得 的景物信息，如边沿、形状、轮廓等信息进行综合处理。决策级的融合是在最 高层次上进行的信息融合，在融合之前，每种传感器相应的处理部件已独立地 完成了决策或分类任务，信息融合的工作实质是按一定的准则及每个传感器决 策的可信度进行协调．作出全局最优的决策。像素级图像融合是最低层次的图 像融合．该层次的数据融合准确性最高，能够提供其它层次上的融合所不具备 的细节信息，但因为需要处理的信息量大，因此对于计算机的运算速度和内存 容量要求较高。
（１）基于伪彩色实现的多重图像融合 人眼能分辨的颜色有上千种，但只能区分从黑到白的２０多种灰度。伪彩色
处理通过把不同灰度等级的像素分别置以不同的颜色，将那些人眼不能分辨的 扶度转化成能分辨的颜色，提高了细节分辨能力。因此，灰度图像的伪彩色显 示是一种非常有效而又常用的图像增强处理技术。
在主要针对热图像和微光ＣＣＤ图像的融合研究中，为了使融合结果具有一 定的自然性，一般把温度图像的高灰度级对应融合图像的暖色调，如品、黄、 红等，而低灰度级对应于冷色调。因此，可用热图像的灰度信息来调整微光图 像像素的灰度级．即首先实现基于像素级的多重灰度图像融合。它与一般的多
Ｋｅｙｗｏｒｄｓ：ｐｒｅ．ｐｒｏｃｅｓｓｉｎｇ，ｆａｌｓｅ ｃｏｌｏｒ，ｆｕｓｉｏｎ，ｎｏｎ—ｕｎｉｆｏｒｍｉｔｙ ｃｏｒｒｅｃｔｉｏｎ， ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ
——兰生兰受王—一一 塑垄塑塾堑望堡堡翌垒墼鱼兰竺塑塞生堕塞
．
１绪论
１．１多传感器图像融合概述
１．１．１多传感器图像彩色融合的意义