红外图像与可见光图像融合笔记
基于卷积神经网络的红外与可见光图像融合算法
基于卷积神经网络的红外与可见光图像融合算法基于卷积神经网络的红外与可见光图像融合算法引言：近年来，随着红外和可见光图像获取技术的发展，红外与可见光图像融合在目标检测、夜间监测、军事侦查等领域中得到广泛应用。
红外图像能够突破可见光图像的局限性，具有辐射强度分布多变、辨识率高、适合在夜间和复杂天气条件下感知目标等优势；而可见光图像在空间和形状信息方面具有优势。
因此，将红外图像与可见光图像融合起来，可以有效地提高图像的质量和信号噪声比，从而更好地进行目标识别和目标跟踪。
方法：在红外与可见光图像融合算法中，卷积神经网络（Convolutional Neural Network，CNN）作为一种前沿的图像处理技术，在图像识别和特征提取方面具有出色的性能。
基于CNN的红外与可见光图像融合算法主要包括以下步骤：1. 数据预处理：将红外和可见光图像进行均衡化处理，使其具有相似的对比度和亮度分布。
这一步骤对于后续的特征提取和融合起到了关键作用。
2. 特征提取：使用卷积神经网络提取红外和可见光图像的特征。
卷积神经网络通过多层卷积和池化操作，可以有效地提取图像的空间特征和纹理信息，对于红外与可见光图像融合具有重要的意义。
3. 特征融合：将红外和可见光图像的特征进行融合。
融合的方法有多种，例如加权平均法、多层感知机等。
本文采用了基于CNN的特征级融合算法，该算法可以通过学习权重将红外和可见光图像的特征进行融合，得到更具有信息量的融合特征。
4. 图像重建：将融合后的特征通过反卷积操作进行重建，得到最终的融合图像。
重建的过程中可以加入一些先验知识，如红外图像的辐射分布和可见光图像的形状信息，以提高重建图像的质量。
实验结果：本文通过对红外与可见光图像数据集的实验验证，证明了基于CNN的红外与可见光图像融合算法的有效性和性能优势。
与传统的图像融合算法相比，该算法在目标识别和目标跟踪等任务中具有更好的性能和更高的准确率。
结论：基于卷积神经网络的红外与可见光图像融合算法在红外与可见光图像融合领域具有广泛的应用前景。
红外和可见光图像的配准融合研究
摘要I摘要红外纹理的真实度对红外场景仿真的效果具有重要影响，因此对红外仿真纹理的置信度评估具有重要意义。
而图像配准是评估前必不可少的步骤。
红外和可见光图像间的较大的灰度及分辨率差异增加了红外和可见光图像的配准融合难度。
本文研究了基于特征点的红外与可见光图像的配准和像素级融合问题。
首先，对红外图像使用直方图匹配进行了细节增强；其次，分析比较了三种经典的角点特征提取方法并做出了改进；接着，使用先归一化互相关粗匹配后RANSAC（随机抽样一致算法）提纯匹配的方法进行了角点的配对和图像几何变换矩阵估计；最后，使用改进的加权平均法进行了红外和可见光图像的融合。
本文方法为红外三维场景仿真的红外纹理置信度评估提供了基本的数据源，具有较高的应用价值。
关键词：图像配准红外图像可见光图像特征提取特征匹配图像融合Abstract IIIAbstractThe realism of infrared texture has an important impact on the result of infrared scene simulation. Hence, the study of texture credibility evaluation on infrared texture is of great significance. Image registration is the most important procedure before texture evaluation.The infrared and visible images of the same scene have many differences in gray level and image features, which make the registration and fusion of infrared and visible image more difficult. In this paper, the feature points based method of the infrared and visible image registration and image fusion on pixel level are researched and improved. Firstly the details of infrared image are enhanced with the method of histogram matching; Secondly, three classical corner point feature extraction methods are compared and improved; Then, in the process of feature points matching and the image geometry transform matrix estimating, the method of normalized cross-correlation coarse matching is followed by RANSAC (RANdom SAmple Consensus) purification method; Finally, the registrated infrared and visible images are fused by using the improved method of weighted average. The registration algorithm in this paper can provide basic source data for infrared texture confidence assessment in infrared 3-D scene simulation, which owns great value in military application.Key words ：image registration infrared image visible image feature extraction feature match image fusion目录V目录第一章绪论 (1)1.1研究背景和意义 (1)1.2国内外发展现状 (2)1.2.1 国外发展现状 (2)1.2.2 国内发展现状 (4)1.3研究内容和论文结构 (5)1.3.1 研究内容 (5)1.3.2 本文结构 (5)1.3.3 本文特色 (6)第二章图像配准技术概述 (7)2.1图像配准的几种模式 (7)2.2配准方法分类 (9)2.2.1 基于灰度的图像配准方法 (9)2.2.2 基于变换域的图像配准方法 (13)2.2.3 基于特征的图像配准方法 (15)2.2.4 小结 (16)第三章图像配准的实现 (19)3.1红外图像增强 (19)3.2特征提取 (21)3.2.1 Moravec算子 (23)3.2.2 Harris算子及其改进算法 (24)3.2.3 SUSAN算子 (27)3.2.4 各算子试验结果对比 (30)3.3变换模型估计 (32)3.3.1 刚体变换 (33)3.3.2 仿射变换 (33)3.3.3 投影变换 (35)3.3.4 非线性变换 (36)3.4特征匹配 (36)3.4.1 归一化互相关粗匹配 (37)3.4.2 RANSAC算法及其改进 (39)第四章图像重采样与融合 (45)4.1坐标变换与重采样 (45)4.2融合源图像特性分析 (48)4.3红外和可见光图像的融合 (48)第五章总结与展望 (53)致谢 (55)参考文献 (57)第一章绪论 1第一章绪论本章首先阐述了红外与可见光图像配准融合的研究背景和意义，进而对国内外在这些领域的发展现状进行了简要介绍，最后给出了本文的研究内容和文章结构安排。
基于多尺度分解的红外与可见光图像融合算法研究
基于多尺度分解的红外与可见光图像融合算法研究基于多尺度分解的红外与可见光图像融合算法研究摘要：随着红外与可见光图像在各个领域中的应用越来越广泛，红外与可见光图像融合技术成为研究的热点之一。
本文针对红外与可见光图像融合算法的研究进行了综述，并重点详细介绍了基于多尺度分解的红外与可见光图像融合算法。
通过将红外与可见光图像进行小波分解，并融合低频分量和高频分量，达到优化融合结果的目的。
实验结果表明，该算法可以更好地保留红外图像的热点目标信息和可见光图像的目标细节信息，具有较好的融合效果。
1.引言随着红外与可见光技术的进步与发展，红外与可见光图像在军事、安防、医疗和航天等领域得到了广泛的应用。
由于红外与可见光图像的特性有所不同，需要将两者融合，以提高目标检测、跟踪和识别等应用的效果。
因此，红外与可见光图像融合技术成为研究的热点之一。
2.红外与可见光图像融合算法综述目前，红外与可见光图像融合算法主要包括像素级融合、特征级融合和决策级融合等方法。
像素级融合方法是将两个图像的对应像素进行加权平均；特征级融合方法是提取两个图像的特征，然后将特征进行融合；决策级融合方法是根据各个图像的决策结果进行融合。
这些方法各有优缺点，无法完全满足应用需求。
因此，本文重点研究基于多尺度分解的红外与可见光图像融合算法。
3.基于多尺度分解的红外与可见光图像融合算法基于多尺度分解的红外与可见光图像融合算法主要包括以下步骤：（1）对红外与可见光图像进行小波分解。
首先，将红外与可见光图像进行小波分解，得到各个尺度的低频分量和高频分量。
通过小波变换可以将图像在时域和频域同时进行分析，较好地保留了图像的空间和频率信息。
（2）对低频分量进行融合。
将红外与可见光图像的低频分量进行融合，可以保留红外图像的热点目标信息和可见光图像的目标细节信息。
（3）对高频分量进行融合。
将红外与可见光图像的高频分量进行融合，可以提取出更多的边缘和纹理信息。
（4）重构融合后的图像。
遥感影像的可见光和红外图像融合方法研究
遥感影像的可见光和红外图像融合方法研究摘要：遥感影像融合是将多源遥感影像的信息有机地结合起来，以获取更多、更高质量的地理信息的过程。
其中，可见光和红外图像的融合被广泛应用于军事、气象、农业、环境等领域。
本文对可见光和红外图像融合的方法进行了研究和总结，包括传统的图像融合方法和基于深度学习的图像融合方法，并对未来的研究方向进行了展望。
1. 引言可见光图像和红外图像是遥感数据中常见的两种图像，它们分别捕捉了不同光谱范围内的信息。
可见光图像能够提供地物的几何形状、颜色和纹理等信息，红外图像则能够反映地物的热特性。
将这两种图像进行融合可以充分利用它们的优势，提高遥感图像的分类和识别性能。
2. 传统的图像融合方法传统的图像融合方法主要包括像素级融合和特征级融合两种方法。
2.1 像素级融合像素级融合方法直接将可见光和红外图像的像素进行组合。
其中，加权平均法是最简单的方法，它根据像素的权重将两幅图像进行加权平均得到融合图像。
另外，变换域融合方法如小波变换和主成分分析也得到了广泛应用。
这些方法能够提取图像的频率和相位信息，将两幅图像进行适应性融合。
2.2 特征级融合特征级融合方法通过提取可见光和红外图像的特征，将特征进行融合。
常用的特征包括梯度、边缘、纹理等。
其中，拉普拉斯金字塔和傅里叶谱分析是两种常用的特征级融合方法。
这些方法能够提取图像的边缘和细节信息，对融合结果具有很好的保边性。
3. 基于深度学习的图像融合方法深度学习在图像融合领域取得了显著的成果。
卷积神经网络（Convolutional Neural Network, CNN）是深度学习中最常用的网络结构之一。
将CNN应用于图像融合可以通过学习图像的特征，得到更好的融合效果。
3.1 基于卷积神经网络的图像融合方法基于CNN的图像融合方法主要包括两种：基于生成对抗网络（Generative Adversarial Networks, GANs）和基于编码器-解码器（Encoder-Decoder）的方法。
基于NSCT的红外与可见光图像融合算法
者的有机结合使得 Ｎ Ｃ 具有 Ｃｎ ｕ ｅ变换的多尺度和多 ＳＴ ｏｔ ｒｔ ｏｌ
方 向性 ， 同时还具备 了平 移不变性 。图 １给出 了 Ｎ Ｃ Ｓ Ｔ的结
构示意图。
波基 只能获得水平 、 直和对 角 ３个 方 向上的信 息 ， 垂 无法 精
确表述 图像边缘方 向信息 ， 也不能最优表示 含线或面奇异 的
的 目标信息 ； 可见光 图像光谱信息丰 富 ， 动态 范围大 ， 比度 对 相对较高 ， 含 丰 富 的细 节信 息 ， 在 黑 暗 背 景下 不 易 观 包 但 察 。通 过对 红外 与可见光 图像 的融合 ， 提高红外 目标的可 识别度和 图像 的清 晰度 ， 获得更 加详 细准确 的信 息 ， 可以使 我们能在恶劣的环境下也能准确判断热源 的位置 ， 在军事作
息加以综 合 ， 生 成新 的 有关 此场 景 解 释 的 信 息 处 理 过 以 程ｕ 。红外与可见光 图像 融合则 是在 军事领 域和 安全 监控 领域具 有广泛应 用 的一 种 图像融 合方式 。红 外 图像一 般较
可以获得 图像任 何 方 向的信 息 。因此本 文采 用 基 于 Ｎ Ｃ ＳＴ
第３ ３卷
第 ７期
四 川 兵 工 学 报
２１ ０ ２年 ７月
【 光学工程与电子技术 】
基于 Ｎ Ｃ Ｓ Ｔ的 红外 与可 见 光 图像 融 合算 法
王跃 华 ， 忠祥 陶
（ 空军航空 大学 航 空军 械工 程系 ， 长春 １０ ２ ） ３０ ２
摘要 ： 针对红外 与可见光 图像融合 ， 提出 了一种基于 Ｎ Ｃ Ｓ Ｔ的图像融合方 法。首先对 图像 进行 Ｎ Ｃ Ｓ Ｔ分解 ； 然后对 分
捉” 二维图像的几何结构 ， 由于在变换 中需 要进行 上采 样 但 和下采样操作 ， 因而不具备平移不变性 ， 存在频 谱混叠现象 。 而 ＮＣ Ｓ Ｔ则 不仅 具有 小波变 换 的多分 辨率 和 时频局 部化 特
基于小波变换的红外与可见光图像的融合
层小波变换分解算法相 同。
３ ． ２ 基 于小 波 变换 的 融 合
参考 文献
… １ 聂 其贵 ， 马 惠珠 ，基 于 目标 提 取 的 红 外
与可 见光图像融合新算 法 【 Ｊ ］ ．应 用 科
技 ． ２ ０ １ ４ （ １ ０ 】 ： ４ ９ － ５ ２ ．
基 于小 波的 图像 融合 原理 具体 如 下：先 对 已严格配 准的两幅待融合 图像 Ａ，Ｂ进行小 波变换 ，若进行 ｉ 层 变换 ，便 得到 ３ ｉ 个高频 ｆ 带和 １个低频 子带 ，将 各子带作相应的融合处 理 ，再将处理 过的予带实行小波逆变换，便形
． Ｉ ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．
图 ２ ： 融合 结 果 图
和平移进 行离散化 ， 也就 是对连续 小波 的伸缩 因子及平移 因子进行 采样 而得到离散小波 。通 常 使用 的 离散小 波变 换 是二进 制离 散小 波变
换 ， 它 是 取 ａ＝２ ， ｂ：ｋ｝ ａ＝ｋ｝ ２ ， 这 样 离 敞 化 后 的 小波 和 相应 的 小 波 变 换 称 为 二 进 小 波 和 进 小波 变 换 ：
红 外 图像 与可 见 光 图像 可 匹 配 性研 究 【 ｚ 】 ．
２像素加权融合算法
加 权 系数融 合 ， Ｊ ’ 法 顾 名 思 义就 是 对 两 幅 像 的 灰 度 值 矩 阵 进 行加 权 而 获 得 融 合 后 的
将 获 得 融 合 图 像 进 行 小 波 重 构 获 得融 合 图像 。 实验 结 果表 明，该 算法 得到 的 融合 图像 具有 与 红外 图像 相 同 的 目 标 ， 且 具 备 可 见 光 图像 的 细节 信 息
视觉显著性指导的红外与可见光图像融合算法
收稿日期:２０１８Ｇ０８Ｇ２６㊀㊀㊀㊀网络出版时间:２０１８Ｇ０９Ｇ１８基金项目:国家自然科学基金(６１６７５１６０,６１４０１３４３);高等学校学科创新引智计划(B １７０３５)作者简介:易翔(１９８９－),男,西安电子科技大学博士研究生,E m a i l :a l a n y i ７＠１６３．c o m 网络出版地址:h t t p://k n s ．c n k i ．n e t /k c m s /d e t a i l /６１．１０７６．T N．２０１８０９１７．０９４７．００２．h t m l d o i １０敭１９６６５ j敭i s s n １００１Ｇ２４００敭２０１９敭０１敭００５视觉显著性指导的红外与可见光图像融合算法易㊀翔,王炳健(西安电子科技大学物理与光电工程学院,陕西西安７１００７１)摘要:为了获取适合人眼观测的高质量红外与可见光融合图像,提出了一种基于视觉显著性指导的红外与可见光图像融合算法.首先,利用改进的流形排序法分别检测红外与可见光图像的视觉显著性区域;然后,采用非下采样轮廓波变换对红外和可见光图像进行多尺度㊁多方向分解,从而获取各自低频子带和高频子带,并将视觉显著性的检测结果用于指导分配低频子带的融合权重,即依据显著度大小赋予不同的权值,而高频子带的融合则依据局部标准差准则赋值;最后,通过非下采样轮廓波逆变换获得融合图像.实验结果表明:这种算法不仅可以保全可见光图像中的细节信息,而且能够精确地突显出红外目标信息,具有较好的视觉效果,增强了红外与可见光复合前视系统的识别性能.关键词:图像融合;红外与可见光图像;非下采样轮廓波;视觉显著性中图分类号:T P ３９１㊀㊀文献标识码:A㊀㊀文章编号:１００１Ｇ２４００(２０１９)０１Ｇ０２７Ｇ０６F u s i o no f i n f r a r e da n d v i s u a l i m a g e s g u i d e db y v i s u a l s a l i e n c yY IX i a n g WA N GB i n g ji a n S c h o o l o fP h y s i c s a n dO p t o e l e c t r o n i cE n g i n e e r i n gX i d i a nU n i v 敭 X i a n７１００７１ C h i n a A b s t r a c t ㊀T oo b t a i nah i g h q u a l i t y f u s e di m a gec o n s i s t e n tw i t hc h a r a c t e r i s t i c so fh u m a nv i s i o n an o v e l i m a g e f u s i o nm e t h o d f o r i n f r a r e da n dv i s u a l i m a g e s g u i d e db y v i s u a l s a l i e n c y i s p r o p o s e d 敭F i r s t o f a l l f o r t h e g i v e n i n f r a r e da n dv i s i b l e i m a g e s t h em o d i f i e d M a n i f o l dR a n k i n g a l g o r i t h mi su t i l i z e dt oe x t r a c t t h e i r v i s u a l s a l i e n t a r e a s r e s p e c t i v e l y 敭T h e n s o u r c e i m a g e sa r ed e c o m p o s e d i nd i f f e r e n t s c a l e sa n dd i r e c t i o n sb y N o n Ｇs u b s a m p l e dC o n t o u r l e tT r a n s f o r mt o o b t a i n l o wf r e q u e n c y i n f o r m a t i o n a n dh i g h f r e q u e n c y i n f o r m a t i o n 敭A n dr e s u l t s o fv i s u a ls a l i e n c y d e t e c t i o n a r e u s e dt o g u i d et h ef u s i o n r u l e o fl o w f r e q u e n c y s u b b a n d c o e f f i c i e n t s 敭B e s i d e s t h e h i g h f r e q u e n c y s u b b a n d c o e f f i c i e n t s a r e f u s e d o w i n gt o t h e l o c a l s t a n d a r d d e v i a t i o n c r i t e r i o n 敭F i n a l l y t h e f u s e d i m a g e i s o b t a i n e d b y p e r f o r m i n g i n v e r s e N o n Ｇs u b s a m p l e d C o n t o u r l e t T r a n s f o r m敭E x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h a tt h e p r o p o s e da l g o r i t h m c a nn o to n l y as s u r et h ef i n a l f u s e d i m a g e sw i t h c l e a r d e t a i l i n f o r m a t i o n b u t a l s o h i g h l i g h t t h e i n f r a r e d o b j e c t s a c c u r a t e l y w h i c h p r e s e n t s a g o o d v i s i o n e f f e c ta n d e f f e c t i v e l y e n h a n c e sr e c o g n i t i o n p r o b a b i l i t y o fi n f r a r e d a n d v i s i b l ec o m p o u n d s ys t e m s 敭K e y Wo r d s ㊀i m a g e f u s i o n i n f r a r e da n dv i s i b l e i m a g e s n o n Ｇs u b s a m p l e d c o n t o u r l e t v i s u a l s a l i e n c y 现代战机㊁战车及战舰的前舱均装备有红外与可见光复合的前视系统,以便作战人员在昼夜不同的天时条件下都具有理解前视场景和识别目标的能力[１].因此,如何提升这种复合前视系统的识别性能,一直是军方的期望和业界的研究热点之一.将红外图像与可见光图像进行融合处理,是增强这种复合前视系统性能的基本技术途径之一.此外,红外与可见光图像融合在安防㊁医疗和消防等领域也有着广泛的应用.图像融合可以分为图像分析方法的选择和融合规则的选取,其中,多分辨率分析法是最常用且有效的图像分析方法[２].常用的多分辨率分析方法有:金字塔变换[３]㊁小波变换(W a v e l e tT r a n s f o r m ,WT )[４]㊁轮廓２０１９年２月第４６卷㊀第１期㊀西安电子科技大学学报J O UR N A L ㊀O F ㊀X I D I A N ㊀U N I V E R S I T Y㊀F e b ．２０１９V o l ．４６㊀N o ．１８２㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷波变换(C o n t o u r l e tT r a n s f o r m,C T)[５]和非下采样轮廓波变换(N o nＧS u b s a m p l e dC o n t o u r l e tT r a n s f o r m,N S C T)[６]等.其中,文献[６]中提出的N S C T被认为是一种适用于处理红外与可见光图像融合的多分辨率分析方法.融合规则的选取直接影响到最终融合图像的质量.目前,常用的红外与可见光图像融合算法在选择融合规则时,往往只是简单地采取加权平均值㊁绝对值或局部能量值等单个像素或邻域统计值作为依据,没有从图像全局上考虑区域之间的相关性,这样的处理容易丢失图像中重要的信息.因此,近年来,一些基于区域选择的图像融合算法被提了出来,以提高融合图像的质量,如基于区域分割和基于视觉显著性区域检测的图像融合算法等.前者采用阈值分割的方式从红外图像中分割出高温目标区域,并通过在融合时赋予该区域较高权重而突显红外目标,但它的结果对阈值的依赖性较大,且缺乏对可见光图像信息的有效分析,容易丢失图像细节信息[７];后者依据人类视觉系统(H u m a nV i s u a l S y s t e m,H V S)的视觉注意机制获取图像中人眼感兴趣区域,并将其应用于指导图像融合中融合规则的选取,如基于残差频谱(S p e c t r a lR e s i d u a l,S R)模型[８]和基于文献[９]的视觉模型(I T模型)的图像融合算法等.该类算法可在一定程度上提升融合图像的视觉效果,但是它们通常依据对比度来衡量视觉显著性,主要考虑前景(即高显著性区域,包括红外目标和可见光细节等)的特性,对背景进行过多的研究,其检测结果往往存在背景与前景区分不够精确的问题.将该类模型直接应用在红外与可见光图像融合时,因两种图像的对比度相差甚大的缘故,它们无法精确有效地检测出两种图像中不同特征的视觉显著性区域,其融合结果的视觉效果仍不够理想[１０].针对上述现有融合算法的不足,笔者提出了一种基于视觉显著性指导的红外与可见光图像融合算法,利用改进的流形排序(M a n i f o l dR a n k i n g,M R)算法使其能够更优地检测出红外与可见光图像中人眼感兴趣的视觉显著性区域,并利用视觉显著性检测结果指导图像融合规则的选取,最终在突显红外目标的同时,确保了图像整体细节信息清晰,有效地提升了融合图像的视觉效果.１㊀基于改进流形排序的视觉显著性检测M R算法综合考虑前景和背景的特性,将视觉显著性检测表述为一个前景和背景之间相似度的排序问题,并将最终排序得分记为显著度值,从而实现对图像的视觉显著性检测[１１].它可有效地检测出红外与可见光图像中不同特征的视觉显著性区域,但直接将该结果用于指导图像融合时,由于显著图中存在较多冗余的背景信息,最终导致融合图像的视觉效果较差.因此,文中采用非线性函数对M R显著图进行增强,压缩背景显著度值的同时,进一步提升前景显著度值,从而获取更优的视觉显著性检测结果.其具体操作步骤如下: (１)采用简单线性迭代聚类(S i m p l eL i n e a r I t e r a t i v eC l u s t e r,S L I C)算法[１２]对输入图像进行超像素分割,将输入图像表示为一个闭环图I(V,E),E表示节点V之间的边,并将超像素分割后图的节点V定义为数据集X＝{x１,x２, x m,x m＋１, ,x n},其中n为节点总个数.同时依据背景先验[１１]的知识,依次将落在图像４条边界中单独一条边界上的m个节点记为已标记点(即背景点),建立排序函数f:XңR,其表示利用已标记点,通过图模型传递给数据集X分配相应的排序得分.(２)计算背景点与未标记节点之间的相似度,边E的权重可由矩阵W＝[w i j]nˑn获取,图的度量矩阵为D＝d i a g{d１１,d２２, ,d n n},其中,d i i＝ðw i j,归一化其相似度矩阵S＝D－１/２W D－１/２.(３)构建一个指示向量L＝[l１,l２, ,l n]标记节点V,当该节点为未标记点时,记为１;否则记为０.然后依据公式T(k＋１)＝αS T(k)＋(１－α)y,进行迭代计算未标记点与背景点的排序评分,直至收敛.其中,αɪ(０,１),它控制了初始排序值和邻域传播对最终排序值的贡献大小,定义了排序评分传递过程中从邻近节点获得的排序评分.最终排序得分值即为该边界对应的背景排序图的显著度值.(４)依次获取不同边界对应的４幅背景排序图,并对它们采取取反运算后进行合并,获取一次排序后前景显著图并对其进行阈值分割,并将分割后的节点作为已标记点进行二次排序,以获取M R显著图R０.(５)采用S i g m o i d函数对M R显著图R０进行增强,从而抑制背景的干扰.最终显著图R的计算公式如下:h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x bh t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d x bR ＝１１＋e x p[－a (R ０－b )]㊀,(１)其中,a 和b 分别取经验值１０．０和０．６.图１和图２分别为红外图像和可见光图像经过不同视觉显著性检测方法得到的结果图.通过比较这两组视觉显著图的结果可以看出:S R 结果受复杂边缘影响较大,I T 结果精度不高,M R 结果中仍存在较多背景;文中等方法不仅可在充分抑制红外图像背景信息的基础上,有效地检测出红外图像的高温目标信息,而且可以精确地检测出可见光图像中的细节信息,为提升后续融合图像的质量创造了较好的条件.图１㊀红外图像的视觉显著性检测结果图２㊀可见光图像的视觉显著性检测结果２㊀基于视觉显著性指导的图像融合文中算法的流程如下:用改进的M R 算法分别对输入的红外图像和可见光图像进行视觉显著性检测;采用N S C T 分别对红外与可见光图像进行多级分解,得到各级低频和高频子带系数,并对低频子带系数采用基于视觉显著性指导的方式分配融合权重,而高频子带系数则采用基于图像局部标准差准则赋值;分级合并不同频段的系数,并进行N S C T 逆变换重构,获得最终融合图像.２．１㊀基于N S C T 的图像分析N S C T 包括非下采样金字塔分解(N o n ＧS u b s a m p l e dP y r a m i dF i l t e rB a n k s ,N S P F B )和非下采样的方向滤波器(N o n ＧS u b s a m pl e dD i r e c t i o n a l F i l t e r B a n d s ,N S D F B )两部分[１３],如图３所示.它首先采用N S P F B 对图像进行塔式分解,将图像分解为一个低频子带和多个环形高频带通子带;然后,利用N S D F B 进一步将上一步分解得到的高频子带进行多方向分解,重复这一过程,直至分解结束.N S D F B 在每次分解前都对对应的滤波器进行上采样,再对待分解子带进行分析滤波,确保了所有分解后的低频和高频子带与输入图像大小相同.图３㊀N S C T 分解示意图９２第１期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀易㊀翔等:视觉显著性指导的红外与可见光图像融合算法h t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d x b２．２㊀融合规则选择２．２．１㊀低频融合规则红外图像(I n f r a r e d I m a g e ,I R )和可见光图像(V i s i b l e I m a ge ,V I )经N S C T 分解后所得的图像各像素点的低频子带系数分别为C I R L (x ,y )和C V I L (x ,y ),它们占据了图像的绝大部分能量,反映了图像的概貌[１４].相较加权平均等低频融合规则,基于视觉显著性指导的低频子带融合规则依据视觉显著性检测结果R I R(x ,y )和R V I (x ,y ),依次为两图中各像素点的低频系数分配不同的融合权值W I R L (x ,y )和W V IL (x ,y ),不仅能较好地保留可见光图像中的细节信息,而且有利于突出红外图像中的高温目标信息.文中低频系数C L (x ,y )的融合公式如下:C L (x ,y )＝W I R L (x ,y )C I R L (x ,y )＋W V I L (x ,y )C V IL (x ,y )㊀,(２)其中,融合权值W I R L (x ,y )和W V IL (x ,y )计算公式为W I R L (x ,y )＝R I R (x ,y )/[R I R (x ,y )/(R I R (x ,y )＋R V I(x ,y )]㊀,(３)W V I L (x ,y )＝１－W I RL (x ,y )㊀.(４)２．２．２㊀高频融合规则图像经多尺度分解后的高频分量包含图像的边缘㊁区域轮廓等细节信息,而局部标准差可以有效地代表图像细节的信息量[１５].因此,文中将局部标准差作为融合的依据对相应的高频子带系数进行融合,即选择两图中局部标准差的较大值作为融合图像的高频系数.高频子带系数中心点(x ,y )在第j 层㊁h 方向上,局部标准差σ定义如下:σj ,h (x ,y )＝１N ˑN ðk ,l ɪU (x ,y )(I j ,h (k ,l )－E (U j ,h (k ,l )))２[]１/２㊀,(５)其中,U (x ,y )是以点(x ,y )为中心的N ˑN 大小方形局部窗口区域,文中选取窗口大小为５ˑ５;E [U j ,h (k ,l)]为该局部窗口的灰度均值.３㊀实验结果及分析比较为进一步验证算法的有效性,实验选用两组同一场景下２５６ˑ２５６大小的红外与可见光图像进行融合,并在m a t l a b ２０１３a ,I n t e l (R )C o r e (T M )i ３(２１２０C P U＠３．３０G H 平台上对基于N S C T 的图像融合算法(F _N S C T )[５]㊁基于区域分割的图像融合算法(F _R S )[７]㊁基于I T 视觉显著性模型的图像融合算法(F _I T )[８]㊁基于S R 视觉显著性模型的图像融合算法(F _S R )[９]㊁基于M R 视觉显著性模型的图像融合算法(F _M R )和文中算法进行处理,仿真实验结果如图４和图５所示.并按主观视觉和客观标准进行分析和评价,其中,F _N S C T 的低频融合规则采取加权平均准则,而高频融合规则采用绝对值取大的方式;F _I T ㊁F _S R ㊁F _M R 和文中算法均采取了基于视觉显著性指导的低频融合规则和基于局部标准差的高频融合准则.３．１㊀主观视觉评价第１组实验图像来源于U N C a m p 的红外与可见光序列图.如图４(a )和图４(b )所示,红外图像背景模糊但突显了行人目标;可见光图像中树木㊁灌丛和栅栏等场景清晰可见,行人目标被灌丛遮挡.图４(c )~图４(h )给出了不同算法的融合效果图.由从主观视觉效果上看,F _N S C T 结果只是简单地采用基于加权平均法的低频融合规则,因而红外行人目标信息较为模糊;F _R S 结果虽然突显了行人目标,但树木等细节较为模糊;F _S R 的结果整体偏暗,且行人目标不够突出;F _I T 的结果虽然在一定程度上突显了红外目标和可见光细节信息,但由于显著性检测结果不理想,导致行人目标周边出现了光晕且图像左下角树木出现较为不自然的黑影;F _M R 的结果由于受到显著图中冗余背景的影响,导致栅栏和树木的细节不够清晰;文中算法的结果相较其他算法,行人目标最为突显且图像细节部分最为清晰,如图像中间栅栏与行人周围的灌丛均清晰可见.０３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷h t t p ://j o u r n a l ．x i d i a n ．e d u ．c n /x d xb图４㊀第１组实验不同算法的融合效果第２组实验图像为野外场景,如图５(a )和图５(b)所示,红外图像行人目标较为明显而背景较暗;可见光图像中树木纹理较为清晰而行人较暗.图５(c )~图５(h )给出了不同算法的融合效果图.在F _N S C T 结果中,红外行人目标信息模糊;在F _R S 和F _I T 的结果中,在行人目标边缘处出现了不自然的阴影;在F _S R 和F _M R 的结果中,树木细节信息丢失;相较其他算法,文中算法在融合时对不同亮暗区域都有着较好的处理能力,因而其视觉效果最优.综上,文中算法在两组实验中都取得了最优的主观视觉效果.图５㊀第２组实验不同算法的融合效果３．２㊀客观性能指标评价文中采用边缘保持度(E d g eP r e s e r v eI n d e x ,E P I )㊁图像清晰度(F i gu r e D e f i n t i o n ,F D )㊁香农熵(S h a n n o nE n t r o p y ,S E )㊁空间频率(S p a t i a l F r e q u e n c y ,S F )和结构相似度(S t r u c t u r a l S I M i l a r i t y ,S S I M )５个准则,从图像的边缘保持能力㊁细节清晰度㊁信息量大小㊁整体对比度和结构相似性等方面来对其进行客观１３第１期㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀易㊀翔等:视觉显著性指导的红外与可见光图像融合算法２３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷评价.各指标值越大,表明融合图像的效果越好[１６Ｇ１７].两组实验的客观评价结果如表１和表２所示.表１㊀第１组实验融合结果客观评价比较算法E P I F D S E S F S S I MF_N S C T３８．０４５７５．７１１３６．２９７７１０．１４５２０．７０１８F_R S４０．５６８９５．９０４７６．５０２７１０．００２５０．７５６９F_S R３８．１４５４５．９５８７６．１６８９１０．０６９３０．７１２５F_I T３８．２３８１５．７４３６６．３０５９１０．１９７８０．７１５３F_M R４１．９０６６５．９６１５６．７５６６１０．７７８１０．７３９１文中算法４６．２１４４６．２５８０７．２８３６１１．５５４６０．７５３０表２㊀第２组实验融合结果客观评价比较算法E P I F D S E S F S S I MF_N S C T２８．４８７３３．３９１８６．６０６６６．３５４００．８０７０F_R S２４．０２９９２．７３６４６．４０６１５．０１７７０．８２９７F_S R２７．９０１０３．１７３８７．０３８３５．７９７５０．８０５０F_I T２６．１４１２２．９７６３７．０１１３５．４４８５０．８１０１F_M R２５．５３８２２．９９０６６．６５８８５．５２９８０．８１６５文中算法３１．２８６１３．７０８７７．１５９２６．９２０２０．８１８６㊀㊀由表１和表２可知,文中提出的融合算法,在E P I㊁F D㊁S E和S F这４项指标上都优于其他５种融合算法,在S S I M上仅略低于F_R S算法(F_R S算法融合时采取了完全保留分割区域外可见光信息的操作,因而S S I M值较高),这也证明了文中算法能有效地提升最终融合后图像的质量,并与上述主观视觉分析取得一致结论.４㊀结束语笔者提出了一种基于视觉显著性指导的红外与可见光图像融合算法.该算法依据人眼对图像内容的识别特性指导图像融合,首先利用改进的流形排序算法分别对红外与可见光图像进行视觉显著性检测,然后依据视觉显著性检测结果指导融合规则的选取,最终获取适用于人眼观测的高质量融合图像.实验中不同算法的对比结果表明,文中算法可以获取红外目标信息突出㊁背景细节清晰的融合图像,使之符合人眼视觉特性,为红外与可见光复合前视系统的高性能检测和识别提供了极大的便利.参考文献:１L I U C H Q IY D I N G W R敭I n f r a r e da n dV i s i b l e I m a g eF u s i o n M e t h o dB a s e do nS a l i e n c y D e t e c t i o n i nS p a r s eD o m a i n J敭I n f r a r e dP h y s i c s a n dT e c h n o l o g y２０１７８３９４Ｇ１０２敭２霍冠英李庆武石丹敭一种邻域一致性的N S C T域多传感器图像融合算法J敭西安电子科技大学学报２０１０３７４７７０Ｇ７７６敭HU O G u a n y i n g L IQ i n g w u S H ID a n敭M u l t iＧs e n s o r I m a g eF u s i o nA l g o r i t h mC o n s i d e r i n g N e i g h b o r h o o dC o n s i s t e n c y i n t h eN o n s u b s a m p l e dC o n t o u r l e tT r a n s f o r m D o m a i n J敭J o u r n a l o fX i d i a nU n i v e r s i t y２０１０３７４７７０Ｇ７７６敭３余美晨孙玉秋王超敭基于拉普拉斯金字塔的图像融合算法研究J敭长江大学学报自然科学版２０１６１３３４２１Ｇ２６敭Y U M e i c h e n S U N Y u q i u WA N GC h a o敭I m a g eF u s i o nA l g o r i t h mB a s e do nL a p l a c i a nP y r a m i d J敭J o u r n a l o fY a n g t z e U n i v e r s i t y N a t u r a l S c i e n c eE d i t i o n２０１６１３３４２１Ｇ２６敭４Z U O YJ L I UJ B A IG e t a l敭A i r b o r n e I n f r a r e da n dV i s i b l e I m a g eF u s i o nC o m b i n e dw i t hR e g i o nS e g m e n t a t i o n J敭S e n s o r s２０１７１７５１１２７敭５K O N G W L E IY N iX敭F u s i o nT e c h n i q u e f o rG r e yＧs c a l eV i s i b l eL i g h t a n d I n f r a r e d I m a g e sB a s e do nN o nＧs u b s a m p l e dC o n t o u r l e tT r a n s f o r ma n d I n t e n s i t yＧh u eＧs a t u r a t i o nT r a n s f o r m J敭I E TS i g n a l P r o c e s s i n g２０１１５１７５Ｇ８０敭６C U N HA A L D Z H O UJ D O M N敭T h eN o n s u b s a m p l e dC o n t o u r l e tT r a n s f o r m T h e o r y D e s i g n a n d A p p l i c a t i o n s J敭I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g２００６１５１０３０８９Ｇ３１０１敭(下转第３８页)h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x b８３㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀西安电子科技大学学报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第４６卷T e c h n o l o g y T r a n s f e r２０１４１６５５０７Ｇ５１８敭１０T I A NC D U A NZ D U A NZ e t a l敭M o r eE f f e c t i v e I n t e r p o l a t i o n s i nS o f t w a r eM o d e l C h e c k i n g C P r o c e e d i n g s o f t h e ２０１７３２n d I E E E A C M I n t e r n a t i o n a l C o n f e r e n c e o n A u t o m a t e d S o f t w a r e E n g i n e e r i n g敭P i s c a t a w a y I E E E ２０１７１８３Ｇ１９３敭１１B A L LT MA J UM D A RR M I L L S T E I N T e t a l敭A u t o m a t i cP r e d i c a t eA b s t r a c t i o no f CP r o g r a m s C P r o c e e d i n g s o f t h e２００１A C M S I G P L A NC o n f e r e n c e o nP r o g r a m m i n g L a n g u a g eD e s i g na n d I m p l e m e n t a t i o n敭N e w Y o r k A C M ２００１２０３Ｇ２１３敭１２B A L LT P O D E L S K IA R A J AMA N ISK敭B o o l e a na n dC a r t e s i a nA b s t r a c t i o n f o rM o d e lC h e c k i n g CP r o g r a m s C L e c t u r eN o t e s i nC o m p u t e r S c i e n c e２０３１敭H e i d e l b e r g S p r i n g e rV e r l a g２００１２６８Ｇ２８３敭１３B E Y E R D L E M B E R G E R T敭S y m b o l i c E x e c u t i o n w i t h C E G A R C L e c t u r e N o t e si n C o m p u t e rS c i e n c e９９５２敭H e i d e l b e r g S p r i n g e rV e r l a g２０１６１９５Ｇ２１１敭１４T I A NC D U A NZ D U A NZ敭M a k i n g C E G A R M o r eE f f i c i e n t i nS o f t w a r eM o d e l C h e c k i n g J敭I E E ET r a n s a c t i o n so n S o f t w a r eE n g i n e e r i n g２０１４４０１２１２０６Ｇ１２２３敭１５B E Y E R D J A K O B S M C L E M B E R G E R T e ta l敭R e d u c e rＧb a s e d C o n s t r u c t i o n o f C o n d i t i o n a l V e r i f i e r s C P r o c e e d i n g s o f t h e２０１８I n t e r n a t i o n a l C o n f e r e n c e o nS o f t w a r eE n g i n e e r i n g敭W a s h i n g t o n I E E EC o m p u t e r S o c i e t y２０１８１１８２Ｇ１１９３敭１６B E Y E RD LÖW ES敭E x p l i c i tＧs t a t e S o f t w a r eM o d e l C h e c k i n g B a s e d o nC E G A Ra n d I n t e r p o l a t i o n C L e c t u r eN o t e s i nC o m p u t e r S c i e n c e７７９３敭H e i d e l b e r g S p r i n g e rV e r l a g２０１３１４６Ｇ１６２敭(编辑:郭㊀华)㊀㊀(上接第３２页)７㊀L I A OJW HU A N GJ WA N GZ e t a l敭F u s i o n o fV i s i b l e I m a g e a n d I n f r a r e d I m a g e B a s e d o nC o n t o u r l e t T r a n s f o r ma n dI m p r o v e dS p a t i a l F r e q u e n c e C P r o c e e d i n g s o f t h e２０１４２n d I n t e r n a t i o n a l C o n f e r e n c e o n I n f o r m a t i o nT e c h n o l o g y a n dEＧl e c t r o n i cC o m m e r c e敭P i s c a t a w a y I E E E２０１４３２２Ｇ３２５敭８L I U H X Z HU T H Z HA OJ J敭I n f r a r e d a n dV i s i b l e I m a g eF u s i o nB a s e d o nR e g i o n o f I n t e r e s tD e t e c t i o n a n dN o n s u bＧs a m p l e dC o n t o u r l e tT r a n s f o r m J敭J o u r n a l o f S h a n g h a i J i a o t o n g U n i v e r s i t y２０１３１８５５２６Ｇ５３４敭９F UZZ WA N GX L I XF e t a l敭I n f r a r e d a n dV i s i b l e I m a g e F u s i o nB a s e d o nV i s u a l S a l i e n c y a n dN S C T J敭J o u r n a l o f U n i v e r s i t y o fE l e c t r o n i cS c i e n c e a n dT e c h n o l o g y o fC h i n a２０１７４６２３５７Ｇ３６２敭１０C U IG M F E N G H X UZ e t a l敭D e t a i l P r e s e r v e dF u s i o no fV i s i b l e a n d I n f r a r e d I m a g e sU s i n g R e g i o n a l S a l i e n c y E xＧt r a c t i o na n d M u l t iＧs c a l e I m a g eD e c o m p o s i t i o n J敭O p t i c sC o m m u n i c a t i o n s２０１５３４１１９９Ｇ２０９敭１１Y A N GC Z HA N GL L H H e t a l敭S a l i e n c y D e t e c t i o n v i aG r a p hＧb a s e dM a n i f o l dR a n k i n g C P r o c e e d i n g s o f t h e２０１３I E E EC o m p u t e r S o c i e t y C o n f e r e n c e o nC o m p u t e rV i s i o n a n dP a t t e r nR e c o g n i t i o n敭W a s h i n g t o n I E E EC o m p u t e r S o c i e t y２０１３３１６６Ｇ３１７３敭１２A C HA N T A R S HA J IA S M I T H K e t a l敭S L I CS u p e r p i x e l sC o m p a r e dt oS t a t eＧo fＧt h eＧa r tS u p e r p i x e lM e t h o d s J敭I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e２０１２３４１１２２７４Ｇ２２８１敭１３X I A N G TZ G A O R Y A NL e t a l敭R e g i o nF e a t u r eB a s e dM u l t iＧs c a l eF u s i o nM e t h o d f o rT h e r m a l I n f r a r e d a n dV i s i b l eI m a g e s J敭G e o m a t i c s a n d I n f o r m a t i o nS c i e n c e o fW u h a nU n i v e r s i t y２０１７４２７９１１Ｇ９１７敭１４HU A N G Y B ID WU D敭I n f r a r e da n d V i s i b l e I m a g eF u s i o nB a s e do nD i f f e r e n tC o n s t r a i n t s i nt h eN o nＧs u b s a m p l e d S h e a r l e tT r a n s f o r m D o m a i n J敭S e n s o r s２０１８１８４１１６９敭１５P A R AMA N D A N D HAM N R A J E N D I R A NK敭AS i m p l e a n dE f f i c i e n t I m a g e F u s i o nA l g o r i t h mB a s e d o nS t a n d a r dD e v iＧa t i o n i n W a v e l e tD o m a i n C P r o c e e d i n g s o f t h e２０１６I E E EI n t e r n a t i o n a l C o n f e r e n c e o n W i r e l e s sC o m m u n i c a t i o n s S i gＧn a l P r o c e s s i n g a n dN e t w o r k i n g敭L a u s a n n e P r e s s e sP o l y t e c h n i q u e sE tU n i v e r s i t a i r e sR o m a n d e s２０１６２２０７Ｇ２２１１敭１６MAJL Z H O U Z WA N G B e t a l敭I n f r a r e da n d V i s i b l e I m a g eF u s i o nB a s e do n V i s u a lS a l i e n c y M a p a n d W e i g h t e d L e a s t S q u a r eO p t i m i z a t i o n J敭I n f r a r e dP h y s i c s a n dT e c h n o l o g y２０１７８２８Ｇ１７敭１７MAJY MA Y L I C敭I n f r a r e d a n dV i s i b l e I m a g eF u s i o nM e t h o d s a n dA p p l i c a t i o n s a S u r v e y J敭I n f o r m a t i o nF u s i o n ２０１７４５１５３Ｇ１７８敭(编辑:齐淑娟)㊀㊀h t t p://j o u r n a l．x i d i a n．e d u．c n/x d x b。
基于NSCT变换的红外与可见光图像融合方法
融合 处理 ， 最后 对 融合 后 的 系数 进 行 ＮＳ Ｃ Ｔ 反 变换 得 到 融 合 图像 ． 仿 真 实验 表 明 ， 采 用 改进 的
ＮＳ Ｃ Ｔ融合 方法 对红外 与可见 光 图像 的融合 有 良好 的效果 ， 图像 更 清晰 ， 信 息 更全 面．
关键 词 ： 图像 融合 ； ＮＳ Ｃ Ｔ 变换 ； 红 外图像 与 可见光 图像 ； 仿 真 实验
ｃ ｉ ｅ ｎ ｔ ｓ ｏ ｆ ｓ ｏ ｕ ｒ ｃ ｅ ｉ ｍａ ｇ ｅ ｓ ，ｔ ｈ ｅ ｎ ｗｅ ｓ ｅ ｐ ａ ｒ ａ ｔ ｅ ｌ ｙ ｄ ｏ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ｆ ｏ ｒ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ｄ ｏ ｍａ ｉ ｎ ａ ｆ ｔ ｅ ｒ ｄ ｅ —
第３ ７卷 第 ６ 期
２ ０ １ ３年 １ ２月
北
京
交
通
大
学
学
报
Ｖ０ １ ． ３ ７ Ｎｏ ． ６
Ｄｅ ｃ ．２ ０ １ ３
ＯＵＲＮＡＬ ０Ｆ Ｂ ＥＩ Ｔ Ｉ ＮＧ Ｉ Ｉ ＡＯＴＯＮＧ ＵＮＩ ＶＥＲＳ Ｉ ＴＹ
文章编号 ： １ ６ ７ ３ — ０ ２ ９ １ （ ２ ０ １ ３ ） ０ ６ — ０ ０ １ ８ — ０ ４
中 图分类 号 ： Ｔ Ｎ９ １ １ ． ７ ３ 文 献标 志码 ： Ａ
Ｉ ｎｆ ｒ ａ ｒ ｅ ｄ ａ ｎｄ ｖ ｉ ｓ ｉ ｂ ｌ ｅ ｉ ｍａ ｇ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ｍｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ
ｏ ｎ ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｅ ｄ ＮＳ ＣＴ ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ
基于 Ｎ Ｓ Ｃ Ｔ变 换 的红 外 与可 见 光 图像 融合 方 法
红外与可见光图像快速融合算法
摘
要 ：为 了增 强 融 合 效 果 ， 高 融 合 速 度 ， 出一 种 快 速 有 效 的红 外 与可 见 光 图像 融 合 算 法 ． 先 采 用 局 部 直 方 图 提 提 首
均 衡 和 中 值 滤 波 对 红 外 与 可 见 光 图像 进 行 对 比度 增 强 和 去 噪 处 理 ； 后 对 增 强 后 图像 进 行 线 性 融 合 ， 成 伪 彩 色 融 然 生
第 ２ ３卷 第 ７期
２１ ０ １年 ７月
计算 机辅 助设计 与 图形学 学报
Ｊ ｕ ｎ ｌ ｆＣ ｍｐ ｔｒＡｉｅ ｓｇ ＆ Ｃｏ ｕ ｅ ａ ｈｃ ｏ ｒ ａ ｏ ｏ ｕｅ ｄ ｄＤｅｉｎ ｍｐ ｔｒＧｒ ｐ ｉｓ
Ｖｏ１ ３ Ｎ ｏ ．２ ．７
Ｊ ｌ ０ １ ｕｙ２ １
红 外 与 可 见 光 图 像 快 速 融 合 算 法
钱小燕” 韩 ， ， 磊 王帮峰”
”（ 南京 航 空 航 天 大 学 民 航 学 院 南京 ２ ０ １ ） １０ ６ （ 京 华 为 技 术 有 限 公 司 南 京 ２ ０ ０ ） 南 １ ０ ０
（ ｒ ｓａｈａ ｌｉ ｈ ｔ ｉ ｃ ｒ ） ｃ ｙ ｔｌ ｎ ｅ＠ ｏ ｍａｌ ｏ ． ｎ
ห้องสมุดไป่ตู้
Ｑｉｎ Ｘｉｏ ａ ” ，Ｈａ ｉ ，ａ ｄ Ｗ ａ ｇＢａ ｇ ｅ ｇ ａ ａ ｙ ｎ ｎ Ｌｅ ｎ ｎ ｎ ｆｎ
（ ｏｌｇ ｉｉ Ａｖａ ｉｎ Ｎａ ｊｎ ｎ ｖ ｒｉ ｆ ｒｎ ｕ ｉｓ ｎ ｔｏ ａ ｔ ， ｎ ｉ ｇ ２ ０ １ ） Ｃ ｌ ｅｏ Ｃ ｖ ｌ ｉｔ ｎ ｉｇ Ｕ ｉ ｅｓｔ ｒ Ａｅ ｃ ａ ｔｃ ａ ｄ Ａｓｒ ｎ ｕ ｉ Ｎａ ｊ ｎ １ ０ ６ ｅ ｆ ｏ ｙＪ － ｅ
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究一、本文概述随着科技的发展，图像处理技术已经成为现代社会中不可或缺的一部分，尤其在军事、医疗、安全监控等领域，其应用日益广泛。
红外与可见光图像融合算法作为图像处理技术的一个重要分支，近年来受到了广泛关注和研究。
本文旨在深入探讨红外与可见光图像融合算法的原理、方法及其应用，为相关领域的研究和实践提供理论支持和技术指导。
本文将概述红外与可见光图像融合的基本概念，包括红外图像和可见光图像的特点、图像融合的必要性以及融合的基本原理。
在此基础上，将详细介绍目前国内外在红外与可见光图像融合领域的研究现状和发展趋势，包括各种融合算法的优势和局限性。
本文将重点研究红外与可见光图像融合的关键技术，包括图像预处理、特征提取、融合策略等。
针对这些关键技术，本文将深入分析其原理、方法及其优缺点，并结合实际案例进行具体说明。
同时，本文还将探讨如何优化融合算法，以提高融合图像的质量和效率。
本文将通过实验验证所研究的红外与可见光图像融合算法的有效性和可行性。
通过实验数据的收集、处理和分析，将评估融合算法的性能指标，如清晰度、对比度、融合度等，并与其他算法进行对比分析。
本文还将讨论融合算法在实际应用中的潜力和挑战，为未来的研究提供方向和建议。
本文将全面深入地研究红外与可见光图像融合算法的原理、方法及其应用，以期为相关领域的研究和实践提供有益参考和借鉴。
二、红外与可见光图像融合技术概述红外与可见光图像融合技术是一种多源信息融合技术，旨在将红外图像和可见光图像中的有用信息进行融合，以生成一种包含更多信息、更具可读性和可理解性的新图像。
这种技术能够结合不同传感器捕捉到的信息，利用它们各自的优点，以弥补彼此的不足。
红外图像主要反映物体的热辐射信息，对于隐蔽目标、伪装目标以及夜间目标的检测具有显著优势。
红外图像往往分辨率较低，且难以区分目标的细节和纹理。
而可见光图像则提供了丰富的色彩和纹理信息，对于场景的识别和目标的分类具有较好的效果。
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究红外与可见光图像融合算法研究摘要：随着红外与可见光图像获取技术的发展，红外与可见光图像融合技术展现了其巨大的应用潜力。
本文通过对红外与可见光图像融合算法的研究，探索其在军事、安防、医疗等领域的应用，并比较了目前常用的融合算法的特点和优劣。
关键词：红外图像、可见光图像、融合算法、应用潜力、特点、优劣一、引言红外与可见光图像融合技术是将红外与可见光图像信息相互融合，提取双方图像的优势特征，实现整体图像质量的提高与增强。
随着红外与可见光图像获取技术的不断进步，红外与可见光图像融合技术在军事、安防、医疗等领域的应用也越来越广泛。
二、红外与可见光图像融合算法的研究与应用1. 学习和融合算法学习和融合算法是常用的图像融合方法之一，它将可见光图像和红外图像作为训练样本，通过学习的方法将两种图像的特征进行融合。
该算法不仅能够提高图像的清晰度和细节表现力，还能够提高图像的目标检测和识别能力。
在军事领域，该算法被广泛应用于无人机、导弹等武器系统的目标识别与跟踪。
然而，该算法对训练样本的质量和数量要求较高，且实时性较差。
2. 基于传统方法的图像融合算法基于传统方法的图像融合算法主要包括像素级融合、小波变换融合和相关融合等。
其中像素级融合算法是最简单的一种方法，它将红外图像和可见光图像的像素进行简单的加权平均。
该算法的优点是实现简单，且实时性较好，但其融合效果较为粗糙，细节信息展示不够明显。
小波变换融合算法能够更好地提取图像的低频和高频信息，实现了对图像的多尺度分析，但其计算复杂度较高。
相关融合算法是在空间域和频域两个方向上进行融合，能够更好地保留图像的细节信息，但其对噪声比较敏感。
3. 深度学习方法近年来，深度学习方法在图像处理领域取得了巨大的突破，红外与可见光图像融合算法也采用了这一方法。
深度学习方法通过神经网络的训练，能够自动提取图像的特征信息，并实现更精确的融合效果。
例如，将红外图像和可见光图像作为输入，通过卷积神经网络进行训练，得到融合后的图像。
基于深度学习的红外与可见光图像融合方法
16
2020 年 4 月
指挥信息系统与技术
像中的热辐射信息与可见光图像中的细节纹理信息
前景与背景分割
1. 1
本文方法中，目标区域定义为前景，通常为红外
进 行 结 合 ，因 此 合 理 的 图 像 信 息 提 取 方 法 是 提 升 红
引用格式：谢春宇，徐建，李新德，等 . 基于深度学习的红外与可见光图像融合方法［J］. 指挥信息系统与技术，2020，11（2）：
15-20.
XIE Chunyu，XU Jian，LI Xinde，et al. Infrared and visible image fusion method based on deep learning［J］.Com ‑
Science and Technology on Information Systems Engineering Laboratory，Nanjing 210007，China）
Abstract：Infrared and visible image fusion is playing an important role in the robot perception，and
图 像 中 显 著 区 域 ，其 他 图 像 区 域 定 义 为 背 景 。 前 景
外和可见光图像融合性能的关键。
[2]
[3]
现有融合算法包括多尺度变换 、稀疏表示 、神
融 合 旨 在 保 持 红 外 图 像 中 目 标 的 显 著 信 息 ，同 时 尽
经 网 络 、子 空 间 、混 合 模 型 和 其 他 方 法 。 这 些
一种基于区域特性的红外与可见光图像融合算法
( A , B) i (
式中 , f k ( x , y ) 为尺度 k 下的近似图像 , L k 为低通滤 相邻尺度的近似图像间的差异构成小波变换的 系数即小波面 ω k ( x , y) = f k ( x , y ) - f k - 1 ( x , y ) ( k = 1 , 2 , …, N ) 图像的重构为
第 38 卷第 6 期 光 子 学 报 2009 年 6 月 AC TA P HO TON ICA SIN ICA
Vol. 38 No . 6 J une 2009
一种基于区域特性的红外与可见光图像融合算法 3
叶传奇1 ,2 ,王宝树1 ,苗启广1
( 1 西安电子科技大学 计算机学院 ,西安 710071) ( 2 河南科技大学 电子信息工程学院 ,河南 洛阳 471003)
f ( x , y) = 6 ω k ( x , y) + f N ( x , y )
k =1 N
( 5)
S TD ( R i A) ) / M EAN ( R i A) ) ) = ( ( S TD ( R i B) ) / M EAN ( R i B) ) 1
(
(
( 3)
( 6)
式中
M EAN ( R i j) ) = S TD ( R ) =
3
若区域 R 1 与区域 R 2 完全重叠 , 则在关联映 ( ( ) ( ) 射图中映射为 1 个区域 , R j) = R 1 = R 2 ; 若一个区域完全包含另一区域 , 如 R ( 1) < R ( 2) , 则在关联 映 射 图 中 映 射 为 2 个 区 域 , R1( j) = R ( 1) ,
( 对清晰程度 ,若 RRS ( R i A , B) ) > 1 , 表明图像 A 在该
红外与可见光图像融合算法研究
红外与可见光图像融合算法研究随着红外和可见光摄像技术的进步，红外与可见光图像融合技术成为当前研究的热点之一。
红外图像和可见光图像各有其独特的优势，在特定的应用领域中，将两者融合可以提供更全面、更准确的信息，从而改善图像的识别和分析性能。
红外图像主要反映目标的热量分布情况，能够穿透雾霾、烟尘等干扰，适用于夜间监测、目标探测等场景。
而可见光图像则能够提供丰富的纹理和颜色信息，适用于白天场景下的目标识别和追踪。
因此，将红外图像和可见光图像进行融合可以充分利用两者的优势，提高图像的可视性和识别能力。
红外与可见光图像融合算法是指将两幅不同模态的图像融合为一幅综合图像的过程。
目前，常用的融合算法包括基于像素级的融合算法和基于特征级的融合算法。
像素级融合算法直接对两幅图像的像素进行加权平均或最大值选择等操作，简单高效，但无法充分利用两幅图像的特征信息。
特征级融合算法则利用图像的特征信息（如边缘、纹理等）进行融合，能够提取更丰富的信息，但计算复杂度较高。
近年来，随着深度学习技术的发展，深度学习算法在红外与可见光图像融合中的应用逐渐增多。
深度学习算法能够自动学习图像的特征表示，通过卷积神经网络等结构，将图像的特征进行提取和融合，提高了融合结果的质量和准确性。
但深度学习算法在数据需求和计算资源方面存在一定的限制，需要大量的标注数据和高性能计算设备。
红外与可见光图像融合算法的研究还面临着许多挑战，如如何充分利用两幅图像中的信息、如何提高融合结果的视觉质量、如何提高算法的实时性等。
未来的研究可以从以下几个方面进行：优化融合算法的性能，提高融合结果的清晰度和准确性；研究多模态图像融合算法，将更多类型的图像信息进行融合；开发适用于特定应用场景的融合算法，提高图像在特定环境下的识别能力。
总之，红外与可见光图像融合算法的研究对于提高图像识别和分析性能具有重要意义。
未来的研究需要继续探索新的融合算法，并结合实际应用需求，不断提高融合算法的性能和实用性，推动该领域的发。
基于纹理轮廓变换的红外与可见光图像融合
摘 要 关键词
基于纹理轮廓变换的红外与可见光图像融合
颜 敏1 YAN Min
为更好地提取红外图像的轮廓结构特征和可见光图像的细节纹理特征，提出了一种基于交换特征的融合 方法，利用残差网络提取图像特征。网络基于有标签数据集，在深度卷积生成对抗网络中引入纹理和梯 度损失函数，以端到端的方式训练，避免繁琐的手工设计融合规则，最终的融合结果可以较好地保留红 外图像的目标特征和可见光图像的纹理特征，在 TNO 数据集上与主流的 IFCNN，FusionGAN 等红外与 可见光图像融合方法对比，通过主观和客观的图像质量评价证明了方法的有效性。 变换融合；深度卷积生成对抗网络；有监督学习；残差网络
1.2 损失函数 损失函数包括基于 MSE 的图像重构损失，对结构和纹理
特征提取的梯度和细节损失函数，以及生成对抗损失。 其中对红外图像的重构损失定义为：
(1) 式中：Ir(x,y) 表示红外图像，Irs(x,y) 表示红外图像的结构 特征，Irt(x,y) 表示红外图像的纹理特征。
红外图像的边缘增强损失：
近些年来，深度学习技术被广泛应用于红外和可见光图 像融合任务中，这些基于深度学习的方法将 CNN 作为融合算 法的一部分，对网络结构和融合规则进行调整以获得良好的 融合效果。2017 年，Liu 等提出了一种基于 CNN 的红外和可 见光图像融合方法，将 ILSVRC 2012 作为基础数据集，使用 不同标准差的高斯模糊和随机采样生成训练数据。该网络输 入为双通道源图像，输出为最终权重图，通过图像金字塔以 多尺度方式进行合并，实现了良好的活动水平测量和权重分 配，在红外和可见光图像融合中取得较好的融合效果。然而， 该模型仅利用神经网络的特征提取能力来确定融合参数，融 合过程仍采用多尺度技术。GAN（generative adversarial networks）是近年来深度学习在红外与可见光图像融合中最 具前景的方法之一。Ma 等人提出 FusionGAN 将红外图像与可 见光图像堆叠放入生成器，然后在鉴别器中与可见光进行博 弈，最后生成效果良好的融合图像。基于生成对抗网络的红 外和可见光图像融合方法，能够避免繁琐的人工设计测量和 融合规则，融合结果有清晰突出的目标和丰富细节的图像。 然而，该方法仍存在两个问题：一方面，仅依靠对抗训练来 增加额外的详细信息，不确定且不稳定，导致丢失大量详细 信息。另一方面，FusionGAN 中的内容丢失侧重了可见光信息，
红外与可见光的图像融合系统及应用研究
红外与可见光的图像融合系统及应用研究摘要：红外与可见光的图像融合技术近年来得到了广泛的研究与应用。
本文主要介绍了红外与可见光图像融合系统的基本原理和实现方法，并探讨了该技术在军事、安防、医疗等领域的应用和研究进展。
通过深入分析，我们认为红外与可见光图像融合系统的研究和应用前景广阔，有望在各个领域得到更加广泛的应用和推广。
一、引言红外和可见光图像融合技术是将红外图像与可见光图像进行融合，以提高图像质量和对目标的识别能力。
随着红外技术的发展和应用，红外图像的分辨率和对比度得到了大幅提高，但在细节信息和颜色还原方面仍有一定的不足。
可见光图像虽然具有良好的颜色还原和细节信息，但在特定条件下，如夜间或低光条件下，可见光图像的能力受到限制。
因此，将红外图像与可见光图像进行融合，可以充分发挥二者的优势，提高图像质量和识别能力。
二、红外与可见光图像融合系统的基本原理红外与可见光图像融合系统包括图像采集、预处理、特征提取和融合四个主要步骤。
首先，通过专用的红外和可见光相机采集红外图像和可见光图像。
然后对采集的图像进行预处理，包括图像去噪、图像增强等，以提高图像质量。
接下来，通过特征提取算法提取红外图像和可见光图像的特征，包括边缘、纹理等。
最后，通过融合算法将红外图像和可见光图像进行融合，得到一幅融合图像。
三、红外与可见光图像融合系统的实现方法红外与可见光图像融合系统有多种实现方法，包括多分辨率分解法、拉普拉斯金字塔法、小波变换法等。
多分辨率分解法是将红外图像和可见光图像进行多次分解，然后通过图像融合算法将分解后的图像进行重构。
拉普拉斯金字塔法是通过金字塔算法将红外图像和可见光图像进行多次分解，然后通过图像融合算法在不同尺度上进行融合，再通过反向金字塔操作得到最终的融合结果。
小波变换法是将红外图像和可见光图像进行小波变换，在小波域下进行融合，最后通过小波逆变换得到融合结果。
四、红外与可见光图像融合系统的应用红外与可见光图像融合技术在军事、安防、医疗等领域有广泛的应用。
红外图像与可见光图像融合笔记
红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。
为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。
预处理理论主要包括图像去噪、图像配准和图像增强。
图像去噪目的是为了减少噪声对图像的影响。
图像配准是使处于不同状态下的图像达到统一配准状态的方法。
图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
图像融合评价方法：主观评价和客观评价。
指标如：均值、标准差、信息熵等。
针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。
该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。
经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。
红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。
一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。
可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。
利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。
在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。
可见光和近红外熔池图像融合方法
可见光和近红外熔池图像融合方法0 序言自动化、智能化是现代工业制造的发展趋势，对于焊接而言，依赖传统焊工个人经验对焊接质量进行评判难以满足当前焊接质量检测自动化和智能化的需求，利用视觉传感系统实时观察焊接过程中熔池的流动状态，进行焊接质量评价，进而实现焊接质量的控制已成为焊接领域研究的热点[1].被动视觉熔池图像采集法利用熔池自身的辐射光和熔池表面的反射光成像，不需要辅助光源，系统成本低，适用于焊接工业应用要求. 闫志鸿等人[2]利用光谱分析，使用中心波长为665 nm的滤光片建立了一套熔池图像实时采集系统. Gao等人[3]避开可见光，选择近红外区域，利用1 064 nm的窄带滤光片进行熔池视觉成像，获得了清晰的熔池图像. 梁志敏等人[4]分析了熔池辐射光谱分布、电弧光谱分布和摄像机光谱敏感曲线对熔池成像的影响，利用近红外光波段熔池辐射能量高而电弧辐射能量弱的特点，提出采用红外透过滤光片进行熔池视觉成像，获得了更清晰的熔池图像.以上研究都能提取清晰的熔池图像，但获得的图像信息单一，不能完整地反映熔池的信息. 图像融合将相同或不同成像机理的传感器在同一时间或不同时间获取的描述同一场景的图像或图像序列生成一幅更适合人类视觉观察或计算机处理的一种图像处理技术[5]. 在焊接领域，图像融合技术已有初步研究. 罗祥等人[6]通过对多曝光图像序列进行融合处理，获得了熔池区域和焊缝区域. Li等人[7]利用图像融合有效地识别了多道焊的焊缝宽度和高度. 张玉刚等人[8]根据图像聚焦成像理论，对镁合金熔池图像进行图像融合，提高了熔池边缘的信息量. 文中利用图像传感器(charge-coupled device，CCD)采集了清晰的可见光熔池图像与近红外熔池图像，提出利用主成分分析(principal component analysis，PCA)图像融合算法进行图像融合，提高熔池图像的质量.1 试验方法1.1 试验装置可见光和近红外熔池图像同路光源同步采集系统如图1所示.采用的焊接电源为FRONIUS CMT Advanced 4 000 Rnc，图像采集系统包括两个BASLER acA 1 920-155 um CCD、分束镜、650 nm窄带滤光片、990 nm透红外滤光片和同步触发装置. 利用建立的熔池视觉采集试验系统，在304不锈钢平板上进行试验. 保护气体成分为Ar 95% + O2 1.5%，焊丝材料为直径φ1.2 mm的HCr20Ni10Mn7Mo，焊接速度为6 mm/s，焊接电流160 A，焊接电压20 V.如图2所示，分束镜将入射光平均分成强度相同的透射光和反射光两束光线，利用同步触发装置，在同一时刻，分别传输给图1中的CCD1和CCD2两个相机，通过650 nm窄带滤光片和990 nm透红外滤光片采集可见光波段和近红外波段的熔池图像.图1 可见光和近红外熔池图像同路光源同步采集系统Fig. 1 Visible and infrared weld pool image synchronous acquisition system with the same light source图2 分束镜原理图Fig. 2 Beam splitter schematic1.2 图像配准可见光和近红外熔池图像采集自不同设备，具有不同拍摄视角，会产生不同形变. 图像配准通过空间变换把可见光图像映射到近红外图像，使得两图中对应于空间同一位置的点对应起来，从而达到信息融合的目的.仿射变换模型是数字图像配准技术中的一种线性变换，具有平行线转换成平行线和有限点映射到有限点的一般特性，即具有平移、旋转和缩放不变性[9]. 仿射变换模型可表示为式中：[x，y]，[x′，y′]分别是两幅图像中对应点的坐标；k是比例因子；[cosθ，sinθ；-sinθ，cosθ]是旋转矩阵；[△x，△y]是平移矩阵.给定初始值 k0，θ0，△x0和△y0，设定间隔步长t，设 k = tkk0，θ = tθθ0，进行迭代配准，计算两图像边界互相关矩阵，找出最大相关位置，得到最佳比例因子kf和旋转角度θf. 再利用同样的方法对△x0和△y0进行迭代搜索，取得最佳平移参数△xf和△yf.获得仿射变换参数后，采用三次插值法对图像进行平移、旋转和缩放，获取配准图像. 可见光熔池图像和近红外熔池图像配准过程如图3所示.图3 图像配准流程Fig. 3 Image registration process根据镜面反射原理，反射光图像与透射光图像成镜像关系，需要先将可见光熔池图像进行镜像变换，然后与近红外熔池图像进行相关性检测，计算得到 kf，θf，△xf和△yf，并进行仿射变换. 将配准后的可见光图像与近红外图像分别放入三原色(red green blue，RGB)三通道的其中一通道中进行叠加，可以看出仿射变换实现了可见光和近红外熔池图像的图像配准.1.3 PCA 图像融合1.3.1 主成分分析法光伏清洗机器人吸附行走机构的吸盘与电池板表面具有局部柔性，但总体看来，局部柔性对整个光伏清洁机器人受力状况影响很小。
基于NSCT的红外与可见光图像融合算法研究
基于NSCT的红外与可见光图像融合算法研究摘要：本研究提出一种基于NSCT的红外与可见光图像融合算法。
首先，采用NSCT对红外与可见光图像进行二维小波变换得到子带系数，然后对于每个子带系数，根据不同的融合规则进行权重计算和融合处理。
具体而言，我们将图像融合问题划分为低频和高频两个部分，低频部分采用平均融合规则，高频部分采用细节增强融合规则。
最后，通过定量和定性实验验证了所提算法的有效性和优越性。
关键词：NSCT；红外图像；可见光图像；图像融合；小波变换；细节增强引言红外与可见光图像的融合是一种将两幅不同波段的图像信息融合为一幅具有更全面、更丰富信息的图像的技术。
该技术在许多领域具有重要的应用，如安防领域的人脸识别和目标跟踪等。
但是由于两幅不同波段的图像具有不同的特征和分布规律，如何有效地进行融合成为了一个重要的研究问题。
小波变换是一类广泛应用于图像处理的信号处理技术，其优点在于能够将信号分解为低频和高频两部分。
近年来，小波变换已经被广泛应用于图像融合领域。
然而，传统的小波变换无法适应长时间和复杂场景下的图像融合需求。
为此，我们提出了一种基于NSCT的红外与可见光图像融合算法。
NSCT是多尺度和多方向的小波变换方法，其对于复杂场景和细节保持能力更强。
在本研究中，我们将NSCT应用到红外与可见光图像融合中，通过对子带系数进行权重计算和融合处理，实现了更加准确和细致的图像融合。
方法1. NSCT变换NSCT是一种利用带通滤波器对图像进行多尺度和多方向的小波变换。
在本研究中，我们采用了NSCT对红外与可见光图像进行融合处理。
具体而言，我们将图像分解为$L$层小波系数，其中第$i$层的系数用$w^{(i)}(x,y)$表示。
NSCT变换过程如下：$$w^{(i)}(x,y)=\sum_{m=1}^{M_i}\sum_{n=1}^{N_i}h_{m,n} ^{(i)}(z_{m,n}^{(i)} \ast f^{(i)}(x,y))$$其中，$h_{m,n}^{(i)}$表示第$i$层的带通滤波器组成的矩阵，$z_{m,n}^{(i)}$表示第$i$层的带通系数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
红外图像与可见光图像融合——笔记图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。
为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。
预处理理论主要包括图像去噪、图像配准和图像增强。
图像去噪目的是为了减少噪声对图像的影响。
图像配准是使处于不同状态下的图像达到统一配准状态的方法。
图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
图像融合评价方法：主观评价和客观评价。
指标如：均值、标准差、信息熵等。
针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。
该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。
经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。
红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。
一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。
可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。
利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。
在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。
但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。
不利于人眼判读。
可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。
两者的主要区别有：(1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。
(2)可见光图像与红外图像的空间分辨率不同，一般情况下，前者的空间分辨率高于后者；(3)可见光图像与红外图像对同一景物的灰度差异不同；(4)可见光图像与红外图像的纹理和边缘特征不同；(5)可见光图像与红外图像的像素之间的相关性不同。
图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。
像素级图像融合是最低层次的融合，也是其他层次图像融合方式的基础，它是直接对两幅或多幅图像中的对应像素点进行信息综合处理。
像素级图像融合主要强调的是对有用信息的强化和丰富，充分利用了融合图像中的有用信息，使之更符合人类的视觉特性，从而进行下一步的处理和分析。
融合技术有：基于变换域、基于成像模型、基于线性加权、基于多尺度分解。
特征级图像融合是指将待融合图像进行特征提取产生特征矢量，这里的特征是指边缘、形状，方向等，然后对特征矢量进行融合处理，从而完成特征级融合。
主要方法有贝叶斯估计法，熵法、模糊聚类法。
决策级图像融合的一般步骤是先对图像相关信息进行属性说明，而后进行融合，最后将得到场景中相关重要信息的融合属性说明的结果作为控制决策的依据。
常用的图像融合方法包括基于空间域和基于变换域融合。
基于变换域：PCA在统计特征的基础上进行的一种多维正交线性变换。
将相关性变量变换为不相关变量，这样所得结果就是由原始变量线性相加而成。
PCA 图像融合方法的原理是首先计算待融合图像的相关系数矩阵，求出相应的特征值和特征向量，然后通过特征值对应的特征向量来确定图像的加权系数，这样便得到了融合后的图像。
高通滤波法(HPF)的图像融合方法原理是首先采用具有较小空间的高通滤波器对待融合图像进行滤波，这样滤波后得到的图像保留了大部分与空间相关的高频分量信息，例如细节信息及纹理信息等，然后将得到的高频分量信息进行逐像素叠加到另一幅待融合图像上，这样便实现了图像融合。
IHS空间却与RGB空间不同，它是由亮度、色度与饱和度构成的，分别为I、H、S表示，其它颜色也是由这三个分量构成。
亮度I表示的是由其他物体反射的全部能量和图像的空间信息；色度H表示的是色彩组成的主波长，反映的是频谱信息；饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。
在IHS色彩空间中，I、H、S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理。
并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛的应用到图像融合技术。
在IHS变换中，把图像由RGB空间变换到IHS空间的变换称为正变换，相反的，由IHS空间变换到RGB模型的变换称为反变换。
基于这种变换的图像融合原理是对已严格配准两幅图像中的颜色信息丰富的图像进行 IHS 正变换得到三个分量，再用另一幅图像替换掉 I 分量，最后利用新的 I 分量和原来得到的两个分量进行 IHS 逆变换，这样便得出了融合图像。
小波变换的优点表现为图像分解后形成具有不同分辨率、频率和方向特征的分量信号，而且可以将图像的光谱特征和空间特征完全分离，这样就可以为融合处理奠定基础。
这种变换的优点还表现为当利用变换进行重构时，信息会被准确无误的，不会有图像信息损失的重构。
而且在分解时将图像分解到不同的尺度上，这样可以方便的分析图像近似信息和细节信息，这种分解过程与人类视觉系统的特点相类似。
下面主要阐述基于小波的图像融合原理，先对已严格配准的两幅待融合图像A，B进行小波变换，若进行 i 层变换，便得到 3i 个高频子带和 1 个低频子带，将获得的低频和高频子带作不同融合规则处理，再将处理过的子带实行小波逆变换，便形成了结果图像 F。
下图表示其融合原理图。
小波融合局限性：小波分解层数的确定和小波基函数的选取。
首先不同的小波基在对图像进行分解和重构时具有不同的特性，并且没有一种小波基能够对所有图像的处理效果能优于其它的小波基。
因此，在选取小波基函数时应根据图像的统计特性进行动态的选取；对于确定小波分解层数的问题会出现因小波分解层数的不同产生时频分辨率和小波系数的变化范围变差的现象。
一般来说，当分解层数不断增加时，分解中能够剔除大量不重要的数据，由此可以增加图像的压缩比和提高图像的压缩质量。
然而，随着分解层数的进一步增加，这种良好的特性并不能一直的保持，而是当分解层数达到一定值时融合效果最好，超过此值时融合效果会下降。
Contourlet变换：因为小波变换只能获得有限方向的信息，并不能获得所有方向的信息。
小波变换的二维变换基的支撑区域为矩形，它能很好的表达点的奇异性，但无法高效的表达逼近图像固有的奇异曲线；人们经过研究发展了一个新的方法即多尺度几何分析法，这种分析法在表现高维函数上发挥了巨大的优势；其中 Contourlet 变换是 Do 和 Vetterli 在 2002 年提出的方法。
这种变换是目前应用较为广泛的变换，它是“真正”的图像二维表示方法。
它是用非分离滤波器组构造的，其构造方法与小波类似。
它是一种多分辨率多方向的变换，其最终是通过相当于轮廓段来对图像进行逼近的，它的基的支撑区间具有随尺度而长宽比变化的“长条形结构。
它在处理信号时具有良好的方向性、多分辨率性、局部化性和各向异性等优点，因此被广泛的应用于图像融合领域中。
Contourlet 变换主要可分为两个步骤，一个是搜索奇异点，另一个是合并方向接近的奇异点。
它采用双重滤波器组结构，一个是拉普拉斯金字塔滤波器，另一个是方向滤波器组，通过滤波器组来获取多分辨率信息和方向信息。
Contourlet 变换的过程是先进行多分辨率分解，这里采用的是 LP 分解，经过分解后会产生低频分量和高频分量，然后对分解得到的高频分量使用方向滤波器组进行方向性分析，最后对低频分量再进行 LP分解，便可以得到一系列不同尺度的低频分量和高频分量图像。
每一次 LP 分解都生成低频子带和高频子带，其中低频子带的分辨率是原图像的一半，而高频子带的分辨率和原图像相同，这里的高频子带为原图像和低频子带上采样滤波后的差值信号。
方向滤波器组的作用是捕获图像的方向性高频信息，并将分布在同方向上的奇异点合成为一个系数。
它的原理是采用树形结构分解，在每层上将信号先通过扇形滤波器组(QFB)进行扇形方向上的频率切分，然后与旋转重采样操作适当组合以实现图像高频信息方向性分析，从而捕获图像中的线、面等奇异性。
高斯金字塔的构成是首先对原始输入图像进行高斯低通滤波和隔行隔列的下采样，这样便得到了高斯金字塔的第一层，然后再对第一层图像低通滤波和下采样,得到高斯金字塔的第二层，依次类推。
其构建过程如下：这里的l的范围是1-N，表示高斯金字塔的层数。
i，j 表示高斯金字塔对应分解层的行数和列数。
W( m, n)是一个二维可分离的5*5窗口函数，其表达公式如下：由上可见高斯金字塔的这一层图像是由其上一层图像先进行高斯低通滤波，然后进行隔行和隔列的采样而得到的，这样当前层图像的大小依次为前一层图像大小的 1/4.拉普拉斯金字塔分解及重构：在对Gl 进行内插处理，这样便得到了放大的图像*lW。
式中，N为拉普拉斯金字塔分解的最高层次，iLP是拉普拉斯金字塔分解的第l层图像，这样一层一层的分解便生成了最终的拉普拉斯金字塔，其中的每一层图像都是经过高斯金字塔的当前层图像与其前一层图像经内插放大后进行相减得到图像的差值；采样理论：IHS 变换由于其运算简单，计算速度快，并能显著提高图像空间分辨率等诸多优点，被广泛的应用于图像融合技术中。
小波变换是一种图像的多分辨率分析方法，能够将图像分解为相应分辨率下的近似低频分量和三个高频细节分量，这三个高频细节分量分别为水平，垂直和对角线方向的高频细节信息。
基于小波变换的分解特点，在进行图像融合时可以分别对近似低频分量和高频细节分量进行融合，并采用不同的融合规则，因此采用小波变换的融合算法往往能获得更好的融合效果，也能较好地保留原始图像的光谱信息。
但是使用小波变换法实际上是对图像进行高通滤波和低通滤波的过程，融合图像会在一定程度上丢失边缘信息，易出现模糊情况和分块效应，而且计算过程比 IHS 变换复杂。
因此将 IHS 变换和小波变换结合起来使用，这样既可以提高融合图像的空间分辨率，也可以更好的保留可见光图像的光谱信息。