基于视觉显著性的红外与可见光图像融合

第38卷第4期 2016年8月

光学仪器

OPTICAL INSTRUMENTS

Vol. 38，No. 4

August,2016

文章编号：1005-5630(2016)04-0303-05

基于视觉显著性的红外与可见光图像融合

华玮平S赵巨岭S李梦S高秀敏〃

(1.杭州电子科技大学电子信息学院，浙江杭州310018;

2.上海理工大学光电信息与计算机工程学院，上海200093)

摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。

关键词：图像融合；红外图像增强；视觉显著性

中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible images

based on image visual saliency

HUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2

(1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China；

2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology,

Shanghai 200093，China)

Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the

收稿日期：2015-10-13

基金项目：国家自然科学基金项目（61405052，61378035)

作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。E-m ail:564810049@qq.c〇m

通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。E-m ail:daba〇zjf@.C n

•304 •光学仪器第38卷

experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect,and the objective evaluation is better.

Keywords：image fusion；infrared image;visual saliency

引言

图像融合旨在将不同图像的信息进行综合，以便进一步的理解和处理。20世纪90年代以来，图像融 合技术在军事探测、医疗成像、图像水印等方面都有着广泛的应用[1]。通常情况下，红外传感器检测到发 热的区域一般是人们关注的目标物体，但其保持图像细节的能力较差，而可见光图像则包含丰富的细节 信息，因而两者互补可以有效综合信息。

较为常用图像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔变换(L P)r a、双树复小波变换 (DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]等方法。这些方法需要进行上采样和下采 样，使得图像中的细节容易被平滑。NSCT具有多尺度、多方向选择性、多分辨率分析和平移不变性的特点。但变换过程中各部分的系数选择仍是一个问题，计算速度也相对较慢。

随着神经科学、心理学等学科的发展，在研究人类视觉机制的过程中视觉显著性和视觉注意的概念 被提出。观察者能够利用视网膜中央凹的高分辨率感知机构，主动地探索环境中的重要视觉信息[6]，即人眼视觉系统(human visual system,H VS)。视觉显著性反映的是视觉系统从场景中提取一系列视觉信 息的能力，其能够像滤波器一样选择感兴趣的信息。由于视觉显著性的提取能够自动化地代替人眼视觉 系统快速准确的搜索到场景中的显著目标，其产生的显著性图能够反映人眼视觉系统对不同场景的关注 程度，这些都使得视觉显著性的研究具有广阔的应用前景。

在上述研究的基础上，国内外科研人员提出了利用视觉显著性进行图像融合的方法。华中科技大学 的陈艳菲等人通过在红外图像和可见光图像中分别提取视觉显著性的方法对双通道图像进行融合，取得 了优于传统图像融合方法的结果[7]。浙江大学的研究人员也结合视觉显著性与N S C T进行图像融合[8]，也取得了较好的成果。

受到上述方法启发，本文提出了中心周围像素差异计算局部显著性图，并变化局部窗口尺寸以实 现图像的不重叠的显著性提取，能够有效的凸显不同尺寸目标的信息；在进一步增强显著性图的基础 上，实现了基于显著性图的红外与可见光图像的融合。通过实验结果的对比分析，本文方法融合效果 好，计算速度快。

1视觉显著性图提取

对于图像，通常以视觉显著性图来量化表示关注程度的不同，该图的值分布在[〇，1]之间，值越 大表明人眼越关注该区域。当前，主要利用计算机算法模拟人眼来产生视觉显著性图。因为中心周 围像素差异越大的区域，人眼关注的程度越高，所以引入局部窗口概念，使用该思路计算局部显著性图。

对于某一幅图像P，设它对应的显著性图为S a l P。那么，取一个以U，；y。）为中心像素，大小为

的矩形区域，定义(心，y。）处的像素值为，y。），显著性值为S a l P G。，y。），计算式为

Sal_P(x〇,y〇) = \P(x〇,y〇)—Mean(ij)\(1)

Mean (ij) =^P(x,y)(2)

1 ^J {x,y)e i y,j

式中:为该区域内所有点的像素平均值，该窗口 的位置在图像中是任意的，那么将窗口在整

幅图像内逐个像素滑动，如图1所示，最终获得与原图P等尺寸的的显著性图S d_P。局部窗口的尺寸 对应于图像中同等尺寸的目标尺寸，取多个尺寸不同窗口可以覆盖不同尺寸的目标。因此通过选择窗口 尺寸以重复获得不同结果的显著性图，再将各显著性图叠加并归一化处理以保证显著性图的准确性，也