增强融合图像视觉效果的图像融合方法

增强融合图像视觉效果的图像融合方法

荣传振;贾永兴;杨宇;朱莹;王渊

【摘要】针对现有图像融合方法得到的融合图像对比度低,图像纹理细节信息保留不充分,图像视觉效果差等问题,论文提出一种新的基于图像对比度增强的红外与可见光图像融合方法,以有效提高融合图像的视觉效果.首先,为提高可见光图像低亮度细节的能见度,在融合之前,提出一种基于引导滤波器的动态范围压缩与线性变换相结合的自适应图像增强方法;其次,采用基于引导滤波器和高斯滤波器相结合的多尺度融合方法,将红外图像信息有效地注入可见光图像中;最后运用非局部均值滤波对融合后的图像进行后处理,以得到效果增强的融合图像.实验结果表明,该方法能够获得较好的图像融合效果,无论从主观视觉还是客观评价指标上,都要优于现有的常用图像融合方法.

【期刊名称】《信号处理》

【年(卷),期】2019(035)003

【总页数】7页(P327-333)

【关键词】图像融合;图像增强;引导滤波;非局部均值滤波;多尺度分解

【作者】荣传振;贾永兴;杨宇;朱莹;王渊

【作者单位】陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007

【正文语种】中文

【中图分类】TP391.41

1 引言

图像融合将来自不同传感器,在不同位置或不同时间拍摄的关于同一场景的多幅图

像融合成一幅图像。融合后图像保留了源图像的互补和冗余信息,更加符合人类视

觉感知效果。近年来,图像融合逐渐成为研究热点问题,红外与可见光图像融合是图

像融合领域的重要组成部分。红外图像由红外传感器拍摄获得,记录不同物体的热

辐射信息,可用于地物识别和地表参数反演,如隐藏目标和伪装识别等。红外图像的

成像特点,可以大大减少阳光、烟雾等外部环境的影响。红外图像对具有明显红外

热特性的物体和区域敏感,这些特征在可见光图像中无法表现。可见光图像根据物

体的光谱反射特性成像,包含大量物体可见的边缘和细节信息,可以为人眼提供感知

场景描述,并与人类视觉特征相一致。红外与可见光图像融合的目的是获得具有可

见光图像中的丰富细节信息和红外图像中的有效目标区域的互补图像。因此,红外

与可见光图像融合技术广泛应用于夜视成像设备,可提高人类和机器的夜视能力[1]。根据不同的应用,研究者提出了不同的红外与可见光图像融合方法,这些方法通常可

以分为三个级别:像素级、特征级和决策级[2]。基于像素级的图像融合方法是整个

图像融合领域的流行研究趋势,融合图像像素由一组图像像素或在最低物理水平的

其他形式的图像参数确定,因此融合图像具有最小的伪影。其中基于多尺度变换(Multiscale transform, MST)的图像融合方法最受欢迎。传统的基于MST的图像融合方法通常是那些使用金字塔[3]和小波变换[4]的方法。最近提出的融合方法可以被视为利用多尺度几何分析工具对他们的变形和扩展,诸如Curvelet变换[5]、Shearlet变换[6]和非下采样Contourlet变换[7]等。

MST方法通常会提前确定其基函数,以进行图像分析和融合。由于预定义的基函数的限制,原图像的一些重要特征(例如边缘)可能无法很好地表达和提取,从而显著地降低了融合性能。另外,基于MST的图像融合方法通常以多尺度方式实现,MST分解层数的选择变得至关重要且棘手。为确保可以从源图像中提取空间细节信息,分解层数一般要设置得大一些,在这种情况下,低通子带中的一个系数对融合图像中的大量像素具有很大的影响。因此,由源图像之间的噪声或误配准引起的低通子带中小的错误将引起严重的人工效应[8]。近年来,边缘保持滤波器成功地应用于构建图像的多尺度表示。周志强等人将高斯和双边滤波器结合在一起,提出图像的多尺度混合信息分解,并应用于红外与可见光图像融合[9];李树涛等人首次将引导滤波应用于图像融合,在多种图像融合应用中获得了较好的融合结果[10]。通常,这些方法的主要优点是他们能够准确地分离图像的纹理细节、边缘和空间结构,有利于减少融合过程中的光晕和混叠伪像,因此能够获得对人类视觉感知有益的融合结果。此外,在夜间捕获的可见光图像中的细节可见性受照明条件的影响。在不良照明条件下获得的细节通常在可见光图像中以极低的对比度显示,直接融合红外和可见光图像不会获得任何地方都具有良好可见性的融合图像。因此,对于夜视场景来说,对可见光图像进行对比度增强是十分必要的[11]。

针对以上问题,论文在融合之前,首先对可见光图像进行对比度增强,以提高融合图像的视觉效果。首先,为提高可见光图像低亮度细节的能见度,在融合之前,提出一种基于引导滤波器的动态范围压缩与线性变换相结合的自适应图像增强方法;其次,采用基于引导滤波器和高斯滤波器的多尺度融合方法,将红外图像信息有效地注入可见光图像中;最后运用非局部均值滤波对融合后的图像进行后处理,以得到效果增强的融合图像。实验结果表明,该方法能够获得较好的夜视场景增强效果。

2 基于引导滤波和线性变换的可见光图像增强算法

引导滤波器的输出是引导图像的局部线性变换,一方面引导滤波器具有良好的平滑

保边能力,同时在边界处不会出现梯度反转效应;另一方面引导滤波器是基于局部线性模型的,使得其也适用于诸如图像抠图、上采样和着色等应用,其计算时间只依赖于滤波器的大小,大大提高了运行效率[12]。

基于引导滤波的图像对比度增强算法具体叙述如下[11]:假设I是被标准化为[0,255]之间的输入图像,设Ib=GFr,(I)为引导滤波器处理得到的滤波图像,将其变换到对数域,可以得到图像的基础层:

(1)

利用公式(2)可以得到其细节层:

(2)

在运算中,log表示自然对数运算符,ξ=1为防止出现的数值为负数。

然后,利用尺度因子β对图像进行动态范围压缩,以及利用比例因子γ对图像进行对比度的调整,整体的算法为:

(3)

当β<1时,基础层的对比度降低,其细节层的对比度不变,对图像进行动态范围压缩后再进行对比度的调整,尽管其规定的图像亮度在0～255之间,但是其处理结果也是相当可观的。

设置一个基础对比度T,然后将基础层的对比度缩小到T值附近,β可表示为:

(4)

其中和分别表示图像的最大强度和最小强度,因此动态范围压缩会降低图像的对比度,设置一个比例因子γ来调节图像的对比度,在保证增强图像对比度的同时,保证不