小波变换去雾算法

合集下载

去雾算法的原理

去雾算法的原理

去雾算法的原理雾天拍照或者看监控画面的时候,那雾蒙蒙的感觉真的很讨厌,啥都看不清楚。

不过呢,有个超酷的东西叫去雾算法,就像一个魔法一样,能把雾给驱散,让画面变得清晰起来。

咱们先来说说雾是怎么影响画面的哈。

雾就像是一个调皮捣蛋的小坏蛋,它会让光线变得乱七八糟的。

本来好好的光线,直直地从物体上反射到咱们眼睛或者摄像头里,雾一来,就把光线给散射得到处都是。

这就好比一群规规矩矩排队的小朋友,突然来了个调皮鬼,把大家都撞得东倒西歪,乱成一团。

所以咱们看到的画面就变得白茫茫的,远处的东西就像被一层白色的纱给盖住了,细节啥的都看不到了。

那去雾算法是怎么来应对这个调皮的雾呢?有一种比较常见的原理是基于物理模型的。

想象一下,雾里的光线传播就像是一场复杂的旅程。

去雾算法就像是一个超级聪明的导游,它知道光线在雾里的传播规律。

这个算法会假设雾是均匀分布的,虽然实际情况可能不完全是这样,但这是个很好的开始。

它会根据一些数学公式,来计算雾对光线的影响程度。

比如说,它会考虑到雾的浓度、光线的衰减等等因素。

就好像这个导游知道路上有多少个小坑洼(雾的浓度),会让游客(光线)走得多艰难(光线衰减),然后想办法把这些影响去掉,让游客能顺利到达目的地(让画面清晰)。

还有一种基于暗通道先验的去雾算法也很有趣呢。

暗通道是啥呢?简单来说,在没有雾的自然图像里,大多数局部区域都有一些像素点是非常暗的。

可是雾一来,就把这些暗的地方都给“洗白”了。

这个算法就抓住了这个特点,先找到图像的暗通道。

然后根据暗通道里的信息来估计雾的浓度。

这就像是发现了雾这个调皮鬼留下的小尾巴,通过这个小尾巴就能知道它到底有多调皮(雾的浓度),然后就可以有针对性地把雾给赶走啦。

另外呀,有些去雾算法还会用到深度学习的方法。

这就像是请了一个超级智能的小助手,这个小助手看过无数有雾和无雾的图像,然后学会了怎么把有雾的图像变成无雾的。

它会自动从图像里提取各种特征,就像我们人看东西会注意到颜色、形状这些特征一样。

bayer小波变换去噪算法 python实现 -回复

bayer小波变换去噪算法 python实现 -回复

bayer小波变换去噪算法python实现-回复Bayer小波变换去噪算法是一种常见的图像去噪方法,它利用小波变换将图像分解为低频和高频信号,然后对高频信号进行阈值处理,最后进行小波逆变换得到去噪图像。

在本文中,我们将详细介绍Bayer小波变换去噪算法的原理和Python实现。

第一步:了解小波变换首先,我们需要了解小波变换的基本原理。

小波变换是一种数学工具,可以将信号分解为不同尺度的频率分量。

小波变换的优势在于它能够在时间和频率域上提供较好的时频局部性分析。

小波变换通常使用多个小波函数来表示信号,其中最常用的是Haar小波函数。

第二步:理解Bayer小波变换去噪算法原理Bayer小波变换去噪算法是一种基于小波变换的图像去噪算法。

它基于以下原理:图像的高频部分通常包含噪声信息,而低频部分则包含图像的主要信息。

因此,通过对高频部分进行阈值处理,我们可以保留图像中的主要信息,并去除噪声。

第三步:实现Bayer小波变换去噪算法下面我们将介绍如何使用Python实现Bayer小波变换去噪算法。

步骤1:导入必要的库首先,我们需要导入以下库:numpy用于数组处理,pywt用于小波变换。

pythonimport numpy as npimport pywt步骤2:读取图像使用OpenCV库读取图像,并将其转换为灰度图像。

pythonimport cv2img = cv2.imread('image.jpg', 0)步骤3:进行小波变换使用pywt库的dwt2函数进行小波变换,将图像分解为低频和高频系数。

pythoncA, (cH, cV, cD) = pywt.dwt2(img, 'haar')步骤4:对高频系数进行阈值处理使用numpy库的函数对高频系数进行阈值处理。

pythonthreshold = np.std(cD) * 2cD_threshold = pywt.threshold(cD, threshold, mode='hard') 其中,阈值的选取可以根据实际情况进行调整。

计算机视觉技术中的去雾算法

计算机视觉技术中的去雾算法

计算机视觉技术中的去雾算法计算机视觉技术的发展已经在很大程度上改变了我们生活的方方面面,其中一个重要的应用领域就是图像处理。

图像处理不仅可以改善图像的质量,还可以从图像中提取出有价值的信息。

然而,在真实世界中,由于天气、空气质量等因素的影响,图像中常常存在着雾霾带来的模糊和退化问题。

为了解决这个问题,研究人员开发了各种去雾算法。

去雾算法是计算机视觉领域中的一种重要技术,其目的是从模糊的图像中恢复出清晰的图像。

去雾算法主要分为传统的基于物理模型的算法和深度学习算法。

传统的基于物理模型的算法是最早应用于去雾的方法之一。

这些方法基于透视成像模型和大气散射模型,通过对图像中的不同颜色通道进行处理,恢复图像的细节信息。

其中,最著名的算法之一是单尺度暗通道先验算法(Dark Channel Prior)。

该算法根据室外自然场景图像中暗通道的特性,通过寻找图像中最暗的像素点,并与全局的大气光值相结合,从而实现图像去雾。

虽然这些基于物理模型的算法在特定情况下可以取得良好的效果,但它们也面临着一些限制,例如需要相对精确的先验信息和对图像进行多次迭代等。

近年来,随着深度学习技术的快速发展,深度学习算法在计算机视觉领域取得了巨大的突破。

基于深度学习的去雾算法在解决雾霾问题上表现出了很强的鲁棒性和适应性。

这些方法通过构建神经网络模型,从大量的带雾图像数据中学习和提取图像的特征,进而实现去雾的效果。

其中,Retinex-based方法是一种基于深度残差网络的去雾算法,它可以对不同强度的雾霾进行准确去雾,并能够提升图像的对比度和细节。

此外,生成对抗网络(GAN)也被应用于去雾问题中,通过生成器和判别器之间的对抗性训练,使生成的图像更加逼真和清晰。

尽管基于深度学习的去雾算法在处理复杂场景和多样化的数据方面表现出了优势,但也面临着一些挑战。

首先,由于神经网络模型的设计和训练需要大量的计算资源和数据集,因此计算成本较高。

其次,训练数据中可能存在多样性不足以及样本不平衡的问题,这会导致模型的泛化能力不佳。

基于小波变换的同态滤波法去雾图像处理

基于小波变换的同态滤波法去雾图像处理
收 稿 日期 :o 8 6 3 2 0—0 — 0
r , ——反射分量 , (, , ) 是受到景物反射的光强度 。
两个 函数合并形成 ,) Y: f x y =( Y ・( ,) ( , ) ,)rx Y () 1
由于上式 中图像 是 由入射分量 和反射分量 相乘
表 示 ,无 法变 换 到频域 再分 别 对 它们 进行 处 理操
矿产 、 地理 、 水文 、 洋 、 海 气象 、 绘 、 测 环境保 护监 测 以及 国防军事 等科学技 术 的各个 领域 , 而在 图像 的 摄取 中云雾是 最常 见的一种 噪声 . 图像 产生 退化 对 作用。 致使所拍 摄 到的 图像 呈现灰 暗或泛 白。因此 有必要 探索 去 除这 种不 清晰 因素 的数 学模 型 和处 理 技术 。力求 消 除大 气 云雾对 摄取 图像 的种种 干 扰 , 图像得 以有 效 的恢 复 。本 文主要通 过 M f b 使 aa l 软件用 于 图像处 理 的基 于同态 滤 波的小 波 变换 法 来 改善含雾 的图像质量 。 常用的方法 是 同态 滤波 , 它是把频率 过滤 和灰 度变换 结合起来 的处理 方法。 经典 的思路 是根据 雾 覆 盖信息在频率 域上通 常 占据低 频信息 的特点 。 将 图像通 过傅立 叶变换转 换到频率 域 , 然后 使用高 通
得 到去雾后 的 图像 。此 方法在 保持 图像 总体原貌 的基 础上 对图像局 部对 比度 增强效果 显著 。
Байду номын сангаас
关键词 : 同态滤波 ; 小波 变换 ; 去雾 ; 巴特 沃斯 滤波 ; 图像对 比度 中图分类号 :P 9 .1 T31 4 文 献标 识码 : A 文章编 号 :63 4 2 (0 80 — 0 2 0 17 — 6 92 0 )6 0 3 — 5

小波变换在图像去雾中的应用及算法优化

小波变换在图像去雾中的应用及算法优化

小波变换在图像去雾中的应用及算法优化一、引言图像去雾是计算机视觉领域的重要研究方向之一。

在自然环境中,由于大气中的微粒和水汽的存在,远处物体的图像会受到雾霾的干扰,导致图像质量下降。

为了提高图像的清晰度和可视性,研究者们提出了许多图像去雾算法。

其中,小波变换作为一种有效的信号处理工具,被广泛应用于图像去雾中,并取得了良好的效果。

二、小波变换在图像去雾中的应用小波变换是一种多尺度分析方法,能够将信号分解成不同频率的子信号。

在图像去雾中,小波变换能够帮助我们分离图像中的雾霾成分和清晰成分,从而实现去雾的目的。

首先,小波变换可以提取图像的边缘信息。

在雾霾图像中,由于雾霾的存在,物体边缘的锐利度会降低。

通过对图像进行小波变换,我们可以将图像分解成不同尺度的子图像,其中高频子图像包含了图像的边缘信息。

通过增强高频子图像,我们可以提取出图像中的边缘,从而恢复图像的清晰度。

其次,小波变换可以增强图像的细节。

在雾霾图像中,细节信息会被雾霾模糊掉。

通过对图像进行小波变换,我们可以将图像分解成不同频率的子图像,其中细节信息主要集中在高频子图像中。

通过增强高频子图像,我们可以恢复图像中的细节,使得图像更加清晰。

最后,小波变换可以降低图像中的噪声。

在图像去雾过程中,由于雾霾的存在,图像中的噪声也会被放大。

通过对图像进行小波变换,我们可以将图像分解成不同频率的子图像,其中噪声主要集中在高频子图像中。

通过减弱高频子图像,我们可以降低图像中的噪声,提高图像的质量。

三、小波变换在图像去雾中的算法优化尽管小波变换在图像去雾中取得了一定的效果,但是由于小波变换本身的缺点,如计算复杂度高、边缘效应等,使得其在实际应用中存在一些问题。

因此,研究者们对小波变换进行了一些算法优化,以提高图像去雾的效果。

首先,研究者们提出了快速小波变换算法,以降低小波变换的计算复杂度。

快速小波变换算法通过利用小波函数的特性,将小波变换的计算过程转化为快速傅里叶变换的计算过程,从而大大提高了计算效率。

基于亮度小波变换和颜色改善的彩色图像去雾研究

基于亮度小波变换和颜色改善的彩色图像去雾研究

基 于 亮 度 小 波 变 换 和 颜 色 改 善 的 彩 色 图像 去 雾 研 究
周 树 道 , 王 敏 , 黄 峰 , 刘 志 华 , 叶 松
( 放 军 理 工 大学 气 象 学 院 , 苏 南 京 2 10 ) 解 条件 下彩 色 图像 对 比度 降低 问题 , 出 了一 种 有效 的 图像 去 雾方 法. 针 提 先
ie nx
去 除雾 的影 响 , 于 提 高 图像 资料 利 用 率 具 有 重 大 对
0 引 言
雾 能使 大气 低 能 见 度 降低 , 而 使 光学 器 材 获 从 取 的 图像 模 糊不 清 , 分辨 率下 降 , 法获 得 清晰 的地 无 物信 息 , 将 给 军 事 、 通 、 控 、 这 交 监 自动导 航 、 目标 跟 踪 等方 面带 来 很 大 的 困难 … . 因此 , 究 如 何 有 效 研
Ab t a t A meh d o eo g n ma e s i t d c d f r c n r s d g a e f o t o r t i g c l r i g . s r c : t o fd f g i g i g s i nr u e o o t t e r d d o u d o h n f oo ma e o a o
一 …
Tr n f r a d Col m p o e a s o m n orI r v me t n
ZHOU h d o, S u— a WANG i M n, HUANG n Fe g, L U ih a, I Zh — u Y Sn E o g
(ntueo eerlg , L nvri f cec n eh o g , aj g2 1 1 hn ) Istt f i Met ooy P A U iesyo i eadTc nl y N ni 1 ,C ia o t S n o n 10

利用小波变换进行图像去雾与增强的技巧与步骤

利用小波变换进行图像去雾与增强的技巧与步骤

利用小波变换进行图像去雾与增强的技巧与步骤图像去雾与增强是数字图像处理领域中的重要任务之一。

在实际应用中,由于气候、环境等因素的影响,图像中常常存在雾霾、模糊等问题,导致图像质量下降,影响视觉效果和图像分析的准确性。

小波变换是一种广泛应用于图像处理的数学工具,具有良好的时频局部性质和多分辨率分析能力,因此可以用于图像去雾与增强。

首先,我们来了解一下小波变换的基本原理。

小波变换是一种将信号分解为不同频率分量的方法。

它利用一组基函数(小波函数)对信号进行分解,得到不同频率的子信号。

小波变换的核心思想是通过分解信号,将时域信息转化为频域信息,并能够根据需要选择不同的频率分量进行处理。

在进行图像去雾与增强时,我们可以利用小波变换的多分辨率分析能力,将图像分解为不同尺度的子图像。

首先,我们需要对原始图像进行预处理,例如去噪和增强对比度等。

然后,我们选择合适的小波基函数进行分解,常用的有Haar小波、Daubechies小波等。

通过小波变换,我们可以得到图像的低频部分和高频部分。

对于图像去雾,我们可以利用小波变换的高频部分来提取雾霾信息。

由于雾霾主要影响图像的高频部分,通过对高频部分进行处理,可以有效减弱或去除雾霾的影响。

一种常用的方法是通过调整高频部分的幅值,减少雾霾的强度。

具体操作可以通过对高频部分进行放大或减小来实现。

另外,我们还可以利用小波变换的多尺度分析能力,选择合适的尺度进行处理,以达到更好的去雾效果。

对于图像增强,我们可以利用小波变换的低频部分来增强图像的细节和对比度。

由于低频部分包含了图像的整体信息,通过对低频部分进行处理,可以增强图像的整体质量。

一种常用的方法是通过调整低频部分的幅值和相位,增强图像的对比度和细节。

具体操作可以通过对低频部分进行放大或减小,调整相位,以及应用滤波等方法来实现。

另外,我们还可以利用小波变换的多尺度分析能力,选择合适的尺度进行处理,以达到更好的增强效果。

除了基本的图像去雾与增强方法,还有一些进阶的技巧可以提升效果。

几种图像去雾算法综述

几种图像去雾算法综述

现在的去雾算法主要有两大类:一是基于图像增强的去雾算法,二是基于图像复原的去雾算法。

1 基于图像增强的去雾算法图像增强的去雾算法是用一些算法来提高带雾图像的对比度,突出或弱化某些信息,减小雾对图像影响,使去雾后图像更加方便用于机器识别或主观视觉观察,作为图像处理的重要分支之一,人们对其进行了深入研究,并取得一定的成果。

1.1 基于直方图均衡化的去雾算法这种方法的主要思想是让图像的直方图分布更加均匀,来提升图像的对比度。

有两种直方图均衡化的方法——局部直方图均衡化和全局直方图均衡化。

全局直方图均衡化是对图像整体做均衡化处理,而考虑不到图像局部的特点,于是,局部直方图均衡化被提出,包含J Y Kim子块部分重叠直方图均衡化算法(POSHE)和Zimmerman等人提出的插值直方图均衡化算法,都取得了很不错的效果。

国内王萍等人根据在有雾图像中对比度会比较低的特点,提出了插值自适应均衡化方法。

1.2 基于Retinex理论的去雾算法Retinex是一种图像增强的方法,它是建立在色彩恒常理论上的。

这个算法运用了视觉系统的颜色不变性特点来加强光照强度,以实现图像增强。

Retinex算法有两种——单尺度Retinex(SSR)算法和多尺度Retinex(MSR)算法。

1.3 基于小波变换的去雾算法基于小波分析的方法是在多尺度上对图像进行对比度增强处理,目前已取得了很大的成果。

这个方法的原理是减弱图像的低频部分,增强图像的高频部分,从而使图像变得清晰。

Russo F等人提出了一种在多尺度上均衡化雾天图像细节的方法,让图像细节变得更清晰。

2 基于图像复原的去雾算法基于图像复原的算法运用了大气散射模型来恢复有雾图像。

2.1 大气散射模型有雾的天气中,物体反射的光线会因为空气里的小颗粒发生散射,会使图像采集设备采不到完整的发射光线。

这就使光线在传播过程中一部分会发生衰减。

大气介质中存在的颗粒让光的散射过程变得非常复杂,为了更加准确地描述这个过程对采集到的图像产生的影响,于是建立在大气散射理论的基础上的数学模型——大气散射模型被提了出来,用来描述散射的过程,其表达式为:()()()()1()I x J x t x A t x=+− (1)以上公式中I(x)代表采集的图像,A为大气光强,J(x)代表真实的图像,t(x)为透射率。

基于深度多级小波U-Net的车牌雾图去雾算法

基于深度多级小波U-Net的车牌雾图去雾算法

第49卷第6期2022年6月Vol.49,No.6Jun.2022湖南大学学报(自然科学版)Journal of Hunan University(Natural Sciences)基于深度多级小波U-Net的车牌雾图去雾算法陈炳权†,朱熙,汪政阳,梁寅聪(吉首大学信息科学与工程学院,湖南吉首416000)摘要:为了解决雾天拍摄的车牌图像边缘模糊、色彩失真的问题,提出了端到端的基于深度多级小波U-Net的车牌雾图去雾算法.以MWCNN为去雾网络的主体框架,利用“SOS”增强策略和编解码器之间的跨层连接整合小波域中的特征信息,采用离散小波变换的像素-通道联合注意力块降低去雾车牌图像中的雾度残留.此外,利用跨尺度聚合增强块补充小波域图像中缺失的空间域图像信息,进一步提高了去雾车牌图像质量.仿真实验表明,该网络在结构相似度和峰值信噪比上具有明显的优势,在处理合成车牌雾图和实际拍摄的车牌雾图上,去雾效果表现良好.关键词:车牌雾图去雾;MWCNN;“SOS”增强策略;跨层连接;注意力;跨尺度聚合中图分类号:TP391.41文献标志码:ADehazing Algorithm of License Plate Fog Image Basedon Deep Multi-level Wavelet U-NetCHEN Bingquan†,ZHU Xi,WANG Zhengyang,LIANG Yincong(College of Information Science and Engineering,Jishou University,Jishou416000,China)Abstract:To solve the problem of edge blurring and color distortion of license plate images taken in foggy weather,an end-to-end depth multilevel wavelet U-Net based algorithm for license plate fog image removal is pre⁃sented.Taking MWCNN as the main frame work of the defogging network,the feature information in the wavelet do⁃main is integrated using the“SOS”enhancement strategy and the cross-layer connection between the codec.The pixel-channel joint attention block of the discrete wavelet transform is used to reduce the fog residue in the defrosted license plate image.In addition,the cross-scale aggregation enhancement blocks are used to supplement the missing spatial domain image information in the wavelet domain image,which further improves the quality of the defogging li⁃cense plate image.The simulation results show that the network has obvious advantages in structural similarity and peak signal-to-noise ratio,and it performs well in dealing with the composite plate fog image and the actual photo⁃graphed plate fog image.Key words:license plate fog image defogging;MWCNN;“SOS”enhancement strategy;cross-layer connection;attention mechanism;cross-scale aggregation∗收稿日期:2021-11-01基金项目:国家自然科学基金资助项目(No.62141601),National Natural Science Foundation of China(No.62141601);湖南省教育厅重点资助项目(21A0326),The SRF of Hunan Provincial Education Department(No.21A0326)作者简介:陈炳权(1972-),男,湖南常德人,吉首大学副教授,硕士生导师,博士†通信联系人,E-mail:****************文章编号:1674-2974(2022)06-0124-11DOI:10.16339/ki.hdxbzkb.2022293第6期陈炳权等:基于深度多级小波U-Net的车牌雾图去雾算法在大雾天气下使用光学成像器件(如相机、监控摄像头等)对目标场景或物体进行拍摄时,往往会使得图像对比度低,边缘、字符等细节信息模糊.图像去雾是图像处理中典型的不适定问题,旨在从雾天图像中复原出相应的无雾图像,作为一种提升图像质量的方法,已被广泛应用于图像分类、识别、交通监控等领域.近年来,针对不同场景(室内家居场景、室外自然场景、交通道路场景、夜间雾霾场景等)下均匀雾度或非均匀雾度图像的去雾技术引起了广泛关注与研究,但由于实际雾霾对图像影响的复杂多变性,从真实的雾天图像中复原无雾图像仍具有诸多挑战性.图像去雾技术发展至今,主要分为以下三类:基于数学模型的去雾技术,如直方图均衡[1]、小波变换[2]、色彩恒常性理论[3](Retinex)等;基于大气散射模型(ASM)和相关统计先验的去雾技术,如暗通道先验[4-5](DCP)、色衰减先验[6](CAP)、非局部先验[7](NLP)等;基于深度学习的去雾技术,如Deha⁃zeNet[8]、DCPDN[9]、AODNet[10]等.近年来,深度卷积神经网络在计算机视觉中应用广泛,2019年Liu 等[11]认为传统的卷积神经网络(CNN)在采用池化或空洞滤波器来增大感受野时势必会造成信息的丢失或网格效应,于是将多级小波变换嵌入到CNN中,在感受野大小和计算效率之间取得了良好的折中,因而首次提出了多级小波卷积神经网络(MWCNN)模型,并证实了其在诸如图像去噪、单图像超分辨率、图像分类等任务中的有效性.同年,Yang等[12]也认为离散小波变换及其逆变化可以很好地替代U-Net 中的下采样和上采样操作,因而提出了一种用于单幅图像去雾的小波U-Net网络,该网络与MWCNN结构非常相似.2020年,Yang等[13]将多级小波与通道注意力相结合设计了一种小波通道注意力模块,据此构建了单幅图像去雨网络模型.同年,Peng等[14]则将残差块与MWCNN相结合提出了一种用于图像去噪的多级小波残差网络(MWRN).2021年,陈书贞等[15]在已有的MWCNN结构上加入多尺度稠密块以提取图像的多尺度信息,并在空间域对重构图像进行进一步细化处理,以弥补小波域和空间域对图像信息表示存在的差异性,从而实现了图像的盲去模糊.为了解决大雾天气下车牌图像对比度低和边缘、字符等信息模糊不清的问题,很多研究人员开始将已有的图像去雾技术应用于车牌识别的预处理中.但大多数只是对已有图像去雾算法进行了简单改进,如对Retinex或DCP等去雾算法进行改进,直接应用于车牌检测识别中.虽然取得了一定的去雾效果,但其并没有很好地复原出车牌图像的特征,且很难应对中等雾和浓雾下的车牌图像.2020年王巧月等[16]则有意识地针对车牌图像的颜色和字符信息进行车牌图像的去雾,提高了车牌图像的质量.受上述研究的启发,本文提出一种基于深度多级小波U-Net的车牌雾图去雾算法,以端到端的方式来实现不同雾度下不同车牌类型的去雾.首先,提出了一种结合DWT、通道注意力(CA)和像素注意力(PA)的三分支结构,该结构可以对编码器每层输出特征的通道和像素进行加权处理,从而让去雾网络聚焦于车牌雾图中的有雾区域;其次,在解码器中引入“SOS”增强模块(“SOS”Block)来对解码器和下层输入的特征进行进一步融合和增强,提高去雾图像的峰值信噪比,并在U-Net编解码结构之间进行了层与层之间的连接,以此来充分利用不同网络层和尺度上的特征信息;最后,为弥补小波域和空间域之间网络表达图像信息的差异,提出了一种结合跨尺度聚合(CSA)的多尺度残差增强模块(CSAE Block),在空间域上进一步丰富网络对于图像细节信息的表达,有效地提高去雾图像的质量.1去雾网络结构本文去雾网络结构如图1所示.该网络主要分为A与B这2大模块,前者在小波域中实现对车牌雾图x LPHaze的去雾,后者在空间域上对模块A输出的无雾图像进行进一步优化,模块A 的网络结构参数见表1.整个网络结构的输出为:y LPDhaze=y B(y A(x LPHaze;θA);θB)(1)式中:y B(⋅)和y A(⋅)分别为模块A和B的输出,θA 和θB分别表示模块A和B的可学习参数.1.1小波U-Net二维离散小波变换(2D-DWT)可以实现对给定的图像I的小波域分解,分解过程可视为将图像I与4个滤波器进行卷积,即1个低通滤波器f LL和3个高通滤波器(f LH、f HL和f HH),这4个滤波器(即卷积核)分别由低通滤波器f L和高通滤波器f H构成.以Haar小波为例,该卷积核表示为:f L=12[]1,1T,f H=12[]1,-1Tf LL=LL T,f HL=HL T,f LH=LH T,f HH=HH T(2)125湖南大学学报(自然科学版)2022年图1去雾网络结构Fig.1Defogging network structure 表1模块A 网络结构参数Tab.1Network structure parameters of module A网络层层1层2层3层4类型注意力块卷积层残差组注意力块(下、上采样)卷积层残差组注意力块(下、上采样)卷积层残差组注意力块(下、上采样)卷积层残差组卷积层编码器(卷积核大小f ×f ,输出通道c )éëêêùûúú()2×2,1()1×1,4and ()1×1,16(3×3,16)éëêêùûúú()3×3,16()3×3,16×3éëêêùûúú()2×2,1()1×1,64(3×3,64)éëêêùûúú()3×3,64()3×3,64×3éëêêùûúú()2×2,1()1×1,256(3×3,256)éëêêùûúú()3×3,256()3×3,256×3éëêêùûúú()2×2,1()1×1,1024(3×3,1024)éëêêùûúú()3×3,1024()3×3,1024×3(3×3,1024)输出大小(宽W ,高H )(64,32)(64,32)(64,32)(32,16)(32,16)(32,16)(16,8)(16,8)(16,8)(8,4)(8,4)(8,4)(8,4)解码器(卷积核大小f ×f ,输出通道c )—éëêêùûúú()3×3,16()3×3,12éëêêùûúú()3×3,16()3×3,16×3—(3×3,64)éëêêùûúú()3×3,64()3×3,64×3—(3×3,256)éëêêùûúú()3×3,256()3×3,256×3————输出大小(宽W ,高H )—(64,32)(64,32)—(32,16)(32,16)—(16,8)(16,8)————层2层4层1层3层1层2层3层4离散小波变换DWT 卷积层ConvLayer 注意力块Attention Block “SOS ”增强块“SOS ”Block 残差组ResGroup 离散小波逆变换IDWT 跨尺度聚合增强块CSAE BlockTanh 层模块B模块A 层间多尺度聚合126第6期陈炳权等:基于深度多级小波U-Net 的车牌雾图去雾算法因此,2D-DWT 可以通过将输入图像I 与4个滤波器进行卷积和下采样来实现,从而获得4个子带图像I LL 、I LH 、I HL 和I HH .其操作定义如下:I LL =()f LL ∗I ↓2I LH =()f LH ∗I ↓2I H L=()f HL∗I ↓2I HH=()f HH∗I ↓2(3)其中:∗表示卷积操作;↓2表示尺度因子为2的标准下采样操作.低通滤波器用于捕获图像中光滑的平面和纹理信息,其它3个高通滤波器则提取图像中存在的水平、垂直和对角线方向上的边缘信息.同时,由于2D-DWT 的双正交性质,可以通过二维逆DWT 的精确重建出原始图像.2D-DWT 及其逆变换的分解和重建示意图如图2所示.本文将2D-DWT 及其逆变换嵌入到U-Net 网络结构中,改善原始U-Net 网络的结构.首先,对输入的3通道车牌雾图进行离散小波变换处理,输出图像的通道数变为原来的4倍,图像大小变为原来的12;然后,使用一个单独的卷积层(“3×3卷积+Lea⁃kyReLU ”)将输入图像扩展为16通道的图像;最后,在U-Net 的每层中迭代使用卷积层和离散小波变换用于提取多尺度边缘特征.1.2基于2D-DWT 的通道-像素联合注意力块(DCPA Block )在去雾网络中平等对待不同的通道和像素特征,对于处理非均匀雾度图像是不利的.为了能灵活处理不同类型的特征信息,Qin 等[17]和Wu 等[18]均采用CA 和PA ,前者主要用于对不同通道特征进行加权,而后者则是对具有不同雾度的图像像素进行加权,从而使网络更关注雾度浓厚的像素和高频区域.引入Hao-Hsiang Yang 等[13]的小波通道注意力块,本文提出了一种基于二维DWT 的通道-像素联合注意力模块,将DWT 、CA 和PA 构建并行的三分支结构,如图3所示.2D-DWT卷积3×3平均池化卷积Leaky ReluLeaky Relu 输入逐元素相乘残差组输出逐元素相加Leaky Relu 1×1卷积2×2Sigmoid 激活函数注意力块图3基于二维DWT 的特征融合注意力模块结构Fig.3Attention module structure of feature fusion basedon two-dimensional DWT其中,两分支结构的注意力块结合了PA (上分支)和CA (下分支)的特点,将具有通道数为C ,高和宽分别为H 、W 的特征图x ∈R C ×H ×W 分别输入到CA 和PA 中,前者通过平均池化将C×H×W 的空间信息转换为C×1×1的通道权重信息,而后者则通过卷积来将C×H×W 的图像转换成1×H×W.CA 由一个平均池化层、一个卷积层和一个LeakyReLU 层构成,其输出为:y CA =LeakyReLU 0.2(Conv 11(AvgPool (x)))(4)式中:y CA ∈R 1×H ×W ;Conv j i (⋅)表示卷积核大小为i ×i 、步长为j 的卷积操作;LeakyReLU 0.2(⋅)表示参数为0.2的LeakyReLU 激活函数;AvgPool (⋅)表示平均池化操作.类似地,PA 有一个卷积层和一个LeakyReLU层,但没有平均池化层,其输出为:y PA =LeakyReLU 0.2(Conv 22(x))(5)式中:y PA ∈R C ×1×1.CA 和PA 通过逐像素相加,并共用一个Sigmoid 激活函数来分别为输入图像通道和像素配置相应的权重参数,其输出为:y A =Sigmoid (y PA ⊕y CA)(6)式中:y A ∈R C ×H ×W ;⊕表示逐元素相加;Sigmoid (⋅)表示Sigmoid 激活函数.最后,和经离散小波变换、卷列行LLLI LII LH I HL HH22222222列I HL I LL I HH222HL H I H2L行HII LH 图22D-DWT 及其逆变换Fig.22D-DWT and its inverse transformation127湖南大学学报(自然科学版)2022年积层和残差组处理后的特征图进行逐元素相乘,从而实现对特征图的加权,其最终输出为:y DCPA =ResGroup (LeakyReLU 0.2(Conv 13(DWT (x))))⊗yA(7)式中:y DCPA ∈R C ×H ×W ;DWT (⋅)为离散小波变换;⊗表示逐元素相乘;ResGroup (⋅)表示残差组函数. 1.3层间多尺度聚合(LMSA )受到Park 等[19]在图像去雾任务中采用多级连接来复原图像细节信息的启示,将U-Net 编码器中前3层中DCPA Block 的输出进行跨层和跨尺度的特征聚合,使网络能充分利用图像潜在的特征信息,其结构如图4所示.假设编码器的第l 层输出的聚合特征为y lconcat ,输入解码器的第l 层特征为D l in ,其中l =1,2,3,则y lconcat =Cat((Cat i =13F l i (y l DCPA )),F up (D l +1out ))(8)D l in =LeakyReLU 0.2(Conv 11(LeakyReLU 0.2(y l SEBlock (y l concat))))(9)式中:Cat (⋅)表示级联操作;F l i (⋅)表示从第i 层到第l 层的采样操作;F up (⋅)表示上采样操作;D i +1out为解码器的第i +1层的输出.将每层聚合后的特征图x l concat 输入到SEBlock 中,自适应地调节各个通道特征,其输出为:y lSEBlock (x l concat )=Sigmoid (FC (ReLu (FC (AvgPool (xlconcat)))))(10)式中:FC (⋅)表示全连接层函数;ReLU (⋅)为ReLU 非线性激活函数.SEBlock 的结构如图5所示.平均池化全连接层全连接层ReLuSigmoid 激活函数S图5SEBlock 结构Fig.5SEBlock structure通过“LeakyRelu-Conv-LeakyRelu ”操作减少每层输出特征的通道数,输入到U-Net 解码器中前3层的“SOS ”Block 中,提升重构图像的峰值信噪比.U-Net 网络中的第4层则聚合前2层的DCPABlock 输出特征和第3层的DWT 输出特征,同样经过SEBlock 和“LeakyRelu-Conv-LeakyRelu ”操作后作为第4层的输入特征进行后续操作.其数学表达式为:y 4concat =Cat((Cat i =12F 4i (y 4DCPA )),E 3out )(11)D 4in =LeakyReLU 0.2(Conv 11(LeakyReLU 0.2(y 4SEBlock (y 4concat))))(12)其中,E 3out 表示解码器第3层的输出.1.4“SOS ”增强模块(“SOS ”Block )从Romano 等[20]和Dong 等[21]对“Strengthen-Operate-Subtract ”增强策略(“SOS ”)的开发和利用中可知,该增强算法能对输入的图像特征进行细化处理,可以提高输出图像的峰值信噪比.因此,在本文的车牌图像去雾网络解码器结构中,直接将Dong 等[21]采用的“SOS ”增强算法嵌入到U-Net 结构中,提升车牌去雾图像的质量.Dong 等[21]所采用的“SOS ”增强算法的近似数学表达式如下:J n +1=g (I +J n )-J n(13)层1DCPA Block输出层2DCPA Block输出层3DCPA Block输出编码器CCC层1“SOS ”Block层2“SOS ”Block层3“SOS ”Block解码器LeakyReLU-1×1Conv-LeakyReLU SEBlocky 2CSACaty 1coocat y 3CSACat y 2CSAEBlocky 1CSAEBlock y 3CSAEBlockD 2inD 1inD 3in图4层间多尺度聚合结构Fig.4Multi-scale aggregation structure128第6期陈炳权等:基于深度多级小波U-Net 的车牌雾图去雾算法其中:I 为输入雾图像;J n 为第n 层估计的去雾图像;I +J n 表示使用输入雾图进行增强的图像;g (⋅)表示去雾方法或者优化方法.在U-Net 中编解码器之间的嵌入方式如下:将U-Net 编解码器之间的连接方式改为了逐元素相加,即编码器第i 层输出的聚合特征D i in 加上对应的解码器的第i 层输入特征D i +1out(经上采样操作得到与D i in 相同的图片大小);将逐元素相加后的输出接入到优化单元(即残差组)中进行进一步的特征细化,随后减去解码器的第i 层输入D i +1out .通过上述嵌入方式,模块输出为:y i sos =g i (D i in +(D i +1out )↑2)-(D i +1out )↑2(14)其中:↑2表示尺度因子为2的上采样操作.其与U-Net 相结合的结构示意图如图6所示.解码器的第i +1层输出编码器的第i 层输出逐元素相减优化单元g (·)逐元素相加2D DWT2D IDWT图6“SOS ”深度增强模块Fig.6"SOS"depth enhancement module1.5跨尺度聚合增强模块(CSAE Block )为了弥补小波域中去雾网络所忽略的精细空间域图像特征信息,本文提出了一种基于残差组的跨尺度聚合增强模块(CSAE Block ),对小波域网络(模块A )最后输出的重构图像进行空间域上的图像细节特征补充.CSAE Block 结构如图7所示.CSAE Block 主要由卷积层(即“3×3卷积-Lea⁃kyReLU ”)、残差组、平均池化、CSA 和级联操作构成.首先,卷积层和残差组负责对模块A 输出的空间域图像y 模块A 进行特征提取,平均池化将输入特征分解为4个不同尺度(S 1=14,S 2=18,S 3=116和S 4=132)的输出,即:y S 1,y S 2,y S 3,y S 4=AvgPool (ResGroup (Conv 13(y 模块A)))(15)然后,CSA 实现对输入的不同尺度、空间分辨率的特征信息进行聚合,从而达到在所有尺度级别上有用信息的融合,并在每个分辨率级别上生成精细特征;最后,通过“LeakyRelu-Conv-LeakyRelu ”操作来对输入特征的通道数进行调整.该模块可以通过聚合不同尺度之间、不同分辨率之间的特征来使去雾网络获得较强的上下文信息处理能力.该聚合操作可表示如下:y SjCSA =⊕S i∈{}1,2,3,4F S j S i(y Si)(16)式中:y S jCSA 表示第j 个尺度S j 的CSA 输出特征,j =1,2,3,4;F S j Si(⋅)表示将尺度为S i 的特征图采样到尺度为S j 的特征图.同时,在该模块中引入短连接以改y 模块A1/161/321/81/4卷积层残差组平均池化跨尺度聚合(CSA )y ResGroupy S 2CSAy S 3CSAy S 4CSAy S 1CSA逐元素相加LeakyReLU-1×1Conv-LeakyReLU-1×1Conv-LeakyReLU-UpSample 3×3Conv-y CSACat级联Cy CSAEBlock图7CSAE Block 结构Fig.7CSAE block129湖南大学学报(自然科学版)2022年善其梯度流.综上所述,CSAE Block 总的输出表达式为:ìíîïïïïy CSACat =Cat j =14()F up ()LeakyReLU 0.2()Conv 11()y S jCSAy CSAE Block =Conv 13()Cat ()y CSACat ,y ResGroup (17)其中y CSACat 表示对上采样为统一大小的输出特征进行级联操作.1.6损失函数为了获得更好的去雾效果,本文使用3个损失函数(有图像去雾损失L rh 、边缘损失L edge 以及对比度增强损失L ce )作为网络训练的总损失L total ,即:L total =αL rh +γL edge -λL ce(18)其中:α,γ和λ均为任意非负常数.1)图像去雾损失函数.本文将L 1损失和L 2损失进行简单结合,构成车牌图像去雾损失函数:L rh =1N ∑i =1N ()I i gt -F Net ()I i haze 1+I i gt -F Net ()I ihaze 2(19)式中:N 表示输入图像像素数;I gt 为干净图像;I haze 为车牌雾图;F Net (⋅)表示车牌去雾网络函数.一方面通过L 1损失函数来获得较高的PSNR 和SSIM 值,另一方面则通过L 2损失函数来尽可能提高去雾图像的保真度.2)边缘损失函数.为了加强输出去雾图像的边缘轮廓信息,本文利用Sobel 边缘检测算法来获得车牌去雾图像和干净图像的边缘轮廓图,分别为E FNet()I haze和E I gt,计算两者的L 1范数,获得边缘损失函数:L edge=E FNet()I haze-E I gt1(20)3)对比度增强损失.为了提高车牌去雾图像的颜色对比度,本文最大限度地提升每个单独颜色通道的方差,即最大化如下表达式:L ce=(21)式中:x 表示图像的像素索引;FˉNet (I haze )为去雾网络输出图像F Net (I haze )的平均像素值.值得注意的是,所期望的输出去雾图像应该增强其对比度,所以L ce 需要最大化,因此在总损失L total 中应减去该项.2训练与测试2.1车牌雾图数据集(LPHaze Dataset )的制作为了解决车牌去雾网络训练过程中缺失的车牌雾图数据集问题,受RESIDE 数据集制作方法的启示,本文采用成熟的ASM 理论来进行车牌雾图数据集的制作.车牌图像数据主要来源于OpenITS 提供的OpenData V3.1-SYSU 功能性能车牌图像数据库,并以中科大开源数据集CCPD [22]作为补充,具体制作方法如下:1)预处理.从OpenITS 和CCPD 数据集中随机选取2291张清晰图像,并对这些清晰车牌图像的车牌区域进行截取;2)配置大气散射模型参数值.参照RESIDE 数据集所选取的参数值范围,随机选取如下一组大气光值A =[0.6,0.7,0.8,0.9,1.0]和一组大气散射系数值β=[0.4,0.6,0.8,1.0,1.2,1.4,1.6],并将场景深度d (x )置为1;3)合成车牌有雾-无雾图像对.采取一张清晰车牌图像对应多张车牌雾图的方法来合成图像对,即根据大气散射模型,结合步骤2中选定的参数值,以一张车牌无雾图像对应35张有雾图像的方法来合成数据集.合成车牌雾图示例如图8所示.(a )原图(b )(A =0.6,β=0.4)(c )(A =0.7,β=0.8)(d )(A =0.8,β=1.2)(e )(A =1.0,β=1.6)图8合成车牌雾图示例Fig.8Example of fog map of composite license plate4)划分训练集和验证集.训练集中干净车牌图像共1697张,对应的车牌雾图共59395张;验证集中干净图像共594张,对应车牌雾图共20790张.2.2实验设置本文采用自制的车牌雾图数据集(LPHaze Data⁃130第6期陈炳权等:基于深度多级小波U-Net 的车牌雾图去雾算法set )作为车牌图像去雾网络的训练和验证数据,其中所有图像像素大小均设置为64×128×3,batch size 为64.并对训练数据进行数据增强操作:随机水平翻转和随机垂直翻转(翻转概率随机取值0或1),以提升网络的鲁棒性.此外,在训练过程中,使用Adam 优化器来优化网络,其参数均采用默认值(β1=0.9和β2=0.999),并通过梯度裁剪策略加速网络收敛,训练800个epoch ,初始学习率为1e -4,总损失函数中α=1、γ=0.1和λ=0.01.采用Pytorch 包进行车牌雾图去雾网络结构代码的编写和训练,整个训练过程均在NVIDIA Tesla T4的显卡上运行.实验主要包括两个部分:其一,测试本文提出的车牌雾图去雾网络模型,其二,对其进行消融实验.上述实验在合成车牌雾图和自然拍摄的车牌雾图上进行测试,所有测试图像均随机选自OpenITS 提供的车牌图像数据库(与LPHaze Dataset 训练集中的数据不重合),并从测试结果中选取如下5种组合类型进行定性和定量分析,分别为(A =0.6,β=0.8)、(A =0.7,β=1.0)、(A =0.8,β=1.2)、(A =0.9,β=1.4)和(A =1.0,β=1.6),同时对其依次编号为组合A 到E.3结果与分析3.1测试实验1)合成车牌雾图去雾结果为了进一步评估算法性能,将本文算法与最近出现的经典去雾算法(基于引导滤波器的暗通道先验算法[4](GFDCP )、基于深度学习的端到端的去雾网络[8](DehazeNet )、端到端的一体化去雾网络(AODNet )、端到端门控上下文聚合去雾网络[23](GCANet )和端到端特征融合注意力去雾网络[17](FFANet ))进行比较.以上算法统一在LPHaze Data⁃set 的验证集上进行测试,并选取其中5类合成车牌雾图的测试结果进行实验分析,其结果见表2.由表2可以看出,在5类不同大气光和散射系数的合成车牌雾图上,与GCANet 得到的结果相比,在PSNR 均值上分别提高了5.64、6.74、8.84、10.52、11.88dB ,SSIM 均值上则分别提高了0.0368、0.0599、0.0991、0.1496、0.2225.同时,在图9中的PSNR 和24222018161412108P S N R (d B )组合A组合B组合C组合D组合EGFDCPDehazeNet AODNet GCANet FFANet 本文算法组合类型(a )6种算法在5类组合上的PSNR 均值曲线GFDCP DehazeNet AODNet GCANet FFANet 本文算法1.00.90.80.70.60.5S S I M组合A组合B组合C组合D组合E组合类型(b )6种算法在5类组合上的SSIM 均值曲线图96种算法在5类合成车牌雾图上的PSNR 和SSIM 均值曲线Fig.9PSNR and SSIM mean curves of 6algorithms on5types of composite license plate fog map表2合成车牌雾图去雾图像的PSNR (dB )/SSIM 均值Tab.2PSNR (dB )/SSIM mean of defogging image of composite license plate fog image组合类型(A =0.6,β=0.8)(A =0.7,β=1.0)(A =0.8,β=1.2)(A =0.9,β=1.4)(A =1.0,β=1.6)GFDCP20.75/0.946119.23/0.924817.85/0.900715.63/0.861612.70/0.8035DehazeNet19.31/0.895216.92/0.846014.20/0.793611.71/0.74509.57/0.6882AODNet13.79/0.775715.12/0.801314.60/0.745211.64/0.64818.01/0.5349GCANet18.86/0.925516.31/0.890613.82/0.845911.92/0.791310.14/0.7091FFANet18.09/0.894718.65/0.878419.31/0.851212.76/0.71678.61/0.5407本文算法24.50/0.962323.05/0.950522.66/0.945022.44/0.940922.02/0.9316131湖南大学学报(自然科学版)2022年SSIM 均值曲线图中亦可知,在重构图像质量方面,本文算法在处理不同雾度的合成车牌雾图上明显优于上述5类经典算法.最后,从合成车牌雾图的去雾图像中选取部分图片进行效果展示,如图10所示.从去雾效果中可以直观感受到,本文算法相较于其它算法而言,具有较少的雾度残留以及颜色失真.2)自然车牌雾图去雾结果本文还对实际拍摄的自然车牌雾图进行测试,并与上述5种经典算法的去雾效果进行视觉比较.该测试数据选自OpenITS 的车牌图像数据库,共915张实际拍摄的车牌雾图,视觉对比结果如图11所示.从图11可知:在处理常见的蓝底车牌雾图时,本文算法很少出现过度曝光和图像整体偏暗的问题,且雾度残留也很少;对于其它底色的车牌雾图(如图11中的黄底和蓝底车牌),本文算法在去雾效果上相较于上述5种经典算法仍能保持自身优势,并且在颜色、字符等图像信息上也能得到较好的恢复.(a )(A =0.6,β=0.8)(b )(A =0.7,β=1.0)(c )(A =0.8,β=1.2)(d )(A =0.9,β=1.4)(e )(A =1.0,β=1.6)合成雾图GFDCPDehazeNetAODNetGCANetFFANet本文算法干净图像图10合成车牌雾图去雾效果展示Fig.10Fog removal effect display of composite license plate图11实际拍摄的车牌雾图去雾效果展示比较Fig.11Comparison of defogging effect of actual license plate fog map自然车牌雾图GFDCP DehazeNet AODNet GCANet FFANet 本文算法132第6期陈炳权等:基于深度多级小波U-Net的车牌雾图去雾算法3.2不同模块对网络性能的影响为了分析其中各个模块的重要性,本文在LP⁃Haze Dataset数据集上进行消融研究分析,以基于ResGroup和“SOS”Block的MWCNN去雾网络作为基准网络模块,对于其他不同的网络模块,其简化形式及说明如下,R1:基于ResGroup和“SOS”Block的MWCNN作为基准网络,该网络不包含DCPA Block、LMSA和CSAE Block;R2:具有DCPA Block的基准网络;R3:具有DCPA Block、LMSA和CSAE Block的基准网络,即最终的车牌雾图去雾网络.上述网络模块均只训练150个epoch,且初始学习率均为1e-4,并在LPHaze Dataset的验证集上进行测试,其测试结果如表3所示.表3不同网络模块在LPHaze Dataset的验证集上测试结果的均值Tab.3Mean value of test results of different networkmodules on the verification set of LPHaze Dataset网络R1 R2 R3“SOS”Block√√√DCPABlock√√LMSA√CSAEBlock√PSNR/dB22.4722.4323.27SSIM0.94210.94320.9513由表3可得,在不加入DCPA Block、LMSA和CSAE Block的情形下,PSNR和SSIM的均值分别可以达到22.47dB和0.9421,而在加入三者后,PSNR 和SSIM均值则分别提升了0.8dB和0.0092,从而使网络能重建出高质量的去雾图像.3.3不同损失函数对网络性能的影响为了分析损失函数的有效性,本文算法分别采用L1、L2、L rh(即L1和L2损失的简单结合)和L total这四类损失函数来进行网络模型的训练,训练150个ep⁃och,且初始学习率为1e-4.分别在LPHaze Dataset的验证集上进行PSNR和SSIM的指标测试,其实验结果如表4所示.从表4可知,只使用L rh损失函数时,表4不同损失函数下车牌去雾网络测试结果Tab.4Test results of license plate defogging networkunder different loss functions损失函数L1L2L rhL total PSNR/dB22.7422.1923.0623.27SSIM0.94170.93710.94710.9513平均PSNR和SSIM可达到23.06dB和0.9471,且相较于单独使用L1或L2时均有着明显提升.而使用总损失函数L total时,平均PSNR和SSIM分别提升了0.21dB和0.0042,从而使网络性能得到较大的改善.4结论本文提出了一种基于深度多级小波U-Net的车牌雾图去雾算法,该算法以MWCNN作为去雾网络主体框架.首先,为了在小波域和空间域中尽可能地整合不同层级和尺度的图像特征,引入了“SOS”增强策略,并在MWCNN中间进行跨层连接,以此对图像特征进行整合、完善和优化;其次,本文将像素注意力、通道注意力和离散小波变换进行有效融合,从而尽可能去除车牌雾图中的雾度;最后,通过跨尺度聚合增强模块来弥补小波域和空间域之间存在的图像信息差异,进一步提高了重构图像质量.自然车牌雾图和LPHaze Dataset的验证集上的实验结果表明,在处理具有不同大气光照和雾度的车牌雾图上,本文算法具有较好的去雾表现,并且在处理具有不同底色的车牌雾图时具有一定的优势.参考文献[1]YADAV G,MAHESHWARI S,AGARWAL A.Foggy image en⁃hancement using contrast limited adaptive histogram equalizationof digitally filtered image:performance improvement[C]//2014In⁃ternational Conference on Advances in Computing,Communica⁃tions and Informatics(ICACCI).September24-27,2014,Delhi,India.IEEE,2014:2225-2231.[2]RUSSO F.An image enhancement technique combining sharpen⁃ing and noise reduction[J].IEEE Transactions on Instrumenta⁃tion and Measurement,2002,51(4):824-828.[3]GALDRAN A,BRIA A,ALVAREZ-GILA A,et al.On the dual⁃ity between retinex and image dehazing[C]//2018IEEE/CVF Con⁃ference on Computer Vision and Pattern Recognition.June18-23,2018,Salt Lake City,UT,USA.IEEE,2018:8212-8221.[4]HE K,SUN J,TANG X.Guided image filtering[C]//DANIILIDISK,MARAGOS P,PARAGIOS puter Vision-ECCV2010,11th European Conference on Computer Vision,Herak⁃lion,Crete,Greece,September5-11,2010,Proceedings,Part I.Springer,2010,6311:1–14.[5]HE K M,SUN J,TANG X O.Single image haze removal usingdark channel prior[C]//IEEE Transactions on Pattern Analysisand Machine Intelligence.IEEE,:2341-2353.[6]ZHU Q S,MAI J M,SHAO L.A fast single image haze removal133。

一种基于小波变换的图像去雾方法

一种基于小波变换的图像去雾方法

一种基于小波变换的图像去雾方法作者:贺欢吐尔洪江·阿布都克力木何笑来源:《电脑知识与技术》2020年第23期摘要:为获得雾天图像的重要信息,提出一种基于小波变换的图像去雾方法。

对含雾图像进行一层小波分解,对低频图像进行单尺度Retinex增强和同态滤波处理,然后将处理过的两个低频图像进行线性组合得到新的低频图像,最后将新的低频图像与未处理的高频图像进行小波逆变换重构,得到最终得去雾图像,实验结果表明,与其他去雾方法相比,本文方法处理的图像清晰度较高,时间较快。

关键词:小波变换;Mallat算法;单尺度Retinex;同态滤波中图分类号:TN957.52; ; ; ; 文献标识码:A文章编号:1009-3044(2020)23-0176-02Abstract: This paper proposes an image to fog method based on wavelet transform. To a layer of fog image wavelet decomposition, single-scale Retinex in low-frequency image enhancement and homomorphic filtering processing finally will be processed two linear combinations of the low-frequency image to a new low-frequency image, the final will be a new low-frequency image and unprocessed inverter in the high-frequency image with wavelet reconstruction, eventually, have to go to the fog image, the experimental results show that compared with other methods to fog, the method to deal with higher image resolution, time quickly.Key words: wavelet transform; mallat algorithm;; single scale retinex; homomorphic filtering雾霾天气在生活中处处可见,常常给人灰蒙蒙的感觉,在这种情况下获取的图像,图像分辨率和对比度下降,图像大量的细节信息损失,视觉效果不佳,严重影响视觉系统对特殊目标的识别。

融合同态滤波和小波变换的图像去雾算法研究

融合同态滤波和小波变换的图像去雾算法研究

融合同态滤波和小波变换的图像去雾算法研究作者:董静薇赵春丽海博来源:《哈尔滨理工大学学报》2019年第01期摘要:针对雾天时图像退化严重,对比度低的问题,提出了一种改进算法。

从时频分析的角度出发,将同态滤波算法中的傅立叶变换用快速小波变换代替,然后在变换域内用改进的滤波器对小波系数进行处理,从而达到增强雾天降质图像的目的。

实验结果表明,改进算法能够有效校正雾天图像光照,保持图像原有信息不丢失,增强图像的对比度,使处理后的图像更具有可视性。

关键词:同态滤波,小波变换,图像增强,对比度DOI:10;15938/j;jhust;2019;01;011中图分类号: TP391文献标志码: A文章编号: 1007-2683(2019)01-0066-05Research on Image De;fog Algorithm Based on Fusion;Homomorphic Filtering and Wavelet TransformDONG Jing;wei;1,2;,ZHAO Chun;li;1,2;,HAI Bo;1,2(1.School of Measurement and Control Technology and Communications Engineering,Harbin University of Science and Technology,Harbin 150080,China;2.Higher Educational Key Laboratory for Measuring and Control Technology and Instrumentations of Heilongjiang;Province,Harbin Uinversity;of Science and Technology, Harbin 150080, China)Abstract:Aiming at the problem of severe degradation of fog weather image and low contrast,an improved algorithm is proposed;From the point of view of time;frequency analysis, the Fourier transform in the homomorphic filtering algorithm is replaced by the fast wavelet transform, and then the wavelet coefficients are processed by the improved filter in the transform domain to achieve the enhanced fog image purpose;The experimental results show that the improved algorithm caneffectively correct the fog image illumination, keep the original information of the image is not lost, enhance the contrast of the image, and make the processed image more visibleKeywords:homomorphic filtering; wavelet transform; image enhancement; contrast0引言有霧天气条件下,通过交通和公共场所摄像头摄取的图像,由于雾的影响,导致图像的对比度降低,图像的整体质量下降,影响了对远处景物和人物信息的观察和辨别[1]。

基于二维小波变换的图像除雾技术

基于二维小波变换的图像除雾技术

人或 机器 分析 的某些 感 兴趣 的信 息 , 同时削 弱 、 抑 制

的构 造方 法 以 及正 交 小 波 的快 速 算 法 ,即 Ma l l a算
2 1 。其小 波分 解树 如 图 1 所示 。 些 无用 的信 息 或去 除 某些 不需 要 的信 息 的处 理方 法[
法, 也是 提高 图像 质量 的过程 。 图像 增 强 的 目的是使 图像 的某 些特 性 方 面更 加鲜 明 、 突出, 使 处理 后 的 图 像 更 适合人 眼 视觉 特性 或机器 分 析
( 中 国飞行 试 验研 究 院 陕西 西安 7 1 0 0 8 9 )
摘 要 :基 于 小波 分析 的 图像 增 强在 很 大程 度 上 消除 了噪 声 , 恢 复 了图像 , 同时保 留 了 图像 中的 部 分 高频 细 节( 奇异 性部 分 ) , 采 用 了二 维 小波 图像 增强 除 雾方 法 , 理 论分析 和 实践 仿 真表 明 : 小波 图像 增 强算 法 能有 效地 减 少 图像 中的噪 声 , 同时还 能较 好地 保 留图像 的边缘 和 纹理信 息。得 出 当图像 包含 较 少的细 节 。 本 文方 法能 有效 的让 噪声 和信 号 区分 开来 , 和传 统 的方 法相 比较 有很 大优 势 , 适 合应 用
n j g h t t e s t .
Ke y wo r d s : i ma g e mi s t — r e mo v i n g ;2 D wa v e l e t ; l f i g h t t e s t ;a p p l i c a t i o n
图像 增 强是 指按 特定 的需要 有选 择 地 突 出便 于 形 象地 说 明 了小 波 的多分 辨特 性 ,给 出了正 交 小波

基于小波变换的同态滤波算法在雨雾图像处理中的应用

基于小波变换的同态滤波算法在雨雾图像处理中的应用

(基于小波变换的)同态滤波算法在雨雾图像处理中的应用海博摘要:在薄雾天气的影响下,由于大气对成像光线的作用,而使所获取的图片模糊不清,对比度降低。

本文基于雨雾天气图像的特点,从时频分析的角度出发,提出了一种基于小波变换的同态滤波方法,采用快速小波变换代替传统傅里叶变换,在变换域内用改进的指数滤波器对小波系数进行处理,从而达到增强雾天降质图像的目的。

实验结果表明,本文的方法,能够有效突出雾天图像的细节,增强景物对比度,较好的改善视觉效果。

关键词:同态滤波,小波变换,去雾,图像对比度1.引言对于雨雾天气条件下,通过交通和公共场合摄像头摄取的图像,由于雨雾的影响,图像的对比度降低,而且影响了对远处景物和人物信息的观察和辨别,从而给相关人员的工作带来的一定的阻碍。

而对于图像去雾的方法,国内外学者都做过大量的研究。

常用的方法有直方图均衡,时域频域滤波和基于物理模型的方法。

直方图均衡虽然算法简单,但是由于雨雾而使图像对比度降低与景物的远近并非线性关系,所以该方法的效果并不理想,有时由于将景物的灰度值增强或减弱后反而会影响图像的信息量。

而基于物理模型的方法[1],此方法由于缺少参数,对视频采集的要求过于苛刻,算法复杂等原因在使用中有诸多的困难。

为了避免这些不足,本文提出基于小波的同态滤波算法,小波变换在时域和频域同时具有良好的局部特性[2],比傅里叶变换有明显的优势,从而达到去除雨雾对图像的影响。

2.经典同态滤波算法2.1同态滤波原理同态滤波是一种把频率过滤和灰度变换结合起来的图像处理方法,它把图像的照度反射模型作为频域处理的基础,通过对图像的灰度范围的调整,可以有效解决图像上照度不均匀及动态范围过大对图像产生影响的问题,在不损失亮区细节信息的同时,有效增强暗区的细节信息[3]。

一般雨雾天气的图像ƒ(x,y)由两个分量表示:(,)(,)(,)i r f x y f x y f x y = (1) 其中:0(,)i f x y <<∞;0(,)1r f x y <<i ƒ(x,y):可称为照明函数,频谱处于低频区域,在空间上变化缓慢,描述场景的照明,与景物无关,雨雾信息包含其中。

基于暗原色先验与小波变换的图像去雾方法

基于暗原色先验与小波变换的图像去雾方法

基于暗原色先验与小波变换的图像去雾方法许杰;杨会成【摘要】For poor visibility and low contrast in fog image,a defogging method was proposed based on wavelet transform and dark chan-nel prior colors. First use of dark colors rule estimates the scene transmittance rate directly from a foggy image,recovering relatively clear picture. Then the image space is converted from RGB to YUV,the bright Y image was processed by using orthogonal Haar wavelet,obtai-ning coefficients of each layer,and use of detail coefficients image enhancement method to process high frequency sub-band wavelet co-efficients,luminance Y images were enhanced after wavelet reconstruction. Finally,the color componentsU , V are merged to get a clear picture with the fog color. The results show that the method,which is effective,is applied to image after fog,the clearance,detail and laye-ring has been improved significantly,to some extent improved visual effects.%针对雾天采集图像清晰度差、对比度低的问题,提出一种基于暗原色先验与小波变换的图像去雾方法。

图像去雾的小波域Retinex算法

图像去雾的小波域Retinex算法
2 - 4 ] e t i n e x 方法 [ . 直方图均 均衡法、 小波变换法和 R
衡法通过增强雾天图像的对比度来提高图像的清 晰度, 由于其算法简单、 运行速度快而得到广泛地 应用, 其不足是处理后的图像会损失灰度层次, 对 偏光的情况处理能力弱. 小波变换法则利用雾天图
2 ] , 而景物 像雾霾的频谱主要分布在中低频区域 [
图像去雾的小波域 R e t i n e x 算法
曹永妹,张尤赛
( 江苏科技大学 电子信息学院, 江苏 镇江 2 1 2 0 0 3 ) 摘 要:针对传统 R e t i n e x 算法在图像去雾处理中易造成光晕伪影、 边缘模糊以及算法复杂度高等缺点, 提出了一种图像去 雾的小波域 R e t i n e x 算法. 该算法将 R e t i n e x 算法拓展到小波域, 利用雾天图像中雾霾与景物细节信息在小波域中能量的不 同分布特点, 采用 R e t i n e x 算法抑制雾霾分量, 用锐化处理增强景物细节信息分量, 以降低雾霾对图像的影响, 增强图像细 节的清晰度; 该算法用双边滤波替代传统 R e t i n e x 算法中的高斯滤波, 以克服高斯滤波对图像边缘的模糊效应和光晕伪影. 实验结果表明, 该算法能有效地改善雾天图像的退化现象, 提高图像的清晰度. 关键词:图像去雾;小波变换;R e t i n e x 算法;双边滤波 中图分类号: T P 3 9 1 文献标志码:A 文章编号: 1 6 7 3- 4 8 0 7 ( 2 0 1 4 ) 0 1- 0 0 5 0- 0 6
去雾方法, 该方法从造成图像退化的具体原因角度 进行分析, ห้องสมุดไป่ตู้重于考虑大气散射作用对成像过程的 影响, 对雾天图像的退化过程进行数学建模, 利用 图像退化的逆过程来恢复原来的真实图像; 另一类

基于小波变换融合技术的去雾方法

基于小波变换融合技术的去雾方法

基于小波变换融合技术的去雾方法孙晓晓;杨峰【期刊名称】《山东师范大学学报(自然科学版)》【年(卷),期】2016(031)002【摘要】提出了一种基于小波变换的图像融合去雾方法,该方法的思想是对拍摄到的有稍微偏差的两幅有雾图像分别进行小波变换,将得到的高频信息采用极大值的选择规则进行融合,而得到的低频信息则采用基于边缘分量的方案进行融合,最后再根据小波逆变换得到最终的去雾图像。

实验证明该方法能更好地提高各种雾天图像的清晰度。

%A method of image fusion based on waielet transform to defog is proposed. The idea of the method is to take wavelet transformations for two fog images with a little deviation,respectively. The high frequency information will be fused using the maximum selection rulcs,while the low frequeney information will be fused based on the edge component approach. The final image will be obtained allording to a wavelet inverse transformation. Experim ental results show that the proposed image fusion technology can better improve the image quality for various foggy images.【总页数】4页(P40-43)【作者】孙晓晓;杨峰【作者单位】山东师范大学信息科学与工程学院,250014,济南;山东师范大学信息科学与工程学院,250014,济南【正文语种】中文【中图分类】TP391【相关文献】1.基于暗原色先验与小波变换的图像去雾方法 [J], 许杰;杨会成2.基于暗通道先验和区间插值小波变换的图像去雾霾方法 [J], 魏颖慧;张彦娥;梅树立;魏帅钧3.基于小波变换的交通图像去雾方法 [J], 贺欢; 吐尔洪江·阿布都克力木; 何笑4.一种基于小波变换的图像去雾方法 [J], 贺欢;吐尔洪江·阿布都克力木;何笑5.基于小波变换的彩色图像去雾方法 [J], 贺欢;吐尔洪江·阿布都克力木;何笑因版权原因,仅展示原文概要,查看原文内容请购买。

bayer小波变换去噪算法 python实现

bayer小波变换去噪算法 python实现

bayer小波变换去噪算法 python实现Bayer小波变换去噪算法是一种常用的图像去噪方法,可以有效地去除图像中的噪声。

在本文中,将介绍Bayer小波变换的原理和步骤,并给出Python实现的代码示例。

Bayer小波变换是一种多分辨率分析的算法,通过分解图像的高频和低频成分,将图像表示为一系列的子图像。

它是基于小波变换的一种快速算法,对于图像去噪非常有效。

下面是Bayer小波变换去噪的具体步骤:1.将原始图像进行灰度化处理,将彩色图像转换为灰度图像,简化处理步骤。

2.对灰度图像进行分解,使用小波分析将图像分解为高频和低频成分。

3.对低频成分进行阈值处理,根据经验选择一个合适的阈值,将低频成分中小于阈值的像素设为0,将大于阈值的像素保留。

4.对高频成分进行阈值处理,同样根据经验选择一个合适的阈值,将高频成分中小于阈值的像素设为0,将大于阈值的像素保留。

5.对处理后的图像进行逆小波变换,将图像恢复到原始大小。

6.重复以上步骤,直到达到期望的去噪效果。

下面是一个Bayer小波变换去噪算法的Python实现示例:```pythonimport numpy as npimport pywtimport cv2def bayer_denoising(image, threshold):#将原始图像转换为灰度图像gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#对灰度图像进行Bayer小波变换coeffs = pywt.dwt2(gray_image, 'haar')cA, (cH, cV, cD) = coeffs#对低频成分进行阈值处理cA_thresh = pywt.threshold(cA, threshold)#对高频成分进行阈值处理cH_thresh = pywt.threshold(cH, threshold)cV_thresh = pywt.threshold(cV, threshold)cD_thresh = pywt.threshold(cD, threshold)#将阈值处理后的系数合并为一个列表coeffs_thresh = [cA_thresh, (cH_thresh, cV_thresh, cD_thresh)]#对处理后的系数进行逆变换,恢复图像大小denoised_image = pywt.idwt2(coeffs_thresh, 'haar') #将图像数据转换为uint8类型denoised_image = np.uint8(denoised_image)return denoised_image#读取图像image = cv2.imread('image.jpg')#设置阈值threshold = 30#调用Bayer小波变换去噪算法denoised_image = bayer_denoising(image, threshold) #显示原始图像和去噪后的图像cv2.imshow('Original Image', image)cv2.imshow('Denoised Image', denoised_image)cv2.waitKey(0)cv2.destroyAllWindows()```在上述代码中,首先使用`cv2.cvtColor()`函数将原始彩色图像转换为灰度图像,然后利用`pywt.dwt2()`函数对灰度图像进行Bayer小波变换。

小波变换算法

小波变换算法

小波变换算法
1 小波变换算法
小波变换是一种常用的幅度频谱分析和信号处理算法,源自端口
分析理论,常用于多种信号和图像处理应用程序中,例如语音增强、
图像压缩、网络数据检测等。

小波变换算法的核心思想是将信号的不同特征分解成一系列的子带,并分别进行处理。

这样可以使用功率谱分析将输入信号或图像中
的高频成分(如噪声)完全分离出来,从而获得高信噪比的图像。

此外,小波算法可以对图像采样和量化进行压缩,提高图像压缩效率。

由于小波变换算法可以将信号分解成子带,它使得信号处理更加
灵活,噪声消除和图像压缩更加精确。

特别是,当分块差补法或在线
算法(允许输入一部分图像或信号,以求出整个图像)结合小波变换时,将影响很大。

此外,小波变换算法还可以改善图像质量,提高图
像的空间信息和视觉效果。

除此之外,小波变换算法可以在多媒体应用程序中应用。

特别是,在视频处理和图像处理中,小波变换可以用来提高处理效率,减少处
理时间和计算复杂度,提高图像质量。

总而言之,小波变换算法为信号处理和图像处理及其相关应用提
供了一种有效而高效的解决方案,让信号和图像处理更加灵活,异常
噪声更容易消除,图像压缩效率更高,图像质量得以改善。

相关主题
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

小波变换去雾算法
小波变换去雾算法是一种基于小波分析的图像去雾方法,它可以有效地去除图像中的雾霾,提高图像的可视性和清晰度。

小波变换去雾算法的具体步骤如下:
将原始图像进行小波分解,得到各个尺度的小波系数。

选择适当的小波系数,通过逆小波变换得到图像的低频部分。

对低频部分进行去雾处理,得到去雾后的低频图像。

通过逆小波变换,将去雾后的低频图像与原始图像的高频部分相结合,得到最终的去雾图像。

小波变换去雾算法的关键在于如何对低频部分进行去雾处理。

一般来说,可以采用以下两种方法:
基于暗通道先验原理的方法:该方法通过估计图像中的暗通道来消除雾霾,然后通过小波变换进行去噪处理。

基于深度估计的方法:该方法通过计算图像中的深度信息来推断图像中的雾霾程度,然后通过小波变换进行去噪处理。

相比于其他图像去雾方法,小波变换去雾算法具有计算速度快、去雾效果好、鲁棒性强等优点,因此在实际应用中得到了广泛的应用。

相关文档
最新文档