视频图像雨场去除仿真研究
手机图像去雨算法研究与实现
手机图像去雨算法研究与实现随着现代科技的快速发展,手机成为人们生活不可缺少的一部分,手机拍摄的照片也变得越来越重要。
然而,在拍摄过程中,我们常常会遇到下雨等恶劣天气,导致照片出现模糊、雨滴等影响观感的问题。
因此,研究和实现手机图像去雨算法变得至关重要。
手机图像去雨算法的研究目标是通过对图像进行处理,去除由于雨滴导致的噪点、模糊以及降低图像的视觉质量问题,使得图像更加清晰、亮丽。
在过去的几十年里,学术界已经提出了许多不同的算法来实现这个目标。
下面将介绍其中一些常见的算法,并探讨它们的优缺点。
首先,最简单且常用的算法是滤波算法。
滤波算法通过对图像进行低通滤波,去除高频噪声。
然而,滤波算法不能有效地消除雨滴造成的模糊效果,并且会导致图像细节的丢失。
因此,该算法在一些复杂场景下的效果并不理想。
其次,基于传统图像处理技术和数学模型的算法也得到了广泛应用。
例如,基于边缘检测的算法可以通过检测图像中的边缘来进行雨滴检测。
然后,根据雨滴的位置和大小来修复图像。
虽然这些算法对一些简单的情况有较好的效果,但在复杂情况下容易产生误检测和误修复,导致图像质量下降。
随着深度学习的发展,深度学习算法也被引入手机图像去雨领域。
深度学习算法通过大量的数据学习图像去雨的方法,并通过神经网络的训练来实现去雨效果的提升。
这些算法可以自动学习图像中的雨滴模式和图像退化模型,并生成高质量的去雨图像。
然而,深度学习算法需要大量的数据和计算资源,并且网络的训练和推理时间较长。
这在手机等移动设备上的应用受到了一定的限制。
除了传统算法和深度学习算法外,还有一些先进的算法被提出。
例如,基于物理模型的算法可以模拟雨滴的物理特性,并通过将这些特性应用到图像中来进行去雨。
这种算法可以更好地保留图像细节,但对于雨滴密集的情况效果有限。
在实现手机图像去雨算法时,需要综合考虑算法的效果和计算复杂度。
对于一些实时应用,如实时拍照或实时视频,算法的速度至关重要。
视频图像中雨滴检测与去除方法研究
问 题 。本 文 第 一 种 方 法 分 析 了 Gag和 N y r】 出 的 雨 滴 的 r a a¨提
物 理 和 光 学 模 型 , 用运 动 检 测 中 常 用 的 帧 时 差 法 来 检 测 雨 利 滴 , 对该 方 法 进 行 了 优 化来 适 应 雨 点 更 密 集 的情 况 。 二 种 并 第 方 法 是 利 用 视 频 中雨 滴 的 时 域 和 色 彩 属 性 来 检 测 雨 滴 , 对 于 摄 像 机 固定 的情 况采 用K-men - a s方 法来 区 分 雨 滴 , 于 摄 对 像 机 抖 动 的情 况 可 以采 用 视 频 稳 定 技 术 来 消 除 抖 动 , 高 了 提 准 确 性 。 关 雨 滴 的 去 除 , 文 在 G r N yr的 去 除 方 法 基 有 本 ag和 a a 础 上 , 用 了开 运 算 和 膨 胀 操 作 来 改 进 去 除 效 果 。 验 结 果 表 采 实 明 , 进 后 两 种 方 法 在 不 同情 况下 可 以 取 得 比较 好 的结 果 。 改
维普资讯
Mi o o ue p l ain o. 3 N . 2 2 0 c c mp trA pi t sV 12 , o 1 ,07 r c o
文 章 编 号 :O 7 77 2O )2 O 1 — 0 1 O — 5 X( O 7 1 一 0 6 5
研 究 与 设 计
视频图像去雨技术研究进展
视频图像去雨技术研究进展
周浦城;周远;韩裕生
【期刊名称】《图学学报》
【年(卷),期】2017(038)005
【摘要】视频图像去雨是数字图像处理和计算机视觉领域共同关注的重要问题,在视频监控、智能交通乃至军事侦察等领域有着广泛的应用。
为了使国内外同行对视频图像去雨技术的发展历程和研究现状有一个较为全面的了解,对其进行系统综述。
在广泛文献调研的基础上,对各种视频图像去雨技术的原理、特点以及处理效果进行归纳总结和分类比较。
根据处理方式和实现途径,将视频图像去雨技术区分为基于成像参数的去雨方法、基于时域的去雨方法、基于频域的去雨方法和基于稀疏域的去雨方法四大类。
重点介绍了这些方法的基本思想和基本原理,分析比较了各自的优点与不足。
随着计算机硬件性能提高以及对雨滴特性研究的不断深入,视频图像去雨技术在方法研究和应用条件上都取得了很大的进展,但由于雨天的动态复杂性以及环境中复杂背景的干扰,导致视频图像去雨技术研究还不完善,仍然存在很多亟待解决的问题。
【总页数】18页(P629-646)
【作者】周浦城;周远;韩裕生
【作者单位】[1]陆军炮兵防空兵学院,安徽合肥230031;[2]偏振光成像探测技术安徽省重点实验室,安徽合肥230031
【正文语种】中文
【中图分类】TP391
【相关文献】
1.视频图像去雨技术研究进展
2.基于小波融合的视频图像去雨(雪)方法
3.视频图像去雨技术研究前沿
4.视频图像去雨技术研究前沿
5.视频图像去雨算法的比较研究
因版权原因,仅展示原文概要,查看原文内容请购买。
视频图像去雨算法的比较研究
收稿日期:2019-01-08 基金项目:河南省重点研发与推广专项项目(182102210065);河南省科技攻关项目(172102210370)。 作者简介:牛金星(1981—),男,博士,副教授,研究方向:机器视觉及图像处理。
第4期
视频图像去雨算法的比较研究
·27·
由以上这些需要考虑的问题可以得出,在单高斯背 景差分法中需要实时更新背景,才能保证检测结果的准 确性。
进行了分析对比。利用 MATLAB 软件进行仿真实验,从客观和主观两个角度对两种算法进行对比分析,得出
单高斯背景差分法相对于帧间差分法处理效果更好,应用范围更广。
关键词:高斯模型;帧间差分法;雨滴;背景差分
中图分类号:TP751.1
文献标识码:A
文章编号:1003-5168(2019)04-0026-03
每个像素点的像素值建立了一个高斯模型 η(xt,μt,δt) ,该
模型满足高斯分布:
η(x ,μ ,δ ) = e t t t
æ -çç
è
x
t - μt 2δ2t
ö ÷÷ ø
(1)
ቤተ መጻሕፍቲ ባይዱ
其中,xt 表示第 t 帧视频中某个像素点的像素值;μt 和 δt 分别是这个像素点的均值和方差。如果高斯模型小 于某个概率阈值,则其对应的像素点被判定为背景,否则
Comparative Study on Video Image Rainfall Algorithm
NIU Jinxing JING Yajie
(North China University of Water Resources and Electric Power,Zhengzhou Henan 450045)
一种改进的视频图像中雨滴去除方法
( ii u vle n e a e f e a e i l o t f e ie a eo e e tn e k slt vleWh n m nm m) a d h l t m x i t do m g a dt n a e b o e au. e u a t v u o h s p ep no h v i tb dl a h t a u
( o eeo n r t n a do n o m nctn E g e n ,Ha i E g er g U ie i ,Ha i 10 0 ,C ia l o i i n i r n n i e n n r t b n i v sy r n 5 0 1 hn ) b
Ab t a t T i p p r r p s s ni r v dmeh dt mo et e an i ie g  ̄B n lzn ep y i a p i s sr c : h s a e o o e p a mp o e t o r o e v i vd oi e ya a y i g h h sc o t h r n ma t l c
An i p o e e h d t l i a et er i r p i e a e m r v d m t o ei n t a n d o s n v d oi g s o m h i m
C HE h n u, E K y L U S i u N C u y XI e u, I h h i
第 3 卷第 l 期 8 1 21 年 1 月 01 1
di1. 6 6i n10 -7 X2 1 .1 1 o:03 9 .s. 96 1 . 1 . 3 9 s 0 0 10
应
用
科
技
V 1 8 No 1 o. . .1 3
基于RDSRCNN_的单幅图像去雨模型研究
第 22卷第 10期2023年 10月Vol.22 No.10Oct.2023软件导刊Software Guide基于RDSRCNN的单幅图像去雨模型研究傅继彬,李春辉(河南财经政法大学计算机与信息工程学院,河南郑州 450046)摘要:下雨天气在图像上造成雨痕,不仅严重影响图像观感,更会干扰后续图像分析与处理。
图像去雨始终是图像复原研究的热点,于是提出RDSRCNN单幅图像去雨模型。
为提升特征提取能力,以增强型特征提取方法ESIFEM为特征提取手段,利用其远距离像素关联能力及低局部特征提取代价实现高效特征提取,同时利用l1与MSS-SIM构造的复合损失函数优化训练效率并保证输出图像对视觉友好,将以上方法与增强型DSRCNN去雨网络相结合形成单幅图像去雨模型。
在Rain100H数据集上的实验结果表明,该方法在视觉上能将浓密雨分布情况下的图像恢复至细节丰富的干净场景图,并且相较于大部分对比方法,虚影与物体边缘变形的情况减少90%以上,背景的雨痕清除率高于95%。
该方法在量化评估中,峰值信噪比和结构相似性参数在较大部分较对比方法更优,且在空间复杂度等方面优于Restormer方法。
关键词:图像复原;单幅图像去雨;深度学习;混合式损失函数DOI:10.11907/rjdk.222120开放科学(资源服务)标识码(OSID):中图分类号:TP391.41 文献标识码:A文章编号:1672-7800(2023)010-0198-07Research on De-rain Model for Single Image Based on RDSRCNNFU Jibin, LI Chunhui(School of Computer & Information Engineering, Henan University of Economics and Law, Zhengzhou 450046, China)Abstract:Rainy weather will cause rain marks on the image, which will not only seriously affect the look and feel of the image, but also inter⁃fere with subsequent image analysis and processing. Image rain removal has always been the focus of image restoration research. In view of this,a single image rain removal model of RDSRCNN is proposed. In order to improve the feature extraction capability,ESIFEM,an en⁃hanced feature extraction method, was used as the feature extraction means to achieve efficient feature extraction by utilizing its remote pixel correlation capability and low local feature extraction cost. Meanwhile, the loss function constructed with the combination of the l1 and MSS-SIM was used to optimize the training efficiency and ensure the visual friendliness of the output image. The above method is combined with the enhanced DSRCNN rain removal network to form a single image rain removal model. The experimental results on the Rain100H dataset show that this method can visually restore the image with dense rain distribution to a clean scene map with rich details, and compared with most comparison methods, the cases of ghost and object edge deformation are reduced by more than 90%, and the clearance rate of background rain marks is higher than 95%. In quantitative evaluation, the proposed method is superior to the comparison method in most aspects of peak SNR and structural similarity parameters and is superior to Restormer method in space complexity.Key Words:image inpainting; single image de-rain; deep learning; mixed loss function0 引言雨是自然界中的一种常见气候,但是雨滴在图片上造成的雨痕不仅会劣化人对图像的视觉感受,而且由于大量计算机图像处理算法都假定输入图像清晰且可见度高,因此图片上的雨痕会对诸如目标检测、目标跟踪、图像分割等图像处理工作造成不良影响。
基于深度学习的图像去雨水方法研究
基于深度学习的图像去雨水方法研究摘要:图像去雨水是计算机视觉领域一个具有挑战性的问题。
传统的图像去雨水方法通常依赖于手工设计的特征和复杂的数学模型,限制了其在复杂场景下的表现。
然而,近年来深度学习的崛起为解决这个问题提供了新的思路。
本研究通过综述了多种基于深度学习的图像去雨水方法,分析了它们的优缺点,并对未来的研究方向进行了展望。
1. 引言随着数字图像在我们生活中的广泛应用,很多场景中都可能出现降雨的情况。
这样的降雨会导致图像质量下降,降低图像的可见性,给图像处理和计算机视觉任务带来困难。
因此,图像去雨水技术的研究具有重要的实际意义。
传统的图像去雨水方法通常基于图像去噪和图像恢复技术,但由于降雨的复杂性以及传统方法的局限性,只能在一定程度上改善图像质量。
随着深度学习的发展,研究人员开始尝试基于深度学习的图像去雨水方法,取得了一些令人瞩目的成果。
2. 基于深度学习的图像去雨水方法目前,基于深度学习的图像去雨水方法主要可以分为两类:基于生成对抗网络(GAN)和基于卷积神经网络(CNN)的方法。
2.1 基于生成对抗网络的方法生成对抗网络是一种由生成器和判别器组成的模型,可以用于生成逼真的图像。
在基于GAN的图像去雨水方法中,生成器负责生成去雨水后的图像,判别器则负责判断生成的图像与真实图像之间的差异。
这种方法的优势在于可以学习到图像的分布特征,能够生成更加真实的去雨水图像。
然而,GAN的训练过程相对复杂,需要充分考虑生成器和判别器之间的平衡。
2.2 基于卷积神经网络的方法卷积神经网络是一种专门用于处理图像的深度学习模型。
在基于CNN的图像去雨水方法中,通过训练一个卷积神经网络,将雨水图像和清晰图像作为输入,学习到它们之间的映射关系。
然后将训练好的网络应用于实际的图像去雨水任务中。
这种方法的优势在于网络结构相对简单,训练过程相对容易。
然而,由于网络的局限性,无法处理复杂的雨滴形状和遮挡问题。
3. 方法评估与分析为了评估基于深度学习的图像去雨水方法的性能,研究人员使用了多个公开数据集进行实验。
图像去雨雪算法分析
图像去雨雪算法分析随着数字图像处理技术的不断发展,图像去雨雪算法也日益成熟,已经得到了广泛应用。
图像去雨雪算法是一种能够通过数字图像处理技术去除图片中雨雪等恶劣天气条件下的噪音和干扰的技术,从而提高图像的清晰度和质量。
本文将对图像去雨雪算法进行深入分析,探讨其原理、方法和应用。
一、原理分析图像去雨雪算法的实质是通过图像处理技术从图像中去除雨雪等恶劣天气的干扰,从而恢复出原始图片的清晰度和质量。
根据雨雪的干扰特点,图像去雨雪算法通常采用了以下两种主要原理:1. 暗通道先验原理暗通道先验原理是指在雨雪天气下,图像中的景物通常都存在一些非常暗的区域,这些暗区域可以被认为是“无雨雪”的区域。
基于这一原理,图像去雨雪算法可以通过分析图像的暗通道信息,提取出“无雨雪”区域的信息,进而推断出原始图像中的景物信息,从而达到去除雨雪的目的。
2. 双边滤波原理双边滤波是一种结合空间域和灰度域信息的滤波技术,能够有效地去除图像中的噪音和干扰。
在图像去雨雪算法中,双边滤波原理被广泛应用于去除雨雪,通过对图像进行双边滤波处理,能够有效地去除雨雪干扰,恢复出清晰的图像。
二、方法分析针对图像去雨雪的需求,研究者们提出了多种方法和算法来解决这一问题,主要包括以下几种方法:1. 基于物理模型的去雨雪算法基于物理模型的去雨雪算法是利用气象学原理和光学原理来建立雨雪与图像之间的数学模型,然后通过对这一模型的分析和求解,来实现图像去雨雪的目的。
这种方法的优点是能够较为准确地模拟雨雪的物理过程,但也存在计算复杂度高、效果不稳定等缺点。
基于暗通道先验的去雨雪算法是利用暗通道先验原理,通过对图像暗通道信息的分析和提取,推断出无雨雪区域的信息,进而去除雨雪干扰。
这种方法的优点是简单有效,且计算量较小,但缺点是对雨雪干扰的适应性较弱。
近年来,随着深度学习技术的发展,研究者们提出了基于深度学习的图像去雨雪算法,通过构建深度卷积神经网络来学习雨雪干扰的特征,从而实现图像去雨雪的目的。
图像去雨方法探讨
图像去雨方法探讨针对图像去雨技术特点,分析了雨滴的性能、雨滴在图像中的显示特性以及去雨常用物理模型,讨论了去雨技术的发展和目前较好的去雨方法。
标签:图像去雨;中值滤波;引导滤波光学侦察监视技术发展迅猛,目标识别与跟踪、卫星照相侦察、航拍监测等领域大量使用了光学照相、摄像设备,由于光学侦察设备的直观、实时、抗电磁干扰等优点,备受重視和欢迎。
但是,光学侦察设备存在一个致命的弱点,就是在恶劣天气条件下成像质量大幅下降,甚至完全失效。
可见,研究恶劣天气条件下的图像修复意义重大。
图像去雨的方法,目前可分为软件去雨和硬件去雨。
硬件去雨是哥伦比亚大学率先提出的,调节摄像机的各项参数来降低或消除视频中雨滴的可见性。
软件去雨又分两类:一是频域内基于模型去雨,二是时域内基于像素去雨。
一、雨天图像特性雨滴的尺寸一般为0.1-3.5mm,人眼能够看到。
雨滴落速很快,正常的曝光时间内容易产生运动模糊,图像拍摄中显示为雨线,在图像中雨线的像素宽度通常为几个到十几个像素。
由于光线经过雨滴的反射和折射,而且雨滴折射的角度很大,所以雨滴在图像中很亮,一般比被遮挡的背景要亮,人眼可以明显地看到挡住背景的亮的雨线。
因此无人机采用俯视等角度拍摄的雨天图像中,雨滴一般呈现为雨线、雨斑,比背景要亮。
基于雨滴的外表特性,雨通常被当成是比周围背景亮的较小边缘。
在图像处理过程中,基于周围与边缘的像素值的关系,图像中的边缘可以分为三种。
第一种:周围的像素值相比边缘的像素值,有些地方高,有些地方低,这种边缘称之为阶跃边缘。
第二种:周围的所有像素值都比边缘的像素值低,这种边缘称之为山脊状边缘。
第三种:周围的所有像素值都比边缘的像素值高,这种边缘称之为山谷状边缘。
雨线属于较小的第二种边缘,而这种边缘位于图像中的高频部分。
在图像去雨方法研究中,常用的物理模型描述为:受雨滴影响的像素可以看作雨滴和背景相互作用的效果,作用过程和效果为线性叠加,即图像由雨图像和背景图像组成。
视频图像去雨技术研究前沿
( 1 .S c h o o l o f C o mp u t e r S c i e n c e a n d T e c h n o l o g y, U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y o f C h i n a, He f e i 2 3 0 0 2 7 ,C h i n a ; 2 .S h e n z h e n I n s t i t u t e s o fAd v a n c e d T e c h n o l o g y,C h i n e s e Ac a d e my o f S c i e n c e s ,S h e n z h e n , G u a n g d o n g 5 1 8 0 5 5 ,C h i n a ;
第 1 0卷 第 8 期 2 0 1 5年 4月
中 国 科 技 论 文
CHI NA S CI ENCE PAPER
Vo 1 . 1 0 No . 8
视 频 图像 去 雨 技 术 研 究 前 沿
徐 波 , 朱青松 , 熊艳海
( 1 .中国科学技术 大学计算机科 学与技术 学院 ,合肥 2 3 0 0 2 7 ; 2 .中国科 学院深圳先进技术研究院 ,广 东深圳 5 1 8 0 5 5 ; 3 .新加坡 南洋理 工大学交叉学科 学院,新加坡 6 3 9 7 9 8 ) 摘 要: 户外视觉系统越来越广泛地应用于军事 、 交通及安全 监控 等领域 , 但是 恶劣天 气严重影响 了系统的性能 , 而下雨是 最频
基于深度学习的图像去雨技术研究
基于深度学习的图像去雨技术研究随着计算机图像处理技术的不断发展,人们对于图像质量的要求也越来越高。
尤其是在户外拍摄的时候,往往会受到天气等自然因素的影响,产生一些模糊、暗淡的不良效果,尤其是雨天拍摄更是如此。
针对这一问题,近年来涌现出一种基于深度学习的图像去雨技术,旨在通过计算机对雨水的物理特性进行建模和重构,从而实现对图像中的雨水去除。
本文将分析该技术的原理和现状,并探讨其未来的发展方向。
一、深度学习理论首先,我们需要理解深度学习的基本理论。
深度学习是一种通过模拟人脑神经网络的结构和运作方式来实现智能学习的计算机技术。
深度学习的核心思想是利用多层神经元对数据进行分层抽象和特征提取,从而达到自我优化和学习的目的。
但是,深度学习要实现对图像的去雨处理,还需通过如下步骤:1、建立物理模型:将雨滴当作一种物理条件因素,对其物理特性和分布规律进行数学建模。
2、构建模型数据集:收集大量、多样的雨天场景图像数据,作为深度学习模型数据集。
3、训练模型:使用模型数据集对模型进行训练,优化模型参数和结构,使之更好地适应雨天图像的去雨处理。
4、实时应用:通过训练好的深度学习模型对雨天场景图像进行实时的去雨处理。
二、深度学习实践在实际应用中,深度学习的图像去雨技术主要分为两种基本类型:基于条件生成式对抗网络(Conditional Generative Adversarial Networks,CGAN)和端到端卷积神经网络(End-to-End Convolutional Neural Networks,End-to-End CNN)。
1、基于CGAN的去雨技术CGAN是一种基于生成式对抗网络(GAN)的技术,将去雨任务看作是一种“生成”任务,即将输入的雨天图像作为生成器的输入,生成一个与原图像相同但没有雨水的结果。
其基本思想是在G和D两个子网络的博弈过程中,G网络通过生成器的学习不断优化目标水平并逐渐逼近真实数据分布。
基于小波融合的视频图像去雨(雪)方法
基于小波融合的视频图像去雨(雪)方法王志超;陈震【摘要】Due to the serious degradation of the video images captured by the outdoor vision system in rain ( snow) weather,a method of removing rain ( snow) from video images based on wavelet fusion is proposed. This method analyzes from the perspective of frequency domain, uses multilevel wavelet decomposition and wavelet fusion. First of all, it determines where the specific layer number of rain ( snow ) noise is, and secondly, it formulates a fusion rule based on the degree of rain( snow) noise pollution,thirdly,it fuses the specific layers of multiple continuous degraded images to remove rain( snow) . The simulation result shows that the restoration result of this method is ideal and free from noise intensity.%户外视觉系统在雨(雪)天气条件下获取的视频图像会产生严重退化.提出一种基于小波融合的视频图像去雨(雪)方法,从频率域角度分析,采用小波多层分解和小波融合技术:先确定雨(雪)噪声所在的具体层,再制定一种基于雨(雪)噪声污染度的融合规则,最后对多幅连续退化图像的特定层进行小波融合,以达到去除雨(雪)的目的 .仿真结果表明,本文方法的复原结果理想,不受噪声强度制约.【期刊名称】《北华大学学报(自然科学版)》【年(卷),期】2018(019)001【总页数】6页(P135-140)【关键词】雨(雪)去除;图像复原;小波多层分解;小波融合;融合规则;雨(雪)噪声污染度【作者】王志超;陈震【作者单位】北华大学信息技术与传媒学院,吉林吉林 132013;北华大学信息技术与传媒学院,吉林吉林 132013【正文语种】中文【中图分类】TP751.1随着计算机技术的飞速发展,户外视觉系统的应用越来越广泛,在目标识别和追踪、交通监控、遥感监测、军事侦察等领域都发挥着巨大作用.然而,在不利的天气条件下,户外视觉系统的鲁棒性和实用性会受到很大影响,尤其是在雨(雪)天气下,获取的图像污染程度很高,整体看上去很模糊,细节内容识别不清,无法对其进行特征提取和目标识别等应用处理.所以对不利天气,特别是雨(雪)天气条件下获取的图像进行清晰化处理具有重要意义,可使户外视觉系统的可靠性和适应性更强.目前,雨(雪)化图像的恢复方法有两大类:一类是基于硬件的方法.Garg等[1-2]通过设置摄像机的参数来减少视频里雨(雪)的程度,但这种方法难以应用于户外视觉系统,并且在雨(雪)程度较大的情况下,清晰化效果不理想,因此对硬件法的研究较少;另一类是基于软件的方法.通过适当的数字图像处理算法对1幅或多幅退化图像进行处理,达到去雨(雪)的目的,包括基于图像空间域的方法和基于图像频率域的方法.其中,基于图像空间域的方法起步较早,研究也较深入,如Hase等[3]提出了一种能够实时降低视频中雪花可见性的方法,即对每个像素在时间轴方向做中值滤波处理;Garg等[2,4]通过研究雨滴的光学与运动特性,构造出雨滴的光学模型与动力学模型来检测并去除雨滴,称之为帧差法;Zhang等[5]对在视频中时间轴方向上的具有相同坐标的所有像素进行k-means聚类来检测并去除雨滴,称之为聚类法.之后的基于图像空间域去雨(雪)的方法基本上都是对帧差法或聚类法的改进;Brewer等[6]通过连续5帧图像来检测雨滴,并且构造了一种新的替换雨滴像素的方法;赵旭东等[7]研究了雨滴的亮度分布范围,并利用其来判定某个像素点是否被雨滴覆盖.基于图像频率域的方法起步较晚,Barnum等[8-9]构建了雨滴的频域模型并通过其识别雨滴,然后进行滤波操作实现去雨,但是构建雨滴频域模型的过程比较复杂.近些年也有不少学者对单幅退化图像进行处理[10-12],但是由于单幅图像的局限性,不可避免地造成了图像细节的丢失.由于雨(雪)是动态不利天气,所以能在短时间内通过户外视觉系统获取多幅连续不同的退化图像.同样,由于雨(雪)的动态特性,雨线或雪线的方向、强度和形状都是不固定的,所以在空间域内难以建立统一的物理模型,而在频率域内分析雨(雪)却不受动态特性的影响.本文根据雨(雪)的以上特点,采用小波多层分解和小波融合的方法,从频率域的角度对多幅连续退化图像进行处理.1 数字图像与小波分析数字图像实质是一种二维离散信号,其分辨率是有限的.早期可以通过傅里叶变换对图像进行空间域与频率域之间的转换,除去图像中不需要的频率.但随着对数字图像研究的不断深入,渐渐暴露了傅里叶变换在解决某些问题时的局限性:它是一种全局变换,得到的是图像的整体频谱,因此无法表示图像的空间域局部特性,无法精确找到雨(雪)在图像中所占的具体频率;而小波分析好比一台显微镜,它是一种定量的图像分析方法,能够通过小波多层分解确定雨(雪)在图像中的频率范围. 小波分析可分别对图像进行行列、高低通滤波操作.对原图像进行行与列低通滤波得到第1层低频近视系数C1,主要包含图像中的背景和颜色信息.同理,对原图像分别进行行、列、行与列高通滤波得到第1层水平高频细节系数垂直高频细节系数对角高频细节系数主要包含图像中不同方向上的纹理和边缘信息.接下来对C1重复进行以上操作得到分别为第2层的低频系数与3个方向上的高频系数.如果继续对m-1层的低频系数进行滤波,同理可以得到其频率的大小关系为Cm<C m-1<Dm<Dm-1.雨(雪)噪声和退化图像景物信息的频率不同.其中,雨(雪)噪声占相对较高的频率,景物信息中的纹理细节和边缘细节也占较高的频率,有时甚至比雨(雪)噪声的频率更高,而图像背景信息和颜色信息的频率较低.所以,在一幅含有雨(雪)噪声的图像中频率大致是这样组成的:图像景物的背景和颜色信息的频率最低,雨(雪)噪声的频率较高,图像景物的纹理和边缘等细节信息频率最高.通过小波分析,对一幅退化图像进行多层分解,雨(雪)噪声应该包含在较低层的高频系数中,为了保证分解后图像细节信息中尽量包含较少的雨(雪)噪声,一般取较大的分解层数;再分别确定雨(雪)噪声、图像细节信息、图像背景信息和颜色信息所在的具体层.下面对一幅雨天图像(见图1 a)进行小波多层分解,分解层数选为10.图1 b为第10层低频系数重构的图像,图1 c至图1 l为第10层到第1层高频系数重构的图像,图1 m是对第10层到第5层的系数和第1层高频系数重构的图像,它包含很少的雨噪声,图1 n是对第4层到第2层的高频系数重构的图像,它包含绝大部分的雨噪声.图1 雨天图像的小波多层分解Fig.1 Wavelet decomposition of rain image图2 雪天图像的小波多层分解Fig.2 Wavelet decomposition of snow image 同理,对一幅雪天图像(见图2 a)进行小波10层分解,对第10层到第5层的系数和第1层高频系数重构得到无雪图像(见图2 b),对第4层到第2层的高频系数重构得到有雪图像(见图2 c).由此可以得出:在一幅退化的雨(雪)图像中,雨(雪)噪声主要包含在第4层到第2层的高频系数中;背景信息和颜色信息主要集中在第10层到第5层的系数中;而第1层的高频系数包含了主要的纹理细节和边缘细节信息.2 连续多幅退化图像融合雨(雪)天是动态不利天气,在这种条件下户外视觉系统很容易采集多幅连续不同的退化图像,要对这些连续的退化图像进行小波融合,达到去除雨(雪)噪声的目的.根据上文分析的退化雨(雪)图像的频率结构,分别对背景和颜色信息、雨(雪)噪声、纹理细节和边缘细节信息进行融合,根据这3部分不同的特点制定适合的融合规则.雨(雪)噪声的融合,即对第2层到第4层的高频系数进行融合.对于这部分系数,融合规则制定得是否合理对能否有效地去除退化图像中雨(雪)噪声起着至关重要的作用.雨滴是快速移动的,因此在视频图像中呈高亮度细线状.我们看到的雨滴图像是光在其表面反射与内部折射的结果,这正是雨滴亮度高的原因.如图3所示,周围光线通过雨滴的球面反射与内部折射后被视觉系统采集.无论是折射还是反射,能被系统采集的光线的最大角度都是165°[4],这样就有足够多的光通过雨滴被采集到,雨滴的亮度得到了大幅提高.所以虽然雨滴本身是透明的,但是亮度并不取决于覆盖的背景亮度.通过进一步的试验证明:雨滴的强度不但与其覆盖的背景无关,而且强度基本上是相同的.如图4所示,左侧是雨滴与背景,背景是由5条亮度不同的水平条纹组成的;右侧是像素亮度与时间的函数图像.当背景被雨滴覆盖时其亮度会增加,并且亮度基本一致(在200左右).因此,亮度高和亮度一致是雨滴的两个重要特点.图3光线通过雨滴表面反射与内部折射Fig.3Surfacerelectionandinternalrefractionofthelightthroughraindrop图4雨滴亮度与背景关系试验Fig.4Experimentonthebrightnessofraindropsandbackground与雨滴相比,雪花虽然是不透明的,并且运动速度较慢,但雪花也和雨滴有相似的特性:亮度高,所有雪花的亮度基本一致.根据雨(雪)噪声的特点,对含有雨(雪)噪声的层数进行小波融合,并制定具体融合规则.由于雨(雪)的亮度明显高于周围背景的亮度,这样被雨(雪)覆盖的像素点与背景像素点的灰度变化程度就很大,能产生较好的边缘效果.可以用局部梯度度量灰度变化程度的大小,定义:其中:G为局部梯度;Δxf(i, j)和Δyf(i, j)分别为点(i, j)在水平方向和垂直方向上的梯度;M,N为局部区域的边长.由于雨(雪)的亮度基本不变,被雨(雪)覆盖的像素点与背景像素点相比具有较高、较稳定的能量,可以用局部能量度量像素点能量的大小.定义:其中:E为局部能量; f(i, j)为像素点的灰度值.局部梯度具有方向性,局部能量具有稳定性,通过这两个参数能反映出雨(雪)噪声亮度高和亮度一致的性质.把G与E相乘得到新的参数S,称之为雨(雪)噪声污染度,其能使雨(雪)噪声的特点进一步放大,以利于去除雨(雪)噪声.3 基于雨(雪)噪声污染度的小波融合方法上文所定义的S(即雨(雪)噪声污染度)能够很好地表示图像被雨(雪)污染的程度,从而能够有效区分图像中的雨(雪)区域和背景区域.因此,本文提出基于雨(雪)噪声污染度的小波融合方法.具体步骤:1)小波分解.对退化图像进行10层小波分解,得到第4层到第2层的高频系数,其中包含绝大多数雨(雪)噪声.图5 本文算法结构Fig.5 Structure of algorithm in this paper2)对包含雨(雪)噪声的高频系数进行融合,分别求出第4层到第2层各个方向上的高频系数所对应的系数矩阵,再求出这些系数矩阵所对应的污染度S矩阵(局部区域为3×3),把这些S矩阵进行归一化处理得到新的S′矩阵.这些S′矩阵在同一位置上对应的数值越大,说明该位置被雨(雪)噪声污染越严重,所以把各系数矩阵与各S′矩阵进行逆加权运算,得到融合后的系数矩阵,其中的雨(雪)噪声会大幅度减少.为了进一步减少雨雪噪声,可以对融合后的系数矩阵设置一个比1小的权重(本文取0.9).3)对不包含雨(雪)噪声的系数进行融合,即对第10层到第5层的系数和第1层的高频系数进行融合.这部分系数包含着图像中主要的有效信息,所以可以对其进行均值处理并对融合后的系数矩阵设置一个比1大的权重(本文取1.2),进一步突出图像的颜色域和细节.4)小波重构.对融合后的各部分系数进行重构,得到融合后的去雨(雪)图像.具体的基于污染度的融合方法流程见图5.通过以上步骤得到的单幅融合图像能够很好地去除多幅连续图像中的雨(雪)噪声,但是对于非雨(雪)区域的雨(雪)雾却无法去除.而在下雨(雪)的同时常常伴有雾气出现,使图像细节模糊,对比度降低,所以必须对这些雾气进行处理.基于暗通道优先[13],提出了一种改进的单幅图像去雾算法,对去雨(雪)后的单幅雾化图像进行快速去雾[14].采用中值滤波方法,计算出边缘细致清晰的暗通道,并根据雾天成像的物理模型估算出透射图.与传统算法相比,估算出的透射图是细致清晰的,无须优化,从而克服了传统算法用大量时间优化透射图的缺点,大幅降低了算法的复杂度,实现了对单幅图像的快速高质量去雾.经过去雾处理的融合图像,在细节清晰度和颜色保真度等方面都得到了很大提高.4 仿真分析为了验证算法的实用性和有效性,使用Matlab 2016 a在操作系统为Windows XP,CPU为AMD四核3.0 GHz,内存4 GB RAM的普通PC上进行仿真试验.选取大雨场景、大雪场景2种情况,分别使用帧差法、聚类法和本文方法进行处理.本文方法对9帧连续图像进行融合,并用融合后的清晰图像替换其中的第5帧图像,以实现对整段视频的去雨(雪)处理.试验结果见图6.图6 各种场景不同算法处理结果Fig.6 Comparison and results of different algorithms used in rain or snow condition表1 复原结果均值与信噪比Tab.1 Means and SNRs of recovery results图名均值信噪比图6b70.254835.4471图6c69.856336.6983图6d66.591138.2106图6f60.762121.1062图6g59.141623.8956图6h58.004426.1967图6 a,e分别为原始大雨、大雪图像,图6 b, f分别为帧差法的处理结果,图6 c,g分别为聚类法的处理结果,图6 d,h分别为本文方法的处理结果.由图6可以看出:在大雨或大雪的情况下,帧差法与聚类法所得处理结果不理想;对雨(雪)强度很大的退化图像,本文方法取得了很理想的恢复结果.这是因为雨(雪)线的方向、强度和形状都是不固定的,在空间域内难以建立统一的物理模型,而在频率域内分析雨(雪)却不受动态特性的影响.另外,用客观评价的方法对每种算法的性能进行比较,计算复原图像的均值和信噪比这两个客观评价指标来判定复原算法的有效性,结果见表1.由表1可见:本文算法要优于其他传统算法.5 小结本文根据雨(雪)的动态特性(如轨迹方向、强度、形状都是不固定的,在空间域内难以建立统一的物理模型,而在频率域内却不受其动态特性影响),采用小波多层分解和小波融合的方法,确定雨(雪)噪声所在的具体层,制定了一种基于雨(雪)噪声污染度的融合规则,对多幅连续退化图像的特定层进行小波融合以达到去除雨(雪)的目的.从仿真结果看,本文算法不受雨(雪)强度制约,复原效果理想,优于传统的帧差法与聚类法.【相关文献】[1] K GARG,S K NAYAR.When does a camera see rain? [C]//IEEE International Conference on Computer Vision,2005:1067-1074.[2] K GARG,S K NAYAR.Vision and rain[J].International Journal of Computer Vision,2007,75(1):3-27.[3] H HASE,K MIYAKE,M YONEDA.Real time snowfall noise elimination[C]//IEEE Proceedings of 1999 International Conference on Image Processing,1999:406-409. [4] K GARG,S K NAYAR.Detection and removal of rain in videos[C]//IEEE Conference on Computer Vision and Pattern Recognition,2004:528-535.[5] ZHANG XIAOPENG,LI HAO,QI YING YI,et al.Rain removal in video by combining temporal and chromatic properties[C]//IEEE International Conference on Multimedia and Expo,2006:461-464.[6] NBREWER,LIU ing the shape characteristics of rain to identify and remove rain from video[J].Lecture Notes in Computer Science,2008,5342:451-458. [7] ZHAO XUDONG,LIU PENG,LIU JIANFENG,et al.The application of histogram onrain detection in video[C]//Proceedings of the 11th Joint Conference on Information Science,2008:345-353.[8] P BARNUM,T KANADE,S NAR.Spatio-temporal frequency analysis for removing rain and snow from videos[C]//Workshop on Photometric Analysis For Computer Vision,2007:14-21.[9] P BARNUM,T KANADE,S NARASIMHAN.Analysis of rain and snow in frequency Space[J].Internal Journal of Computer Vision,2009,86(2):256-274.[10] 石晓晴.单幅图像中雨滴检测与去除方法的研究[D].北京:北京交通大学,2016.[11] 刘振宇,江海蓉,徐鹤文.极端天气条件下低质图像增强算法研究[J].计算机工程与应用,2017,53(8):193-198,245.[12] 庞彦伟,周俊,邓君坪,等.基于图像分解与字典分类的单幅图像去雨算法[J].天津大学学报(自然科学与工程技术版),2017,50(4):391-398.[13] He Kaiming,Sun Jian,Tang Xiaoou.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition,2009:1956-1963.[14] 师晓丹,陈震.一种改进的雾化图像快速复原算法[J].北华大学学报(自然科学版),2017,18(6):835-840.。
基于时域-空域-频域的三阶段视频去雨算法
基于时域-空域-频域的三阶段视频去雨算法基于时域-空域-频域的三阶段视频去雨算法随着科技的不断进步,数字视频技术应用越来越广泛。
然而,在拍摄过程中,天气条件并不总是理想的,雨水是常见的干扰因素之一。
雨水的附加会导致图像质量下降,对于视觉感受和视频处理等应用带来挑战。
因此,研究和开发一种高效而准确的视频去雨算法具有重要意义。
针对这一问题,基于时域-空域-频域的三阶段视频去雨算法被提出。
这个算法可以有效地去除图像中的雨水,提高视频质量,从而更好地满足用户的需求。
首先,在时域阶段,算法通过运动估计和补偿的方法来减少雨水效应。
运动估计是通过检测视频中的运动目标和雨滴运动轨迹来实现的。
然后,通过运动补偿的方法,算法可以计算出偏移量,并将其应用于每一帧中的像素点。
这样,就可以实现对雨滴的补偿处理,从而减少雨水效应。
接下来,在空域阶段,算法通过图像处理技术来进一步减少雨水效应。
在这个阶段,算法会对图像进行滤波处理,以去除雨滴残留和噪声。
滤波器的选择会基于图像的特性以及雨滴的特征。
通过适当的滤波处理,可以清晰地重建图像,从而减少雨滴残留和噪声。
最后,在频域阶段,算法会对图像进行频域分析和处理。
频域分析是通过将图像转换到频域来实现的。
在频域中,算法可以检测和分析图像中的雨滴频率和幅度。
然后,通过应用逆变换,算法可以从频域中重建图像,从而减少雨水效应。
综合上述三个阶段,基于时域-空域-频域的三阶段视频去雨算法可以实现高效准确地去除视频中的雨滴效应。
该算法具有以下优点:首先,它采用多种技术手段相结合的方式,减少了雨滴效应;其次,该算法在不牺牲视频质量的情况下尽可能去除雨滴,从而提高了用户体验;最后,该算法的计算复杂度较低,可以在实际应用中快速高效地运行。
虽然基于时域-空域-频域的三阶段视频去雨算法在去雨效果上具有显著优势,但仍然存在一些挑战和限制。
例如,算法在处理大量雨滴时会导致图像细节丢失,可能会降低图像质量。
此外,算法可能无法处理在背景中复杂的雨滴和动态场景的情况。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
o cm u rv i yt ,w i d esl i pcsvs n ss m ft cig betdt t nad rcgio . f o p t io ss ms hc a vre m at io yt so r kn ,ojc e ci n eon i e sn e h y i e a e o tn
1 引 言
在海 陆交 通监控 、 目标识别与 跟踪 、 拍监测 、 航 军事监控 等领域 , 计算机视觉系统依靠其频 带宽 、 电磁 干扰能力 强 、 抗 直观 、 实时等众 多优点 , 获得 了广泛应 用。然而 , 计算 机视觉 系统却存在一 个 关键 性 的 问题 一一 对 恶 劣天 气 非 常敏感 。 恶劣天气往往会导致 大气能见度降低 , 视觉 系统 的成像 质量
DONG h l , S u- i XU i i CAO u n-d n CHEN
( o ee f uo ai , aj gU i r t o e n u c n s oat s N nig i gu2 0 1 , hn ) C l g tm t n N n n nv sy f r at s dA t nui , aj a s 10 6 C ia l oA o i e i A o i a r c n Jn
明 : 可以有效 的去 除视频 图像 中的雨场 , 方法 为恶 劣天气下视频 图像清 晰化提供一种可行 的图像雨场去除处理方法。
关键 词 : 算机 视 觉 系 统 ; 场去 除 ; 色 空 间 转换 计 雨 颜 中 图分 类 号 :P9 . T 3 19 文 献 标 识 码 : B
Th i ulto o m o i i n Vi e e S m a in fRe vng Ran i d o
第2卷 第9 8 期
文章编号 :0 6 9 4 (0 1 0 — 2 3 0 10 — 3 8 2 1 ) 9 0 8 — 4
计
算
机
仿
真
21年9 01 月
视 频 图像 雨 场 去 除 仿 真 研 究
董 书莉 , 贵 力 , 徐 曹传 东 , 陈 欣
( 京航 空航天大学 自动化学 院,江苏 南京 20 1 ) 南 10 6 摘要 : 计算机视觉 系统在军事 和民用领域有 着广泛 的应用 , 雨场 的存在严重 影响计算 机 自动检 测 、 而 识别 和跟踪 目标的能 力。通过深 入分析雨 滴的色彩属性 及动 态特性 , 为提 高识别 目标 的准确性 , 出了先将视频 图像转化到 Y b r 提 C C 颜色空间 , 然 后采用 二次 k men 聚类去除视 频图像 中雨场的方法 。相比传统在 R - as GB色彩空 间的雨 场去 除方 法 , 在保证 不降低 处理效 果的前 提下 , 方法 仅需要 处理 一个 Y分量 , 节省了两个色彩分量 的处理 , 提高 了实时性。在 MaLb平 台下进行仿真 结果表 ta
B s d o h n lsso h o t n y a c p o e t f an,a n v lmeh d i p o o e a e n t e a ay i fc r mai a d d n mi rp r o i c y r o e t o r p s d,t a s r te fa s s o t n f m h me r o r i t b rc lr s a e f sl n h n k n o YC C o o p c i t a d t e -me n l se i g i u e c o a n r mo a .C mp r d wi r d t n l r y a s cu tr s s d t e frr i e v 1 o a e t t i o a n wi h a i r i e v lmeh d n R oo p c ,p o o e t o e d n y Y o o e ta d s v s t o c mp n n s OI an r mo a t o s i GB c lr s a e r p s d meh d n e s o l c mp n n n a e w o o e t F t ep e s fg o f c . Smu ain r s h n e t a lt r s o h to rp o o e t o a e v a n h r mie o o d ef t i lt e u s u d rMaL b p af m h w t a u r p s d me h d c n rmo e r i e o o i i e f ci ey a d p o i e a f a i l ma e p o e s g meh d u d rt e c n i o fb d w a h r n vd o ef t l n rv d e s e i g r c s i t o n e h o dt n o a e t e . e v b n i KEYW ORDS: o u e i o Ran rmo a ; oo p c r n fr t n C mp t rvs n; i e v l C lr s a e ta somai i o