基于虚拟图像金字塔序列融合的快速图像增强算法
视频增强技术综述20讲解

视频增强技术综述概述图像超分辨率(superresoulution, SR)指利用一幅或者多幅低分辨率(lowresoulution, LR)图像,通过相应的算法来获得一幅淸晰的高分辨率(highresoulution, HR)图像.HR 意味着图像具有髙象素密度,可以提供更多的细肖,这些细肖往往在应用中起到关键作用.要获得高分辨率图像,最直接的办法是采用髙分辨率图像传感器,但由于传感器和光学器件制造工艺和成本的限制,在很多场合和大规模部署中很难实现。
低分辨率的图像包含的细节信息较少,但我们可以得到一系列低分辨率的图像,这些图像包含的部分细肖信息各有不同,能够相互补充。
通过这一系列低分辨的图像,经过一左的处理,可以得到一幅分辨率较高、包含信息较多的图像。
这个处理过程就是超分辨率重建。
超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
因此,利用现有的设备,通过超分辨率技术获取髙分辨率图像具有重要的现实意义。
视频的超分辨率增强是指融合来自相同动态场景的多个低分辨率视频序列的信息,去重构一个髙时空分辨率的视频序列。
可想而知,视频超分辨率包括时间超分辨率和空间超分辨率。
视频中某些事件发生变化比较快,这样就需要用所谓高速(高帧率)的摄像机来采样,如果使用普通帧率的摄像机,那么在时间上就会有一些细节信息的丢失。
视频的时间超分辨率就是要恢复这些丢失的时间上的细肖信息,而视频空间超分辨率就是通常人们提到的图像超分辨率复原。
摄像机在时间和空间上的分辨率能力是有限的。
空间分辨率取决于摄像机光学传感器的空间密度及其本身引入的模糊误差,这些因素限制了图像中被观察到的物体或特征的最小空间尺寸;时间分辨率取决于摄像机的帧率和曝光时间,这就限制了视频序列中能被观察到的动态事件的最大变化速度。
比摄像机帧率发生更快的动态事件在记录下来的视频序列中是不可见或者不正确的,如在网球比赛的视频中是不可能观察到高速运动的网球的全部运动和状态的。
图像融合论文

图像融合算法研究及其实现摘要关键词:Abstract Keywords:目录摘要Abstract第一章绪论1.1背景及其意义1.2国内国外研究现状1.3图像融合的原理及方法1.4本文的主要研究内容及章节安排第二章图像融合质量的评价标准2.1主观评价方法2.2客观评价方法2.3小结第三章图像预处理3.1 图像去噪3.2 图像增强3.3 图像配准3.4 小结第四章基于空域的图像融合方法4.1像素灰度取最大最小方法4.2 像素加权系数融合方法4.3 主分量分析融合方法4.4实验结果对比4.5小结第五章基于频域的图像融合方法5.1基于金字塔图像融合方法5.2基于小波变换的图像融合方法5.2.1小波变换的基本理论5.2.2小波变换的图像融合算法5.3实验结果对比分析5.4小结第六章总结与展望6.1总结6.2展望参考文献致谢第一章绪论1.1图像融合的背景及其意义图像融合是指多源信道采集到的针对于同一目标的数据信息,经过数据处理等计算机技术,最大限度的提取各信道的有用信息,将之合成为一幅信息更全面、质量更高的图像。
融合后的图像比单一图像的信息更为准确,更容易被计算机和人眼识别。
成像相机通常只有一个有限的景深。
在一个由摄像机捕获的图像中,只有聚焦的对象是清晰的,而其他对象是模糊的。
通常我们需要考虑在不同焦距下,从同一角度进行的图像融合。
图像融合的目的是整合互补多个图像的冗余信息,与单个源图像相比,融合后的图像能更好的描述场景。
图像融合在许多领域扮演重要角色,如遥感技术,生物医学成像,计算机视觉技术,防御系统等。
在遥感技术中,图像融合将雷达图像和LandsatMSS图像进行融合更好的用于地质解释;在生物医学成像中,由于CT,MR,B超,X光片都是灰度图像,图像融合将这些不同仪器得到的图像进行处理,更容易医生对病人病情做出判断;在计算机视觉技术中,经过图像融合处理后的图像更容易于识别以及后续的机器处理;在防御系统中,图像融合被用于战场卫星监测和精确制导。
基于双向特征金字塔和深度学习的图像识别方法

哈尔滨理工大学学报JOURNAL OF HARBIN UNIVERSITY OF SCIENCE AND TECHNOLOGY第26卷第2期2021年4月Vol. 26 No. 2Apr. 2021基于双向特征金字塔和深度学习的图像识别方法赵升1 ,赵黎2(1.昆明医科大学第三附属医院PET/CT 中心,昆明650118,2.昆明医科大学基础医学院,昆明650500)摘 要:图像物体识别与检测(图像识别)是计算机视觉领域的一个基础性任务。
近年来,深度神经网络等推进了图像物体识别的发展。
多尺度问题是图像识别的难点问题之一。
引入特征金字塔是解决图像多尺度物体识别的有效途径之一。
然而,现有基于特征金字塔的方法大多采用自上而下的语义特征信息融合方式,无法提升大尺度物体识别的精确率。
为解决该问题,提出了一种特征金字塔双向语义特征信息融合模型,实现不同尺度图像语义特征信息的双向融合。
而后,通过 嵌入深度神经网络,形成一种新的基于特征金字塔双向语义信息融合的多尺度图像识别方法,以提 升不同尺度物体识别的精确度。
实验结果表明:本文所提方法在PASCAL VOC 数据集上较其他方法至少提升0.7%的平均精确度均值,在MS COCO 数据集上的平均精确度也优于其他方法。
实验 结果验证了本文所提方法能有效提升多尺度图像识别的精确率。
关键词:图像识别;特征金字塔;深度神经网络;计算机视觉DOI ;10. 15938/j. jhust. 2021. 02. 006中图分类号:TP391.41文献标志码:A 文章编号:1007-2683(2021 )02-0044-07On Image Recog nition Using Bidirectional Feature Pyramidand Deep Neural NetworkZHAO Sheng , ZHAO Li 2(1. PET/CT Center, Third Affiliated Hospital of Kunming Medical University , Kunming 650118, China ;2. Basic Medical School , Kunming Medical University, Kunming 650500, China)Abstract : Object recognition is one of the fundamental tasks in the area of computer vision. The developmentof deep neural networks advances the object recognition. Nonetheless, multi-scale object recognition still remains tobe a challenging task ・ The feature pyramid is a promising technology to address the multi-scale object recognition. However , the existing feature pyramid-based object recognition schemes usually employed a top-down pathway , which cannot improve the recognition of large-scale objects ・ To address this issue , a novel bidirectional enhanced feature pyramid-based object recognition scheme is proposed ・ The proposed scheme can improve the precisions ofboth large-scale and small-scale object recognition by enabling the semantic information enhancement from both top to down and down to top ・ The experiment results showed that the proposed scheme can improve the mean average precision by at least 0. 7% in PASCAL VOC dataset and outperformed all the baselines in MS COCO dataset. Thesefindings verified the effectiveness of the proposed scheme ・Keywords : object recognition ; feature pyramid ; deep neural network ; computer vision收稿日期:2020-09 -04基金项目:国家自然科学基金(81960310);云南省教育厅科学研究基金(K132199357).作者简介:赵 升(1977—),男,硕士,副主任医师.通信作者:赵 黎(1987—),女,硕士,助理实验师,E-mail :lizhaoxw@ 163. com.第2期赵升等:基于双向特征金字塔和深度学习的图像识别方法450引言计算机视觉是一个多学科交叉的领域,主要研究从静态图像或者视频流中自动提取、分析和理解有价值信息的理论和方法⑴。
MUSICA 多尺度图像对比度增强 算法的简要原理及

MUSICA 多尺度图像对比度增强算法的简要原理及MUSICA 多尺度图像对比度增强算法的简要原理及MUSICA(多尺度图像对比度增强)算法的简要原理及VC实现算法原理:图像增强的一般方法是对比度拉伸和直方图均衡,这两种方法对于灰度级过于集中,还有大量的灰度级没有充分利用的情况下比较适用,并且这两种方法都是基于直方图的变换,和像素的位置信息无关。
假设有原始信号如(a),可看出细节信号(高频,例如指纹、衣服褶绉这样的细节)集中在较窄的灰度范围内,人眼很难分辨。
并且细节信号集中的灰度范围在整个灰度级空间内,使用对比度增强和直方图均衡无法对不同的区域内像素进行不同程度的放大或者缩小。
因此就有了MUSICA(Multi-Scale Image ContrastAmplification),可以翻译成多尺度图像对比度增强。
基本的原理是先提取细节信息,然后对细节信号进行增强放大,然后再重构到原图中。
局部细节信息的提取现在研究的热点一直都是小波分解。
暂且不管理论,先从实际运用的角度来看。
如图(b),假设对信号进行平滑滤波,可以得到新的蓝色信号。
可以认为蓝色信号是对原信号的低分辨率近似,保留了整体的特征而丢弃了高频的细节信号,例如要分析图像的整体特征就要使用近似信号以排除高频(可能是噪声)的干扰。
那么如图(c),原信号减去近似信号,得到的就是高频信号,也就是细节信号(当然也可能是噪声)。
然后对(c)进行增强,最简单例如放大2倍,或者进行log变换得到(d)。
然后把(d)加回到近似信号上,重构出增强后的原信号,如(e)所示。
可以看到,图像的整体特性没有改变,两个细节集团的细节信号被放大了,适合人眼辨认。
图1 这个算是从最直观的角度来考虑算法原理,只是一种近似的抽象,实际过程需要更多更具体的考虑,同时这也是个人的理解,会有偏颇的地方,留待完善。
然后,总得给出点具体的原理和算法的实际步骤。
详细的说明可以从MUSICA的专利文档里获得,这里给出个人角度的理解和说明。
sift拼接算法流程

sift拼接算法流程sift拼接算法流程概述本文将介绍SIFT(尺度不变特征转换)拼接算法流程,这是一种常用于图像拼接的算法。
SIFT算法是一种基于局部特征描述的图像处理算法,具有很好的尺度不变性和旋转不变性。
算法流程概览1.图像预处理–调整图像的大小以适应拼接要求–将图像转换为灰度图像,去除颜色信息2.特征点检测–使用SIFT算法检测图像的关键点–对每个关键点计算其尺度和方向3.特征描述–对每个关键点周围的区域计算特征描述子–描述子是一种用于描述关键点特征的向量4.特征匹配–针对两幅图像的特征描述子进行匹配–使用基于距离的匹配算法,如最近邻法5.配准–根据匹配结果进行图像配准–通过计算变换矩阵,将待拼接图像转换到参考图像坐标系下6.拼接–根据配准结果,将待拼接图像与参考图像进行融合–采用图像叠加或图像融合的方式7.优化–对拼接后的图像进行优化–去除拼接缝隙或伪影等不完美的部分8.输出–将拼接后的图像保存为文件或进行其他处理–可以生成全景图像或其他形式的图像算法流程详解图像预处理在图像预处理阶段,首先需要对待拼接的图像进行预处理。
这包括调整图像的大小以适应拼接要求,一般要求图像具有相同的尺寸。
其次,将图像转换为灰度图像,去除颜色信息。
这是为了降低计算的复杂度,并使得SIFT算法更加稳定。
特征点检测特征点检测是SIFT算法的核心部分。
在这一步骤中,使用SIFT 算法检测图像的关键点。
SIFT算法会在图像的不同位置和尺度上检测出一些关键点,这些关键点具有显著的图像特征,如角点、边缘等。
同时,对于每个关键点,还会计算其尺度和方向信息。
特征描述特征描述是针对每个关键点周围的区域计算其特征描述子。
描述子是一种向量表示,用于描述关键点的局部特征。
在计算描述子时,会考虑关键点的尺度和方向信息,以及其周围区域的图像信息。
特征描述子是SIFT算法的另一个关键输出,它能够很好地保持特征的不变性。
特征匹配在特征匹配阶段,使用一种基于距离的匹配算法来对两幅图像的特征描述子进行匹配。
图像处理中的图像增强算法比较研究

图像处理中的图像增强算法比较研究引言:图像增强是图像处理领域的重要任务之一。
图像增强旨在提升图像的视觉质量和可读性。
随着科技的进步,图像增强算法得到了广泛的应用。
本文将比较几种常见的图像增强算法,分析其优缺点,并探讨其在不同应用场景中的适用性。
一、直方图均衡化算法直方图均衡化是一种常用的图像增强方法,通过对图像的像素强度进行转换,使得像素的直方图分布更均匀。
该算法可以扩展图像的动态范围,增强图像的对比度。
优点:1. 简单易实现:直方图均衡化算法的原理简单,易于实现。
2. 高效性:直方图均衡化可以快速地对图像进行处理,适用于实时应用。
3. 对细节增强效果好:直方图均衡化算法能够增强图像的对比度,使得图像细节更加清晰。
缺点:1. 无法保持局部对比度:直方图均衡化算法是全局算法,无法保持图像的局部对比度。
2. 易产生过增强现象:在某些情况下,直方图均衡化算法容易使得图像的背景过亮或过暗。
3. 非线性处理:直方图均衡化是一种非线性处理方法,可能对图像的灰度分布造成较大的变化。
适用场景:1. 增强图像对比度:直方图均衡化算法可以有效增强图像的对比度,使得图像更加清晰。
2. 实时图像处理:由于直方图均衡化算法的高效性,适用于实时图像处理应用。
3. 对细节要求不高的图像:直方图均衡化算法具有一定的局限性,适用于对细节要求不高的图像。
二、拉普拉斯金字塔增强算法拉普拉斯金字塔增强算法是一种基于金字塔理论的图像增强方法。
该算法通过构建图像的拉普拉斯金字塔,对不同层次的图像进行增强处理,最后再重建原始图像。
优点:1. 保留了图像的细节:拉普拉斯金字塔增强算法通过在不同层次上增强图像,可以有效地保留图像的细节。
2. 自适应性:该算法可以根据不同图像的特点自适应地进行增强处理。
3. 对边缘提取效果好:拉普拉斯金字塔增强算法对于边缘的提取有良好的效果。
缺点:1. 计算复杂度高:拉普拉斯金字塔增强算法需要构建金字塔结构,并进行多次图像卷积操作,计算复杂度较高。
fine-to-coarse reconstruction算法-概述说明以及解释

fine-to-coarse reconstruction算法-概述说明以及解释1.引言1.1 概述:在计算机视觉领域,图像重建是一项重要的任务,其目的是从输入的低分辨率图像中生成高质量的高分辨率图像。
Fine-to-Coarse Reconstruction算法是一种常用的图像重建算法,它通过逐渐增加图像的分辨率级别,从粗到细地重建图像,以获得更加清晰、细节丰富的图像。
Fine-to-Coarse Reconstruction算法在图像处理和计算机视觉中有着广泛的应用,能够有效地提高图像质量和细节信息的还原程度。
本文将详细介绍Fine-to-Coarse Reconstruction算法的原理、应用和优势,希望能为读者提供深入了解和应用该算法的指导。
1.2 文章结构本文主要分为引言、正文和结论三部分。
在引言部分中,我们将对Fine-to-Coarse Reconstruction算法进行概述,并介绍文章的结构和目的。
在正文部分,我们将详细介绍Fine-to-Coarse Reconstruction算法的原理以及其在实际应用中的表现。
我们将重点讨论该算法在图像处理、计算机视觉等领域的应用,并探讨其优势和局限性。
最后,在结论部分,我们将对整篇文章进行总结,展望Fine-to-Coarse Reconstruction算法的未来发展方向,并留下一些思考和结束语。
整个文章结构清晰,层次分明,将帮助读者全面了解和理解Fine-to-Coarse Reconstruction算法的重要性和价值。
1.3 目的Fine-to-Coarse Reconstruction算法的目的是通过逐步从细节到整体的重建过程,实现对图像或模型的高效重建。
通过逐步迭代的方式,算法能够在保持细节的同时,提高重建的速度和准确性。
本文旨在深入探讨Fine-to-Coarse Reconstruction算法的原理、应用和优势,以期能够为相关研究和应用提供更多的启发和帮助。
基于引导滤波的微光图像增强算法研究

第13卷㊀第4期Vol.13No.4㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用IntelligentComputerandApplications㊀㊀2023年4月㊀Apr.2023㊀㊀㊀㊀㊀㊀文章编号:2095-2163(2023)04-0122-07中图分类号:TP391文献标志码:A基于引导滤波的微光图像增强算法研究陈㊀婷1,蒲亨飞1,黄治勇1,李良荣1,张丰云2(1贵州大学大数据与信息工程学院,贵阳550025;2遵义市播州区中等职业学校,贵州遵义563000)摘㊀要:针对低光照条件下,成像设备获取的图像存在低亮度㊁细节丢失的问题,提出一种基于引导滤波的微光图像增强算法,以实现微光图像增强㊂首先,将微光图像从RGB转到HSV空间,并将V通道复制为3份,分别采用直方图均衡化㊁改进的伽马校正及经典的非锐化掩膜对其进行处理㊂其次,用合适的融合权重将3份处理后的V通道进行多尺度融合,再采用改进的引导滤波对融合后的V通道进行处理㊂最后,将处理后的图像反变回RGB颜色系统,从而实现图像增强㊂通过与现有的4种图像增强算法进行主观视觉效果对比以及客观指标分析,实验结果表明,所提算法可有效提高图像亮度,增强图像细节,提升图像的质量㊂关键词:引导滤波;多尺度融合;图像增强;微光图像;伽马校正Researchonlow-lightimageenhancementalgorithmbasedonguidedfilteringCHENTing1,PUHengfei1,HUANGZhiyong1,LILiangrong1,ZHANGFengyun2(1CollegeofBigDataandInformationEngineering,GuizhouUniversity,Guiyang550025,China;2ZunyiBozhouDistrictSecondaryVocationalSchool,ZunyiGuizhou563000,China)ʌAbstractɔAimingattheproblemsoflowbrightness,anddetailslossintheimagesobtainedbyimagingequipmentunderthelowlightconditions,thispaperproposesalowlightlevelimageenhancementalgorithmbasedonguidedfilteringtorealizelowlightimageenhancement.Firstly,thelowlightimageistransferredfromRGBtoHSVspace,andtheVchanneliscopiedintothreecopies,whichareprocessedbyhistogramequalization,improvedgammacorrectionandageneralizedunsharpmaskingalgorithmrespectively.Secondly,thethreeprocessedVchannelsarefusedinmulti-scalewithappropriatefusionweight,andthenthefusedVchannelisprocessedbyimprovedguidedfiltering.Finally,theprocessedimageisreverselychangedbacktoRGBcolorsystemtorealizeimageenhancement.Theexperimentalresultsshowthatthealgorithmcaneffectivelyimprovetheimagebrightness,reducetheimagenoise,enhancetheimagedetailandimprovetheimagequality.ʌKeywordsɔguidedfiltering;multiscalefusion;imageenhancement;low-lightimage;Gammacorrection基金项目:国家自然科学基金(62163006)㊂作者简介:陈㊀婷(1997-),女,硕士研究生,主要研究方向:图像处理;蒲亨飞(1996-),男,硕士研究生,主要研究方向:图像处理;黄治勇(1996-),男,硕士研究生,主要研究方向:图像处理;李良荣(1963-),男,教授,硕士生导师,主要研究方向:电路与系统㊁电磁场与微波技术;张丰云(1987-),男,讲师,主要研究方向:应用数学等数学研究㊂通讯作者:李良荣㊀㊀Email:lrli@gzu.edu.cn收稿日期:2022-05-240㊀引㊀言微光图像通常是在夜间或光照较弱等低光照条件下所获取的一类图像㊂在低照度条件下,成像设备获取的图像和视频的质量降低,就会出现图像亮度低㊁对比度不足㊁噪声大的问题,不仅使得人眼的主观视觉效果受到影响,也会导致某些特定系统的性能降低,比如公路交通监控㊁视觉监视和消费电子产品等系统㊂因而,开展微光图像增强技术的研究具有重要意义㊂迄今为止,微光图像增强算法可大致分为6类:基于直方图均衡化的增强方法㊁基于Retinex理论的增强方法㊁基于频域的增强方法㊁基于图像融合的增强方法㊁基于去雾模型的增强方法以及基于深度学习的增强方法㊂直方图均衡化算法运用累积分布函数来调整图像的输出灰度,从而使其具有均匀分布的概率密度函数㊂通过这种方式,可以使黑暗区域中隐藏的细节重现,并且可以改善输入图像在人眼中的视觉效果,然而这种方法易导致细节消失以及局部过度增强[1];Retinex理论由美国物理学家Land[2]在1964年提出,也被称作视网膜皮层理论,是基于人眼对颜色的感知和颜色不变性的建模,即基于光照-反射模型,但是光照估计是基于光照缓慢变化的,而并不是所有微光图像都满足此假设㊂2020年,Wang等学者[3]提出了一种新的微光图像增强算法,此算法从空域扩展到频域㊂基于频域的图像增强方法是指当图像在某一个变换域内时,调整变换后的系数,将图像从空域变换为频域,使得图像在频域内进行滤波,最后将得到的结果反变换回空域㊂典型的频域方法包括同态滤波和小波变换,但是其中滤波器的选取会丢弃某些细节㊂基于融合的方法可以使用不同的成像方法将一幅图像进行处理,包括从单个图像中以多种方式提取细节,以打破对图像序列的依赖㊂Yamakawa等学者[4]提出了一种图像融合技术,该技术使用源图像和retinex处理过的图像,能在亮区和暗区实现高能见度㊂2011年,He等学者[5]提出了图像暗通道先验理论,这一理论的提出使得图像增强技术获得了进一步发展㊂2011年,Dong等学者[6]基于去雾理论提出了一种新的图像增强算法,也称为亮通道先验方法㊂但是基于去雾模型的增强算法缺乏可靠的理论支撑,且容易在一些细节领域过度增强㊂Lore等学者[7]在一个框架中采用了堆叠稀疏降噪自动编码器来训练LLNet进行微光图像增强㊂Kim等学者[8]利用局部光照制作训练图像,并使用先进的生成式对抗网络构建LowLightGAN㊂但是,这种方法必须得到大数据集的支持,模型复杂度的增加会使相应算法的时间复杂度显著变大㊂因此,对于微光图像存在低亮度㊁细节丢失的问题,本文提出一种基于引导滤波的微光图像增强算法㊂由于HSV颜色系统比RGB更接近于人眼的感知,因此首先将图像从RGB颜色系统转为HSV颜色系统,为提高对比度㊁亮度,分别采用直方图均衡化(HE)㊁改进的伽马校正及经典的非锐化掩膜(GUM)对V通道进行处理,其次用合适的融合权重将V通道进行多尺度融合,然后采用改进的引导滤波对融合后的V通道进行处理,最后将处理后的图像从HSV颜色系统转回RGB颜色系统,从而实现图像增强㊂1㊀基本原理1.1㊀HSV色彩空间一般为学界所熟知的是RGB㊁即三基色空间[9],该空间表示一幅彩色图像可以被分为红(Red)㊁绿(Green)㊁蓝(Blue)三幅分量图像,而HSV是一种通过色调(Hue)㊁饱和度(Saturation)以及亮度(Value)三种色彩分量来表示彩色图像的色彩空间,也可称为六角锥体模型,因其比RGB系统更接近人眼感知系统,所以近年来得到了广泛使用㊂RGB空间图像可以转换为HSV空间图像,转换关系的数学公式具体见如下:㊀㊀㊀㊀㊀㊀V=max(R,G,B)(1)S=V-min(R,G,B)V㊀㊀㊀㊀ifVʂ00㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀otherwiseìîíïïï(2)H=60(G-B)V-min(R,G,B)㊀㊀㊀ifV=R120+60(G-B)V-min(R,G,B)㊀ifV=G240+60(G-B)V-min(R,G,B)㊀ifV=Bìîíïïïïïïïï(3)㊀㊀㊀㊀㊀ifH<0㊀thenH=H+3601.2㊀引导滤波引导滤波是2013年He等人[10]提出的一种新的图像局部滤波算法,具备平滑㊁保持边缘,以及提高系统速度的优点㊂假设引导图像为G,待滤波输入图像为p,滤波输出图像为q,q可表示为G在窗口wk内的局部线性变换,线性模型为:qi=akGi+bk㊀∀iɪwk(4)㊀㊀其中,wk表示以像素i为中心,以k为半径的一个邻域,ak㊁bk是wk中假定为常数的一些线性系数㊂为了确定ak㊁bk的值,建立一个约束条件,输出q可表示为输入p减去一些不需要的分量n,例如噪声或者纹理可由下式进行描述:qi=pi-ni(5)㊀㊀为使p和q之间的差值能够达到最小化,即在窗口wk中最小化损耗函数,损耗函数定义为:㊀E(ak,bk)=ðiɪωk((akGi+bk-pi)2+εak2)(6)其中,ε是规整化因子,可避免ak系数过大,同时也是一个能够调节滤波器滤波效果的重要参数㊂对式(6)进行最小二乘法得到:ak=1wðiɪwkGipi-μkpkσ2k+ε(7)bk=pk-akμk(8)㊀㊀其中,μk和σk2是局部窗口wk内引导图像G的321第4期陈婷,等:基于引导滤波的微光图像增强算法研究灰度均值和方差;w表示窗口内的像素总数;pk表示输入的待滤波图像p在窗口内的灰度均值㊂2㊀本文改进算法本文改进算法框图如图1所示㊂最终增强图像处理后的图像多尺度融合滤波后的V HSV输入微光图像改进的引导滤波衍生输入H E G U M g a m m ar g b 2h s vh s v 2r g b 图1㊀算法框图Fig.1㊀Blockdiagramofthealgorithm2.1㊀输入在本文算法中,3个输入都来自原始微光图像的V通道㊂首先,使用直方图均衡化来增强图像的全局对比度,从而得到第一幅输入图I1㊂因微光图像的整体亮度很暗,故通过改进的伽马变换来提高整体亮度,从而得到第二幅输入图I2㊂Gamma变换通过γ和c两个参数来决定[11]㊂Gamma变换公式可写为:Iout=cIγin(9)㊀㊀其中,Iin表示输入图像;Iout表示输出图像;γ和c都是用于调节伽马变换函数的参数,不同的γ会产生不同的效果㊂然后,经过多次的实验,本文改进一种能够自适应的伽马校正因子[12],该因子可较好地校正图像整体亮度且避免亮度过高的情况,使得校正后的图像在视觉效果上变得更好㊂校正因子的计算见式(10):γ=12æèçöø÷1-μ+σ2()(10)㊀㊀其中,σ为图像像素的标准差,μ为图像像素的均值㊂最后,根据改进的γ值对V通道进行伽马校正:I2=Vγ(11)㊀㊀I1和I2提高了图像的对比度以及亮度,因此本文进一步采用广义非锐化掩蔽算法(GUM)[13]提高图像的对比度㊁清晰度和保留细节,生成第三幅输入图I3㊂2.2㊀权重亮度增强和提升对比度是图像增强的预处理步骤,为了使得最后的增强图像与人类的视觉感知相契合,本文使用特定的权重图来测量和提取输入图像的更多细节㊂由于微光图像的本质问题与光照有关㊂因此,选择亮度作为权重来融合那些从输入中获得良好光照的区域[14]㊂一般来说,首先将像素值进行归一化,然后将像素平均值设置为0.5,这些像素(0.5)通常有很好的光照效果㊂为了得到权值,计算每个像素的输入值I(x,y)与平均值之间的距离,可由下式计算求出:Wz(x,y)=exp(-(Iz(x,y)-0.5)22σ2)(12)其中,Iz(x,y)为输入Iz在点(x,y)的像素值,z是输入索引,本文设标准差的默认值为σ=0.3㊂对光照不足的像素点,赋予其较小的权值,而对大多数正常光照强度的像素点,赋予其较大的权值㊂为得到一致的处理结果,将Wz(x,y)进行归一化处理,推得的数学公式为:W-z(x,y)=Wz(x,y)/ðzWz(x,y)(13)2.3㊀多尺度融合在获得3个输入Iz和权值映射W-z(x,y)后,输出图像由下式计算:V(x,y)=ðzW-z(x,y)Iz(x,y)(14)㊀㊀由于原始图像融合过程是将不同图像直接进行加权相加,结果会产生不同程度的光晕现象㊂因此本文采用Burt和Adelson[15]提出的多尺度融合来解决这个问题,即通过使用拉普拉斯算子将输入分解为一个金字塔和一个高斯金字塔的权重映射,最后通过使用逐层重建的方式来获得最终的融合图像㊂因此,V(x,y)的结果是通过将每一层的拉普拉斯输入和高斯权重映射分别混合而得到:Vl(x,y)=ðGlW-z(x,y){}LlIz(x,y){}(15)其中,l表示金字塔的层数,本文设置金字塔层数为5;GW-{}是归一化之后的权重映射W-的高斯金字塔;L{I}是输入I的拉普拉斯金字塔㊂2.4㊀改进的引导滤波由于在引导滤波里,所有的窗口选用的都是固定的规整化因子,这完全忽视了不同窗口内像素之间存在的某些纹理差异㊂因此,在对边缘进行平滑处理时,会将模糊集中在这些边缘附近,从而产生光晕伪影,导致滤波效果降低㊂后来在2015年,Li等学者[16]提出了加权引导滤波,该滤波和引导滤波一样快速并且保留边缘㊂为了使得规整化因子能够自421智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第13卷㊀适应调整,使用局部窗口内的方差信息㊂按照局部窗口wk内方差的定义,对边缘权重定义如下:WG(i)=1NðNiᶄ=1σ2G(i)+εσ2G(iᶄ)+ε(16)㊀㊀其中,G为引导图像;σ2G(i)表示以像素点i为中心像素周围3ˑ3邻域内的方差;ε是规整化因子,取值为(0.001ˑL)2;L表示原始输入图像的动态范围;N表示引导图像的像素总数㊂因此,损耗函数变为:E(ak,bk)=ðiɪwk((akGi+bk-pi)2+εWG(i)a2k)(17)在引导图像的边缘,依据公式(16)可轻易得到,邻域内像素点i的方差与其对应的边缘权重WG(i)成正比,与规整化因子ε成反比,即当方差越大时,边缘权重WG(i)越大,而对应的规整化因子则会越小㊂所以才能够更好地保护图像的边缘细节信息㊂但是通过计算3ˑ3窗口内的方差作为边缘权重因子,方差大的像素点并不全是图像边缘,会导致所得的边缘信息与实际存在着较大误差㊂因此,在原有加权引导滤波算法的基础上加入Sobel算子[17],以自适应调节边缘权重因子,修正后的边缘权重因子如下:ψG(i)=1NðNiᶄ=1S(i)σ2G(i)+εS(iᶄ)σ2G(iᶄ)+ε(18)㊀㊀其中,G为引导图像;ψG(i)为边缘权重因子;S(i)为像素点i处的Sobel算子;N为图像的总像素;ε值和式(16)一样,取为(0.001ˑL)2;L是输入图像的动态范围㊂ψG(i)可以一定程度地反映边缘像素在总像素中的占比,当ψG(i)<1,此时为平滑处像素,权重较小;当ψG(i)>1,此时为边缘处像素,权重较大㊂滤波结果如图2所示㊂可以很明显看出,改进的引导滤波可以更好地保持图像的细节,使得图像更加清晰㊂(a)采用方差的引导滤波㊀㊀(b)改进的引导滤波㊀㊀图2㊀滤波结果Fig.2㊀Filteringresults3㊀实验与结果分析本文所有算法都是计算机在Windows10系统下,使用MatlabR2018(b)软件进行实验㊂电脑配置为Intel(R)Core(TM)i5-7200UCPU@2.50GHz,4GBRAM㊂3.1㊀本文算法的实验结果本文算法运行的各步骤效果如图3所示㊂(a)原始微光图像(b)H E(c)G U M(d)G a m m a校正(e)加权引导滤波(f)增强图像图3㊀本文算法处理各步骤效果图Fig.3㊀Processingrenderingsofeachstep㊀㊀图3(d)是经过本文改进的gamma校正处理后的V通道图像,可知增强了整体亮度㊂图3(e)为经过本文改进的引导滤波处理后的V通道图像㊂图3(f)为本文算法最终的增强图像㊂可以看出,与原始微光图像相比,本文算法处理后的图像对比度㊁清晰度以及亮度均有比较明显的提升,图像的细节也得到较好的保留㊂综上所述,本文算法能有效提高图像质量㊂3.2㊀增强效果对比为了证实本文所提出算法的性能优势,将选用文献[18]的Retinex-Net算法㊁文献[19]的对比度受限的自适应直方图均衡化算法(CLAHE)㊁文献[20]以及文献[21]所提出的微光图像增强算法分别对相同的微光图像进行增强处理,最后与本文所提算法的处理结果进行比较㊂3.2.1㊀实验结果的主观评价本文所提算法与选用的4种算法的处理结果如图4所示㊂由图4(b)第3幅图像可知,通过文献[18]增强过的图像存在亮度提升过度的情况,整体过于模糊,丢失许多细节;通过文献[19]处理过的图像,整体颜色过于黯淡,且整体对比度不高㊂由图4(c)第1幅图像可看到,花盆旁边的地板㊁盆栽以及花朵的颜色不够鲜明,图4(c)中第3幅图像的地板亮度依旧很暗㊂通过文献[20]算法处理的图像,在色彩上存在一定失真,由图4(d)中第1幅图像可看到粉色花朵经过增强后变为白色,图4(d)中第2521第4期陈婷,等:基于引导滤波的微光图像增强算法研究幅图像的鲜橙色格子变为淡橙色㊂通过文献[21]处理过的图像,整体亮度提升不够,仍然较为黯淡;通过本文所提出算法增强后的图像,由图4(f)第1幅图像可看到图像的整体亮度提升较好,且盆栽及旁边的花朵颜色未出现失真,图4(f)第2幅图像的很多暗处的细节都显现出来,图4(f)第3㊁第4幅图像的增强效果也较好㊂因此,本文算法使增强后的图像在整体亮度㊁对比度以及细节保持㊁清晰度上都有了一定的提升,并且图像还原度较高,色彩鲜艳自然,总体来讲,主观视觉质量较好㊂(a)输入图像(b)文献[18]的算法(c)文献[19]的算法(d)文献[20]的算法(e)文献[21]的算法(f)本文算法图4㊀5种算法的结果对比图Fig.4㊀Comparisonchartoftheresultsofthefivealgorithms3.2.2㊀实验结果的客观评价本文选用3个客观指标来评价算法的优劣,详述如下㊂(1)峰值信噪比(PSNR)[22]:图像的PSNR是判断图像去噪效果最普遍㊁最常用的客观评价方法㊂数学定义公式具体如下:RPSN=10lgf2maxEMS(19)㊀㊀其中,fmax是灰度像素最大值,fmax=255,EMS是均方方差㊂从式(19)可以看出,PSNR值与图像质量成正比,当PSNR值越大,则表明增强后的结果图像质量越高㊂(2)结构相似度指标(SSIM)[23]:根据图像的亮度l(f,fe)㊁对比度c(f,fe)和结构s(f,fe)三者的比较,以此来评估处理后的结果图像相较于原始图像的质量㊂将这3个值结合起来,就能得到整体的相似度度量㊂其值越大,表明结构越相似,数学公式621智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第13卷㊀具体如下:MSSI=Flf,fe(),c(f,fe),s(f,fe)[](20)㊀㊀(3)无参考图像评价指标(NIQE)[24]:基于一个简单而成功的空间域自然场景统计(NSS)模型,构建了一个统计特征的 质量感知 集合㊂NIQE与图像质量成反比,即NIQE值越低,表明图像质量越高㊂本文算法与选用的4种算法的3个客观评价指标结果见表1 表3㊂以图4(a)中第1幅图像为例,本文所提算法与文献[18]相比较,峰值信噪比㊁结构相似度分别提高了0.089㊁0.009,无参考图像评价指标降低了0.249㊂相较于文献[19],峰值信噪比㊁结构相似度分别提高了0.0042㊁0.0001,无参考图像评价指标降低了0.7163㊂相较于文献[20],峰值信噪比㊁结构相似度分别提高了0.0003㊁0.0153,无参考图像评价指标降低了0.4187㊂相较于文献[21],峰值信噪比㊁结构相似度分别提高了0.013㊁0.007,无参考图像评价指标降低了0.1518㊂表1㊀本文算法和4种算法的PSNR值比较结果Tab.1㊀ComparisonofPSNRvaluesbetweenthealgorithminthispaperandthefouralgorithmsdBImageRetinex-NetCLAHERef.[20]Ref.[21]Proposeda(1)12.885012.969812.973712.961012.9740a(2)14.655314.650214.654314.638614.6560a(3)16.956316.894816.944416.895316.9682a(4)13.548113.550813.547113.537313.5555Average14.511214.515414.529914.508114.5384表2㊀本文算法和4种算法的SSIM值比较结果Tab.2㊀ComparisonofSSIMvaluesbetweenthealgorithminthispaperandthefouralgorithmsImageRetinex-NetCLAHERef.[20]Ref.[21]Proposeda(1)0.98810.99700.98180.99010.9971a(2)0.98190.99620.99070.98160.9968a(3)0.97230.96800.97360.97050.9738a(4)0.98510.99520.98780.98610.9961Average0.98190.98910.98350.98210.9910表3㊀本文算法和4种算法的NIQE值比较结果Tab.3㊀ComparisonofNIQEvaluesbetweenthealgorithminthispaperandthefouralgorithmsImageRetinex-NetCLAHERef.[20]Ref.[21]Proposeda(1)2.64743.11472.81712.55022.3984a(2)2.58812.96492.69552.31592.5660a(3)2.87603.23622.98273.87712.7991a(4)4.23783.39403.38514.24723.3646Average3.08733.17752.97013.24762.7820㊀㊀通过客观数据分析表明,经本文算法处理过的图像,不论是在峰值信噪比㊁结构相似度还是无参考图像评价指标以及各自平均值,与选用的另外4种算法处理后的图像相比较,得到的数据结果都是相对比较好的㊂4㊀结束语针对微光图像的亮度低㊁细节丢失的问题,本文提出一种基于引导滤波的微光图像增强算法㊂所提算法使用改进的伽马校正解决亮度低的问题,改进的引导滤波解决细节丢失的问题㊂最后的增强结果不论是从客观评价㊁还是主观评价指标方面看,与本文选用的4种图像增强算法的效果相比,本文算法在各方面都有一定的优势㊂最后,尽管本文所提算法在对微光图像的增强效果方面有了一定提升,但依旧需要对其做更深一步的优化,例如减少算法运行时间以及拓宽算法的应用场景㊂(下转第134页)721第4期陈婷,等:基于引导滤波的微光图像增强算法研究[7]张亮.基于多源数据融合的变结构DBN模型基因调控网络构建[D].天津:天津大学,2009.[8]肖秦琨.基于动态贝叶斯网络的智能自主优化机制研究[D].西安:西北工业大学,2006.[9]陈云.贝叶斯网络结构学习算法研究及应用[D].广东:广东工业大学,2015.[10]贾士政.博弈场景下自动驾驶车辆通行避撞研究[D].长春:吉林大学,2021.[11]GEARYJ,GOUKH.Altruisticdecision-makingforautonomousdrivingwithsparserewards[J].arXivpreprintarXiv:2007.07182V1,2020.[12]孙兆林,杨宏文,胡卫东.基于贝叶斯网络的态势估计时间推理方法[J].火力与指挥控制,2007(01):30-33,44.[13]ZHANGYinghua,HUQiping,ZHANGWensheng,etal.AnovelBayesiannetworkstructurelearningalgorithmbasedonMaximalInformationCoefficient[J]//2012IEEEFifthInternationalConferenceonAdvancedComputationalIntelligence(ICACI).NANJING,CHINA:IEEE,2012:862-867.[14]SPIEGELHALTERDJ,LAURITZENSL.Sequentialupdatingofconditionalprobabilitiesondirectedgraphicalstructures[J].Networks,2010,20(5):579-605.(上接第127页)参考文献[1]赵馨宇,黄福珍.基于双通道先验和光照图引导滤波的图像增强[J].激光与光电子学进展,2021,58(08):0810001.[2]LANDEH.Theretinex[J].Americanscientist,1964,52(2):247-253,255-264.[3]WANGManli,TIANZijian,GUIWeifeng,etal.Low-lightimageenhancementbasedonnonsubsampledshearlettransform[J].IEEEAccess,2020,99:1-1.[4]YAMAKAWAM,SUGITAY.Imageenhancementusingretinexandimagefusiontechniques[J].Electronics&CommunicationsinJapan.2018,101(8):52-63.[5]HEKaiming,SUNJian,TANGXiaoᶄou.SingleimageHazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,33(12):2341-2353.[6]DONGXuan,WANGGuan,PANGYi,etal.Fastefficientalgorithmforenhancementoflowlightingvideo[C]//2011IEEEInternationalConferenceonMultimediaandExpo.Barcelona,Spain:IEEE,2011:1-6.[7]LOREKG,AKINTAYOA,SARKARS.LLNet:Adeepautoencoderapproachtonaturallow-lightimageenhancement[J].PatternRecognition,2017,61:650-662.[8]KIMG,KWOND,KWONJ.Low-lightgan:Low-lightenhancementviaadvancedgenerativeadversarialnetworkwithtask-driventraining[C]//IEEEInternationalConferenceonImageProcessing(ICIP).Taipei:IEEE,2019:2811-2815.[9]赵宏宇,肖创柏,禹晶,等.基于WLS的Retinex单幅夜间彩色图像增强方法[J].北京工业大学学报,2014,40(03):404-410.[10]HEKaiming,SUNJian,TANGXiaoᶄou.Guidedimagefiltering[J].IEEETrans.PatternAnalMach.Intell,2013,35(6):1397-1409.[11]韩梦妍,李良荣,蒋凯.基于光照图估计的Retinex低照度图像增强算法[J].计算机工程,2021,47(10):201-206.[12]杨先凤,李小兰,贵红军.改进的自适应伽马变换图像增强算法仿真[J].计算机仿真,2020,37(05):241-245.[13]DENGGuang.Ageneralizedunsharpmaskingalgorithm[J].IEEETransactionsonImageProcessingAPublicationoftheIEEESignalProcessingSociety,2011,20(5):1249-1261.[14]PARIHARAS,SINGHK,ROHILLAH,etal.Fusion-basedsimultaneousestimationofreflectanceandilluminationforlowlightimageenhancement[J].IETImageProcessing,2020,15(4):1-14.[15]BURTPJ,ADELSONEH.Thelaplacianpyramidasacompactimagecode[J].IEEETransactionsonCommunications,1983,31(4):532-540.[16]LIZhengguo,ZHENGJinghong,ZHUZijian,etal.Weightedguidedimagefiltering[J].IEEETransactionsonImageProcessing,2015,24(1):120-129.[17]拉斐尔㊃C㊃冈萨雷斯,理查德㊃E㊃伍兹,史蒂文㊃L㊃埃丁斯等.数字图像处理的MATLAB实现[M].2版.阮秋琦,译.北京:清华大学出版社,2013.[18]CHENWei,WANGWenjing,YANGWenhan,etal.Deepretinexdecompositionforlow-lightenhancement[C]//2018theBritishMachineVisionConference(BMVC).Newcastle,UK:NorthumbriaUniversity,2018:155.[19]ZUIDERVELDK.Contrastlimitedadaptivehistogramequalization[J].GraphicsGems,1994:474-485.[20]AL-AMEENZ.Nighttimeimageenhancementusinganewilluminationboostalgorithm[J].ImageProcessing,IET,2019,13(8):1314-1320.[21]WANGQiuhong,FUXueyang,ZHANGXiaoping,etal.Afusion-basedmethodforsinglebacklitimageenhancement[C]//2016IEEEInternationalConferenceonImageProcessing(ICIP).Phoenix,AZ,USA:IEEE,2016:4077-4081.[22]HORÉA,ZIOUD.Imagequalitymetrics:PSNRvsSSIM[C]//20thInternationalConferenceonPatternRecognition(ICPR).Istanbul,Turkey:IEEEComputerSociety,2010:2366-2369.[23]WANGZhou,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.[24]MITTALA,SOUNDARARAJANR,BOVIKAC.Makingacompletelyblindimagequalityanalyzer[J].IEEESignalprocessingletters,2012,20(3):209-212.431智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第13卷㊀。
拉普拉斯金字塔融合

02 拉普拉斯金字塔原理
拉普拉斯金字塔的构建原理
通过不断下采样和上采样,将 高分辨率图像和低分辨率图像 进行融合,得到不同分辨率的
图像。
下采样过程:将高分辨率图像 进行降采样,得到低分辨率图
像。
上采样过程:将低分辨率图像 进行插值,得到高分辨率图像 。
重复以上过程,可以得到一系 列不同分辨率的图像,形成拉 普拉斯金字塔。
图像识别
通过拉普拉斯金字塔融合,可以将不 同角度、光照和尺度下的图像信息进 行整合,提高图像识别的准确性和鲁 棒性。
在其他领域的应用
医学影像处理
在医学影像处理中,拉普拉斯金字塔 融合可以用于提高医学影像的分辨率 和清晰度,帮助医生更好地诊断病情 。
遥感图像处理
在遥感图像处理中,拉普拉斯金字塔 融合可以用于提高遥感图像的分辨率 和清晰度,帮助研究人员更好地分析 和理解地理信息。
利用拉普拉斯金字塔融合为虚拟现实和增强现实提供更逼真的图像 效果。
人工智能与机器学习
结合拉普拉斯金字塔融合与人工智能技术,实现图像的自动分类和 识别。
THANKS FOR WATCHING
感谢您的观看
调整参数
根据实验结果和经验,调整算法中的相关参数,以获得最佳的融合效 果。
04 拉普拉斯金字塔融合的应 用
在图像处理中的应用
01
02
03
图像融合
拉普拉斯金字塔融合能够 将多幅图像的信息融合到 一幅图像中,提高图像的 清晰度和分辨率。
图像增强
通过拉普拉斯金字塔融合, 可以将不同频率的图像信 息进行整合,增强图像的 细节和层次感。
缺点
信息丢失
由于拉普拉斯金字塔只保留了相邻尺度的差异信息,可能会丢失一 些重要的原始图像特征,导致图像细节的丢失或失真。
基于拉普拉斯金字塔的图像细节增强

基于拉普拉斯金字塔的图像细节增强摘要:拉普拉斯金字塔被广泛地运用于到多尺度的图像分解和图像分析中,但由于拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的,它被认为是不适合于应用到边缘保持平滑的感知操作中。
为了解决这些问题,许多方法已被提出。
虽然这些方法被证明是成功的,但他们常伴有较高的计算成本或是需要后期处理。
我们算法是运用边缘像素值来区分大型边缘上的小规模细节。
在这个结果的基础上,我们提出了一套图像过滤器,以实现图像的细节增强,我们做法的优势是算法的简单性和灵活性,并且不会降低边或引进光晕。
关键词:拉普拉斯金字塔;细节增强;图像过滤器image details enhancement based on laplacian pyramidpei renjing(computer school of wuhan university,wuhan430072,china) abstract:the laplacian pyramid is widely used in the multi-scale image decomposition and image analysis,but because the composition of the laplacian pyramid is evolved on the basis of the gaussian pyramid,it was considered not suitable for application to the edge preserving smooth-aware operation.to solve these problems,many methods have been proposed.although these methods proved to be successful,but they are often accompanied by a high computational cost orneed post-processing.our algorithm is to use the edge of the pixel values to distinguish between large-scale on the edge of small-scale details.on the basis of this result,we propose a set of image filters,in order to achieve the image detail enhancement,we would have the advantage is the simplicity and flexibility of the algorithm, and does not reduce the side or the introduction of halo.keywords:laplace pyramid;detail enhancement;image filters 一、引言拉普拉斯金字塔算法是一种多尺度、多分辨率的方法。
基于模拟曝光融合的非均匀光照图像增强

第61卷 第3期吉林大学学报(理学版)V o l .61 N o .3 2023年5月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )M a y 2023d o i :10.13413/j .c n k i .jd x b l x b .2022080基于模拟曝光融合的非均匀光照图像增强王若状,臧景峰,张朋朋(长春理工大学电子信息工程学院,长春130022)摘要:针对非均匀光照图像存在的场景细节被掩盖㊁图像信息获取较难的问题,提出一种基于模拟曝光融合的非均匀光照图像增强方法.首先,在H S V 颜色空间下使用改进的自适应伽马校正算法处理亮度分量,将其作为中等曝光图像;其次,对亮度分量通过动态阈值划分过曝光像素集,对其使用最大信息熵估计及相机响应模型合成模拟的过曝光图像;再次,对原图像㊁中等曝光图像㊁过曝光图像组成的多曝光图像序列使用改进的质量度量方法以及基于导向滤波的权重优化方法得到融合图像;最后,融合结果经过多尺度细节增强处理得到最终的图像增强结果.实验结果表明,该算法能有效改善非均匀光照图像的视觉效果,通过主客观评价的数据对比,表明本文算法优于同类算法.关键词:非均匀光照;自适应伽马校正;模拟曝光图像;多曝光融合;导向滤波中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2023)03-0601-11N o n -u n i f o r mI l l u m i n a t i o n I m a g eE n h a n c e m e n t B a s e d o nS i m u l a t e dE x po s u r eF u s i o n WA N G R u o z h u a n g ,Z A N GJ i n g f e n g ,Z H A N GP e n g p e n g(S c h o o l o f E l e c t r o n i c a n dI n f o r m a t i o nE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )收稿日期:2022-03-03.第一作者简介:王若状(1997 ),男,汉族,硕士研究生,从事图像融合与图像增强的研究,E -m a i l :3347570691@q q.c o m.通信作者简介:臧景峰(1976 ),男,汉族,博士,教授,从事计算机视觉和嵌入式系统的研究,E -m a i l :z a n g j i n g f e n g@c u s t .e d u .c n .基金项目:吉林省教育厅科学技术研究项目(批准号:J J K H 20210839K J ).A b s t r a c t :A i m i n g a tt h e p r o b l e m so fs c e n ed e t a i l sb e i n g c o v e r e du p a n di m a g ei n f o r m a t i o nb e i n g d i f f i c u l t t oo b t a i n i nn o n -u n i f o r mi l l u m i n a t i o n i m a g e s ,w e p r o p o s e d an o n -u n i f o r mi l l u m i n a t i o n i m a g e e n h a n c e m e n tm e t h o db a s e do ns i m u l a t e de x p o s u r ef u s i o n .F i r s t l y ,a ni m p r o v e da d a p t i v e G a mm a c o r r e c t i o na l g o r i t h m w a s u s e d i nH S Vc o l o r s p a c e t o p r o c e s s t h eb r i g h t n e s s c o m p o n e n t a s am e d i u m e x p o s u r e i m a g e .S e c o n d l y ,t h eo v e r -e x p o s u r e p i x e ls e t w a sd i v i d e db y d y n a m i ct h r e s h o l df o rt h e b r i g h t n e s s c o m p o n e n t ,a n dt h es i m u l a t e do v e r -e x p o s u r e i m a g ew a ss y n t h e s i z e db y u s i n g m a x i m u m i n f o r m a t i o n e n t r o p y e s t i m a t i o n a n d c a m e r a r e s p o n s e m o d e l .T h i r d l y ,t h e i m p r o v e d q u a l i t ym e a s u r e m e n tm e t h o d a n d t h ew e i g h t o p t i m i z a t i o n m e t h o db a s e do n t h e g u i d e d f i l t e r i n g w e r eu s e d t o o b t a i n t h e f u s e d i m a g e f o r t h em u l t i -e x p o s u r e i m a g e s e q u e n c e s c o m p o s e dof t h eo r ig i n a l i m a g e s ,th e m e di u m -e x p o s u r e i m a g e s a n d t h eo v e r -e x p o s u r e i m a g e s .F i n a l l y ,t h e f u s i o nr e s u l tw a s p r o c e s s e db y m u l t i -s c a l e d e t a i l e n h a n c e m e n t t o o b t a i n t h e f i n a l i m a g e e n h a n c e m e n t r e s u l t .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e p r o p o s e d a l g o r i t h mc a n e f f e c t i v e l y i m p r o v e t h e v i s u a l e f f e c t o f n o n -u n i f o r mi l l u m i n a t i o n i m a g e s .T h e c o m p a r i s o n o f s u bj e c t i v e a n d o b j e c t i v e e v a l u a t i o n d a t a s h o w s t h a t t h e p r o p o s e d a l go r i t h m206吉林大学学报(理学版)第61卷i s s u p e r i o r t o s i m i l a r a l g o r i t h m s.K e y w o r d s:n o n-u n i f o r m i l l u m i n a t i o n;a d a p t i v e G a mm a c o r r e c t i o n;s i m u l a t e d e x p o s u r e i m a g e; m u l t i-e x p o s u r e f u s i o n;g u i d e d f i l t e r i n g非均匀光照图像通常指由于拍摄时光照不均或曝光不当等原因产生的低质量图像,常见的如逆光㊁低光照㊁非均匀照明等场景,这些图像普遍存在亮度不均㊁对比度低㊁图像细节信息被掩盖等问题.为改善这类图像的视觉效果,复原图像信息,许多研究者针对该问题提出了图像增强方案.目前,关于非均匀光照的图像增强主要包括以下几类算法:1)基于直方图均衡(h i s t o g r a me q u a l i z a t i o n,H E)的增强算法,基于图像直方图改变像素值的分布情况,扩宽图像的动态范围,从而达到照度增强的目的,该类方法较简单,但其作用范围是图像全局,存在色彩失真㊁放大噪声等问题;2)基于大气散射模型(a t m o s p h e r i c d i s p e r s i o nm o d e l,A D M)的算法,该模型最初源于暗通道去雾模型[1],之后基于非均匀光照图像取反后与雾天图像在亮度分布上具有相似性理论,衍生出基于单通道和双通道先验的非均匀光照图像增强算法,但该类方法的理论假设在物理上并不合理,因此增强后需要进行后处理强化[2];3)基于照度反射模型R e t i n e x理论,认为图像成像值可表示为场景光照分量和场景反射分量的乘积,传统基于R e t i n e x的增强方法通过去除光照分量并增强反射分量达到增强效果[3-4],但存在易出现过度增强及细节失真等问题;4)基于深度学习(d e e p l e a r n i n g,D L)的方法,该类方法需要设计合理的网络模型,且依赖于非均匀光照图像数据集资源和较强的计算能力,也是近年较热门的研究方法[5].此外,多曝光融合(m u l t i e x p o s u r e f u s i o n)的方法,多用于实现高动态范围(h i g hd y n a m i c r a n g e, H D R)显示,通过融合在不同曝光时间下捕获的场景细节,能有效扩展图像的动态范围,该技术目前也较多用于非均匀光照图像增强.H u a n g等[6]对曝光图像序列的单张图像分别进行对比度提取㊁结构保持和强度调整操作,并使用局部权重㊁全局权重和显著性权重融合结构保持和强度调整的图块,最终将三部分进行融合得到增强图像,但存在色彩失真的问题;Y a n g等[7]借助强度映射函数将两张图像生成曝光时间相同的两张虚拟中间图像,使用权重合并两张图像为最终的虚拟图像,使用质量因子权重估计对两张初始图像和合成的虚拟图像,但会出现色彩失真㊁视觉效果略差的问题;L e e等[8]根据每张图像与曝光图像序列的其他图像的整体亮度关系及全局梯度范围大小分别确定权重,将两类权重结合作为该图像在融合过程的最终权重,能取得较好的融合效果,但具有一定的计算复杂度,且会出现光晕现象;L i等[9]提出了改进的曝光融合权重计算方法,使用结合自适应直方图均衡的L a p l a c e滤波结果作为对比度权重,并提出将图像信息熵作为一种新的权重代替传统权重中的饱和度权重,最终的融合结果与传统权重度量方法相比在主观视觉上增强效果并不显著;Lü[10]通过对传统权重图使用函数映射构建加权的高斯金字塔,根据图像差和二维信息熵优化权重图以消除运动伪影,并基于图像对比度进行自适应细节增强,取得了较好的融合效果;L i u等[11]提出一种注意力引导的全局-局部对抗性曝光融合学习网络,先通过注意力权重获取粗融合结果,再使用边缘损失函数改进融合过程增强边缘信息,并通过全局-局部学习纠正颜色失真,取得了较好的融合效果.传统使用拍摄的曝光序列融合方法需要场景相对稳定,否则在融合后会出现伪影.本文基于相机响应模型可由单张图像直接生成模拟的曝光序列,避免了该问题,同时结合改进的自适应伽马校正㊁动态曝光区域分割阈值和曝光融合方法,有效解决了非均匀光照图像视觉效果较差的问题.本文算法的流程如图1所示.图1 本文算法流程F i g .1 F l o wc h a r t o f p r o p o s e da l go r i t h m 1 模拟曝光融合图像增强算法1.1 颜色空间转换从像素水平分析,相同场景下不同曝光度的图像颜色信息基本不变,只是亮度差异显著,因此对多曝光图像序列只需处理图像的亮度信息而保留颜色信息,以保证在增强图像亮度细节的基础上不改变图像的原始色彩信息,而通常计算机处理的彩色图像都是用R G B 颜色空间表示的,其主要问题是三通道彩色分量高度线性相关,不适于分离亮度与颜色信息.H S V 颜色空间是根据人对颜色的感知特性进行描述的,由色调(H )㊁饱和度(S )和明度(V )三个分量合成,其中明度V 是对物体发光或光照辐射进行描述,能反映图像场景的亮度信息,同时与两个颜色描述分量具有良好的独立性,符合本文对颜色空间的设计要求,因此本文将待处理图像转换至H S V 空间并对V 分量进行增强处理.1.2 相机响应模型相机响应函数(c a m e r a r e s p o n s e f u n c t i o n ,C R F )可描述为相机传感器辐照度与图像像素之间的非线性映射关系:P (x ,y )=f (E (x ,y )),(1)其中P (x ,y )表示成像像素值,E (x ,y )表示场景辐射强度,f (㊃)表示相机响应函数.文献[12]提出用亮度变换函数(b r i g h t t r a n s f o r mf u n c t i o n ,B M F )间接估计C R F ,是目前应用较广的一种C R F 模型,表示为P N =g (P M ,k ),(2)并有P N =f (k E ),(3)其中P N 和P M 为仅曝光不同的两张图像,g (㊃)为B M F 函数,k 为由P M 生成P N 的曝光率,E 为场景辐射强度.参照伽马校正,将g (㊃)拟合为P N =βP γM ,(4)其中β,γ为参数因子.由式(2)~(4)有β=e x p {b (1-k a )},γ=ka {,(5)即B T F 可表示为P x =βx P γx0=e x p {b (1-k a x )}P k a x 0,(6)其中P x 表示基础图像为P 0㊁曝光率为k x 时对应的模拟曝光图像.实验表明,满足参数a =-0.3293,b =1.1258时,该模型可适用于大部分相机.1.3 模拟曝光序列由于原图像可以包含场景最多的细节信息,而模拟曝光图像将不可避免地导致图像细节损失,因此直接使用原图像作为曝光序列的一张图像,能补偿曝光序列中其他图像在细节上的不足,下面通过自适应伽马校正和相机响应模型分别生成中等曝光与过曝光图像.306 第3期 王若状,等:基于模拟曝光融合的非均匀光照图像增强1.3.1 自适应伽马校正传统的伽马校正由于其参数固定,对不同的图像采用相同参数的非线性变换,即对不同图像的亮度校正程度不变,这对后续的图像增强处理显然不合适.因此,本文改进文献[13]的自适应伽马校正方法,对待增强图像的V 分量进行处理.首先,需对图像的对比度及明暗度进行划分,根据划分属性进行针对性的校正处理,本文采用离散L a p l a c e 滤波绝对值的均值췍T 作为对比度度量,相比文献[13]使用均值与标准差度量的方法,该方法能更好地反映像素点之间的空间关系:T =V *h L ,(7)C =C 1,췍T <1/θ,C 2,其他{,(8)其中:h L 为3ˑ3离散L a p l a c e 滤波核;T 为对比度度量值;C 1为划分的低对比度图像集,C 2为划分的中等对比度图像集,V ɪC ;θ为阈值参数,取θ=50.其次,使用对比度决定伽马值,相比于文献[13],本文对低对比度图像伽马值进行补偿,即γ=-l o g 2(μ+σ),V ɪC 1,e x p {[1-(μ+σ)]/2},V ɪC 2{,(9)其中γ为计算的伽马值,μ,σ分别为V 的均值和标准差.最后,使用均值μ作为明暗度度量,决定伽马校正系数K ,即K =1/[V γ+(1-V γ)μγ],μ<0.5,1,其他{.(10) 因此,自适应伽马校正结果为V *=K V γ.(11)经自适应伽马校正的处理结果V *整体上已具备了良好的曝光水平,将其作为中等曝光图像.1.3.2 过曝光图像用自适应阈值划分过曝光区域,对于曝光度较好的像素点,其归一化均值接近于0.5.本文采用的动态过曝光划分阈值表示为t =1/(1+e x p {-6췍V +3}),(12)其中t 为过曝光阈值,췍V为亮度分量V 的均值.经上述计算,过曝光阈值自适应地提高,以获取图像中的更多亮度像素;当图像偏亮时,过曝光阈值自适应地降低,以获取更多的亮度像素;相比文献[14]采用的固定阈值,本文获取的过曝光集合特征性更强.因此获得的过曝光集合V ᶄ为V ᶄ={(x ,y )V (x ,y )>t }.(13) 由于用最佳曝光率拍摄的图像将包含最大的信息量,因此采用最大信息熵表征最多的图像信息量,计算最佳曝光值,根据式(6)生成过曝光图像的曝光率为k ᶄ=a r g m a x k H (g (V ᶄ,k ))=a r g m a x k H (V ᵡ),(14)其中H (㊃)为信息熵函数.由上述计算可得中等曝光亮度V *和过曝光亮度V ᵡ,再结合颜色分量H ,S 转换为R G B 空间,并与原图像I 组成曝光图像序列{I ,I *,I ᵡ}.逆光场景下模拟合成的曝光序列如图2所示.1.4 曝光融合曝光融合的目的是利用多曝光序列之间亮度的互补关系,按照权重分配融合不同曝光度的图像,最终使图像各区域呈现出适宜曝光条件下的成像效果.文献[15]采用了基于质量度量和双金字塔融合框架的曝光融合方法,但该方法获得的融合图像可能会在明暗交界等亮度变化明显的区域出现光晕现象.本文使用改进的质量度量方法构建权重图,并使用改进导向滤波优化权重,最终结合细节增强得到没有光晕影响的融合图像.1.4.1 基于质量度量的权重合成本文用对比度㊁饱和度和良好曝光度作为图像质量度量指标计算多曝光序列{I k }的权重图.使用406 吉林大学学报(理学版) 第61卷图2 逆光场景下模拟合成的曝光序列F i g .2 E x p o s u r e s e q u e n c e o f s i m u l a t e d s y n t h e s i s i nb a c k l i gh t s c e n e 离散L a p l a c e 滤波器提取{I k }的边缘细节,并取响应的绝对值表征图像的边缘变化,作为对比度度量,根据式(7)有ωc ,k =13ði I i ,k ˑh ()L ,(15)其中:ωc ,k 为对比度度量;i 为颜色通道值,i ={R ,G ,B };由于过曝光和欠曝光区域在色彩上通常表现为欠饱和,因此使用R G B 颜色通道的标准平方差度量饱和度,即ωs ,k (x ,y )=(C 2R +C 2G +C 2B )/3,(16)其中:ωc ,k 为饱和度度量;C i (x ,y )=I i ,k (x ,y )-췍I k (x ,y ),췍I k 为颜色通道均值.用高斯曲线度量像素值与最佳曝光像素值的接近程度度量曝光度,对于归一化亮度分量,一般取最佳曝光值为0.5,标准差σ=0.2.本文为增强曝光度度量的特征性,在原曝光度量基础上添加补偿参数,即ωe ,k =ᵑi A +B 2ˑe x p -(I i ,k (x ,y )-0.5)22σ{}æèçöø÷2,(17)经实验验证,取参数A =0.5,B =췍I k 时,式(17)具有良好的曝光度度量能力.综合式(15)~(17),I k 的归一化权重图构建为W k =ωc ,k ˑωs ,k ˑωe ,k ð3k =1(ωc ,k ˑωs ,k ˑωe ,k )+η,(18)其中η=5ˑ10e -6.1.4.2 基于导向滤波的权重优化用上述方法得到初始权重直接融合的结果具有严重的斑块效应,因此需对初始权重进行优化.导向滤波[16]基于滤波结果在局部与导向图像保持一定线性关系的关键假设,构建自适应滤波核,当导向图像为输入图像本身时,滤波结果在平滑的同时能保持图像边缘,本文采用导向滤波优化权重图,即Q i =a k W i +b k , ∀i ɪφk ,(19)其中:a k ,b k 为以i 为像素中心㊁半径为r 的局部窗体φk 上的常量线性系数;Q i 为初始权重的导向滤波结果,可知Q i 的边缘信息只来自于初始权重W i .基于最小二乘法进行系数拟合,即E (a k ,b k )=ði ɪφk [(Q i -^W i )2+εa 2k ],(20)其中E (a k ,b k )为误差函数,ε为正则化参数,用以约束平滑力度a k .由于传统导向滤波中参数ε是固定的,即对于边缘强弱的约束能力不变,会导致部分区域过平滑而出现光晕,因此本文根据导向图像的梯度图获取纹理信息,对参数ε进行自适应调整[17],即εᶄ=0.25,G (x ,y )<0.2,0.25ˑe x p {-3ˑ(G (x ,y )-0.2)},G (x ,y )ȡ0.2{,(21)506 第3期 王若状,等:基于模拟曝光融合的非均匀光照图像增强其中G (x ,y )为梯度函数.经式(20),(21)计算得:a k =φ-1ði ɪφk (W 2i -μk 췍W k )δk +εᶄ,(22)b k =췍W k -a k μk ,(23)其中췍W k 为原始权重均值,μk ,δk 分别为导向图在局部窗体上的均值和标准差.由于所有重叠窗口中均包含像素i ,需进行取均值处理,因此最终的优化权重为Q i =φ-1ði ɪφk(a k W i +b k ).(24)从而融合图像表示为췍I (x ,y )=ð3i =1Q i (x ,y )ˑI i (x ,y ),(25) 实验结果表明,经过上述融合过程得到的增强结果相比于原图像会出现一定程度上的细节损失,因此本文使用基于高斯滤波差分的多尺度细节[18]提升算法,得到输入图像的细节图像:D =(1-λ1ˑs g n (D 1))ˑD 1+λ2ˑD 2+λ3ˑD 3,(26)其中D 为根据输入图像计算的细节图像,D i (i =1,2,3)为对应高斯核循环计算的差分图像,权重λ1=λ2=0.5,λ3=0.25.因此,最终经过细节增强处理的增强结果为^I =D ˑX +췍I ,(27)其中D 为细节图像,췍I 为细节增强前图像,X 为增强系数,本文取X =1.图像光晕消除前后结果对比如图3所示.图3 图像光晕消除前后结果对比F i g .3 C o m p a r i s o no f r e s u l t s b e f o r e a n da f t e r i m a ge h a l o e l i m i n a t i o n 2 实验与分析本文基于P C 平台(W i n d o w s 10系统,I n t e l (R )C o r e (TM )i 5-7200U C P U@2.70G H z 处理器,8G B 内存)上的MA T L A B 2016b 进行实验验证,并与L I M E [19],C R M [12],C E A [14],B I M E F [20],N P L I E [21]几类经典算法从主观和客观方面对实验结果进行对比分析.低照度场景图像增强结果及细节对比如图4和图5所示.逆光场景图像增强结果及细节对比如图6~图9所示.由图4~图9可见,在不同场景下本文算法的效果均最好.2.1 主观因素对于图4场景,由于L I E M 算法亮度提升的程度过大,因此使得场景相对并不自然,C R M ,C E A ,B I M E F 和N P L I E 算法整体仍偏暗,树叶㊁墙壁㊁白色建筑等部分颜色信息和对比度不突出,本文算法场景相对自然,图像细节信息相对突出.对于图5场景,L I M E 算法对云的形态细节㊁轮廓及颜色过606 吉林大学学报(理学版) 第61卷图4 低照度场景图像增强结果及细节对比1F i g .4 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m pa r i s o n1i n l o wi l l u m i n a t i o n s c e n es 图5 低照度场景图像增强结果及细节对比2F i g .5 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m pa r i s o n2i n l o wi l l u m i n a t i o n s c e n e s 分突出,场景不自然,C R M 算法在图像边缘出现了大面积光晕,C E A 算法细节保留较好,但图像偏暗,N P L I E 和本文算法在颜色㊁场景轮廓等细节信息上更丰富.对于图6场景,L I M E 算法同样增强过度,C R M 算法也出现了一定的光晕,C E A 和N P L I E 算法在建筑体上相对较暗,本文算法在保留图像细节信息的基础上,图像饱和度较好,颜色信息更突出.对于图7场景,几类算法处理结果相近,相比之下L I M E 算法仍增强过度,C R M 算法仍出现了光晕,C E A 和B I M E F 算法在墙体建筑区域偏暗,N P L I E 与本文算法在对应区域颜色饱和,细节清楚.对于图8场景,几类算法对窗体亮光区域没有过度放大,C R M ,C E A 和B I M E F 算法表现得偏暗,本文算法色彩饱和,在吊灯等场景的边缘细节突出.对于图9场景,C E A ,B I M E F 和N P L I E 算法能复原场景的细节信息,但相对偏暗,L I M E 算法仍增强过度,本文算法则相对自然.主观评价指标包括清晰度㊁细节保持度㊁场景自然效果3个维度,评价者对每张图像在3个指标上打分并计算算术平均值.表1为选取的10位评价者对数据集M L L P -S e t [22]上测试结果的主观评价平均值(10分为满分);表2为10位评价者对数据集V V -S e t (h t t p s ://s i t e s .g o o gl e .c o m /s i t e /v o n i k a k i s /d a t a s e t s /c h a l l e n g i n g -d a t a s e t -f o r -e n h a n c e m e n t )上测试结果的主观评价平均值(10分为满分).706 第3期 王若状,等:基于模拟曝光融合的非均匀光照图像增强图6 逆光场景图像增强结果及细节对比1F i g .6 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m p a r i s o n1i nb a c k l i gh t s c e n es 图7 逆光场景图像增强结果及细节对比2F i g .7 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m p a r i s o n2i nb a c k l i gh t s c e n e s 表1 数据集M L L P -S e t 上测试结果的平均主观评价指标T a b l e 1 A v e r a g e s u b je c t i v e e v a l u a t i o n i n d e x of t e s t r e s u l t s o n M L L P -S e t d a t a s e t 算法清晰度细节保持度场景自然度综合平均值L I M E 8.27.57.57.73C R M 8.17.87.47.77C E A 8.08.07.87.93B I M E F 8.28.58.08.23N P L I E 8.38.58.18.30本文8.58.68.18.40表2 数据集V V -S e t 上测试结果的平均主观评价指标T a b l e 2 A v e r a g e s u b je c t i v e e v a l u a t i o n i n d e x of t e s t r e s u l t s o nV V -S e t d a t a s e t 算法清晰度细节保持度场景自然度综合平均值L I M E 7.97.87.27.63C R M 7.97.67.57.67C E A 8.07.97.97.93B I M E F 8.28.18.28.17N P L I E 8.38.38.28.27本文8.48.48.28.33806 吉林大学学报(理学版) 第61卷图8 逆光场景图像增强结果及细节对比3F i g .8 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m p a r i s o n3i nb a c k l i gh t s c e n es 图9 逆光场景图像增强结果及细节对比4F i g .9 I m a g e e n h a n c e m e n t r e s u l t s a n dd e t a i l c o m p a r i s o n4i nb a c k l i gh t s c e n e s 由表1和表2可见,10位评价者认为在几种算法中,L I M E 和C R M 算法综合得分较低,即对两类算法增强结果的认可度较低,B I M E F 算法综合得分好于C E A 算法,N P L I E 算法与本文算法最接近,但本文算法综合得分更高,表明10位评价者对本文算法的增强结果最认可.2.2 客观因素主观因素分析可能带有评价者主观意识下的偏好,且评价结果可能受多种因素的影响,因此仅通过主观分析不足以说明问题,需通过图像处理领域广泛使用的图像质量评价指标对图像质量和信息量进行客观度量.本文采用结构相似性(S S I M )㊁平均信息熵(A I E )和视觉信息保真度(V I F )指标对同类算法的处理结果进行评价.S S I M 用于度量结果图像与原始图像在结构上的差异性,通过在局部区域上的像素统计量构造亮度㊁对比度和结构估计,并作为影响因子构建相似度度量函数,综合局部相似性指标作为最终的相似度度量,其值范围为[0,1].该值越接近1,表明结果图像与原始图像的相似度越高.A I E 即通过平均信息熵计算度量图像所包含的平均信息量,该值越大表明图像所包含的信息量越丰富,在图像质量上表现为图像的清晰度㊁对比度较好,细节信息较丰富.V I F 认为人的视觉系统也是一种失真通道,即原始图像和失真图像在被人捕捉为视觉信息的过程中同样存在信息损失,并将人眼获得的失真图像信906 第3期 王若状,等:基于模拟曝光融合的非均匀光照图像增强016吉林大学学报(理学版)第61卷息与原始图像信息的比值定义为视觉信息保真度,表征失真图像相对于原始图像信息保留的完整性,其值范围为[0,1].该值越接近1,表明信息完整性越好.数据集M L L P-S e t和V V-S e t上测试结果的平均客观评价指标分别列于表3和表4.表3数据集M L L P-S e t上测试结果的平均客观评价指标T a b l e3A v e r a g e o b j e c t i v e e v a l u a t i o n i n d e x o f t e s t r e s u l t s o n M L L P-S e t d a t a s e tT a b l e4A v e r a g e o b j e c t i v e e v a l u a t i o n i n d e x o f t e s t r e s u l t s o nV V-S e t d a t a s e t由表可见:和算法值较低,表明对于原图像,增强图像在结构信息上发生了较大改变,本文算法在S S I M指标上略低于C E A算法,并与N P L I E算法相近,表明这3种算法对原始图像结构属性保留的能力大致相同;L I M E和C R M算法的A I E值较高,但亮度增强过度,存在细节失真的问题,本文算法A I E值则高于其他三类算法,在清晰度㊁对比度㊁细节信息等方面的表达较好.对于V I F指标,本文算法最高,表明对图像原始信息的保留能力较好,C E A和N P L I E算法则相对较弱.由表4可见,在数据集V V-S e t上的测试结果与表3数据中各种算法的指标数据差异性大致相同,表明本文算法的增强结果在视觉保真度上优于其他算法.实验结果表明,客观分析与主观分析在结论上具有一致性,证明了本文算法在处理非均匀光照图像增强方面的有效性.综上所述,本文针对非均匀光照图像的低质量问题提出了一种模拟多曝光融合的图像增强算法,具有以下特点:1)基于相机响应函数,使用单张低质量图像模拟合成多曝光图像序列,避免了拍摄的多曝光序列因场景变化可能导致的融合后出现伪影.2)用动态阈值分割过曝光区域,针对不同的低质量图像提取特征性更强的过曝光像素集合;用改进的自适应伽马校正获得中等曝光图像,对不同的低质量图像具有针对性的校正能力.3)对质量度量时的曝光度度量指标进行了修正,使用改进的导向滤波方法进行权重优化,避免了金字塔融合可能出现的光晕现象;最终使用基于高斯滤波差分的多尺度细节增强方法修复了因融合过程出现的图像细节丢失问题.本文算法经实验验证及主客观分析,能解决一般场景下的非均匀光照图像的增强问题,增强后的图像质量优于同类算法.参考文献[1] H EK M,S U NJ,T A N GXO.S i n g l e I m a g eH a z eR e m o v a lU s i n g D a r kC h a n n e l P r i o r[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2011,33(12):2341-2353.[2] Z HA O X Y,HU A N GFZ.A N o v e l L o w-I l l u m i n a t i o n I m a g eE n h a n c e m e n tM e t h o dB a s e do nD u a l-C h a n n e l P r i o r[C]//2020C h i n e s eA u t o m a t i o nC o n g r e s s(C A C).P i s c a t a w a y,N J:I E E E,2020:4244-4248.[3] L I N H N,S H IZ W.M u l t i-s c a l eR e t i n e xI m p r o v e m e n t f o rN i g h t t i m eI m a g eE n h a n c e m e n t[J].O p t i k,2014,125(24):7143-7148.[4] T H E P A D ESD,S H I R B HA T E A.V i s i b i l i t y E n h a n c e m e n t i nL o wL i g h t I m a g e sw i t h W e i g h t e dF u s i o n o fR o b u s tR e t i n e x M o d e la n d D a r k C h a n n e l P r i o r[C]//2020I E E E B o m b a y S e c t i o n S i g n a t u r e C o n f e r e n c e(I B S S C).P i s c a t a w a y,N J :I E E E ,2020:69-73.[5] S H E NL ,Y U E Z L ,F E N G F ,e ta l .M S R -N e t :L o w -L i g h tI m a g e E n h a n c e m e n t U s i n g D e e p C o n v o l u t i o n a l N e t w o r k [E B /O L ].(2017-11-07)[2022-01-10].h t t p s ://a r x i v .o r g/a b s /1711.02488.[6] HU A N GF ,Z HO U D M ,N I ER ,e t a l .AC o l o rM u l t i -e x p o s u r e I m a g eF u s i o nA p p r o a c hU s i n g S t r u c t u r a l P a t c h D e c o m po s i t i o n [J ].I E E E A c c e s s ,2018,6:42877-42885.[7] Y A N G Y ,C A O W ,WUSQ ,e t a l .M u l t i -s c a l eF u s i o no fT w oL a r g e -E x p o s u r e -R a t i o I m a g e s [J ].I E E ES i g n a l P r o c e s s i n g Le t t e r s ,2018,125(12):1885-1889.[8] L E ESH ,P A R KJ S ,C HO NI ,e t a l .A M u l t i -e x p o s u r e I m a g e F u s i o nB a s e d o n t h eA d a p t i v eW e i g h t sR ef l e c t i ng th eR e l a ti v e P i x e lI n t e n s i t y a n d G l o b a l G r a d i e n t [C ]//201825t h I E E E I n t e r n a t i o n a l C o n f e r e n c e o n I m a ge P r o c e s s i n g (I C I P ).P i s c a t a w a y ,N J :I E E E ,2018:1737-1741.[9] L IT ,X I EK ,L IT ,e t a l .M u l t i -e x p o s u r e I m a g eF u s i o nB a s e d o n I m p r o v e dP y r a m i dA l g o r i t h m [C ]//2020I E E E 4t h I nf o r m a t i o nT e c h n o l og y ,N e t w o r k i n g ,E l e c t r o n i c a n dA u t o m a t i o nC o n t r o l C o n f e r e n c e (I T N E C ).P i s c a t a w a y,N J :I E E E ,2020:2028-2031.[10] L ÜL .M u l t i -e x p o s u r e I m a g eF u s i o nw i t hL a y e r i n g A d a p t i v eD e t a i lE n h a n c e m e n t a n dG h o s t i n g R e m o v a l [C ]//2020I E E EI n t e r n a t i o n a l C o n f e r e n c e o nA r t i f i c i a l I n t e l l i g e n c e a n dC o m p u t e rA p p l i c a t i o n s (I C A I C A ).P i s c a t a w a y,N J :I E E E ,2020:760-764.[11] L I UJ ,S HA N GJ J ,L I U RS ,e t a l .A t t e n t i o n -G u i d e dG l o b a l -L o c a lA d v e r s a r i a lL e a r n i n g f o rD e t a i l -P r e s e r v i n g M u l t i -e x p o s u r e I m a g eF u s i o n [J ].I E E E T r a n s a c t i o n so n C i r c u i t sa n dS y s t e m sf o r V i d e o T e c h n o l og y ,2022,32(8):5026-5040.[12] Y I N GZQ ,L IG ,R E N Y R ,e t a l .A N e w L o w -L i g h t I m a g eE n h a n c e m e n tA l g o r i t h m U s i n g C a m e r aR e s p o n s e M o d e l [C ]//2017I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n W o r k s h o p s (I C C VW ).P i s c a t a w a y,N J :I E E E ,2017:3015-3022.[13] S A HN O U N M ,K A L L E L F ,D AMMA K M ,e ta l .A C o m p a r a t i v e S t u d y of M R I C o n t r a s t E n h a n c e m e n t T e c h n i q u e sB a s e do nT r a d i t i o n a lG a mm aC o r r e c t i o na n dA d a p t i v eG a mm aC o r r e c t i o n :C a s eo fM u l t i pl eS c l e r o s i s P a t h o l o g y [C ]//20184t hI n t e r n a t i o n a lC o n f e r e n c eo n A d v a n c e d T e c h n o l o g i e sf o rS i g n a la n dI m a g eP r o c e s s i n g(A T S I P ).P i s c a t a w a y,N J :I E E E ,2018:1-7.[14] Y I N GZQ ,L IG ,R E N Y R ,e ta l .A N e wI m a g eC o n t r a s tE n h a n c e m e n tA l g o r i t h m U s i n g E x po s u r eF u s i o n F r a m e w o r k [C ]//201717t hI n t e r n a t i o n a lC o n f e r e n c eo n C o m p u t e r A n a l y s i so fI m a ge sa n dP a t t e r n s (C A I P ).B e r l i n :S p r i n ge r ,2017:36-45.[15] M E R T E N ST ,K A U T ZJ ,V A NR E E T H F ,e t a l .E x p o s u r eF u s i o n :AS i m p l e a n dP r a c t i c a lA l t e r n a t i v e t oH i g h D y n a m i cR a n g eP h o t o g r a p h y [J ].C o m p u t e rG r a ph i c sF o r u m ,2009,28:161-171.[16] H EK M ,S U NJ ,T A N G X O.G u i d e d I m a g eF i l t e r i n g [C ]//E u r o p e a nC o n f e r e n c eo nC o m p u t e rV i s i o nL e c t u r e N o t e s i nC o m p u t e r S c i e n c e .B e r l i n :S p r i n ge r ,2010:1-14.[17] Y A N GZ ,WA N G QC ,D E N G Y ,e t a l .M u l t i -e x p o s u r eF u s i o nw i t hA d a p t i v e W e l l -E x p o s e d n e s s W e i g h tF a c t o r a n dE n h a n c e dG u i d e dF i l t e r i n g [C ]//2021I E E E9t hI n t e r n a t i o n a lC o nf e r e n c eo nC o m p u t e rS c i e n c ea n dN e t w o r k T e c h n o l og y (I C C S N T ).P i s c a t a w a y ,N J :I E E E ,2021:105-109.[18] K I M YB ,K OH YJ ,L E EC ,e t a l .D a r k I m a g eE nh a n c e m e n t B a s e dO n p ai r w i s eT a r g e t C o n t r a s t a n dM u l t i -s c a l e D e t a i l B o o s t i n g [C ]//P r o c e e d i n g s I n t e r n a t i o n a l C o n f e r e n c e o n I m a g eP r o c e s s i n g (I C I P ).P i s c a t a w a y,N J :I E E E ,2015:1404-1408.[19] G U O XJ ,L IY ,L I N G H B ,e t a l .L I M E :L o w -L i g h t I m a g eE n h a n c e m e n t v i a I l l u m i n a t i o nM a p E s t i m a t i o n [J ].I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g,2017,26(2):982-993.[20] Y I N GZQ ,L IG ,G A O W.AB i o -I n s p i r e dM u l t i -e x p o s u r eF u s i o nF r a m e w o r k f o r L o w -L i g h t I m a g eE n h a n c e m e n t [E B /O L ].(2017-11-02)[2022-02-01].h t t p s ://a r x i v .o r g /a b s /1711.00591.[21] K A V I N D E RS ,P A R I HA R A S .I l l u m i n a t i o nE s t i m a t i o nf o rN a t u r eP r e s e r v i n g L o w -L i g h t I m a g eE n h a n c e m e n t [J ].T h eV i s u a l C o m pu t e r ,2020,36(3):649-665.[22] WA N GSH ,L U O G.N a t u r a l n e s sP r e s e r v e d I m a g eE n h a n c e m e n tU s i n g aP r i o r iM u l t i -l a y e rL i g h t n e s sS t a t i s t i c s [J ].I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g ,2018,27(2):938-948.(责任编辑:韩 啸)116 第3期 王若状,等:基于模拟曝光融合的非均匀光照图像增强 Copyright ©博看网. All Rights Reserved.。
基于多尺度对比度塔的图像增强新算法

基于多尺度对比度塔的图像增强新算法作者:龙钧宇余红余爱民来源:《现代电子技术》2012年第10期摘要:传统图像增强算法对灰度级比较分散、细节信号分布在整个灰度级空间的图像难以取得令人满意的效果,而且往往在增强图像的同时也使图像的噪声得到了提升。
在此针对传统图像增强技术的缺点,提出了一种新的图像增强算法。
该算法采用高斯窗口函数对图像进行变换,并通过构造多尺度对比度塔来对图像进行增强。
实验结果表明该算法在灰度分散的情况下同样能有效地对细节信号进行增强,同时对图像中的噪声信号也有较好的抑制作用。
关键词:图像增强;多尺度;对比度;高斯金字塔中图分类号:文献标识码:A 文章编号:基金项目:广东省2010年自然科学基金资助项目:基于医疗诊断的低剂量X线数字成像技术的研究(10151064007000000);2010年广东省高等学校高层次人才项目:医学X线数字成像技术的研究(粤教师函字\[2010\]79号);广东省2009年社会发展重点科技计划项目:低成本医学X光数字成像设备的研发(2009A030200016)0 引言图像增强的目的是突出图像中的重要信息,削弱或消除图像中不需要的信息,以便于提高图像的视觉效果,使图像便于继续进行下一步的处理\[1\]。
在图像增强中,如何在增强图像的对比度、保护图像的原始特征信息的同时,极大限度地抑制图像中出现的噪声一直是一个需要解决的重要问题。
目前,常用的图像增强的方法有空域方法和频域方法2大类,常见的算法有直方图均衡、空间滤波、图像边缘锐化等\[2\],这些算法往往在提高图像的对比度的同时,使图像的噪声也得到了极大的提升,而有些算法,如直方图均衡等,在图像灰度相对集中的情况下能取得较好的增强效果,但在图像灰度级比较分散、细节信号分布在整个度空间的情况下则难以取得较好的增强效果。
图像的多尺度分析是一个非常前沿的研究领域,虽然其理论仍然在发展中,但目前在图像处理领域(如图像增强、图像去噪、图像压缩以及边缘检测)中已经得到了较广泛的应用\[1,\]。
图像融合算法概述

图像融合算法概述摘要:详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。
关键词:图像融合; 多尺度变换; 评价标准Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically andsummed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out therecent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixellevel.Key words:image fusion; multi-scale transform; evaluation criteria1.引言:图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。
近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。
图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。
根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。
融合的层次不同, 所采用的算法、适用的范围也不相同。
高动态范围图像增强算法

高动态范围图像增强算法席志红;赵蓝飞【摘要】Due to display devices cannot restore the true effects of highly dynamic range images,the article puts forward an image en-hancement algorithm based on hierarchical tone mapping.Firstly the algorithm applies Retinex model and fast bilateral filtering algorithm to estimate the illumination images.Secondly it applies Gaussian mixture model and expectation maximization algorithm to split the illumination image probability into hierarchical Gaussian models mixed together.Thirdly by iteration it acquires the optimal gamma coefficients correspond-ing to each Gaussian probability hierarchies.At last the hierarchies are layered to obtain the enhanced illumination image.Experiment verifies that the algorithm realizes the compression of image dynamic range while its image enhancement effects are obvious.%针对显示设备无法还原高动态范围图像的真实效果,提出一种基于分层色阶映射的图像增强算法。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
金 字 塔 序 列 融 合 方 法 构 建 出一 种 具 有 高度 可扩 展 性 和 线 性 时 间 复 杂 度 的 图像 增 强 算 法 框 架 . 在此框架 下 , 输入图 像 先 经 过 各 种 全 局 增 强 重 映射 函数 的处 理 而形 成 备 选 图像 序 列 , 再 依 据 像 素 级 保 边 缘 图像 融 合 规 则 从 该 图像 序 列 中精 选 出有 效 像 素 信 息 , 形 成 最 终 的 图像 增 强 结 果 . 为避免光环效应 , 所 有 图像 融 合 计 算 都 在 输 入 图 像 的 拉 普 拉 斯 金字塔分解域上进行. 通 过 对 局 部 拉 普 拉 斯 滤 波 算 法 进 行 加 速 的实 际 应 用 表 明 , 文 中 提 出算 法 框 架 可 导 出一 种 快 速 保 边 缘 图像 增 强 算 法 , 其处理效果与原局部拉普拉斯滤波算法极为相似 , 但 计 算 速 度 提 高 了两 个 数 量 级 . 关键 词 保 边 缘 图像 处 理 ; 图像 金 字 塔 ; 序 列 图像 融 合 ; 函数 逼 近
第3 7卷 第 3期 2 0 1 4年 3月
计
算
机
学
报
V0L 3 7 N o. 3
Ma r .2 O1 4
OF COM PUTERS CH I NE S E J OURNAL
基 于虚 拟 图像 金 字 塔序 列 融合 的快 速 图像 增 强算 法
戴 霞” 李 辉 杨红雨 张 军”
”( 西华大学数学与计算机学院 成都 6 1 0 0 3 9 )
。 ( 四川 大 学 计 算 机 学 院 图 形 图像 研 究 所 成 都
”( 上海交通大学航空航天学院 上海
6 1 0 0 6 4 )
2 0 0 2 4 0 )
摘 要
针 对 图像 增 强 算 法 的快 速 计 算 问题 , 文 中提 出 一 种 “ 全局尝试 、 局部精炼” 的图像增强策 略 , 利 用 虚 拟 图像
T P 3 9 1 D OI 号 1 0 . 3 7 2 4 / S P . J . 1 0 1 6 . 2 0 1 4 . 0 0 6 0 2
中 圈 法分 类 号
A Fa s t I ma g e Enh a n c e me n t M e t h o d b y Vi r t u a l I ma g e Py r a mi d S e qu e n c e Fu s i o n
Ab s t r a c t To a c c e l e r a t e t he i mp l e me n t a t i o n of t h e i ma ge e n ha nc e me n t me t ho d,we p r o pos e d a n e w g l o b a l — t o — l o c a l s t r a t e g y f o r f a s t i ma g e e n h a n c e me n t . Ba s e d o n t hi s p r a c t i c a l s t r a t e g y,a s c a l a bl e a n d f a s t i ma ge e nh a nc e me nt f r a me wor k i s p r o p os e d t o c on s t r u c t a n i mpl e me nt a t i o n o f t he e x i s t i n g
’ ( I n s t i t u t e o f I ma g e a n d G r a p h i c ,D e p a r t me n t o f C o mp u t e r S c i e n c e ,S i c h u a n U n i v e r s i t y,C h e n g d u 6 1 0 0 6 4 )
f r a me wo r k,t he i npu t i ma g e i s f i r s t r e ma ppe d gl o ba l l y by a s e r i e s of t e nt a t i v e r e ma p pi n g f un c t i on s t o g e ne r a t e a v i r t u a l c a n di da t e i ma ge s e q ue nc e, whi c h i s t he n r e c o mb i ne d l o c a l l y t o a s i ng l e o ut p ut i ma g e un de r a s pe c i a l e dg e — a wa r e pi x e l — l e ve l f us i o n r ul e .To a v o i d ha l o a r t i f a c t s ,bo t h t h e o ut put i ma g e a nd t h e v i r t u a 1 c a nd i d a t e i ma g e s e q u e nc e a r e t r a ns f o r me d i nt o m u l t i — r e s o l ut i on py r a mi d r e pr e s e n t a t i on s . App l i c a t i o n o n t he l oc a l La p l a c i a n f i l t e r i nd i c a t e s t ha t t he p r o p os e d
DAI Xi a
LI Hu i ’ YANG Ho n g — Yu n s t i t u t e o f C o mp u t e r a n d Ma t h e ma t i c s , Xi h u a Un i v e r s i t y,C h e n g d u 6 1 0 0 3 9 )
( S c h o o l o f Ae r o n a u t i c s a n d As t r o n a u t i c s ,S h a n g h a i J i a o t o n g Un i v e r s i t y,S h a n g h a i 2 0 0 2 4 0 )
i ma g e e n h a n c i n g f i l t e r i n O( N )t i me u s i n g t h e v i r t u a l i ma g e p y r a mi d s e q u e n c e f u s i o n . Un d e r t h i s