L0范数约束的全变分图像融合

合集下载

稀疏编码与变分自编码器的融合方法探索

稀疏编码与变分自编码器的融合方法探索近年来，深度学习在人工智能领域取得了巨大的突破。

稀疏编码和变分自编码器是深度学习中常用的两种方法，它们分别在特征提取和生成模型中具有重要的作用。

本文将探讨如何将稀疏编码与变分自编码器相结合，以提高模型的性能和泛化能力。

稀疏编码是一种特征提取方法，它通过对输入数据进行稀疏表示，从而提取出数据的重要特征。

稀疏编码的核心思想是寻找一个稀疏的表示矩阵，使得输入数据能够被稀疏表示。

在稀疏编码中，通常会使用L1正则化来促使稀疏性，即通过最小化稀疏表示的L1范数来实现。

然而，传统的稀疏编码方法存在一些问题。

首先，传统的稀疏编码方法只考虑了输入数据的稀疏性，而没有考虑到数据的分布情况。

其次，传统的稀疏编码方法是无监督的，它只能提取出数据的无标签特征，而无法利用标签信息提取有监督的特征。

为了解决这些问题，研究者们提出了变分自编码器。

变分自编码器是一种生成模型，它通过学习数据的分布情况，从而能够生成新的样本。

变分自编码器的核心思想是通过编码器将输入数据映射到潜在空间中的隐变量，然后通过解码器将隐变量映射回输入空间，从而重构输入数据。

通过最小化重构误差，变分自编码器能够学习到数据的分布情况，并生成新的样本。

然而，变分自编码器也存在一些问题。

首先，变分自编码器在生成样本时存在模糊性，即生成的样本可能不够清晰。

其次，变分自编码器在学习数据分布时，往往会受到噪声的干扰，导致学习到的分布不准确。

为了克服这些问题，研究者们开始探索将稀疏编码与变分自编码器相结合的方法。

他们发现，通过在变分自编码器中引入稀疏编码的思想，可以提高模型的性能和泛化能力。

具体而言，他们在变分自编码器的编码器中引入了稀疏性约束，使得编码器能够学习到更加稀疏的表示。

同时，他们在解码器中引入了重构误差的L1正则化，以促使解码器生成更加清晰的样本。

通过将稀疏编码与变分自编码器相结合，研究者们取得了一些令人瞩目的成果。

他们发现，这种融合方法不仅能够提高模型的性能和泛化能力，还能够生成更加清晰和准确的样本。

基于超拉普拉斯先验的分数阶全变分图像复原模型

基于超拉普拉斯先验的分数阶全变分图像复原模型作者：李振来源：《电脑知识与技术》2020年第25期摘要：针对点扩散函数形式未知的模糊图像复原的问题，提出一种基于超拉普拉斯先验的分数阶全变分正则模型。

为了消除的整数阶全变分模型中图像复原中的振铃效应，本文引入了分数阶差分来作为图像的先验信息，在基于最大后验概率估计（MAP）的图像盲去模糊模型的基础上，提出了一种[Lp]范数分数阶正则项的全变分复原模型，利用分裂Bregman算法交替求解得到对点扩散函数的估计，再利用非盲复原的方法求得原始清晰图像。

实验结果表明，此模型能够有效地处理不同形态的模糊核，得到了较为理想的复原结果，复原图像中的振铃效应有效地降低。

关键词：超拉普拉斯先验;全变分正则模型;分数阶微积分;图像盲去卷积中图分类号：TP311 ; ; ;文献标识码：A文章编号：1009-3044（2020）25-0043-0c20世纪末，数字图像技术被广泛应用于包括医疗诊断、航空遥感、工业检测、显微成像、军事用途和公共交通中。

数字图像在产生、采集、传输、处理的过程中，会受到各种因素的影响，导致得到的图像与原始图像不符，这一过程我们称之为图像的退化，需要通过各种形式上的数学方法从退化图像的先验信息和退化方式恢复出原始图像。

在这其中本文的研究重点是基于稀疏先验正则化的模糊图像盲复原。

图像复原是一种线性病态问题，无论点扩散函数是否已知，复原图像的计算在数学上都是不适定的。

在某些特定的情形中，图像的退化形式可以被先验地假设为参数化的点扩散函数并加以求得。

但是在更广泛的应用场景中，图像的点扩散函数很难被获取到。

所以图像的盲复原有很大的研究价值。

在减轻盲反卷积病态性的过程中，模糊核先验和图像先验常常作为正则项加入图像盲去模糊模型中。

吉洪诺夫（Tikhonov）正则化方法[1]基于平滑准则，采用了[H1Ω]中的半范数平方作为正则项，也就是图像梯度的[L2]范数，将病态的求解过程转换为稳定的良态过程，所以吉洪诺夫正则化成为图像去噪中常用的工具：该方法在有效消除噪声的同时也很好地保护了图像边缘，因此在此基础上人们又做了大量的研究。

L1范数的总变分正则化超分辨率图像重建

ｖｒｃｔｎｏｅｅｅｔｅｅｓｏｌｔｏ．ｅｆａｏｆｔｆｃｉｎｓｆｔｅｍｅｈｄｉｉｉｈｖ｝
第３期
２１０２年６月
微
处
理
机
Ｎｏ３．
ＭＩＣＲＯＰＲＯＣＥＳＯＲＳＳ
Ｊｎ．０２ｕ．２１
Ｌ。范数的总变分正则化超分辨率图像重建
刘志文，潘晓露，李一民
（昆明理工大学信息工程与自动化学院，昆明６００５５０）
ＬＮｏｍｆＴｏａｒｔｎＲｅｕａｉａｉｎＢａｅｐｒｌｅｏｕｉｎ。ｒｏｔｌＶａｉｉｇｌｒｔｓｄＳｕｅｓｌｔａｏｚｏｑｏＲｅｏｓｒｃｉｎｆｒｌｇｓｃｎｔｕｔｏｍａｅｏ
ｕｉｇｔｅＬＯＴｆｔｅｒｃｎｔｃｅｍａｅｆｅｉｏｓａｎ，ｔｅｕｅｏｔｌｖｒａｉｅｕａｉｔｎｔｓｈｌＩｌｅｏｓｒｔｄｉｇｄｌｙｃｎｔｉｔｈｓｆｏａａｉｌｎｒｇｌｒｚｉｎｎｔｏｈｕｉｔｒｔ０ｏａｏｏ
关键词：变分；总正则化；分辨率；范数超Ｌ
ＤＩＯ编码：０３６／．ｓ．０２— ２９２１．３００１．９９ｊｉｎ１０２７．０２０．１ｓ
中图分类号：Ｐ５．Ｔ７１１
文献标识码：Ａ
文章编号：０２— ２９（０２００３１０２７２１）３— ０７—０３
ＡｂｔａｔＳｐｒｒｓｌｔｎｉｇｅｏｓｕｔｎｉｅｅｈｏｏｙｗｉｈｍｅｏｕｅｍｕｔｌｓｒｃ：ｕｅｅｏｕｏｍａｅｒｃｎｔｃｉｓａｎｗｔｃｎｌｇｈｃｉｔｓｌｐｅｉｒｏｍｓｉｖｄｏｓｑｅｃｓｒｓｇｅ— ｆｍｅｉｇｎｈｒｉｉｇｓｐｅｉｇｓｏｏｌｍｅｔｒｎｏｍａｏｉｅｅｕｎｅ，ｏｉｌｎｒａｍａｅａｄｔｅｔｎｎａｌｍａｅｆｃｍｐｅｎａｙｉｆｒｔｎａｍｉｂｔｅｎｔｅｉｇｓｔｅｏｓｒｃｅｔｒｕ￣，ｉｈｒｓａａｅｏｕｏｇａａ，ｍａｅｕｅｏｉ・ｅｗｅｈｍａｅｒｃｎｔｔｂｔＭｉｈｇｅｐｔｌｓｌｔｎｉｅｄｔｏｕａｅｑｉｒｉｍａｋｐｔｒｈｇｉａｍａｅｄｔｓｔｅｌｃｆｓａｉｌｒｓｌｔｎ，ｉｒｖｄｉｇｐｔｌｒｓｌｔｎｆｒｆｒｅａｄｃａｉ．ｎｉｇａｉｈａｋｏｐｔｅｏｕｉｌａａｏｍｐｏｅｍａｅｓａａｅｏｕｏｏｏｃｎｌｒｙｉｉｔＤｓｒｅｅｍｅｏａｅｎｒｇｌｒａｉｎｏｅｓｐｒｅｏｕｏｇｅｏｓｕｏ．ｉｂｓｓｅｃｂｓｔｔｄｂｓｄｏｅｕａｉｔｆｕｅ —ｒｓｌｔｎｉｉｈｈｚｏｈｔｉｍａｅｒｃｎｔ￣ｉｎＯｎｔｓａｉ，ｒｔｈ

L0范数的图像修复模型

ｔｗｏｓｕｂｐｒｏｂｌｅｍｓｕｓｉｎｇｔｈｅａｌｔｅｒｎａｔｉｎｇｄｉｒｅｃｔｉｏｎｍｅｔｈｏｄ，ａｎｄｔｈｅｎｇｉｖｅｓｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｎｕｍｅｒｉｃａｌａｌｇｏｒｉｔｈｍｏｒｆｈｅｔｔｗｏｓｕｂ — ｐｒｏｂｌｅｍｓｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｎｕｍｅｒｉｃａｌｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｏｄｅｌｃａｎｏｂｔａｉｎｔｈｅｂｅｔｔｅｒｉｎｐａｉｎｔｉｎｇｒｅｓｕｌｔｓ．Ｋｅｙｗｏｒｄｓ：ｔｉｇｈｔｆｒａｍｅ；ｔｏｔａｌｖａｒｉａｔｉｏｎ；ｉｍａｇｅｉｎｐａｉｎｔｉｎｇ；ａｌｔｅｎａｒｔｉｎｇｄｉｒｅｃｔｉｏｎｍｅｔｈｏｄ
ｕｓｅｏｆｔｈｅａｄｖａｎｔａｇｅｓｏｆｓｐａｒｓｉｔｙａｎｄｔｏｔａｌｖａｒｉａｔｉｏｎ，ｗｈｉｃｈａｐｐｒｏａｃｈｔｈｅｐｉｅｃｅｗｉｓｅｃｏｎｓｔａｎｔａｎｄｓｍｏｏｔｈｎａｔｕｒｅｉｍａｇｅｓａｎｄｐｒｅ－ｓｅｒｖｅｔｈｅｓｔｒｕｃｔｕｒｅｓｏｆｉｍａｇｅｓｂｅｔｔｅｒ．ＤｕｅｔｏｔｈｅｎｕｍｅｒｉｃａｌｄｉｉｃｆｕｌｔｉｅｓｆｏｒｔｈｅＬＯｎｏｒｍ，ｉｔｆｉｒｓｔｌｙｔｕｒｎｓｔｈｅｐｒｉｍａｌｐｒｏｂｌｅｍｉｎｔｏｔｈｅ

改进Retinex-Net的低光照图像增强算法

改进Retinex⁃Net的低光照图像增强算法欧嘉敏1 胡　晓1 杨佳信1摘　要　针对Retinex⁃Net存在噪声较大㊁颜色失真的问题,基于Retinex⁃Net的分解-增强架构,文中提出改进Ret⁃inex⁃Net的低光照图像增强算法.首先,设计由浅层上下采样结构组成的分解网络,将输入图像分解为反射分量与光照分量,在此过程加入去噪损失,抑制分解过程产生的噪声.然后,在增强网络中引入注意力机制模块和颜色损失,旨在增强光照分量亮度的同时减少颜色失真.最后,反射分量和增强后的光照分量融合成正常光照图像输出.实验表明,文中算法在有效提升图像亮度的同时降低增强图像噪声.关键词　低光照图像增强,深度网络,视网膜大脑皮层网络(Retinex⁃Net),浅层上下采样结构,注意机制模块引用格式　欧嘉敏,胡晓,杨佳信.改进Retinex⁃Net的低光照图像增强算法.模式识别与人工智能,2021,34(1):77-86.DOI　10.16451/ki.issn1003⁃6059.202101008 中图法分类号　TP391.4Low⁃Light Image Enhancement Algorithm Based onImproved Retinex⁃NetOU Jiamin1,HU Xiao1,YANG Jiaxin1ABSTRACT　Aiming at the problems of high noise and color distortion in Retinex⁃Net algorithm,a low⁃light image enhancement algorithm based on improved Retinex⁃Net is proposed grounded on the decomposition⁃enhancement framework of Retinex⁃Net.Firstly,a decomposition network composed of shallow upper and lower sampling structure is designed to decompose the input image into reflection component and illumination component.In this process,the denoising loss is added to suppress the noise generated during the decomposition process.Secondly,the attention mechanism module and color loss are introduced into the enhancement network to enhance the brightness of the illumination component and meanwhile reduce the image color distortion.Finally,the reflection component and the enhanced illumination component are fused into the normal illumination image to output.The experimental results show that the proposed algorithm improves the image brightness effectively with the noise of enhanced image reduced.Key Words　Low⁃Light Image Enhancement,Deep Network,Retinal Cortex Theory⁃Net,Shallow Up⁃per and Lower Sampling Structure,Attention Mechanism ModuleCitation　OU J M,HU X,YANG J X.Low⁃Light Image Enhancement Algorithm Based on Improved Retinex⁃Net.Pattern Recognition and Artificial Intelligence,2021,34(1):77-86.收稿日期:2020-05-12;录用日期:2020-09-17 Manuscript received May12,2020;accepted September17,2020国家自然科学基金项目(No.62076075)资助Supported by National Natural Science Foundation of China(No. 62076075)本文责任编委黄华Recommended by Associate Editor HUANG Hua1.广州大学电子与通信工程学院　广州5100061.School of Electronics and Communication Engineering,Guang⁃zhou University,Guangzhou510006 由于低光照环境和有限的摄像设备,图像存在亮度较低㊁对比度较低㊁噪声较大㊁颜色失真等问题,不仅会影响图像的美学㊁人类的视觉感受,还会降低运用正常光照图像的高级视觉任务的性能[1-3].为了有效改善低光图像质量,学者们提出许多低光照图像增强算法,经历灰度变换[4-5]㊁视网膜皮层理论[6-11]和深度神经网络[12-19]三个阶段.早期,通过直方图均衡[4-5]㊁伽马校正等灰度变换方法对低亮度区域进行灰度拉抻,可达到提高暗区亮度的目的.然而,因为未考虑像素与其邻域像素的关系,灰度变换常会导致增强图像缺乏真实感.第34卷　第1期模式识别与人工智能Vol.34　No.1 2021年1月Pattern Recognition and Artificial Intelligence Jan.　2021Land [6]提出视网膜皮层理论(Retinal CortexTheory,Retinex).该理论认为物体颜色与光照强度无关,即物体具有颜色恒常性.基于该理论,相继出现经典的单尺度视网膜增强算法(Single Scale Retinex,SSR)[7]和色彩恢复的多尺度视网膜增强算法(Multi⁃scale Retinex with Color Restoration,MSR⁃CR)[8].算法主要思想是利用高斯滤波器获取低光照图像的光照分量,再通过像素间逐点操作求得反射分量作为增强结果.Wang 等[9]利用亮通滤波器和对数变换平衡图像亮度和自然性,使增强后的图像趋于自然.Fu 等[10]设计用于同时估计反射和光照分量(Simultaneous Reflectance and Illumination Esti⁃mation,SRIE)的加权变分模型,可有效处理暗区过度增强的问题.Guo 等[11]提出仅估计光照分量的低光照图像增强算法(Low Light Image Enhancementvia Illumination Map Estimation,LIME),主要利用局部一致性和结构感知约束条件计算图像的反射分量并作为输出结果.然而,这些基于Retinex 理论模型的算法虽然可调整低光图像亮度,但增亮程度有限.研究者发现卷积神经网络(Convolutional NeuralNetwork,CNN)[12]与Retinex 理论结合能进一步提高增强图像的视觉效果,自动学习图像的特征,解决Retinex 依赖手工设置参数的问题.Lore 等[13]提出深度自编码自然低光图像增强算法(A Deep Auto⁃encoder Approach to Natural Low Light Image Enhan⁃cement,LLNet),有效完成低光增强任务.Lü等[14]提出多边低光增强网络(Multi⁃branch Low⁃Light En⁃hancement Network,MBLLEN),学习低光图像到正常光照图像的映射.Zhang 等[15]结合最大信息熵和Retinex 理论,提出自监督的光照增强网络.Wei 等[16]基于图像分解思想,设计视网膜大脑皮层网络(Retinex⁃Net),利用分解-增强架构调整图像亮度.Zhang 等[17]基于Retinex⁃Net 设计低光增强器.然而,由于噪声与光照水平有关,Retinex⁃Net 提取反射分量后,图像暗区噪声高于亮区.因此,Retinex⁃Net 的增强结果存在噪声较大㊁颜色失真的问题,不利于图像质量的提升.为此本文提出改进Retinex⁃Net 的低光照图像增强算法.以Retinex⁃Net 的分解与增强框架为基础,针对噪声问题,在分解网络采用浅层上下采样结构[15],利用反射分量梯度项[15]作为损失.同时为了改善增强图像的色彩偏差,保留丰富的细节信息,在增强网络中嵌入注意力机制模块[18]和颜色损失[19].实验表明,本文算法在LOL 数据集和其它公开数据集上取得较优的视觉效果和客观结果.1　改进Retinex⁃Net 的低光照图像增强算法改进Retinex⁃Net 的低光照图像增强算法框图如图1所示.S lowS normalR highI highI lowR lowI end图1　本文算法框图Fig.1　Flowchart of the proposed algorithm87模式识别与人工智能(PR&AI) 第34卷 Retinex理论[6]认为彩色图像可分解为反射分量和光照分量:S=R I.(1)其中: 表示逐像素相乘操作;S表示彩色图像,可以是任何具有不同曝光程度的图像;R表示反射分量,反映物体内在固有属性,与外界光照无关;I表示光照分量,不同曝光度的物体光照分量不同.本文算法主要利用2个相互独立训练的子网络,分别是分解网络与增强网络.具体地说,首先,分解网络以数据驱动方式学习,将低光照图像和与之配对的正常光照图像分解为相应的反射分量(R low, R normal)和光照分量(I low,I normal).然后,增强网络以低光图像的光照分量I low作为输入,在结构感知约束下,提升光照分量的亮度.最后,重新组合增强的光照分量I en与反射分量R low,形成增强图像S en,作为网络输出.1.1　分解网络的浅层上下采样结构由于式(1)是一个不适定问题[20],很难设计适用于多场景的约束函数.本文算法以数据驱动的方式进行学习,不仅能解决该问题,还能进一步提高网络的泛化能力.如图1所示,在训练阶段,分解网络以低光照图像S low和与之对应的正常光照图像S normal 作为输入,在约束条件下学习输出它们一致的反射分量R low和R normal,及不同的光照分量I low和I normal.值得注意的是,S low与S normal共享分解网络的参数.区别于常用的深度U型网络(U⁃Net)结构及Retinex⁃Net简单的堆叠卷积层,本文算法的分解网络是一个浅层的上下采样结构,由卷积层与通道级联操作组成,采样层只有4层,网络训练更简单.实验表明,运用此上下采样结构变换图像尺度时,下采样操作一定程度上舍去含有噪声的像素点,达到降噪效果的目的,但同时会引起图像的模糊.因此为了提高分解图像清晰度,减少语义特征丢失,在图像上采样后应用通道数级联操作,可给图像补偿下采样丢失的细节信息,增强清晰度.在浅层上下采样结构中,首先,使用1个9×9的卷积层提取输入图像S low的特征.然后,采用5层以ReLU作为激活函数的卷积层变换图像尺度,学习反射分量与光照分量的特征.最后,分别利用2层卷积层及Sigmoid函数,将学习到的特征映射成反射图R low和光照图I low后再输出.对于分解网络的约束损失,本文算法沿用Retinex⁃Net的重构损失l rcon㊁不变反射率损失l R及光照平滑损失l I.另外为了在分解网络中更进一步减小噪声,添加去噪损失l d.因此总损失如下:l=l rcon+λ1l R+λ2l I+λ3l d,其中,λ1㊁λ2㊁λ3为权重系数,用于平衡各损失分量.对于L1㊁L2范数和结构相似性(Structural Similarity, SSIM)损失的选择,当涉及图像质量任务时,L2范数与人类视觉对图像质量的感知没有很好的相关性,在训练中容易陷入局部最小值,而SSIM虽然能较好地学习图像结构特征,但对平滑区域的误差敏感度较低,引起颜色偏差[21].因此本文算法使用L1范数约束所有损失.在分解网络中输出的结果R low和R normal都可与光照图重构成新的图像,则重构损失如下:l rcon=∑i=low,normalW1Rlow I i-S i1+∑j=low,normal W2R normal I j-S j1,其中表示逐像素相乘操作.当i为low或j为normal 时,权重系数W1=W2=1,否则W1=W2=0.001.对于配对的图像,使用较大的权重能够使分解网络更好地学习配对图像的特征.对于配对的图像对,使用较大的权重可使分解网络更好地学习配对图像的特征.不变反射率损失l R是基于Retinex理论的颜色恒常性,在分解网络中主要用于约束学习不同光照图像的一致反射率:l R=Rlow-R normal1.对于光照平滑损失l I,本文采用结构感知平滑损失[16].该损失以反射分量梯度项作为权重,在图像梯度变化较大的区域,光照变得不连续,从而亮度平滑的光照图能保留图像结构信息,则l I=ΔIlow exp(-λgΔR low)1+ΔI normal exp(-λgΔR normal)1,其中,Δ表示图像水平和垂直梯度和,λg表示平衡系数.Rudin等[22]观察到,噪声图像的总变分(Total Variation,TV)大于无噪图像,通过限制TV可降低图像噪声.然而在图像增强中,限制TV相当于最小化梯度项.受TV最小化理论[22-23]启发,本文引入反射分量的梯度项作为损失,用于控制反射图像噪声,故称为去噪损失:l d=λΔRlow1.当λ值增加时,噪声减小,同时图像会模糊.因此对于权重参数的选择十分重要,经过实验研究发现,当权重λ=0.001时,图像获得较好的视觉效果.1.2　增强网络的注意力机制如图1所示,增强网络以分解网络的输出I low作97第1期欧嘉敏　等:改进Retinex⁃Net的低光照图像增强算法为输入,学习增强I low的亮度,将增强结果I en与分解网络另一输出R low重新结合为增强图像S en后输出.在增强网络中,I low经过多个下采样块生成较小尺度图像,使增强网络有较大尺度角度分配光照,从而具有调节亮度的能力.网络采用上采样方式重构局部光照,对亮的区域分配较低亮度,对较暗的区域调整较高亮度.此外,将上采样层的输出进行通道数的级联,在调整不同局部光照的同时,保持全局光照一致性.而且跳过连接是从下采样块引入相应的上采样块,通过元素求和,强制网络学习残差.针对Retinex⁃Net出现的颜色失真问题,在增强网络中嵌入注意力机制模块.值得注意的是,与其它复杂的注意力模块不同,注意力机制模块由简单卷积层和激活操作组成,不要求强大的硬件设备,也不需要训练多个模型和大量额外参数.在光照调整过程中,可减少对无关背景的特征响应,只激活感兴趣的特征,提高算法对图像细节的处理能力和对像素的敏感性,指导网络既调整图像亮度又保留图像结构.由图1可见,注意力模块的输入是图像特征αi㊁βi,输出为图像特征γi,i=1,2,3,表示注意力机制模块的序号.αi为下采样层输出的图像特征,βi为上采样层的输出特征.这2个图像特征分别携带不同的亮度信息,两者经过注意力模块后,降低亮度无关特征(如噪声)的响应,使输出特征γi携带更多亮度信息被输入到下一上采样层,提高网络对亮度特征的学习能力.αi与重建尺度后的βi分别经过一个独立的1×1卷积层,在ReLU激活之前进行加性操作.依次经过1×1卷积层㊁Sigmoid函数,最后与βi通过逐元素相乘后将结果与αi进行通道级联.在此传播过程中,注意机制可融合不同尺度图像信息,同时减少无关特征的响应,增强网络调整亮度能力.独立于分解网络的约束损失,增强网络调整光照程度是基于局部一致性和结构感知[16]的假设.本文算法除了沿用Retinex⁃Net中约束增强网络的损失外,在实验中,针对Retinex⁃Net出现的色彩偏差,增加颜色损失[19],因此增强网络损失:L=L rcon+L I+μL c,其中,L rcon为增强图像的重构损失,L rcon=Snormal-R low I en1,L I表示结构感知平滑损失,L c表示本文的颜色损失,μ表示平衡系数.L rcon定义表示增强后的图像与其对应的正常光照图像的距离项,结构感知平滑损失L I 与分解网络的平滑损失类似,不同的是,在增强网络中,I en以R low的梯度作为权重系数:L I=ΔIen exp(-λgΔR low)1.此外,本文添加颜色损失L c,衡量增强图像与正常光照图像的颜色差异.先对2幅图像采用高斯模糊,滤除图像的纹理㊁结构等高频信息,留下颜色㊁亮度等低频部分.再计算模糊后图像的均方误差.模糊操作可使网络在限制纹理细节干扰情况下,更准确地衡量图像颜色差异,进一步学习颜色补偿.颜色损失为L c=F(Sen)-F(S normal)21.其中:F(x)表示高斯模糊操作,x表示待模糊的图像.该操作可理解为图像每个像素以正态分布权重取邻域像素的平均值,从而达到模糊的效果,S en为增强图像,S normal为对应的正常光照图像,F(x(i,j))=∑k,lx(i+k,j+l)G(k,l),G(k,l)表示服从正态分布的权重系数.在卷积网络中G(k,l)相当于固定大小的卷积核,G(k,l)=0.æèçç053exp k2-l2öø÷÷6.2　实验及结果分析2.1　实验环境本文算法采用LOL训练集[16]和合成数据集[16]训练网络.测试集选取LOL的评估集㊁DICM数据集㊁MEF数据集.在训练过程中,网络采用图像对训练,批量化大小(Batch Size)设为32,块大小(Patch Size)设为48×48.分解网络的损失平衡系数λ1=0.001,λ2=0.1,λ3=0.001.增强网络的平衡系数μ=0.01,λg=10.本文采用自适应矩估计优化器(Adaptive Moment Estima⁃tion,Adam).网络的训练和测试实验均在Nvidia GTX2080GPU设备上完成,实现代码基于TensorFlow框架.为了验证本文算法的性能及效果,采用如下对比算法:Retinex⁃Net,SRIE[10],LIME[11],MBLLEN[14]㊁文献[15]算法㊁全局光照感知和细节保持网络(Global Illumination⁃Aware and Detail⁃Preserving Net⁃work,GLADNet)[24]㊁无成对监督深度亮度增强(Deep Light Enhancement without Paired Supervision, EnlightenGAN)[25].在实验过程中,均采用原文献提供的模型或源代码对图像进行测试.采用如下客观评估指标:峰值信噪比(Peak Signal to Noise Ratio,PSNR)㊁结构相似性(Structural08模式识别与人工智能(PR&AI) 第34卷Similarity,SSIM)[26]㊁自然图像质量评估(NaturalQuality Evaluator,NIQE)[27]㊁通用图像质量评估(Universal Quality Index,UQI)[28]㊁基于感知的图像质量评估(Perception⁃Based Image Quality Evaluator,PIQE)[29].SSIM㊁PSNR㊁UQI 值越高,表示增强结果图质量越优.相反,PIQE㊁NIQE 值越高,表示图像质量越差.2.2　消融性实验为了进一步验证本文算法各模块的有效性,以Retinex⁃Net 为基础设计消融性实验,利用PSNR 衡量噪声水平,采用SSIM 从亮度㊁对比度㊁结构评估图像综合质量.实验结果如表1所示,表中S⁃ULS 表示浅层上下采样结构,l d 表示去噪损失.Enhan _I low 表示增强网络输入仅为光照分量,AMM 表示注意力机制模块,L c 表示颜色损失.参数微调1表示增强网络的平滑损失系数由原Retinex⁃Net 的3设为1;参数微调2是增强网络的平滑损失系数为1,批量化大小由16设为32.表1　各改进模块及损失的消融性实验结果Table 1　Ablation experiment results of improved modules and loss序号基础框架改进方法PSNRSSIM1-Retinex⁃Net 16.7740.55923Retinex⁃Net 添加S⁃ULS,不添加l d 添加S⁃ULS,添加l d17.45217.4940.6890.699456Retinex⁃Net+S⁃ULS+l d添加Enhan _I low ,不添加AMM,不添加L c 添加Enhan _I low ,添加AMM,不添加L c 添加Enhan _I low ,添加AMM,添加L c17.89718.00218.0910.7030.7080.70478Retinex⁃Net+S⁃ULS+l d +AMM+L c参数微调1参数微调218.27218.5290.7190.720 表1中序号2给出以Retinex⁃Net 为基础,采用浅层上下采样结构作为分解网络的结果.相比Retinex⁃Net,PSNR 值显著提高,表明此结构可抑制由图像分解带来的噪声.在此基础上添加去噪损失,进一步降低噪声,见序号3.由此验证浅层上下采样结构与去噪损失的有效性.在本文算法中,由于采用两步训练的方式,即先训练分解网络后训练增强网络,因此在验证浅层上下采样结构和去噪损失的有效性后,以此为基础评估增强网络引入的注意力机制模块和颜色损失的有效性.在Retinex⁃Net 中增强网络的输入为反射分量与光照分量通道级联后的结果.该设置一定程度上会导致反射分量丢失图像结构和细节,同时影响光照分量的亮度提升.为此,先设置序号4的实验验证上述分析.由结果可见:PSNR㊁SSIM 值大幅提高,证明此分析的正确性,表明本文算法的增强网络仅以光照分量作为输入的有效性.另外,从序号5结果看出,利用注意力模块后,图像噪声显著降低,这归功于注意力模块可减少对图像无关特征的响应,集中注意力学习亮度特征,从而降低图像噪声水平.在颜色损失的消融性实验中,尽管客观数值上没有直观体现颜色的恢复,但根据图2和图3可知,该损失是有效的.为了使各模块更好地发挥优势,本文算法对参数进行微调.从序号7㊁序号8的实验结果可见,微调参数后本文算法各模块作用进一步体现,取得更优结果. (a)输入图像 (b)参考图像 (a)Input image (b)Ground truth18第1期欧嘉敏　等:改进Retinex⁃Net 的低光照图像增强算法 (c)SRIE (d)LIME (e)GLADNet (f)MBLLEN (g)EnlightenGAN (h)Retinex⁃Net (i)文献[15]算法 (j)本文算法 (i)Algorithm in reference[15]　(j)The proposed algorithm图2　各算法在LOL数据集上的视觉效果Fig.2　Visual results of different algorithms on LOLdatasetA B C D(a)输入图像(a)Inputimages(b)LIME(c)GLADNet28模式识别与人工智能(PR&AI) 第34卷(d)MBLLEN(e)EnlightenGAN(f)Retinex⁃Net(g)文献[15]算法(g)Algorithm in reference[15](h)本文算法(h)The proposed algorithm图3　各算法在DICM㊁MEF数据集上的视觉效果Fig.3　Visual results of different algorithms on DICM and MEF datasets38第1期欧嘉敏　等:改进Retinex⁃Net的低光照图像增强算法2.3　对比实验各算法在3个数据集上的客观评估结果如表2所示,表中黑体数字表示最优结果,斜体数字表示次优结果.在LOL 数据集上,SSIM 可从亮度㊁对比度㊁结构度量2幅图像相似度,与人类视觉系统(Human Vision System,HVS)具有较高相关性[21,30],可较全面体现图像质量.从表2可见,在SSIM㊁UQI 指标上,本文算法取得最高数值,表明低光照图像经本文算法增强后图像质量得到明显提升.从图2和图3发现,本文算法也提升视觉效果的表现力.由表2的LOL 数据集上结果可知,在PSNR 指标上,本文算法总体上优于先进算法.根据文献[21]㊁文献[30]和文献[31]的研究,PSNR 指标因为容易计算,被广泛用于评估图像,但其计算是基于误差敏感度,在评估中常出现与人类感知系统不一致的现象,因此与图像主观效果结合分析能更好地体现图像质量.结合图2和图3的分析,GLADNet 的增强图像饱和度较低,存在颜色失真现象.文献[15]算法使图像过曝光.本文算法在Retinex⁃Net 基础上显著降低图像噪声,保留图像丰富结构信息,相比其它方法,视觉效果更佳,符合人类的视觉感知系统.在LOL 数据集上,对比大部分算法,本文取得与参考图像相近的NIQE 数值,表明本文算法的增强结果更接近参考图像.DICM㊁MEF 数据集没有正常光照图作为参照.本文只采用盲图像质量评估指标(NIQE㊁PIQE)评估各算法.在PIQE 指标上,本文算法取得最优值.对于NIQE,虽然未取得较好优势,但相比Retinex⁃Net,本文算法取得更好的增强结果.综上所述,虽然本文算法未在所有指标上取得最优结果,但仍有较高优势.在与人类视觉感知系统有较好相关性的SSIM 指标及噪声抑制和避免过曝能力上,本文算法最优.表2　各算法在3个数据集上的客观评估结果Table 2　Objective evaluation results of different algorithms on 3datasets 算法LOL 数据集SSIMUQI PSNRNIQEDICM 数据集PIQE NIQEMEF 数据集PIQE NIQESRIE0.4980.48211.8557.28716.95 3.89810.70 3.474LIME 0.6010.78916.8348.37815.60 3.8319.12 3.716GLADNet 0.7030.87919.718 6.47514.85 3.6817.96 3.360MBLLEN0.7040.82517.5633.58412.293.27012.043.322EnlightenGAN 0.6580.80817.483 4.68414.613.5627.863.221文献[15]算法0.7120.86019.150 4.79316.21 4.71811.78 4.361Retinex⁃Net 0.5590.87916.7749.73014.16 4.41511.90 4.480本文算法0.7200.88018.5294.49010.11 3.9607.77 3.820参考图像1--4.253---- 由图2可见,SRIE㊁LIME㊁EnlightenGAN 的增亮程度有限,增强结果偏暗.GLADNet㊁MBLLEN 改变图像饱和度,降低图像视觉效果.相比Retinex⁃Net,本文算法的增强结果图噪声水平较低,可保持图像原有的色彩.由图3可见,SRIE 增强程度远不足人类视觉需求,在图3的图像A 中,未展示其增强结果.在图3中,根据人眼视觉系统,首先能判断LIME㊁GLADNet㊁MBLLEN㊁EnlightenGAN 对人脸的增亮程度仍不足,GLADNet㊁MBLLEN 分别存在饱和度过低和过高现象.而文献[15]算法㊁Retinex⁃Net㊁本文算法能较好观察到人脸细节,但同时从左下角细节图可见,Retinex⁃Net 人脸的边缘轮廓对比度过强.从颜色上进一步分析可知,文献[15]算法亮度过度增强,导致图像颜色失真,如天空的颜色对比输入图像色调偏白㊁曝光难以观察远处的景物等.同样观察图3中图像B 右下角细节,经过分析可得,文献[15]算法㊁Retinex⁃Net㊁本文算法增强程度满足人类视觉需求,但文献[15]算法过曝光,从Retinex⁃Net 细节图可见人物服饰失真.对比其它算法,本文算法结果的亮度适中,图像具有丰富细节,避免光照伪影与过曝光现象.另外,从图3中图像C㊁D 可见,LIME㊁GLAD⁃Net㊁MBLLEN㊁EnlightenGAN 没能较好处理局部暗48模式识别与人工智能(PR&AI) 第34卷区,如笔记本㊁右下角拱门窗户区域仍未增亮,导致难以识别边缘细节.而文献[15]算法饱和度发生变化.Retinex⁃Net存在伪影和噪声等问题.本文算法不仅可增强图像的亮度,减小噪声,还保留图像的细节,图像效果更有利于高级视觉系统的识别或检测.综合上述分析发现,本文算法对低光照图像增强效果更优.3　结束语针对Retinex⁃Net噪声较大㊁颜色失真问题,本文提出改进Retinex⁃Net的低光照图像增强算法.算法在分解网络采用浅层上下采样结构及去噪损失,在增强网络嵌入注意力机制模块和颜色损失.实验表明,本文算法不仅能增强图像亮度,而且能显著降低噪声,并取得较优结果.本文算法较好地处理亮度增强过程中无法避免的噪声问题,兼顾提升亮度和降低噪声任务,可给未来研究图像多属性增强提供思路,如低光增强㊁去噪㊁颜色恢复㊁去模糊等多任务同步进行.今后研究重心将是实现图像多属性同步增强.同时扩展该研究网络结构到其它高级视觉任务中,作为图像预处理模块,期望实现网络的端到端训练.参考文献[1]HU X,MA P R,MAI Z H,et al.Face Hallucination from Low Quality Images Using Definition⁃Scalable Inference.Pattern Reco⁃gnition,2019,94:110-121.[2]陈琴,朱磊,后云龙,等.基于深度中心邻域金字塔结构的显著目标检测.模式识别与人工智能,2020,33(6):496-506. (CHEN Q,ZHU L,HOU Y L,et al.Salient Object Detection Based on Deep Center⁃Surround Pyramid.Pattern Recognition and Artificial Intelligence,2020,33(6):496-506.)[3]杨兴明,范楼苗.基于区域特征融合网络的群组行为识别.模式识别与人工智能,2019,32(12):1116-1121. (YANG X M,FAN L M.Group Activity Recognition Based on Re⁃gional Feature Fusion Network.Pattern Recognition and Artificial Intelligence,2019,32(12):1116-1121.)[4]CHENG H D,SHI X J.A Simple and Effective Histogram Equaliza⁃tion Approach to Image Enhancement.Digital Signal Processing, 2004,14(2):158-170.[5]ABDULLAH⁃AI⁃WADUD M,KABIR M H,DEWAN M A A,et al.A Dynamic Histogram Equalization for Image Contrast Enhancement. IEEE Transactions on Consumer Electronics,2007,53(2):593-600.[6]LAND E H.The Retinex Theory of Color Vision.Scientific Ameri⁃can,1977,237(6):108-128.[7]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and Per⁃formance of a Center/Surround Retinex.IEEE Transactions on Im⁃age Processing,1997,6(3):451-462.[8]JOBSON D J,RAHMAN Z,WOODELL G A.A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observa⁃tion of Scenes.IEEE Transactions on Image Processing,1997, 6(7):965-976.[9]WANG S H,ZHENG J,HU H M,et al.Naturalness Preserved En⁃hancement Algorithm for Non⁃uniform Illumination Images.IEEE Transactions on Image Processing,2013,22(9):3538-3548.[10]FU X Y,ZENG D L,HUANG Y,et al.A Weighted VariationalModel for Simultaneous Reflectance and Illumination Estimation// Proc of the IEEE Conference on Computer Vision and Pattern Re⁃cognition.Washington,USA:IEEE,2016:2782-2790. [11]GUO X J,LI Y,LING H B.LIME:Low⁃Light Image Enhance⁃ment via Illumination Map Estimation.IEEE Transactions on Image Processing,2017,26(2):982-993.[12]FUKUSHIMA K.Neocognitron:A Self⁃organizing Neural NetworkModel for a Mechanism of Pattern Recognition Unaffected by Shift in Position.Biological Cybernetics,1980,36:193-202. [13]LORE K G,AKINTAYO A,SARKAR S.LLNet:A Deep Autoen⁃coder Approach to Natural Low⁃Light Image Enhancement.Pattern Recognition,2017,61:650-662.[14]LÜF F,LU F,WU J H,LIM C S.MBLLEN:Low⁃Light Image/Video Enhancement Using CNNs[C/OL].[2020-05-11].http:// /bmvc/2018/contents/papers/0700.pdf. [15]ZHANG Y,DI X G,ZHANG B,et al.Self⁃supervised Image En⁃hancement Network:Training with Low Light Images Only[C/ OL].[2020-05-11].https:///pdf/2002.11300.pdf.[16]WEI C,WANG W J,YANG W H,et al.Deep Retinex Decom⁃position for Low⁃Light Enhancement[C/OL].[2020-05-11].https: ///pdf/1808.04560.pdf.[17]ZHANG Y H,ZHANG J W,GUO X J.Kindling the Darkness:APractical Low⁃Light Image Enhancer//Proc of the27th ACM In⁃ternational Conference on Multimedia.New York,USA:ACM, 2019:1632-1640.[18]AI S,KWON J.Extreme Low⁃Light Image Enhancement for Sur⁃veillance Cameras Using Attention U⁃Net.Sensors,2020,20(2): 495-505.[19]IGNATOV A,KOBYSHEV N,TIMOFTE R,et al.DSLR⁃QualityPhotos on Mobile Devices with Deep Convolutional Networks// Proc of the IEEE International Conference on Computer Vision.Washington,USA:IEEE,2017:3297-3305.[20]TIKHONOV A N,ARSENIN V Y.Solutions of Ill⁃Posed Pro⁃blems.SIAM Review,1979,21(2):266-267. [21]ZHAO H,GALLO O,FROSIO I,et al.Loss Functions for ImageRestoration with Neural Networks.IEEE Transactions on Computa⁃58第1期欧嘉敏　等:改进Retinex⁃Net的低光照图像增强算法。

数字图像处理中的变分模型与分割技术

数字图像处理中的变分模型与分割技术数字图像处理是一种广泛应用于计算机视觉、图像处理、图像分析等领域的技术。

其中的变分模型与分割技术是数字图像处理的重要组成部分，广泛应用于各种图像处理领域，如医学影像处理、物体识别、目标检测等。

变分模型是指对一个系统的能量函数进行最小化或最大化的过程，其中的能量函数是由图像像素的灰度值、空间距离和各种边缘等特征组成的。

常见的变分模型有全变分模型和TV（Total Variation）模型。

全变分模型是一种常见的图像处理方法，它可以将一个图像分解成多个层次，形成一个自适应的图像分割系统。

它可以有效地对图像进行边缘检测和分割。

TV模型则是一种基于局部均匀性假设的变分模型，它可以有效地管理图像分割中的噪声，并通过对图像的总变化量进行最小化来实现对图像分割的优化。

在分割技术中，边缘检测是关键环节之一。

边缘检测是指通过检测出图像中明显的边缘，进而将图像分割成若干区域的处理方法。

边缘检测技术包括Prewitt算子、Sobel算子、Canny算子等方法。

其中，Canny算法是一种基于高斯滤波、梯度计算、非极大值抑制和双阈值化等多项技术的综合算法，它可以有效地检测图像中的边缘，并将图像分割成多个区域。

除了边缘检测之外，聚类分析也是数字图像处理中广泛使用的分割技术之一。

聚类分析是指将具有相同特征的图像像素归为一类的过程。

它可以有效地将图像分割成多个相似的区域，常见的聚类算法有k-means算法、谱聚类算法等。

此外，分水岭算法也是一种常见的数字图像分割算法。

它是基于图像水平线的思想设计而成的一种聚类算法，可以将图像分割成多个区域，并在每个区域周围形成边缘。

分水岭算法广泛应用于医学影像处理中的肺部分割、乳腺分割等领域。

总之，数字图像处理中的变分模型与分割技术是数字图像处理的重要组成部分，可以有效地对图像进行边缘检测、目标分割、肿瘤检测等领域。

未来，随着计算机视觉和人工智能技术的不断发展，数字图像处理技术将在更多领域得到应用。

结合图像结构特征和近似l0范数的压缩采样恢复算法

结合图像结构特征和近似l0范数的压缩采样恢复算法尚斐;杜慧茜;贾云得【期刊名称】《计算机辅助设计与图形学学报》【年(卷),期】2010(022)011【摘要】为了从压缩采样数据快速有效地恢复自然图像,提出了一种结合近似 l0范数和近似总体变分(TV)的压缩采样图像恢复算法模型--TVSl0,并在恢复算法中引入模拟退火方法来实现快速恢复.该模型以最小化近似l0范数为基础,融入了反映图像结构特点的近似TV范数,体现出该模型对图像空域变化有限这一特点的适应性;并使用连续近似函数解决了l0范数的不连续问题.针对典型自然图像恢复的实验结果验证了文中算法的有效性和可行性,其恢复质量和基本TV模型的方法相当,但迭代次数少、计算复杂度低.【总页数】6页(P1874-1879)【作者】尚斐;杜慧茜;贾云得【作者单位】北京理工大学生命科学学院,北京,100081;北京理工大学计算机学院智能信息技术北京市重点实验室,北京,100081;北京理工大学电子与信息学院,北京,100081;北京理工大学计算机学院智能信息技术北京市重点实验室,北京,100081【正文语种】中文【中图分类】TP391【相关文献】1.基于近似L0范数算法的跳频信号时频分析 [J], 冯维婷;梁青;谷静2.基于近似l0范数最小化的NMR波谱稀疏重建算法 [J], 张正炎;屈小波;林雁勤;陈忠3.基于修正近似双曲正切函数的平滑l0范数算法 [J], CHEN Jin-li;LI Wei;ZHU Xiao-rong;CHEN Xuan;LI Jia-qiang4.基于平滑L0范数最小化算法的压缩图像重建仿真设计 [J], 刁佳琪5.基于改进的近似l0范数的稀疏信号重构算法 [J], 张慧萍;张连娜;李荣鹏;宋学力因版权原因，仅展示原文概要，查看原文内容请购买。

结合加权核范数与全变分的图像二级去噪

结合加权核范数与全变分的图像二级去噪朱豪;路锦正【摘要】为提升图像去噪后的视觉感受,提出一种加权核范数最小化(WNNM)结合全变分(TV)的二级图像降噪方法.首先对含噪图像进行TV基础去噪,其次用噪声图像与基础去噪结果图做差分运算,并对差分后的结果自适应维纳滤波,然后将滤波后图像与基础TV降噪图像叠加,利用块匹配做相似补丁收集,最后运用加权核范数最小化进行二次去噪,得到最终降噪图像.通过与原WNNM、三维块匹配去噪(BM3D)、漏斗自相似非局部去噪(FNLM)方法对比,该方法不仅对平滑区域有较优的降噪效果,同时处理了漏斗自相似非局部去噪与BM3D在高噪声情况下带来花斑与假条纹状况,并且使结构纹理信息最大化相似.%In order to enhance the visual perception of image denoising, this paper proposes a method named two image denoising method combining Total Variation(TV)with Weighted kernel Norm Minimization(WNNM). The noisy image is denoised with TV, then the noisy image and the based denoised one are expected to be made a differential operation. Af-ter that the result will be filtered with the adaptive Wiener filter. Having been filtered, the image will be overlain with the TV based denoising image, and be made the similar patches collected by using block matching. The final denoised image will be formed after the twice denoising with WNNM. Compared with the original WNNM, Block Matching 3-D (BM3D)and Foveated NL-Means(FNLM), this method can make a better denoising effect on smooth areas;meanwhile, it also can reduce the spots and false fringe status which are caused by FNLM andBM3D under the high noise. The struc-ture and texture information can be furthest similar as well.【期刊名称】《计算机工程与应用》【年(卷),期】2017(053)023【总页数】7页(P177-183)【关键词】加权核范数;全变分;图像残差;二次去噪【作者】朱豪;路锦正【作者单位】西南科技大学信息工程学院,四川绵阳 621010;特殊环境机器人技术四川省重点实验室,四川绵阳 621010;西南科技大学信息工程学院,四川绵阳621010;特殊环境机器人技术四川省重点实验室,四川绵阳 621010【正文语种】中文【中图分类】TP391.4图像信息在获取、传输和存储的过程中，不可避免地会受到噪声的干扰，造成图像质量严重下降，使得大量的图像边缘与细节特征被淹没，给图像的分析和后续处理带来了很大的困难。

Radon变换和全变分相融合的图像复原算法

其中，ϕ(|∇u |) = 1 + |∇u |2 - 1
TV 图像复原模型的欧拉-拉格朗日方程为：
温喆：Radon 变换和全变分相融合的图像复原算法
72
《激光杂志》2014 年第 35 卷第 10 期
LASERNAL（Vol.35.No.10.2014）
-∇
⋅
æ ç è
ϕ'
(|∇u
|)
∇u
|∇u
(4)
式中，|r|表示直线到原点的距离，θ[0,π]表示直线
与 y 轴的夹角，δ(r)是 Dirac 函数。
由上式可知，Radon 变换就是用 f(x,y) 沿直线
r-xcosθ-ysinθ=0 积分，得到在任意(r,θ)处对 f(x,y)投影
值 P(r,θ)。
对于图像的几何变换，Radon 变换有以下性质：
Key words: Image restoration; Radon transform; Blur orientation; Blur length
图像在成像过程中，由于光学系统散焦、运动以及大气扰动等因素的不利影响，导致采集的图像比较模糊，再加电路和光度学等噪声的干扰而造成图像的退化，然而在图像实际应用中，需要清晰、高质量的图像，因此，为了抑制噪声、改善图像质量，构建性能优异的复原图像算法具有非常重要的意义[1]。
è
λx ,
y λ
öø÷üýþ
=
λP(
r λ
,θ)
(7)
图 2 给出 Radon 变换的几何关系图，从图 2 可以
看出，要检测出直线的角度θ与投影方向所在直线的
角度β垂直。
f ( x, y)
x¢

结合图像结构特征和近似l0范数的压缩采样恢复算法

” （ｈｏｆｍｐｕｅｉｎｅａｄＴｅｈｎｌｇｙ，ＢｅｊｎＩｓｉｕｅｏＴｅｈｎｌｇｙ。Ｂｅｊｎ１０８１ＳｃｏｌｏＣｏｔｒＳｃｅｃｎｃｏｏｉｉｇｎｔｔｔｆｃｏｏｉｉｇ００）
Ａｂｔａｔｓｒｃ：ＴｈｓｐａｒｐｅｅｓａｎｗｄｅａｅｉｐｅｒｓｎｔｅｍｏｌｎｍｄＴＶＳＺｏａｕｒｌｉｇｅｒｃｖｅｙｆｏｃｍｐｒｓｉｅ。ｆｒｎｔａｍａｅｏｒｒｍｏｅｓｖｓｍｐｌｓＴｈｅｍｏｌｃｍｂｎｓｔｔｌｖｒａｉｎｎｒａｐｐｏｘｍａｅＺｏｒａｅ．ｄｅｏｉｅｏａａｉｔｏｏｍｎｄａｒｉｔ０ｎｍ．ＳｉｍｕｌｔｄＡｎｎｅｌｎｓａｅａｉｇｉ
ｅｐｏｙｄｔａｈｉｖｏｔｍｉａｉ．Ｔｈｅｍｌｅｏｃｅｅｐｉｚｔｏｎｍｏｅｉｂｓｄｎｈｅｐｒｘｉａｅｏｏｍ，ｉｗｈｃｔｄｌｓａｅｏｔａｐｏｍｔＺｎｒｎｉｈｈｅ
第２２卷第１期１
２１ＯＯ年１１月
计算机辅助设计与图形学学报
ＪｕｎｌｆｍｐｔｒＡｉｅｓｇ＆ＣｏｕｅａｈｃｏｒａｏＣｏｕｅ — ｄｄＤｅｉｎｍｐｔｒＧｒｐｉｓ
Ｖｏ．２Ｎｏ１１２．１
ｔｍａｔｕｃｕｅｆａｕｅｈｅｉｇｅｓｒｔｒｅｔｒｓ，ｉ．ｂｏｄｅｒａｉｎｓａｅｄｍａｎ．Ｔｈｉｕｌｔｏｅｕｌｓｓｗｈａ．ｅｕｎｄｖａｉｔｏｎｉｐｃｏｉｅｓｍａｉｎｒｓｔｈｏｔｔ

基于视频序列的超分辨力视频图像处理软件在刑侦上的应用

（精确的亚像素运动信息，２）这是超分辨力复原的关
键；
目前对视频序列的超分辨力研究大多还局限在算
法介绍与理论分析上，而鲜见将其开发包含３）先验信息。
１视频序列的退化模型．
视频能捕捉动态场景，相对于静态图像能提供更多的信息。但是在视频采集过程中，由于散焦、运动、欠采样、光线不足以及过度压缩等因素的影响，造成视频图像的空间分辨力不高。如何提高视频图像的空间分辨力一直是刑侦、物证鉴定所面临的重大问题。提高图像空间分辨力目前最行之有效的方法是从后端的图像处理入手，由低分辨力（ｗｓｌｔｎＬ序列图１ｒｏｉ，Ｒ）ｏｅｕｏ像重建单帧高分辨力（ｉｒｏｔｎＨＲ）１ｅｌｉ，１曲ｓｕｏ图像或序列，该技术不需要昂贵的硬件改造成本即可实现图像高频信息的复原，因此倍受人们的重视，此即视频序列的超分辨力复原技术。
处理效果。处理效果表明，该软件能够提升图像分辨力，对于刑侦、物证鉴定等领域的视频图像分析具有重要价值。
关键词：视频序列超分辨力图像处理软件
一
、
引言
旨在提高目标分辨力的超分辨力视频图像处：Ｓｐｒ￣（ｕｅＲｅｏｔｎＶｄｏＩｇｒｃｓｎ，ＲＶＩ）件，本文ｓｌｉｉｅｍａｅＰｏｅｓｇＳｕｏｉＰ软将对该软件涉及的超分辨力处理技术、软件模块功能、软件测试结果等进行介绍。
视频序列的超分辨力复原即是运用序列ＬＲ图像之间

人工智能在医学影像中的研究与应用

摘要：近年来，人工智能成为学术界和工业界的研究热点，并已经成功应用于医疗健康等领域。

着重介绍了人工智能在医学影像领域最新的研究与应用进展，包括智能成像设备、智能图像处理与分析、影像组学、医学影像与自然语言处理的结合等前沿方向。

分析了研究和发展从源头入手的全链条人工智能技术的重要性和可行性，阐述了学术界和工业界在这一重要方向上的创新性工作。

同时指出，人工智能在医学影像领域中的研究尚处于起步阶段，人工智能与医学影像的结合将成为国际上长期的研究热点。

关键词：人工智能; 医学影像; 成像方法; 图像处理与分析; 自然语言处理1 引言人工智能（artificial intelligence, AI）是当下学术界和产业界的一个热点。

经过近几年的高速发展，深度学习已经实现了在传统的图像、视频、语音识别等领域的落地，并迅速地向文本处理、自然语言理解、人机对话、情感计算等方面渗透，并在安防、物流、无人驾驶等行业发挥了重要作用。

人口老龄化问题的显现以及人们对健康与日俱增的要求，对目前有限的医疗资源和医疗技术提出了更大的挑战。

医疗领域亟需新的技术满足这些需求。

与此同时，国内外与医疗相关的人工智能技术也在飞速地发展，科研和创业项目如雨后春笋，为解决医疗领域的挑战提供了新的机遇。

目前已经出现了计算机辅助诊断、智能专家系统、手术机器人、智能药物研发以及健康管理等多种产品。

在众多的医疗信息中，医学影像是疾病筛查和诊断、治疗决策的最主要的信息来源。

基于医学影像的诊断和治疗是一个典型的长链条、专业化的领域，涵盖了医学影像成像、图像处理与分析、图像可视化、疾病早期筛查、风险预测、疾病辅助检测与诊断、手术计划制定、术中辅助导航、随访跟踪与分析、康复计划制定等一系列方向。

目前，医院存储的信息超过90%是影像信息，影像信息已经形成了巨大的数据积累。

为此，基于医学影像大数据的人工智能技术与应用就成为医疗机构、科研、产业和政府共同关注的焦点。

机器学习中的范数规则化之(一)L0L1与L2范数

机器学习中的范数规则化之（一）L0L1与L2范数在机器学习中，范数（norm）是一种度量向量大小的方法。

范数规则化（norm regularization）是一种在损失函数中添加范数项来限制模型复杂度的技术。

范数规则化可以帮助防止过拟合，提高模型的泛化能力。

常见的范数规则化包括L0、L1和L2范数。

本文将分别介绍这三种范数及其在机器学习中的应用。

一、L0范数L0范数是指向量中非零元素的个数。

在数学上，L0范数是向量中各个元素非零的个数。

而在机器学习中，对于模型的权重向量w，L0范数表示非零权重的个数，即参数的稀疏性。

L0范数利用稀疏性来压缩模型，减少模型的复杂度。

在一些情况下，稀疏模型能够提高模型的泛化能力并增加模型的可解释性。

然而，由于计算复杂度高，L0范数在实际应用中较少使用。

二、L1范数L1范数是指向量中各个元素的绝对值之和。

对于模型的权重向量w，L1范数表示w中各个元素的绝对值之和。

L1范数的一个主要特点是它的解是稀疏的。

L1范数惩罚项倾向于将一些参数的权重压缩至零，使得模型的权重趋向于稀疏。

因此，L1范数可用于特征选择，即通过选择一些特征的权重为零来降低模型的复杂度。

在机器学习中，L1范数经常与特征选择、稀疏编码等方法结合使用。

例如，在线性回归中，使用L1范数作为约束可以推导出Lasso回归模型，其中一些参数被压缩为零。

三、L2范数L2范数是指向量中各个元素的平方和的平方根。

对于模型的权重向量w，L2范数表示w中各个元素的平方和的平方根。

L2范数的一个主要特点是它的解是连续且平滑的，它会使得模型的权重分布均匀。

L2范数惩罚项在机器学习中应用较为广泛，尤其是在神经网络中常用于控制模型复杂度。

L2范数可以使得模型的参数较小且扩散到多个特征上，防止模型过拟合。

在神经网络中，L2范数用作权重衰减（weight decay）的一种形式，有助于防止模型过拟合，并且能够提高模型的泛化能力。

综上所述，L0范数、L1范数和L2范数是范数规则化中常用的三种方法。

图像处理中的图像恢复算法研究

图像处理中的图像恢复算法研究图像恢复是一项重要的图像处理技术，主要用于恢复被损坏的图像或改善图像质量。

图像恢复算法在不同的应用领域中都起到关键作用，如数字摄影、医学影像、安全监控等。

本文将介绍几种常见的图像恢复算法，并探讨它们的原理和应用。

1. 噪声去除算法在图像处理中，噪声往往是导致图像质量下降的主要原因之一。

噪声去除算法旨在通过滤波和降噪技术，减少图像中的噪声，提升图像质量。

常见的噪声去除算法包括均值滤波、中值滤波和小波降噪等。

均值滤波算法是一种简单直接的噪声去除方法。

它将每个像素点的灰度值替换为其周围邻域像素值的均值，以减少噪声的影响。

然而，均值滤波会模糊图像细节，因此不适用于要求保留细节的图像恢复任务。

中值滤波算法是通过选择邻域像素的中值来去除噪声。

它在滤波过程中不会模糊图像，能够更好地保留图像的细节。

因此，中值滤波算法在图像恢复任务中被广泛应用。

小波降噪算法是一种基于小波变换的噪声去除方法。

它通过对图像进行小波变换，将信号在频域分解为不同的频率成分，并根据统计规律对每个频率成分进行阈值处理，实现去噪效果。

小波降噪算法能够有效去除噪声，同时保留更多的图像细节，被广泛应用于数字图像恢复领域。

2. 图像修复算法图像修复算法主要用于恢复被损坏的图像，如刮擦、折叠、噪声污染等。

常见的图像修复算法包括基于插值的算法、基于模型的算法和基于深度学习的算法。

基于插值的算法是一种常用的图像修复方法，它通过对缺失或损坏的像素进行插值，补全图像。

常见的插值算法有最近邻插值算法、双线性插值算法和双三次插值算法等。

这些算法根据相邻像素的灰度值进行计算，以尽可能准确地恢复图像。

基于模型的图像修复算法利用图像的统计规律和结构信息进行恢复。

常见的模型包括全变分(TV)模型、稀疏表示模型和低秩约束模型等。

它们通过建立数学模型，利用图像的局部和全局特征进行修复，可以很好地恢复被破坏的图像。

近年来，基于深度学习的图像修复算法取得了显著的进展。

医疗影像处理中的图像重建技术使用教程

医疗影像处理中的图像重建技术使用教程随着医学影像技术的不断发展，图像重建技术在医疗影像处理中起着至关重要的作用。

图像重建技术能够通过对采集到的不完整或噪声干扰的图像进行优化，从而提高诊断的准确性和可靠性。

本文将介绍医疗影像处理中常见的图像重建技术，并提供相应的使用教程和实践指导。

一、滤波算法滤波算法在医疗影像处理中被广泛应用于图像重建，它的主要作用是去除噪声并提高图像的清晰度。

常见的滤波算法有线性滤波、非线性滤波和自适应滤波。

线性滤波是一种基本的滤波算法，常用的有均值滤波和中值滤波。

均值滤波是通过计算像素周围的邻域像素的平均值来进行滤波。

而中值滤波则是通过选取邻域像素的中值来进行滤波。

使用这两种滤波算法需要注意选取合适的滤波窗口大小，以保留图像的细节信息。

非线性滤波包括双边滤波和小波去噪。

双边滤波是一种保留边缘信息的滤波算法，通过加权邻域像素的方式来进行滤波，能更好地平衡去噪和图像细节保留之间的关系。

小波去噪是一种基于小波变换的滤波算法，它将信号分解成多个不同频率的子带，并对各个子带进行滤波和重构，以从中提取出有效的图像信息。

自适应滤波算法是一种根据图像的局部特征自动调整滤波参数的滤波算法。

它通过对邻域像素进行分析，自适应地选择滤波模板，以适应不同部位的图像特性。

这种算法可以有效地去除噪声，并保持图像细节的清晰度。

二、重建算法重建算法是在医疗影像处理中常用的图像重建技术。

它的主要作用是根据已有的图像信息和先验知识，推断出缺失或损坏的图像信息。

常见的重建算法有插值法、变分方法和模型驱动方法。

插值法是一种基于已知数据点插入缺失点的重建算法。

常用的插值方法包括最邻近插值、双线性插值和三次样条插值。

最邻近插值是通过选择最接近缺失点的已知数据点来进行插值，适用于图像缩放和放大等应用场景。

双线性插值则是通过线性插值计算缺失点的灰度值，能够更好地保持图像的平滑性。

三次样条插值通过分段三次多项式拟合已知数据点，能够提高插值的精度和准确性。

基于各向异性的L1范数全变分正则化非均匀性校正方法[发明专利]

专利名称：基于各向异性的L1范数全变分正则化非均匀性校正方法
专利类型：发明专利
发明人：顾国华,张业伟,隋修宝,潘科辰,陈钱,刘源,高航,匡小冬,杨成章,吴少迟
申请号：CN201611150706.1
申请日：20161214
公开号：CN108230249A
公开日：
20180629
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于各向异性的L1范数全变分正则化非均匀性校正方法,通过建立起基于单幅图像的各向异性全变分正则化模型，将去除红外图像非均匀性条纹噪声的问题转化为一个最小化全变分问题，之后采用分离布拉格曼迭代方法进行最优化，得出最优解，其最后一次迭代结果即为校正后的红外图像。

本发明的创新点在于对传统的全变分模型针对非均匀条纹噪声水平方向全变分远大于竖直方向全变分的结构特点改进方程，使用基于L1范数的正则约束使其能适用于红外图像非均匀性校正，利用分离布拉格曼方法代替最陡梯度下降法进行方程最优化处理，大大提升了处理速度，最大程度地保留了物体的边缘信息。

申请人：南京理工大学
地址：210094 江苏省南京市玄武区孝陵卫200号
国籍：CN
代理机构：南京理工大学专利中心
代理人：朱沉雁
更多信息请下载全文后查看。

L0、L1、L2范数在机器学习中的应用

线性模型（图片来自网络，侵删）
也可以建立一个多项式模型：:
多项式模型（图片来自网络，侵删）
哪种模型更好呢？直观来讲，我们应该会选择线性模型。

Occam's razor定律告诉我们，'Entities should not be multiplied unnecessarily'。

这可以理解为简单的模型肯定比复杂的模型常见，如果一个简单的模型刚好适合拟合这些数据，那么我们会认为这个简单的模型恰好反应出一些潜在的规律。

从这个角度来看，尽管多项式模型在已知的数据点上能近似地很好，但这是学习到了数据噪声的结果，在未知的数据的泛化上很有可能存在问题。

正态分布（图片来自网络，侵删）
（2）假设
logP(w) = log(\frac{1}{2b}e^{-\frac{|w|}{b}}) = m\cdot{log{\frac{1}{2b}}}-
以上三种应用的统一
结构风险其实是让经验风险与模型复杂度同时小，实际上也是在约束模型的特性。

正则化可以约束模型的特性。

简单的模型还是稀疏的模型，实际上都来自与我们对这个模型的事先感知，从贝叶斯的角度来理解，也可以认为这是模型的先验。

而结构风险是在经验风险后面加上表示模型复杂度的正则化项，最大后验概率估计就是最小化的结构风险，它的模型复杂度由模型的先验概率表示。

当模型的先验分布为高斯分布时，认为模型复杂度是平方复杂度；当模型的先验分布为拉普拉斯分布时，认为模型的复杂度是绝对值复杂度。

总的来说可以理解为：结构风险考虑了约束模型的特性，模型的特性是由模型的先验知识确定的，先验的不同导致了L1、L2正则化项的不同使用。

多尺度引导滤波及其在去雾中的应用

多尺度引导滤波及其在去雾中的应用武昆;韩广良;杨航;王宇庆;吴笑天【摘要】将引导滤波与提升小波相结合提出了一种多尺度引导滤波方法,以实现在平滑图像细节的同时保持图像边缘不模糊.该方法通过提升小波法对将图像进行多尺度分解,即将信号分解成一个低频子带和多个高频子带.在提升小波重构过程中,利用引导滤波平滑每个尺度的低频信息并保持其边缘不模糊.最后,针对滤波后残余的细节,对提升小波重构后的平滑图像再次进行引导滤波,以便进一步平滑图像细节.将多尺度引导滤波应用于暗通道去雾先验理论并进行了主、客观评价.结果显示:多尺度引导滤波能够深层次平滑图像细节,保持边缘完整性,从整体上提高了图像的对比对和视觉效果,有效恢复了场景信息并保留场景的边缘信息.另外,该方法改善了客观评价指标,其对比度增强系数指标平均提升了0.1以上,场景结构相似度平均提升了1以上, 而LOE(Lightness Order Error)参数降低了10以上,满足了去雾应用的视觉需求.%With combining guided filter and lifting wavelet effectively, a multi-scale guided filter was proposed to smooth the details of a color image and to keep the edges of the image unambiguous.The lifting wavelet was used to decompose the color image in multi-scale.It means that the image was decomposed into a low frequency subband and a plurality of high frequency subbands.In the reconstruction process of the lifting wavelet, the low-frequency information of each scale was smoothed by the guide filter and the edges were not blurred.Finally, the reconstructed image was processed by the guided filter once more to remove the residual details as soon as possible.The proposed multi-scale guided filter method was applied to the image haze removal using darkchannel prior and its processing results were evaluated in subjectivity and objectivity.The results show that the multi-scale guided filter smoothes the image''s details and maintains the edge integrity.It improves the visual effect of the image in whole, enhances the image contrast and visual effect.Moreover, it recovers the scene information and preserves the edge information of the scene.At the same time, the objective evaluation indexes are improved, in which, the contrast enhancement coefficient index is improved by 0.1 or more, the restoration ability of the scene structure information is increased by more than 1 and the Light Order error(LOE) is reduced by more than 10.It satisfies the visual needs of the application in image dehazing.【期刊名称】《光学精密工程》【年(卷),期】2017(025)008【总页数】13页(P2182-2194)【关键词】引导滤波;提升小波;多尺度引导滤波;图像去雾【作者】武昆;韩广良;杨航;王宇庆;吴笑天【作者单位】中国科学院长春光学精密机械与物理研究所,吉林长春 130033;中国科学院大学,北京 100049;中国科学院长春光学精密机械与物理研究所,吉林长春130033;中国科学院长春光学精密机械与物理研究所,吉林长春 130033;中国科学院长春光学精密机械与物理研究所,吉林长春 130033;中国科学院长春光学精密机械与物理研究所,吉林长春 130033【正文语种】中文【中图分类】TP391.4滤波器在图像处理、模式识别、计算机视觉等相关领域的应用逐渐广泛，利用其进行图像滤波是很多图像处理算法的重要过程。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

3． Hangzhou ＲFID Ｒesearch Center，Chinese Academy of Sciences，Hangzhou 310015，China）
Abstract： Aiming at problem of loss of image detail and edge information in image fusion caused by conventional fusion method，a novel image fusion method via L0-regularized total variation is proposed． An average filtering is performed on source images to extract edge feature，and the weights of source images are calculated by gradient of feature map． Based on target image，and acts as the fidelity term which penalizes the departure from the initial image． A target gradient map is also made to regularize the gradient of fused image． By introducing auxiliary variables，an alternating minimization algorithm is used to get the fused image． Experiments are conducted by multi-focus images as well as infrared and visible images，results of fused images are computed by some quality metrics． Comparing with discrete cosine harmonic wavelet transform fusion method，average gradient is increased by 0． 71 % and 15． 71 % ，and standard deviation is increased by 4． 97 % and 4． 77 % ，as well as QUV/F is increased by 0． 94 % and 6． 13 % ，respectively，the LUV/F is decreased by 5． 47 % and 17． 37 % ． It concludes that the proposed algorithm obtains remarkable results both in visual perception and objective metrics． Keywords： image fusion； total variation model； multi-focus images； infrared and visible light images； feature map gradient
SUN Qian-chen1，2，3 ，ZHOU Jian1，3 ，HUANG Bing1，2，3 ，SUN Xiao-wei1，3
（ 1． Key Laboratory of Terahertz Solid-state Technology，Shanghai Institute of Microsystem and Information Technology，Chinese Academy of Sciences，Shanghai 200050，China； 2． University of Chinese Academy of Sciences，Beijing 100049，China；
（ TV-L0）图像融合方法。对源图像进行均值滤波，根据滤波前后的图像获取源图像的边缘特征，通过特征
图的梯度获取源图像对应的权重，基于此权重，由源图像建立目标图像并由源图像的梯度建立目标梯度。
进一步基于目标图像建立变分方程的保真项，并基于目标梯度建立方程的正则项。通过引入变量，基于快
速傅里叶变换，实现了融合模型的快速求解。实验结果表明：与基于离散余弦谐波小波变换图像融合方法
44
传感器与微系统（ Transducer and Microsystem Technologies）
2019 年第 38 卷第 4 期
DOI： 10． 13873 / J． 1000—9787（ 2019） 04—0044—04
L0 范数约束的全变分图像融合*
孙谦晨1，2，3 ，周健1，3 ，黄冰1，2，3 ，孙晓玮1，3
相比，提出的方法多焦点图像融合和红外与可见光图像融合中的平均梯度（ AG）分别提高了 0． 71 % 和 15． 71 % ，标准差（ SD）分别提高了 4． 97 % 和 4． 77 % ，从源图像转移到融合图像的边缘信息量（ QUV/F ）分别提高了 0． 94 % 和 6． 13 % ，从源图像到融合图像丢失的边缘信息量（ LUV/F ）分别降低了 5． 47 % 和17． 37 % 。
（ 1．中国科学院太赫兹固态技术重点实验室中国科学院上海微系统与信息技术研究所，上海 200050； 2．中国科学院大学，北京 100049； 3 中国科学院杭州射频识别技术研发中心，浙江杭州 310015）
摘要：针对图像融合中传统方法易引起图像细节和边缘丢失的问题，提出了一种 L0 范数约束的全变分
提出的方法所获取的融合图像在主观视觉效果和客观评价函数两方面均优于传统方法。
ቤተ መጻሕፍቲ ባይዱ
关键词：图像融合；全变分模型；多焦点图像；红外与可见光图像；特征图梯度
中图分类号： TP 391
文献标识码： A
文章编号： 1000—9787（ 2019） 04—0044—04
Image fusion via L0-regularized total variation*