视觉显著性检测：一种融合长期和短期特征的信息论算法
视觉显著性检测算法及应用
• 91•1.概述显著性检测是计算机视觉领域的一个受关注领域。
其主要工作是通过建立视觉注意模型来模拟人的视觉系统。
在过去几十年中，视觉显著性和相关的认知神经学得到了广泛的研究。
人的视觉注意机制可以抑制不重要的信息，将有限的认知资源集中在场景中的重要刺激上。
在计算机视觉领域，显著性的研究是提出一种模拟人视觉注意机制的模型。
2.显著性检测算法的进展早期的视觉显著性算法从输入图像中提取如颜色、亮度、方向、运动等多方面的基本特征，通过数学计算形成各个特征的关注图，然后对数据进行归一化操作并融合特性信息得到视觉显著图。
现有的显著性检测的方法更加充分利用了各种图像信息：有利用背景先验的分层信息融合的、结合前后背景信息的、中心矩阵的、考虑多角度信息、融合多模型的、基于稀疏矩阵、基于背景检测的各种显著性检测算法。
近年来，随着人工智能技术的快速发展，在图像显著性检测领域引进了基于深度学习技术的卷积型神经网络CNN。
与基于对比度线索的传统方法不同，基于CNN的方法不在依赖人工方法设定特征，而是通过CNN自动计算特征值，减少了对中心偏置知识的依赖性，因此很多研究者采用了这种方法。
基于CNN的模型通常包括数十万个可训练的参数。
神经元具备可变接受字段大小特性，并拥有提供全局信息的能力。
3.视觉显著性检测算法的应用3.1 在目标跟踪领域的应用可以将视觉将显著性算法应用到移动目标跟踪。
结合视觉注意机制建立运动目标跟踪框架，使用时空显著算法，在测试视频序列上生成视觉图，在视觉图中找到对应重要区域，最终建立跟踪模型模型，实现移动目标跟踪。
对于复杂环境下的运动目标跟踪问题，可以将粒子滤波跟踪算法和视觉显著性特征算法相结合，利用显著性检测算法对待检测图片进行处理，对目标状态进行预测时采用二阶自回归模型，然后强化中心区域，同时弱化四周区域，生成最终显著图。
然后在视觉显著图中提取像素值较大的作为目标区域，同时自适应融合颜色特征，最终可以实现运动目标的跟踪。
基于深度神经网络的视觉显著性检测算法研究
基于深度神经网络的视觉显著性检测算法研究近年来，随着计算机视觉技术的快速发展，视觉显著性检测算法在多个领域得到了广泛运用。
视觉显著性检测可以识别图像或视频中最显著的区域，从而使图像或视频的理解更加容易。
这项技术在广告、图像检索、自动驾驶、医疗等领域，都有着重要的应用。
在视觉显著性检测算法中，基于深度神经网络的方法日益受到人们的关注。
这种方法可以有效地提高检测准确度，同时也可以减少复杂性和处理时间，使得该技术更加实用和具有可操作性。
一般来说，基于深度神经网络的视觉显著性检测算法主要包括四个步骤：特征提取、特征融合、分类器和显著性图生成。
首先，通过卷积神经网络从原始图像中提取有用的特征。
然后，特征融合将不同卷积层的特征进行组合，以便提高特征的表示能力和适应性。
接着，使用训练好的分类器判断图像中每个像素是否显著。
最后，根据分类的结果，生成与原始图像尺寸相同的显著性图。
在这个过程中，深度神经网络的一个关键优点是，它可以通过反向传播算法直接从数据中学习特征，而不需要手动设计和选择特征。
这使得深度神经网络可以更加准确地检测图像中的显著性区域，同时也可以避免在特征设计过程中产生的错误。
目前，基于深度神经网络的视觉显著性检测算法已经在许多应用场景中得到了广泛的应用。
例如，在广告行业中，该技术可以帮助广告商确定哪些区域更具吸引力，进而提高广告的点击率。
在自动驾驶领域，视觉显著性检测技术可以帮助车辆更好地感知周围环境，从而提高行驶的安全性和稳定性。
同时，在医疗领域，该技术可以协助医生自动诊断病情，帮助减少医疗工作的难度和繁重程度。
基于深度神经网络的视觉显著性检测算法的未来发展方向也非常值得关注。
其中之一的发展方向是集成多种深度神经网络结构，以便更好地发挥各自的优势。
另外，还可以探索如何将深度神经网络模型应用到视频显著性检测中，进一步扩展视觉显著性检测技术的适用范围和准确度。
总之，基于深度神经网络的视觉显著性检测算法是一种快速发展的技术，具有广泛的应用前景。
视觉显著性检测：一种融合长期和短期特征的信息论算法
摘
郭 雷
韩 军伟
胡新 韬
程
堞
（ 西北工业 大学 自动化 学院 西安
７ １ ０ １ ２ ９ １
要： 针对传统视觉显著性检测算法单纯使用 当前观测图像 的信息或是先验知识的不足 ， 该文引入了长 期特征和
短期 特 征 的概 念 ，分 别 代表 先验 知识 和 当前 观 测 图 像 的 信 息 ，并 提 出 了一 种 基 于 信 息 论 的算 法 将 它 们 融 合 。 首先 ， 分别 根 据 人 眼 跟 踪 数 据 和 当 前观 测 图像 的 内容 来 训 练 长 期和 短期 稀 疏 词 典 并 对 图 像进 行 稀 疏 编 码 ， 将 得 到 的稀 疏 编
第３ ５卷 第 ７期 ２ ０ １ ３年 ７月
电
子
与
信
息
学
报
Ｖｏ１ ． ３ ５ＮＯ． ７ Ｊｕ １ ．２ ０１ ３
Ｊ ｏｕ ｒ ｎ ａ ｌ ｏ ｆ Ｅｌ ｅ ｃ ｔ ｒ ｏ ｎｉ ｃ ｓ＆ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
视觉显著性检测 ：一种融合 长期和短期特征的信息论算法
码作 为长期和短期特征 。 其次 ， 针对现有算法只能在整幅图像 上或 是在一个 固定大小的局部邻域 内进行统计的缺 陷，
该文 提 出一 种 基 于 信 息 熵 的特 征概 率 分 布 估 计 方 法 ， 该 方 法 可 以根 据 当 前 观测 图像 的具 体 情 况 自适应 地 选 择 一 个 最 佳 的 区域 大 小 来 计 算 长 期 和 短 期特 征 出现 的概 率 。 最 后 ，利用 香农 自信 息 来 输 出 图 像 的 显著 性 检 测 结 果 。同 ８种 流 行算 法 在 公开 的人 眼 跟 踪 测 试库 上进 行 的主 观 和 定 量 的 实验 对 比证 明 了该 文 算 法 的 有 效性 。 关键 词 ：模 式 识 别 ；视 觉 显 著性 检 测 ；长 期 特 征 ； 短 期特 征 ；信 息熵 ；香 农 自信 息
基于深度学习技术的视觉显著性检测研究
基于深度学习技术的视觉显著性检测研究摘要视觉显著性检测是计算机视觉领域的一个重要研究方向，在许多应用中具有广泛的应用前景。
本文基于深度学习技术，对视觉显著性检测进行了研究。
首先，介绍了视觉显著性检测的背景及其在实际应用中的意义。
然后，分析了目前主流的视觉显著性检测算法，并详细介绍了基于深度学习技术的视觉显著性检测算法。
最后，通过实验验证了所提出算法的有效性。
关键词：深度学习，视觉显著性检测，卷积神经网络，特征提取，实验验证AbstractVisual saliency detection is an important research direction in the field of computer vision and has broad application prospects in many applications. In this paper, we study visual saliency detection based on deep learning technology. First, the background of visual saliency detection and its significance in practical applications are introduced. Then, the current mainstream visual saliency detection algorithms are analyzed, and the visual saliency detection algorithms based on deep learning technology are introduced in detail. Finally, the effectiveness of the proposed algorithm is verified through experiments.Keywords: deep learning, visual saliency detection, convolutional neural network, feature extraction, experimental verification引言视觉显著性检测是计算机视觉领域的一个重要研究方向，它可以识别图像中最引人注目的区域，为图像处理、图像检索、目标跟踪等应用提供有力的支持。
视觉显著性检测
图4 Itti模型
图5视觉显著性检测计算模型对于一幅输入的图像，该模型提取初级视觉特征：颜色（RGBY）、亮度和方位、 在多种尺度下使用中央周边(Center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终 的显著图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显著的空间位 置,用来向导注意位置的选取，最后采用返回抑制 (Inhibition of return)的方法来完成注意焦点的转移。视 觉显著性计算模型大致上可分为两个阶段：特征提取与特征融合。在特征融合阶段，可能存在自底向上的底层特 征驱动的融合方式，和自顶向下的基于先验信息与任务的融合方式。因此，视觉显著性检测模型框架大致表述为 如图 5所示。
算法
LC算法 HC算法
AC算法 FT算法
LC算法的基本思想是：计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在颜色上 的距离之和作为该像素的显著值 。
图像中某个像素的显著值计算如下： 其中的取值范围为 [0,255]，即为灰度值。将上式进行展开得： 其中N表示图像中像素的数量。 给定一张图像，每个像素的颜色值已知。假定，则上式可进一步重构： 其中，表示图像中第n个像素的频数，以直方图的形式表示。 LC算法的代码实现： 1、直接调用OpenCV接口，实现图像中像素的直方图统计，即统计[0,255]中每个灰度值的数量。 2、计算像素与其他所有像素在灰度值上的距离。 3、将灰度值图像中的像素值更新为对比度值（即距离度量）。
视觉显著性算法概述
• 其中 为使用者设定的延迟因子。
PQFT模型
• 四元组图像可以表示为下列形式
q(t ) M (t ) RG(t )1 BY (t )2 I (t )3
其中 i , i 1,2,3，满足 i2 1 ，2 3 , 1 3 , 3 12 1 2 , q(t ) 可以写成如下形式
• 其中 I 为图像特征的几何平均向量， I hc 为对原始 图像的高斯模糊，采用 5 的二项式核。 5 为 L2 范数， x, y为像素点坐标 。
SR模型
• SR（Spectral Residual）模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 R( f ) 图通过对剩余谱 做傅里叶逆变换得到。 • 剩余谱 定义为
S (Ik )
• 其中D( I k , Ii )为像素在Lab空间的颜色距离度量。如果 忽略空间关系，使得具有相同颜色的像素归到一起 ，得到每一个颜色的显著性值
S ( I k ) S (cl ) f j D(cl , c j )
FTS模型
• FTS（Frequency-Tuned Saliency）模型是由Achanta 等人提出的一种自底向上的显著性检测方法，通 过局部颜色和亮度特征的对比多尺度方法求像素 点显著值。 • 将原始图像由SRGB颜色空间转化成CIE颜色空间， 然后显著性映射定义为
S ( x, y ) I I hc
I ( x ) log( p ( x )) 为特征的概率密度函数。
p( x)
GBVS模型
• GBVS（Graph-Based Visual Saliency）模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图 • 算法步骤：
视觉显著性检测关键技术
跨领域自适应与泛化能力
总结词
通过跨领域自适应和泛化能力，使得模型能够适应不同 的应用场景和数据分布，提高其鲁棒性和泛化性能。
详细描述
跨领域自适应和泛化能力是视觉显著性检测的未来研究 方向之一。通过引入领域适应技术，模型可以自动地适 应不同的应用场景和数据分布，从而提高其鲁棒性和泛 化性能。此外，还可以通过引入增量学习技术，使得模 型能够不断地从新的数据中学习新的知识，从而不断地 提高其性能和泛化能力。
要点二
详细描述
多尺度特征融合的关键在于如何有效地利用不同尺度的特 征信息。这可以通过设计合适的数据融合算法，将不同尺 度的特征进行有机的结合，从而使得模型能够更好地感知 不同空间尺度的显著性信息。此外，还可以通过引入多尺 度卷积核或自适应地调整卷积核的大小，使得模型能够在 不同的空间尺度上进行特征提取。
05
结论与展望
研究成果总结
1
显著性检测技术已经取得了显著的进步，广泛应 用于计算机视觉和图像处理领域。
2
现有的显著性检测方法主要基于人类视觉系统、 图像纹理、颜色、方向、运动等特征，以及深度 学习等机器学习方法。
3
这些方法在图像分割、目标检测、图像识别等方 面都取得了较好的效果，但仍然存在一些挑战， 如处理速度和精度等问题。
精度。
发展自适应的显著性检测方法， 根据不同的场景和任务需求，自 动调整模型参数和策略，提高处
理速度和效率。
结合深度学习等机器学习方法， 研究更加智能化的显著性检测方 法，实现更加精准的目标检测和
识别。
THANKS。
基于深度学习的显著性检测
• 基于卷积神经网络的显著性检测：这类算法通过训练卷积 神经网络来学习图像的特征表达，并利用这些特征来计算 显著性值。特点是可以更好地捕捉图像的特征信息，但需 要大量的训练数据和计算资源。
显著性检测算法在图像处理中的应用
显著性检测算法在图像处理中的应用在现代社会中，图像处理技术得到了广泛的应用。
随着人工智能技术的发展，如何准确地检测出一张图片中的重要信息，成为了图像处理领域研究的重点之一。
本文将介绍显著性检测算法在图像处理中的应用。
一、显著性检测算法的概念显著性检测算法是一种自动分析图像的方法，旨在识别并提取图片中的重要信息。
它通过计算图像中每个像素的显著性值，即像素在整张图片中的重要程度，来确定哪些区域是最显著、最引人注意的。
目前常见的显著性检测算法主要有两种，一种是基于全局信息的算法，即通过计算整张图片的特征来识别显著区域；另一种是基于局部信息的算法，即通过计算每个像素周围区域的特征来识别显著区域。
根据不同的应用场景，我们可以选择不同的算法。
二、显著性检测算法在目标检测中的应用显著性检测在目标检测中有着广泛的应用。
在计算机视觉领域中，目标检测是一个基本的任务。
其核心思想是从一张图片中找出某个指定的目标物体，进而提高计算机处理图片的准确性。
在目标检测时，显著性检测算法可以帮助我们准确地识别出目标所在的区域，并将其与其他区域进行区分。
比如，在一个由多个物体组成的图片中，我们通过显著性检测算法可以很容易地判断出哪个物体是被观察者需要寻找的目标物体，从而实现准确的目标检测。
三、显著性检测算法在图像分割中的应用图像分割是图像处理领域中的一项基础任务，其目的是把一幅图片分成若干部分，以达到提取图片结构和元素的目的。
在图像分割时，显著性检测算法可以帮助我们准确地区分出每个区域的显著性，从而实现更加精准的分割。
根据不同的应用场景，我们可以采用不同的显著性检测算法来实现图像分割。
比如，在医疗图像分割中，通过对病灶进行显著性检测，可以帮助医生更加准确地进行病情诊断和治疗。
在自然场景的图像分割中，显著性检测算法可以帮助我们更好地识别出景观中的各个构成元素，进而提高图像的整体质量和观赏效果。
四、显著性检测算法在图像增强中的应用图像增强是一种常见的图像处理任务，旨在使图像更加美观，或者提高图像中某些细节的可见性。
视觉显著性检测：一种融合长期和短期特征的信息论算法
第 35 卷第 7 期 2013 年 7 月
电 子 与 信 息 学 报 Journal of Electronics & Information Technology
Vol.35No.7 Jul. 2013
视觉显著性检测：一种融合长期和短期特征的信息论算法
钱晓亮
摘
*
郭
雷
韩军伟
胡新韬
西安 710129)
息或是先验知识都存在缺陷，因此，本文引入了短 期特征来代表当前观测图像的信息，并提出了一种 基于信息论的算法将它和长期特征进行融合，实现 先验知识和当前观测信息的有效结合。所谓短期特 征，就是根据当前观测图像训练得到一个“短期稀 疏词典” ， 再根据短期稀疏词典对当前观测图像进行 稀疏编码得到“短期特征” ，相对于先验知识的长期 积累，当前观测图像只是人们当下短时间内获取的 信息，因此本文称之为“短期” 。此外，在参照 He [23] 等人 最新提出的稀疏词典的训练样本选取办法以 及使用 Mairal 等人[24]最近推出的 SPAMS 工具箱之 后，我们还对现有的长期特征的计算方法进行了改 进。 本文提出的基于信息论的算法是利用香农自信 [19,21] (Shannon self-information) 来定义视觉显著 息 性的输出。香农自信息的计算主要包含两个部分， 一部分是特征的计算，在本文中就是长期和短期特 征的计算，另一部分是特征概率分布的估计。现有 的特征概率分布估计方法可以分成两大类，一类是 在整幅图像上进行估计[18,19]，另一类是在一个固定 大小的局部邻域内进行估计[21]，这两类算法分别会 导致一些在局部范围内出现概率较小和在全局范围 内出现概率较小的特征可能被忽略，然而，这两类 特征往往都是人眼所关注的。针对以上不足，本文 算法提出了一种基于信息熵的特征概率分布估计方 法，该方法可以根据当前输入图像的具体情况自适 应地选择一个最佳的区域大小来估计特征的概率分 布。同 8 种流行算法在公开的人眼跟踪测试库(eyetracking database)上进行的主观和定量的实验对比 证明了本文算法的有效性。 本文的主要贡献可归纳如下：(1)针对现有视觉 显著性检测算法单纯使用当前观测图像的信息或是 先验知识的缺陷，本文引入了长期特征(代表先验知 识)和短期特征(代表当前观测图像的信息)的概念， 并提出一种基于信息论的算法将它们融合；(2)提出 了一种基于信息熵的特征概率分布估计算法，它可 以根据当前观测图像的具体情况自适应地计算出一 个最佳的区域大小来估计特征出现的概率；(3)同 8 种流行算法在公开的人眼跟踪测试库进行了主观和 定量的实验对比。
视觉显著性检测研究取得新突破
视觉显著性检测研究取得新突破
佚名
【期刊名称】《科技与生活》
【年(卷),期】2011(000)015
【摘要】近年来，研究者们提出了大量的基于内容的图像和视频缩放技术，这些技术的目标是通过改变图像或视频的宽高比率和分辨率，使得图像或视频适应于在目标设备上显示，并且尽量多的保存图像和视频中的重要内容而不引入人眼可见的瑕疵。
这些基于内容的图像和视频缩放技术中，如何快速检测出高质量的视觉显著性区域，仍然是一个亟待解决的具有挑战性的问题。
研究者根据人眼观察场景的特点，提出了一种随机的可并行执行于图形处理单元的视觉显著性区域检测技术，为实现实时检测图像的显著性图提供了有效的解决方案。
【总页数】1页(P53-53)
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.视觉显著性检测研究取得新突破
2.改革有新突破创新有新举措队伍有新形象2014年浙江科技工作要取得八个新突破——摘自浙江省科技厅厅长周国辉2013年12月31日在全省科技工作会议上的报告
3.产业体系取得新成绩力争在重点领域取得新突破摘自国家林业局局长贾治邦在全国林业厅局长会议上的讲话
4.产业体系取得新成绩力争在重点领域取得新突破——摘自国家林业局局长贾治邦在全国林业厅局长会议上的讲话
5.在新的起点上重新出发--2016年度全国职业教育与
继续教育工作会议召开--推动职业教育在新的起点上取得新进展新突破--2016年度全国职业教育与继续教育工作会议综述
因版权原因，仅展示原文概要，查看原文内容请购买。
视觉显著性算法概述课件
目前，多模态显著性检测主要涉 及不同模态之间的特征融合、模 态间的协同作用以及多模态数据
的联合处理等方面。
跨领域应用研究
WATCHING
比较不同算法在处理速 度上的表现，包括单张 图片处理时间和视频流
处理速度。
并行处理
评估算法是否支持并行 计算，以提高处理速度。
内存占用
优化技术
比较算法在运行过程中 占用的内存大小，以及 是否适合在资源有限的
环PU加速、算 法剪枝等，以提高实时性。
应用场景比较
视觉显著性算法概述 课件
目录
• 引言 • 视觉显著性算法基础 • 常见视觉显著性算法 • 视觉显著性算法比较 • 视觉显著性算法的未来发展
CHAPTER
引言
目的和背景
目的
背景
随着计算机视觉技术的不断发展，视 觉显著性检测在图像处理、目标检测、 图像识别等领域的应用越来越广泛， 成为当前研究的热点问题。
GBVS算法是一种结合颜色和纹理特征的显著性检测算法。该算法首先分别计算颜色和纹理的显著性，然后结合两者得到最 终的显著性图。该算法能够更好地捕捉图像中的细节信息。
SALICON 算法
CHAPTER
视觉显著性算法比较
准确性比 较
01
算法准确性
02
鲁棒性
03
细节捕捉
04
适应性
实时性比较
计算效率
显著性检测的应用领域
人机交互
在人机交互中，通过显著性检测技术， 可以快速准确地识别出用户关注的焦 点，提高人机交互的效率和用户体验。
安全监控
智能驾驶
在智能驾驶领域，显著性检测技术可 以用于车辆检测、行人检测和交通标 志识别等方面，提高驾驶的安全性和 可靠性。
显著性检测算法在图像处理中的应用研究
显著性检测算法在图像处理中的应用研究一、引言显著性检测是计算机视觉和图像处理领域中的一个重要课题，其主要目的在于从图像中提取出重要信息，以便对图像进行进一步处理，如目标检测、图像分割、图像编辑等。
因此，显著性检测成为了研究的热点，有一定的理论和实际应用价值。
本文就显著性检测算法在图像处理中的应用进行深入研究，以期能够探究它在图像处理中的有效性及实际应用场景。
二、显著性检测算法的概述显著性检测算法是指通过对图像进行分析和处理，从中提取出与众不同的、具有显著性的信息的一种技术。
这些信息一般指的是与场景中的其他元素相比，更醒目或更重要的元素，如高亮度区域、边缘、纹理等。
比较常用的显著性检测算法包括：1. 基于图像亮度的显著性检测算法这种算法通过对图像的亮度值进行分析，找到图像亮度变化较大的区域。
这些区域通常包括明暗交界处、颜色对比较大的区域等。
通过对这些区域进行后续处理，如边缘检测、区域生长等，可以得到图像的显著性区域。
2. 基于频域的显著性检测算法这种算法通常通过计算一些与图像频率和方向相关的特征来提取图像的显著信息。
例如，如果一个图像中存在高频率、同向的纹理，那么这个纹理就有可能是一个显著的区域。
这种方法能够快速计算，在大规模图像处理中具有优势。
3. 基于区域的显著性检测算法这种算法是一种比较常用的检测方法，它通过对图像进行分割，将图像分成多个区域，然后对这些区域进行特征分析，找到显著区域。
这种方法能够处理复杂的场景，并且对光照和噪声具有较好的鲁棒性。
三、显著性检测算法在图像处理中的应用显著性检测算法可以广泛应用于图像处理领域，如目标检测、图像分割、图像编辑等。
下面我们将具体介绍这些应用。
1. 目标检测在目标检测任务中，显著性检测算法可以用于提取图像中与场景中其他物体不同的、重要的区域，从而快速定位目标。
例如，对于一个城市街景图像，显著性检测算法可以将人、汽车、建筑等物体与路面、树木等背景区分开来，从而实现自动目标检测。
基于深度视感知学习的显著性目标检测算法
基于深度视感知学习的显著性目标检测算法基于深度视感知学习的显著性目标检测算法摘要：显著性目标检测是计算机视觉领域中的一项重要研究课题。
传统的显著性目标检测算法主要依赖于手工设计的特征和启发式规则，其效果受限。
近年来，深度学习的快速发展为显著性目标检测带来了新的机遇。
本文将基于深度视感知学习的显著性目标检测算法进行详细的介绍和分析。
1. 引言显著性目标检测是计算机视觉领域中的一项重要任务，其旨在从复杂的图像背景中准确地提取出显著目标。
在许多计算机视觉任务中，如图像分割、目标识别和图像处理等，显著性目标检测都扮演着关键的角色。
2. 传统的显著性目标检测算法传统的显著性目标检测算法主要包括基于颜色特征、纹理特征、边缘特征等手工设计的特征。
这些特征无法充分表达图像的语义信息，因此其显著性目标检测的性能有限。
3. 深度视感知学习深度视感知学习是一种基于深度学习的新兴技术，它通过训练深度神经网络来获取图像的高维特征表达。
与传统的手工设计特征相比，深度视感知学习能够更好地捕捉图像的多维度信息和上下文关系，从而提高显著性目标检测的精度和鲁棒性。
4. 基于深度视感知学习的显著性目标检测算法基于深度视感知学习的显著性目标检测算法主要分为两个步骤：特征提取和目标检测。
在特征提取阶段，我们可以使用已经训练好的深度神经网络来提取图像的特征表示。
然后，通过将特征表示与显著性目标预测进行融合，可以得到显著性目标的最终检测结果。
5. 实验结果和分析本文使用了公开数据集进行了实验，并与传统的显著性目标检测算法进行了比较。
实验结果表明，基于深度视感知学习的显著性目标检测算法在准确性和鲁棒性方面都具有显著优势。
同时，我们还进行了算法的参数调优，以进一步提升算法的性能。
6. 结论本文基于深度视感知学习的显著性目标检测算法在实验中取得了较好的效果。
通过利用深度学习技术，我们能够更好地捕捉图像的语义信息和上下文关系，从而提高显著性目标检测的准确性和鲁棒性。
计算机视觉中的显著性检测技术
计算机视觉中的显著性检测技术计算机视觉是当今普遍运用的一项科技，当我们看到1000张海景图片的时候相当于一天等于6000个工作小时的工作量，而人眼的处理速度只有7张图片每秒，因此计算机视觉就显得越来越重要。
显著性检测(saliency detection)是计算机视觉的一项重要的任务，它可以检测出图像中的显著区域，即吸引人眼注意力的区域。
一个成功的显著性检测技术可以被应用在广告、美学领域、图像检索以及其他与人工智能相关的领域。
基于显著性检测技术，我们可以将对象从背景中分辨出来，并且提高目标识别和跟踪的性能。
因此，显著性检测技术被广泛应用在计算机视觉的各个领域，比如自然图像处理、视频监控、视频通信、医学影像处理、机器人导航、自动驾驶等。
目前，常用的显著性检测技术主要包括基于频域的、基于局部对比度的、基于细节保持的和基于聚类分析的等方法。
在这里，我们将介绍一些最新的计算机视觉中的显著性检测技术。
1. 深度学习方法近年来，深度学习在图像/视频处理领域中占据了重要位置。
它可以自动从大量数据中学习特征，一些基于深度学习的方法已经成功应用于图像处理、物体识别、人脸识别、语音识别等领域。
在显著性检测领域，深度学习方法也被用于构建各种显著性检测模型，其中最具代表性的是利用卷积神经网络(CNN)进行显著性检测。
CNN是计算机视觉领域中最重要的深度学习算法之一，它可以自动地从图像数据中学习到复杂特征，并且取得了显著性检测的SOTA效果。
在显著性映射(grey scale saliency maps)的研究中，CNN在卷积、池化和类别识别的操作方面取得了很大发展。
在这个方法中，采集来自于深度层多层不同尺度神经元的图像。
2. 非局部特征选择方法类内相似性和类间差异性是显著性检测领域中的两个关键点。
相比较于之前的方法，核心是同时对图像的空间和频域进行处理。
此类方法通常包含一个基于非局部的搜寻草图(Non-local Search Map) 和多设计矩阵的损失函数(Loss Function)，最新的方法用于图像处理时常常采用聚类分析技术。
一种多图像前景对应性的融合显著性检测算法研究
一种多图像前景对应性的融合显著性检测算法研究
刘磊
【期刊名称】《曲靖师范学院学报》
【年(卷),期】2022(41)3
【摘要】为过滤图像中的冗余信息,使显著性检测结果更加稳定,提出了一种面向多幅图像的基于前景对应性的融合显著性检测算法.首先对图像显著性区域进行粗略定位,然后采用边界连续性从凸包中选择准确的前景区域;其次在提取出前景显著图之后,对背景进行显著性检测;最后将对应前景区域与基于背景的显著图进行融合生成最后的显著图.结果显示,融合显著图的MAE值最低能够达到0.069,既优于其他算法,也优于单一检测的显著图的MAE值.说明结合背景的前景对应性显著性检测算法在多图像检测时具有良好的检测能力,在计算机视觉领域具有重要的研究意义和应用前景.
【总页数】7页(P75-81)
【作者】刘磊
【作者单位】四川商务职业学院科研处
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于多模态信息融合的图像显著性检测算法研究
2.基于背景显著性和前景显著性相结合的纺织印染图像显著性检测
3.基于背景显著性和前景显著性相结合的纺织
印染图像显著性检测4.背景与前景融合的RGB-D图像显著性检测5.融合图像显著性的YOLOv3船舶目标检测算法研究
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第7期
钱晓亮等： 视觉显著性检测：一种融合长期和短期特征的信息论算法
1637
带有任何倾向性，也就是自由观测(free-viewing)， 而自顶向下的显著性检测则是与具体的任务相关 联[4]，不具有通用性，因此，目前绝大部分的视觉显 著性检测算法都是自底向上的。 已经有很多学者提出了各自的视觉显著性检测 算法。Koch 等人[5]提出了第 1 个视觉显著性计算模 型和显著图的定义，而该领域具有里程碑意义的视 觉显著性检测算法则是由 Itti 等人 [6] 提出，他们 先将图像用高斯金字塔进行表示，然后在各层分别 计算亮度、颜色和方向的中心外围对比度，将这些 底层特征各自正则化后叠加得到各层的特征图，最 后将各层的特征图也分别正则化后叠加从而得到最 终的显著图。 文献[6]基于特征融合的视觉显著性模型 目前仍是领域内的一个重要分支[7,8]。此外，还有基 基于频域分析的显著 于图论的显著性检测算法[9,10]， [1113] ，基于机器学习的显著性检测算 性检测算法 法 [1416] ， 以 及 基 于 全 局 对 比 度 的 显 著 性 检 测 算 法[17]。 以上列举的视觉显著性算法基本都是只依赖当 前观测图像的信息进行计算，然而，Zhang 等人[18] 指出，人们长久以来积累的先验知识在显著性检测 中也发挥着重要的作用，并用大量的人们经常会看 到的自然场景图像来代表先验知识，具体实现上， 文献 [18] 从众多自然场景图像中随机选取了大量的 8 8 图像块并将其训练成稀疏词典，这个稀疏词典 就被看作是先验知识的一个浓缩集合。如果我们把 稀疏词典看作是滤波器，将利用稀疏词典对图像进 行稀疏编码的过程看作是对图像的滤波，得到的稀 疏编码就可以看作是图像的特征，进一步，根据长 期积累的先验知识而训练出的稀疏词典，本文称之 为“长期稀疏词典” ，由此而得到的特征，本文称之 为“长期特征” 。文献[18]利用长期特征进行视觉显 著性检测，并通过一些心理学图片的视觉显著性检 测实验来说明，相比于仅依赖当前观测图像的视觉 显著性检测算法，他们的算法可以有效地解释人类 视觉搜索的不对称性，证明了使用先验知识的必要 性。 像文献[18]这样通过长期特征进行视觉显著性检 测的算法还有文献[19-23]等。然而，过往的先验知 识毕竟是有限的，人们时常也会看到一些自己未曾 见过的场景，更何况，在具体的算法实现时，我们 得到的先验知识的集合事实上也只是庞大的人类先 验知识库的一个很有限的子集，以长期稀疏词典为 例，由于我们用于训练稀疏词典的自然场景图像数 量有限，由此得到的稀疏词典自然也不可能是能描 述任意一幅观测图像的完备基。 综上可以看出，单纯地使用当前观测图像的信
息或是先验知识都存在缺陷，因此，本文引入了短 期特征来代表当前观测图像的信息，并提出了一种 基于信息论的算法将它和长期特征进行融合，实现 先验知识和当前观测信息的有效结合。所谓短期特 征，就是根据当前观测图像训练得到一个“短期稀 疏词典” ， 再根据短期稀疏词典对当前观测图像进行 稀疏编码得到“短期特征” ，相对于先验知识的长期 积累，当前观测图像只是人们当下短时间内获取的 信息，因此本文称之为“短期” 。此外，在参照 He [23] 等人 最新提出的稀疏词典的训练样本选取办法以 及使用 Mairal 等人[24]最近推出的 SPAMS 工具箱之 后，我们还对现有的长期特征的计算方法进行了改 进。 本文提出的基于信息论的算法是利用香农自信 [19,21] (Shannon self-information) 来定义视觉显著 息 性的输出。香农自信息的计算主要包含两个部分， 一部分是特征的计算，在本文中就是长期和短期特 征的计算，另一部分是特征概率分布的估计。现有 的特征概率分布估计方法可以分成两大类，一类是 在整幅图像上进行估计[18,19]，另一类是在一个固定 大小的局部邻域内进行估计[21]，这两类算法分别会 导致一些在局部范围内出现概率较小和在全局范围 内出现概率较小的特征可能被忽略，然而，这两类 特征往往都是人眼所关注的。针对以上不足，本文 算法提出了一种基于信息熵的特征概率分布估计方 法，该方法可以根据当前输入图像的具体情况自适 应地选择一个最佳的区域大小来估计特征的概率分 布。同 8 种流行算法在公开的人眼跟踪测试库(eyetracking database)上进行的主观和定量的实验对比 证明了本文算法的有效性。 本文的主要贡献可归纳如下：(1)针对现有视觉 显著性检测算法单纯使用当前观测图像的信息或是 先验知识的缺陷，本文引入了长期特征(代表先验知 识)和短期特征(代表当前观测图像的信息)的概念， 并提出一种基于信息论的算法将它们融合；(2)提出 了一种基于信息熵的特征概率分布估计算法，它可 以根据当前观测图像的具体情况自适应地计算出一 个最佳的区域大小来估计特征出现的概率；(3)同 8 种流行算法在公开的人眼跟踪测试库进行了主观和 定量的实验对比。
(Institute of Automation, Northwestern Polytechnical University, Xi’an 710129, China) Abstract: In order for removing the drawback of the traditional visual saliency detection methods which solely used the information of current viewing image or prior knowledge, this paper proposes an information theoretic algorithm to combine the long-term features which imply the prior knowledge with short-term features which imply the information of current viewing image. Firstly, a long-term sparse dictionary and short-term sparse dictionary are trained using the eye-tracking data and current viewing image, respectively. Their corresponding sparse codes are regarded as the long-term and short-term features, respectively. Secondly, to reduce the problem of existing methods which derivated features on the entire image or a local neighborhood with the fixed size, an information entropy based the estimation method of probability distribution of features is proposed. This method can infer an optimal size of region adaptively according to the characteristics of the current viewing image for the calculation of probability of the appearance of long-tern and short-term features. Finally, the saliency map is formulated by Shannon self-information. The subjective and quantitative comparisons with 8 state-of-the-art methods on publicly available eye-tracking databases demonstrate the effectiveness of the proposed method. Key words: Pattern recognition; Visual saliency detection; Long-term features; Short-term features; Information entropy; Shannon self-information
第 35 卷第 7 期 2013 年 7 月
电 子 与 信 息 学 报 Journal of Electronics & Information Technology
Vol.35No.7 Jul. 2013
视觉显著性检测：一种融合长期和短期特征的信息论算法
钱晓亮
摘
*
郭
雷
韩军伟
胡新韬
西安 710129)
程
塨
(西北工业大学自动化学院
要： 针对传统视觉显著性检测算法单纯使用当前观测图像的信息或是先验知识的不足， 该文引入了长期特征和
短期特征的概念，分别代表先验知识和当前观测图像的信息，并提出了一种基于信息论的算法将它们融合。首先， 分别根据人眼跟踪数据和当前观测图像的内容来训练长期和短期稀疏词典并对图像进行稀疏编码， 将得到的稀疏编 码作为长期和短期特征。 其次， 针对现有算法只能在整幅图像上或是在一个固定大小的局部邻域内进行统计的缺陷， 该文提出一种基于信息熵的特征概率分布估计方法， 该方法可以根据当前观测图像的具体情况自适应地选择一个最 佳的区域大小来计算长期和短期特征出现的概率。最后，利用香农自信息来输出图像的显著性检测结果。同 8 种流 行算法在公开的人眼跟踪测试库上进行的主观和定量的实验对比证明了该文算法的有效性。 关键词：模式识别；视觉显著性检测；长期特征；短期特征；信息熵；香农自信息 中图分类号： TP391.4 DOI: 10.3724/SP.J.1146.2012.01251 文献标识码： A 文章编号： 1009-5896(2013)07-1636-08