基于全局对比度的显著性区域检测

基于全局对比度的显著性区域检测

Ming-Ming Cheng1Guo-Xin Zhang1 Niloy J. Mitra2 Xiaolei Huang3Shi-Min Hu1

1TNList, Tsinghua University 2 KAUST 3 Lehigh University

摘要

视觉显著性的可靠估计能够实现即便没有先验知识也可以对图像适当的处理，因此在许多计算机视觉任务中留有一个重要的步骤，这些任务包括图像分割、目标识别和自适应压缩。我们提出一种基于区域对比度的视觉显著性区域检测算法，同时能够对全局对比度差异和空间一致性做出评估。该算法简易、高效并且产出满分辨率的显著图。当采用最大的公开数据集进行评估时，我们的算法比已存的显著性检测方法更优越，具有更高的分辨率和更好的召回率。我们还演示了显著图是如何可以被用来创建用于后续图像处理的高质量分割面具。

1 引言

人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。由于通过显著性区域可以优化分配图像分析和综合计算机资源，所以计算机检测图像的显著性区域存在着重要意义。提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割[13, 18]、目标识别[25]、图像的自适应压缩[6]、内容感知图像缩放[28, 33,30, 9]和图像检索[4]等。

显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、梯度、边缘和边界等。视觉显著性是通过包括认知心理学[26, 29]、神经生物学[8, 22]和计算机视觉[17, 2]在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的图像基本未处理。由Treisman和Gelade [27]，Koch和Ullman [19]进行的早期工作，以及随后由Itti，Wolfe等人

提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向

上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著

性提取。

我们通过图像对比度来关注自底向上的数据驱动显著性检测。人们普遍认为，人类大脑表皮细胞在其接受域可能是硬编码的，为的是优先响应高对比度刺激[21]。基于以下观察结果，我们提出了对提取的高分辨率全局显著图的对比度分析：

●基于全局对比度的方法能够将一个大规模目标从它周围的环境

中分离出来，相对于只在轮廓附近产生高显著值的基于局部对比度的方

法更优越。

●全局考虑能够实现将相近的显著值分配到相似的图像区域，并且

可以均匀的突出整个目标。

●一个区域的显著性主要依靠它与相近区域的对比度，而与远区域

的对比度相对没有那么重要。

●显著图应该是能够简单快速的生成，为了实现大图像集合的处理

和促进图像分级与检索的高效率进行。

我们提出了一种基于直方图对比度的方法（HC）来测量显著性。HC-maps

依据与所有其它图像像素的色彩差异来分配像素显著值，以此来产生全分辨率的显著图。我们使用直方图的方法来高效处理，同时使用一种平滑操作来控制量化缺陷。值得注意的是我们的算法是针对自然场景，对高纹理图像场景可能要弱些（见图12）。

图 1 输入图像（上），经全局对比度分析得到的高分辨率的显著图（中），显著图可以

进一步被用来产生感兴趣物体区域（下）

作为HC-map的改进，我们结合空间关系创造出了基于区域对比度的（RC）显著性图，我们首先把输入的图像分割为数区域，然后赋予他们显著值。现在一个区域的显著值是通过全局对比度值来计算的，全局对比度值是通过此区域与图

像中的其他区域的对比以及与其他区域的空间距离来度量。

我们在公开的基准数据集上广泛地评估我们的方法，并且将我们的方法与最先进显著性方法[17, 21, 32, 14, 15, 1, 2, 12]以及人工标注的参考数据进行对比1。实验表明，我们的方法比以往的方法在精度和召回率上都具有明显的改进。总的来说，与HC-map相比，RC-map具有更高的精度和召回率，不过是以增加计算量为代价的。令人欣慰的是，我们注意到用我们的显著图提取的显著性分割在绝大多数情况下是符合人工注释的。我们也呈现了显著图在图像分割、内容感知图像缩放和非真实感渲染中的应用。

2 相关工作

我们主要关注把下意识的自底向上的显著性检测作为目标的相关文献，这可能是基于生物学激励，或者是纯粹的计算，抑或是兼顾这两个方面。这些个方法利用低水平的处理来决定图像目标与它们周围的对比度，用到了像亮度、颜色和边缘这样的特征属性。我们把这些算法概括得分为局部方案和全局方案。

基于局部对比度的方法研究图像区域相对于局部邻域相关的稀有度。Koch 和Ullman [19]提出的早期模型受到生物学激励的高度影响，在这个基础上Itti等人[17]用贯穿多尺度图像特征的中心-周围差异来定义图像目标显著性。Ma和Zhang [21]提出了一种可供选择的局部对比度分析法来产生显著性图图像，后来通过模糊增长模型被扩充。Harel等人[14]将Itti等人的特征图进行标准化来突出显著部分，并且允许和其它重要的显著图像组合。Liu等人[20]通过将高斯图像金子塔中的对比度线性地组合找到多尺度对比度。最近更多，Goferman等人[12]同时地做出局部底层线索模型、全局考虑模型、视觉组织规则模型和表层特征模型来强调显著的目标随同其环境。这些使用局部对比度的方法趋向于产生边缘附近的更高显著值，而非一致地强调显著的目标（见图2）。

图 2 （b-i）是由不同的最先进方法计算出的显著图，（j）和（k）分别是我们提出的HC和RC方法得到的显著图。绝对多数结果突出了边缘或者低分辨率。也可见图6（以及项目网页）。

基于全局对比度的方法，通过与整体图像的对比度评估一个图像区域的显著性。Zhai和Shah [32]通过某个像素与其他所有像素的对比度较来定义像素级显