基于全局对比度的显著性区域检测

基于全局对比度的显著性区域检测Ming-Ming Cheng1Guo-Xin Zhang1 Niloy J. Mitra2 Xiaolei Huang3Shi-Min Hu11TNList, Tsinghua University 2 KAUST 3 Lehigh University摘要视觉显著性的可靠估计能够实现即便没有先验知识也可以对图像适当的处理，因此在许多计算机视觉任务中留有一个重要的步骤，这些任务包括图像分割、目标识别和自适应压缩。

我们提出一种基于区域对比度的视觉显著性区域检测算法，同时能够对全局对比度差异和空间一致性做出评估。

该算法简易、高效并且产出满分辨率的显著图。

当采用最大的公开数据集进行评估时，我们的算法比已存的显著性检测方法更优越，具有更高的分辨率和更好的召回率。

我们还演示了显著图是如何可以被用来创建用于后续图像处理的高质量分割面具。

1 引言人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。

由于通过显著性区域可以优化分配图像分析和综合计算机资源，所以计算机检测图像的显著性区域存在着重要意义。

提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割[13, 18]、目标识别[25]、图像的自适应压缩[6]、内容感知图像缩放[28, 33,30, 9]和图像检索[4]等。

显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、梯度、边缘和边界等。

视觉显著性是通过包括认知心理学[26, 29]、神经生物学[8, 22]和计算机视觉[17, 2]在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。

人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的图像基本未处理。

由Treisman和Gelade [27]，Koch和Ullman [19]进行的早期工作，以及随后由Itti，Wolfe等人提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著性提取。

我们通过图像对比度来关注自底向上的数据驱动显著性检测。

人们普遍认为，人类大脑表皮细胞在其接受域可能是硬编码的，为的是优先响应高对比度刺激[21]。

基于以下观察结果，我们提出了对提取的高分辨率全局显著图的对比度分析：●基于全局对比度的方法能够将一个大规模目标从它周围的环境中分离出来，相对于只在轮廓附近产生高显著值的基于局部对比度的方法更优越。

●全局考虑能够实现将相近的显著值分配到相似的图像区域，并且可以均匀的突出整个目标。

●一个区域的显著性主要依靠它与相近区域的对比度，而与远区域的对比度相对没有那么重要。

●显著图应该是能够简单快速的生成，为了实现大图像集合的处理和促进图像分级与检索的高效率进行。

我们提出了一种基于直方图对比度的方法（HC）来测量显著性。

HC-maps 依据与所有其它图像像素的色彩差异来分配像素显著值，以此来产生全分辨率的显著图。

我们使用直方图的方法来高效处理，同时使用一种平滑操作来控制量化缺陷。

值得注意的是我们的算法是针对自然场景，对高纹理图像场景可能要弱些（见图12）。

图 1 输入图像（上），经全局对比度分析得到的高分辨率的显著图（中），显著图可以进一步被用来产生感兴趣物体区域（下）作为HC-map的改进，我们结合空间关系创造出了基于区域对比度的（RC）显著性图，我们首先把输入的图像分割为数区域，然后赋予他们显著值。

现在一个区域的显著值是通过全局对比度值来计算的，全局对比度值是通过此区域与图像中的其他区域的对比以及与其他区域的空间距离来度量。

我们在公开的基准数据集上广泛地评估我们的方法，并且将我们的方法与最先进显著性方法[17, 21, 32, 14, 15, 1, 2, 12]以及人工标注的参考数据进行对比1。

实验表明，我们的方法比以往的方法在精度和召回率上都具有明显的改进。

总的来说，与HC-map相比，RC-map具有更高的精度和召回率，不过是以增加计算量为代价的。

令人欣慰的是，我们注意到用我们的显著图提取的显著性分割在绝大多数情况下是符合人工注释的。

我们也呈现了显著图在图像分割、内容感知图像缩放和非真实感渲染中的应用。

2 相关工作我们主要关注把下意识的自底向上的显著性检测作为目标的相关文献，这可能是基于生物学激励，或者是纯粹的计算，抑或是兼顾这两个方面。

这些个方法利用低水平的处理来决定图像目标与它们周围的对比度，用到了像亮度、颜色和边缘这样的特征属性。

我们把这些算法概括得分为局部方案和全局方案。

基于局部对比度的方法研究图像区域相对于局部邻域相关的稀有度。

Koch 和Ullman [19]提出的早期模型受到生物学激励的高度影响，在这个基础上Itti等人[17]用贯穿多尺度图像特征的中心-周围差异来定义图像目标显著性。

Ma和Zhang [21]提出了一种可供选择的局部对比度分析法来产生显著性图图像，后来通过模糊增长模型被扩充。

Harel等人[14]将Itti等人的特征图进行标准化来突出显著部分，并且允许和其它重要的显著图像组合。

Liu等人[20]通过将高斯图像金子塔中的对比度线性地组合找到多尺度对比度。

最近更多，Goferman等人[12]同时地做出局部底层线索模型、全局考虑模型、视觉组织规则模型和表层特征模型来强调显著的目标随同其环境。

这些使用局部对比度的方法趋向于产生边缘附近的更高显著值，而非一致地强调显著的目标（见图2）。

图2 （b-i）是由不同的最先进方法计算出的显著图，（j）和（k）分别是我们提出的HC和RC方法得到的显著图。

绝对多数结果突出了边缘或者低分辨率。

也可见图6（以及项目网页）。

基于全局对比度的方法，通过与整体图像的对比度评估一个图像区域的显著性。

Zhai和Shah [32]通过某个像素与其他所有像素的对比度较来定义像素级显著性。

然而，出于效率考虑，他们仅仅使用亮度信息，因此忽略其它渠道中与众不同的线索。

Achanta等人提出一个谐频的方法，直接使用与平均图像颜色之间的色差来定义像素显著性。

然而，这个方法仅仅考虑了一阶平均颜色，并不能充分地分析自然图像中常见的复杂变量。

在图6和图7中，我们展示出这些方法中定性的和定量的缺陷。

此外，这些方法忽视了图像各部分之间的空间关系，而这个因素是可以对可靠的和一致的显著性探测产生决定性作用的。

3 基于直方图的对比度生物学视力系统对于视觉信号的对比度很敏感，在对这个生物学视力观察的基础上，我们提出了一种直方图对比度方法(Histogram Contrast, HC)来为用输入图像颜色统计特征的图像像素定义显著值。

明确说是，一个像素的显著值是通过与图像中的所有其它像素的色差来定义的。

比如，图像I 中的像素k I 的显著值被定义如下：()(,)i k k iI I S I D I I ∀∈=∑ , (1) 其中(,)k i D I I 是空间L*a*b 中的像素k I 和i I 之间的颜色距离度量。

方程1经过扩展像素等级得到以下形式，12()(,)(,)(,)k k k k N S I D I I D I I D I I =++⋅⋅⋅+, (2) 其中N 是图像I 中的像素数量。

很容易察觉在这种定义之下，由于测量没有考虑空间关系，同样颜色值的像素具有相同的显著值。

因此，从具有相同颜色值j c 的像素被组合在一起的角度重新整理方程2，我们就得到每个颜色的显著值如下，1()()(,)nk l j l j j S I S c f D c c ===∑， （3）其中，l c 是像素k I 中的颜色值，n 是不同像素颜色的数量，j f 是图像I 中像素颜色j c 出现的频率。

需要注意的是，为了避免显著区域颜色统计受到其他区域相似颜色的破坏，可以使用变化的窗口面具来开发一个相似的方案。

然而，考虑到高效率的要求，我们使用简单的全局方法。

基于直方图的加速。

如果简简单单的使用方程1来评估每个图像像素的显著值的话，所花的时间2()O N 算起来即使针对中等大小的图像也是很多的。

然而如果采用方程式3中的等价的表示形式，所花的时间是2()()O N O n +，意味着如果2()()O n O N ≤，那么计算效率可以被提高到()O N 。

因此，加快速度的关键在于减少图像中的像素数目。

然而，真彩色空间包含了3256种可能的颜色，这比图像的像素数量要多的多。

Zhai 和Shah [32]仅仅使用亮度来减少颜色的数目n 。

用这种方法，22256n =（显然，2256N <<）。

可是他们的方法具有一个弊端，就是颜色信息的差异被忽略了。

在研究中，我们用全颜色空间代替了仅使用亮度。

为减少需要被考虑的颜色数量，我们首先将每个颜色通道量化为12个不同值，这就讲颜色的数量减小到了3121728=。

考虑到自然图像中的颜色仅仅包含了全颜色空间中很小的一部分，我们通过忽略出现频率较低的颜色来进一步减少颜色数量。

通过选择高频颜色并且保证这些颜色覆盖图像像素不低于95%的颜色，我们最终达到了n=85个颜色（请见第五部分的实验细节）。

剩下的像素颜色，包含不高于5%的图像像素，这部分颜色被直方图中最邻近的颜色替代。

图3中为典型的量化样例。

再此提醒，出于效率要求，我们选择了简单的直方图量化而非最优化一幅图像的特殊颜色。

图3 输入图像（左），我们计算出图像的颜色直方图（中）。

直方图中每一个bin 对应的颜色显示在下方的条形中。

量化后的图像（右）仅仅使用了43种直方图bin 色彩并且依然保留了显著性检测所需的足够的视觉质量。

颜色空间平滑。

尽管通过使用颜色量化和选取高频颜色来建立紧凑的颜色直方图我们可以高效率地计算出颜色对比度，但是量化本身可能带入瑕疵。

一些相似的颜色可能被数量化为不同的值。

为了减少这类由于随机性给显著结果引入的噪声，我们采取一套平滑程序来改善每个颜色的显著值。

我们用相似颜色的显著值加权平均来代替每个颜色（以L*a*b*距离测量）的显著值。

实际上这是一个对颜色特征空间的平滑处理。

我们选择m=n/4个最近的颜色作为代表来改善颜色c 的显著值，如下：11()((,))()(1)m i i i S c T D c c S c m T='=∑， （4） 其中，1(,)m i i T D c c ==∑是颜色c 和它的m 个最近的颜色i c 之间的距离之和，归一化因数来自公式1((,))(1)m i i TD c c m T ==∑。

值得注意一下，我们使用一个线性变化的平滑权值((,))i T D c c 来为颜色特征空间中与c 相近的颜色赋予较大的权值。

在我们的实验中，我们发现这样的线性变化的权值比衰减过于剧烈的高斯权值要好。