基于区域非均匀空间采样特征的图像分类方法

第36卷第11期电子与信息学报Vol.36No.11 2014年11月 Journal of Electronics & Information Technology Nov. 2014基于区域非均匀空间采样特征的图像分类方法嵇朋朋闫胜业李林刘青山*(南京信息工程大学信息与控制学院南京 210044)摘要：大量实验证明抽取图像中稠密局部特征能够大大提高图像分类性能，目前的常用策略是基于空间均匀密集采样来实现稠密局部特征的抽取。

该文提出一种新的基于区域非均匀空间采样的局部特征抽取方法。

首先，用过分割技术对原始图像进行分割，从而得到图像的分割区域，并采用显著性检测技术估计每个过分割区域的重要性。

然后，在保证不增加采样数的情况下，对重要的显著性区域的边界实行密集均匀采样，对区域内部根据区域大小和重要性实行随机采样。

最后，采用词袋表示模型来实现图像分类。

在两个广泛应用的数据库，8类体育运动(UIUC Sports)和256类自然图像(Caltech-256)数据库进行实验。

实验结果证明，该文提出的采样策略进一步提高了基于稠密局部特征的图像分类性能。

关键词：图像分类；非均匀空间采样；图像分割；显著性检测中图分类号： TP391 文献标识码：A 文章编号：1009-5896(2014)11-2563-08 DOI: 10.3724/SP.J.1146.2013.01762Image Classification Based on Region Non-uniform Spatial SamplingJi Peng-peng Yan Sheng-ye Li Lin Liu Qing-shan(School of Information & Control, Nanjing University of Information and Science Technology, Nanjing 210044, China)Abstract:Extensive experiments demonstrate that locally dense features are able to improve greatly performances of image classification, and the popular way is to conduct spatially uniform sampling for locally dense feature extraction. In this paper, a new method to extract locally dense features, region-based non-uniform spatial sampling is proposed to improve further the performance of image classification. Firstly, an over-segmentation operator is performed on the image, and then a saliency detection method is applied to estimate the importance of each segmented region. To keep the same sampling number of local features, the dense features are extracted along the boundary of the important salient region with dense sampling, as well as inside the region with random sampling according to its area and importance. Finally, the Bog-of-Words representation model is used for image classification. Extensive experiments are conducted on two widely-used datasets (UIUC Sports and Caltech-256).The experimental results show that proposed sampling strategy obtains an efficient performance.Key words: Image classification; Non-uniform spatial sampling; Image segmentation;Salient detection1引言词袋(Bag-of-Words, BoW)表示模型[17]−在图像分类[814]−中已经得到非常广泛的应用。

一般地，BoW表示模型包括4个关键部分：局部特征抽取、生成词典、特征编码、特征聚合。

(1)局部特征抽取。

典型的局部特征有哈尔特征、尺度不变特征转换(Scale-Invariant Feature Transform, SIFT)特征、梯度方向直方图(HOG)特征等等。

文献[1]提出只对兴趣点进行局部特征采样。

在文献[8]中，对一幅图像所有位置进行空间均匀密集采样[25]−，从而大大提2013-11-08收到，2014-02-25改回国家自然科学基金(61272223, 61300163)，江苏省杰出青年基金(BK2012045)和江苏省自然科学基金(BK20131003)资助课题*通信作者：刘青山 qsliu@ 高了分类精度。

另外，文献[12]用仿射 SIFT 特征处理手势和视觉点的变化。

文献[13]基于SIFT特征的局部组合提出了中间层特征。

(2)生成词典。

通常用K平均(K-means)算法或K近邻(K-NN)算法对局部特征进行聚类生成词典。

为了得到更精确的词典，文献[15]提出基于稀疏表示的监督词典学习方法。

文献[16]利用在线鲁棒学习的方法建立词典。

文献[2] 提出用稀疏编码进行词典学习以及向量量化。

(3)特征编码。

特征编码有3种方式：(a)二元编码硬关联[1]，局部特征只投票给与其最近的一个中心点，只能近似编码，容易产生误差。

(b)多元编码软关联[17]，允许局部特征投票给多个中心点，这能够保存更多的信息，得到比二元编码更好的执行效果。

(c)基于编码的特征重建：文献[2]提出用稀疏编码对2564 电子与信息学报第36卷局部特征进行重建，局部特征和学习得到的词典的相关程度是用稀疏编码的重建系数控制。

(4)特征聚合。

经典的聚合操作有最大聚合(max pooling)和平均聚合(average pooling)，即保留所有响应的最大值或平均值。

文献[18]陈述相邻局部聚合操作能够有效地处理更长的词典。

文献[19]提出几何聚合，即在不同几何位置赋予不同权重。

为了引入空间信息，空间金字塔匹配(Spatial Pyramid Matching, SPM) [20]被广泛地应用到图像分类中。

文献[21]把重叠空间区域加入到原始空间金字塔的非重叠网格，从而能抓住更多的空间信息。

最近，VOC 2007[22]的获胜者使用一种新的空间金字塔层倍受几个最新方法的关注[2325]−。

文献[26]用扇形聚合取代传统空间金字塔中的矩形区域聚合。

局部特征抽取是词袋表示模型的基础，局部特征抽取方式可以分为两类：一类是基于兴趣点检测，另一类是空间均匀密集采样方式。

早期的方法主要是基于兴趣点检测的方法[1]，兴趣点检测算法通过特征描述子来选择比较明显的像素点、边缘、角点、区块等，最常用的兴趣点检测算子有Harris角点检测算子，FAST 算子，LoG, DoG等。

近年来，使用最多的则是空间均匀密集采样的特征抽取方式[25]−。

其主要思想是从图像中按固定的步长、尺度抽取出大量的局部特征，如：SIFT, HOG, LBP 等。

大量实验证明空间均匀密集采样方式可以得到比兴趣点检测更好的性能。

空间均匀密集采样是通过控制X方向步长和Y 方向步长方法来实现的，得到的局部特征是均匀地散布在整幅图像上。

因此，空间均匀密集采样抽取的局部特征不仅冗余度高，而且往往只是概括了一幅图像的大概内容。

一般来说，要得到更好的分类精度，就需要更密集的采样，从而抽取更多的局部特征，但计算复杂度也会随之上升，并会加入大量的噪声信息。

然而，具有固定步长均匀采样并不能完全抓住位于目标物体的边缘或角点，必然会错失一些重要的局部细节。

在一幅图像中，目标物体的边缘、轮廓等信息都更具有判别和描述力，如图3(b)所示。

因此，图像中物体边缘、显著区域更应该得到关注。

在自然场景分类中，采用稀疏编码对特征进行信号重建，它关注的是具有代表性的特征，对图像来说，最具代表性的特征往往都在边界周围，因此区域内部并不需要稠密采样。

根据这一思想，本文提出一种新的非均匀空间采样策略，即在保持抽取的局部特征个数以及计算复杂度不变的情况下，与空间均匀密集采样方式得到的局部特征的分类性能作比较。

在本文中，先过分割图像得到若干个分割区域，然后使用显著性检测技术估计每个过分割区域的重要性。

在不增加局部特征个数的情况下，在分割边界根据区域的重要性实行密集均匀采样，并在区域内部根据区域大小以及重要性实行随机采样。

这样在分割边界上密集均匀抽取的局部特征在某种程度上被认为是表示形状信息。

而在分割区域内部随机采样抽取的局部特征被看作是表示纹理信息。

通过基于区域非均匀空间采样策略，能够很好地抓住图像中目标物体的边缘、轮廓区域的重要信息，并通过显著性检测技术降低特征冗余度，减弱背景噪声对物体分类系统的影响，从而得到比空间均匀密集采样更好的分类效果。

在两个广泛应用的数据库(UIUC Sports和Caltech-256)上对基于区域非均匀空间采样策略进行实验验证。

本文方法完全独立于词典学习、特征编码、特征聚合部分，有很强的可移植性。

本文结构安排如下。

第2节内容是基于区域的非均匀空间采样方法，主要包括显著性区域分割边界密集均匀采样和分割区域内部随机采样两个部分；第3节实验给出了不同方法以及不同参数下，在两个图像分类通用数据库上的实验结果的对比；第4节总结全文。

2基于区域非均匀空间采样图1 给出了基于区域非均匀空间采样特征抽取工作的流程图。

如图1中的虚线框所示，主要包括过分割图像、显著性区域检测以及局部特征采样等环节。

特征采样主要包括在分割边界密集均匀采样以及分割区域内部随机采样两个部分。

图1 BoW表示模型的特征抽取框架第11期 嵇朋朋等：基于区域非均匀空间采样特征的图像分类方法 25652.1图像过分割理想情况下，如果能够准确地从图像中分割出语义目标物体，就可以很容易地得到这幅图像属于哪一类。