基于自适应特征选择和SVM的图像分类的研究

第２７卷第１期计算机应用与软件Ｖ０１．２７Ｎｏ．１２０１０年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０１０

基于自适应特征选择和ＳＶＭ的图像分类的研究

潘崇朱红斌

（丽水学院计算机与信息工程学院浙江丽水３２３０００）

摘要提出多特征结合的图像分类方法，分别提取颜色特征和ＬＢＰ纹理特征，同时提出Ａｄａｂｏｏｓｔ算法对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高了分类的精度。最后对基于ＳＶＭ的多类图像分类方法进行了研究，提出在二类支持向量机的基础上构造多类分类器的方法，实验结果表明，提出的方法能够很好地用于图像分类。

关键词图像分类支持向量机特征选择Ａｄａｂｏｏｓｔ算法

ｏＮＩＭＡＧＥＣＬＡＳＳＩＦＩＣＡＴＩＯＮＢＡＳＥＤｏＮＡＤＡＰＴＩＶＥＦＥＡＴＵＲＥＳＥＬＥＣＴＩｏＮ

ＡＮＤＳＵＰＰＯＲＴＶＥＣＴＯＲＭＡＣＨＩＮＥ

ＰａｎＣｈｏｎｇＺｈｕＨｏｎｇｂｉｎ

（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＬｉｓｈｕｉＵｎｉｖｅｒｓｉｔｙ，Ｌｉｓｈｕｉ

３２３０００，撕昭，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＡｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｏｆｍｕｌｔｉ．ｆｅａｔｕｒｅｍｅｒｇｅｎｅｅｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｉｔｅｘｔｒａｃｔｓｒｅｓｐｅｃｔｉｖｅｌｙｔｈｅｃｏｌｏｕｒｆｅａｔｕｒｅａｎｄＬＢＰｔｅｘｔｕｒｅｆｅａｔｕｒｅ，ｍｅａｎｗｈｉｌｅＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍｉｓｐｕｔｆｏｒｗａｒｄｆｏｒｆｅａｔｕｒｅｓｅｌｅｃｔｉｎｇ．Ｂｙｃｈｏｏｓｉｎｇｔｈｅｆｅａｔｕｒｅｗｈｉｃｈｒｅｐｒｅｓｅｎｔｓｉｍａｇｅｔｈｅｂｅｓｔ．ｉｔｃ明ｂｏｔｈｒｅｄｕｃｅｆｅａｔｕｒｅ’Ｓｄｉｍｅｎｓｉｏｎａｎｄｉｍｐｒｏｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｅｃｉｓｉｏｎ．Ｉｎｔｈｅｅｎｄｏｆｔｈｉｓｐａｐｅｒ，ｔｈｅｍｅｔｈｏｄｏｆｍｕｌｔｉ。ｃｌａｓｓｉｍａｇｅｃｌａｓ・ｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｉｓｓｔｕｄｉｅｄ，ａｎｄｔｈｅａｐｐｒｏａｃｈｏｆｃｏｎｓｔｒｕｃｔｉｎｇｔｈｅｍｕｌｔｉ－ｃｌａｓｓｃｌａｓｓｉｆｉｅｒｂａｓｅｄｏｎｔｗｏ。ｃｌａｓｓＳＶＭｉｓｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈ

ｈａｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｉｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ・

ＫｅｙｗｏｒｄｓＩｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎＳｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅＦｅａｔｕｒｅｓｅｌｅｃｔｉｏｎＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ

０引言

随着数字图像处理技术的发展和实际应用的需要，图像分类识别技术应运而生。例如从遥感图像中识别出各种农作物、森林资源、矿产资源等，用人工地震波形图寻找有油的岩层结构，根据医学ｘ光图像分析各种病变，邮政系统中的信函自动分拣等等，都需要对图像中的各种对象进行区别分类。图像的计算机分类，是模式识别技术在图像领域中的具体运用，它的目的是研制能够自动处理图像信息的计算机系统，以便代替人们完成图像的分类和识别的任务【１．２１。

基于内容的｜冬Ｉ像分类对图像数据库的检索、图像过滤、图像识别等具有霞要意义，研究人员已做了一些有意义的工作。文献［３］中基于图像的颜色和主方向特征利用ＫＮＮ分类器实现了室内／室外的图像分类。文献［４］使用支持向量机分类器实现ｒ基于颜色直方图的图像分类系统。文献［５］中利用Ｂａｙｅｓ－ｔａｎ分类器实现了基于空间颜色矩和边缘方向直方图的室内／室外、城市／自然风景图像分类。这些方法都只用到了图像的颜色特征，由于各种对象的复杂性以及干扰因素的多样性，使得这些分类方法的分类精度较低。

本文提出多特征结合的图像分类方法，分别采用颜色特征和ＬＢＰ纹理特征，同时采用Ａｄａｂｏｏｓｔ对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高Ｊ，分类的精度。最后提ｆＩｊ在一类支持向量机的基础｜二构造多类分类器的方法，实验表明，提出的方法具有良好的分类性能。１自适应特征选择

１．１特征

本文采用二种不同类型特征空间中的特征：颜色特征和ＬＢＰ纹理特征。这二种特征均可以进行快速计算。

１．１．１颜色特征

我们采用文献［６］据出的颜色特征空间中的方法，颜色特征空间：

Ｆｌ兰｛埘１Ｒ＋硼２Ｇ＋ｔｌ，３８１ｗｊ∈［一２，一１，０，＋Ｉ，＋２］｝（１）式中埘。对应于一２到２之间的整数，这样的组合可以达到５３种，但最终选择了其中的４９种特征作为我们的颜色特征旧１。

１．１．２ＬＢＰ纹理特征

ＬＢＰ（１＿ｘ，ｃａｌｂｉｎａｒｙｐａＲｅｒｎ）＂１作为纹理算子可以很好地用来分析图像纹理特征。假定给定图像函数ｌ（ｘ，Ｙ），为了刻画图像像素点在某邻域内的灰度变化，考虑像素点的ｍｘｍ邻域，ＬＢＰ纹理算子计算公式如下：

２ｍ一１

ＬＢＰ（ｘ。，儿）＝∑ｓ（，Ｐ一，ｃ）２’

其中Ｉｃ、Ｌ分别为中心（‰，Ｙ。）处及邻域内各像素点的灰度值，ｓ（茁）为一个二值函数，定义如下：

收稿日期：２００８—０８—２３。潘崇，硕士，主研领域：图形图像，嵌入式系统。

万方数据

第１期

潘崇等：基于自适应特征选择和ＳＶＭ的图像分类的研究

２４５

一…城ｓ（ｘ）＝…｛１０ｘ

，＞…０ｘ＜０３３ＬＢＰ财一如三１妫蝴朋’８１月９嚣■≥。

㈤对于一个×邻域，

纹理算子模板及计算过程如图刍吒＾一”％’”

…７

所示，具体的ＬＢＰ算法详见文献［７］。

下，求解函数（６）的最大值。

圈田

ｕＰ篁子的３ｘ３邻域Ｕ｝Ｐ－（１１１１０００１）２；Ｉ＋１６４－３２＋６４＋１２８＝２４１

图Ｉ

ＬＢＰ算子的３×３邻域及计算过程

１．２特征选择

已知有ｆ个训练样本｛茁。，Ｙ。ｆ，…，ｆ≈，Ｙｔ｝，其中Ｙ，＝｛ｏ，Ｉ｝为类别标识；同时在训练样本中共有ｍ个假样本，凡个真样本；然后利用Ａｄａｂｏｏｓｔ方法对样本进行训练，选择特征，具体算法如

下：

给定（茁。，Ｙ．），（算：，Ｙ２），…，（算，，Ｙ。），Ｙ。＝０，１表示样本为反例样本和正例样本。（鼍，Ｙ。）表示第ｉ个图像样本，１≤ｉ≤ｚ，ｚ为样本的个数。

・初始化彬¨２寺，壶分别对应，，ｒ＝ｏ，１，其中Ｗｌ，ｉ表示第

１次第ｉ个样本对应的权值；

・Ｆｏｒｔ＝ｌＴｏｒ

（１）对每一特征，用吼训练吩，具有岛＝雕‘［～（算。）≠

Ｙ。］，Ｗ。表示第ｔ次样本对应的权值。１≤ｊ≤ｎ，ｒｔ为备选特征总数。其中＾，表示特征．，的弱分类假设，Ｉ｜ｌｉ可表示为：

吣）＝砝嚣ｋ鹏

其中Ｚ（并）为特征值，ｑ为阈值，ｎ为不等式方向符号因子。

（２）选择矗。（‘）＝ｈ＾（‘），对于Ｖｊ＃ｋ，吼＜ｑ，且占，＝占‘。

（３）更新毗“ｉ＝Ｗｔ，∥”‘，其中Ｅ＝ｏ，Ｉ表示对样本错分或

正确划分，且＝÷。

・最后的分类函数结果为：

Ｊｌ（茗）＝∑ａ，ｈ。（茗）≥÷∑口ｆ

其中ｑ＝ｌｏｇ÷，这样我们得到了ｒ个特征。２支持向量机

ＳＶＭ是从线性可分情况下的最优分类面发展而来的，对于非线性的问题，其首先通过核函数将样本数据映射到高维特征空间中，在高维特征空问构造最优分类面。设输入的模式集合㈠｝ＥＲ４由两类点组成，如果Ｘｉ属于第一类，则Ｙ。＝ｌ；如果茗。属

于第二类，则Ｙｉ＝一１，则训练样本集为ｈ，Ｙ。｝；ｉ＝１，２，…，ｎ，并

∈舻，Ｙ∈ｌ＋１，一ｌ｝，满足：

Ｙ。［（埘Ｘ毛）＋ｂ］一１≥０

ｉ＝１，２，…，Ⅳ

（３）

当样本不是线性可分时，可以通过引人正的松弛因子￡允许错分样本的存在。这时公式（３）变为：

Ｙｆ［（ＷＸ茗‘）＋６］一１＋ｆ．≥０

ｉ＝ｌ，２，…，＾ｒ

（４）

满足式（３）且使分类间隔２／Ｈ彬ＪＪ最大的分类面就叫最优分类面，利用Ｌａｇｒａｎｇｅ优化方法可以将上述最优分类面问题转

Ｑ（ｎ）＝∑口；一１／２∑ｎ。哆），；”（≈×芍）

（６）

ｉ＃Ｉ

ｌＪ２１

得到最优分类函数：

以石）

ｔ

＝ｓｉｇｎ（∑ｏｒ，’ｙ。＿ｊ｝（¨．）＋ｂ‘）

（７）

ｌ＝ｌ

其中：ｓｉｇｎ（）为符号函数，其取值决定石的类属；．｜｝（ｘ，算。）为核函

数，通过非线性变换中：∥一Ｆ将样本数据映射到高维李间中，然后在高维窄间寻找最优平面。常用的核函数有：多项式核函数Ｋ

（并，），）＝（掣＋１）４、高斯核函数ｅｘｐ（一１／（２０．２）忪一ｙ０２）。

３基于ＳＶＭ的图像分类

利用ＳＶＭ解决多类分类问题，目前丰要有两种途径：（１）

把多个２一类ＳＶＭ分类器进行组合，研究的内容包括对组合方式

的改进以及对每个２，类ＳＶＭ分类器的改进；（２）利用文献［９］

提出的将２一类ＳＶＭ从优化公式直接进行推广。目前主要有以下二种多类ＳＶＭ分类方法：

（１）一对一

构造所有可能的２．类ＳＶＭ分类器，每个分类器的训练数据集都只取相应的两类。这时共需要构造Ｎ＝ｋ（％一１）／２个２－类ＳＶＭ分类器。在构造第ｉ类与第』类之间的２．类ＳＶＭ分类器

时，训练集中的数据只来自相应的两类，并将第ｉ类与第．『类内的点分别标记为＋１和一１。测试时，将测试数据分别代入上述的Ｎ＝ｋ（ｋ一１）／２个２．类ＳＶＭ分类器进行测试，累计各类别的得分，选择得分最高所对应的类别为测试数据的所属类别。

（２）一对多

对于居．类问题，构造矗个２．类ＳＶＭ分类器，每个类对应其

中的一个，将它与其它的类分开；其中第ｉ个２－类ＳＶＭ分类器

是把第ｉ类中的样本都标记为＋ｌ，而其它所有的样本都标记为一１。也就是说，第ｉ个２－类ＳＶＭ分类器所构造的分类超平面，把第ｉ类与其它的（ｉ一１）类分割开。测试时，对测试数据分别计算对应于各个２．类分类器的决策函数值并选择最大的函数

值所对应的类别作为测试数据的所属类别。

本文采用一对多的方法构造分类器，这样可以减少分类器

的个数，提高分类速度。本文实现多类目标分类，设库中所有图像共有Ⅳ类，记为Ｔ＝｛Ａ。，Ａ：，…，Ａ。｝。对，ｖ类图像构造Ⅳ个２一类ＳＶＭ分类器，记为：Ｍ＝｛Ｍ，Ｍ，…，Ⅳ。｝，第ｉ个２一类ＳＶＭ

分类器用第ｉ类中的样本作为正的训练样本，而将其他的样本作为负的训练样本。对给定的一个语义类Ａ，∈Ｔ，构造其ＳＶＭ

分类器，则其分类问题中ｉ］ＪＩ练集可表示为Ｖ＝｛（石，，Ｙ，），（戈：，

Ｙ２），…，（‰，扎）｝。其中：矗表示支持向量机中的训练样本的数目。若Ｙ‘＝１，则表示Ｘｉ属于语义类Ａ。；若Ｙ。＝一１，则表示ｔ不

输出

基于Ｓ，个支持向量的线性变换

底层特征向量

图２

ＳＶＭ分类模型图

螽

惫万方数据