用GA、PCA和改进SVM相结合进行车辆实时分类

用GA、PCA和改进SVM相结合进行车辆实时分类
曹伟
【摘要】用GA、PcA和改进sVM结合进行车辆实时分类研究对公路管理和控制具有实际应用意义和社会效益.在某公路的匝道口两侧设置了8个测试点,对通过匝道口的车辆进行测试,提取特征向量,采用声波和振地波信号在匝道口进行了实时分类测试研究.由于特征向量的维数太高,用GA和PCA降低特征向量的维数,再用SVM和改进的SVM对特征向量进行分类,大大提高了分类精度.通过实验及分类得到声波和振地波的测试集分类精度最高分别是92.0%和76.1%,同时声波和振地波特征向量的维数降低至26和21.其相应的比率分别为95%和99%,独立集的分类精度分别为87.5%和71.3%.实验表明:用改进的SvM和GA、PCA结合的方法进行分类,其效果要优于单独使用主成分分析(PCA)、遗传算法(GA)以及它俩的结合使用的方法.
【期刊名称】《辽东学院学报（自然科学版）》
【年(卷),期】2010(017)004
【总页数】7页(P296-302)
【关键词】车辆分类;GA;PCA;SVM;改进SVM
【作者】曹伟
【作者单位】辽东学院信息学院,辽宁,丹东,118001
【正文语种】中文
【中图分类】TP301.6
随着人们生活水平的不断提高,车辆拥有量也不断上升,但道路建设的相对滞后使得
交通更加拥挤。

在有限的道路资源下,利用智能交通系统进行车辆管理能有效地缓
解交通拥挤问题。

智能交通的重要组成部分是车辆类型识别与分类。

对车辆类型识别而言,关键问题在于选择准确且有效的车体特征和模式识别方法。

特征提取的有
效性和准确性直接关系到识别系统的最终效果。

现有的车辆特征提取方法包括图像特征提取,感应线圈特征提取和声表面波特征提取等[1]。

感应线圈的应用原理是利
用不同的车辆通过环形线圈时,其电感量输出特征曲线不同来判断车的类型。

但此
种方法易受较多的不定因素的影响,安装和维护感应线圈较为麻烦,使用周期短。

随
着计算机的发展,基于图像处理技术的车辆特征(如汽车颜色、轮廓等)提取正迅速发展起来。

利用汽车颜色特征进行车辆分类时,车辆的车身颜色易受外围灯光颜色的
影响和背景的干扰,且随着光线强度的变化其识别结果也会有所不同[2],因而该方法的可信度不高。

在车辆识别方面,马可波罗等采用快速傅立叶变换(FFT),用512帧采样点,选择前
100和50点的分频域分别形成声波和振地波特征向量[3]。

所有传感器的采样频率为20 KHz。

他们研究的实验数据重采样频率为4 960 Hz。

该KNN和C支持向
量分类(C-SVC)的,和最大似然度用来进行三种分类:两种类型的车辆和噪音。

在这
些分类精度介于56.24～69.48%。

其他三个系统从声信号中重点分析精细光谱细节。

吴等人采用快速傅里叶变换和主成分分析(PCA)辨认车辆的声学特征[4]。

他们录制声波数据的采样频率为22 kHz,用FFT提取4 096采样点的帧的特征,然后建
立了一个分类体系进行分类。

然而,该文中没有实验结果表明性能。

刘评估了三个
分类器:学习矢量量子化(LVQ),树结构矢量量子化(TSVQ)和平行树结构矢量量子化(PTSVQ),关于声震分类识别数据集(AC IDS)[5]。

由模仿生物听觉模式提取出多分
辨率特征向量。

使用样本和非样本测试集识别的准确率分别达到96.4%和69.0%。

Maciejewski等人在采样率为5 kHz时使用哈尔小波预处理的音频数据。

带有8
混合分量的径向基函数(RBF)网络,并采用多层感知划分出4种类型的军用车辆。

在非样本测试集中由RBF网络分类的准确性73.68 %。

采用声波和振地波信号在某公路的匝道口对车辆进行了实时分类测试研究,在匝道
口两侧设置了8个测试点,对通过匝道口的车辆的测试,提取特征向量。

由于特征向量的维数太高,计算量太大,不是很方便。

用GA和PCA降低特征向量的维数,再用
改进的SVM对特征向量进行分类,会大大提高分类精度。

通过查阅文献,未见用GA、PCA和SVM结合做汽车实时分类的报道。

遗传算法是一类优化程序,其灵感来自生物学再生产机制。

它利用简单的编码技术
和繁殖机制来表现复杂的现象,从而解决非常困难的问题。

它搜索解的空间的功能
是通过使用模拟进化,即适者生存战略。

用P(i)代表第i代人口。

每个P(i)代表位字符串的一个简单的编码方案,它的长度是由一些三维特征向量的维数确定。

如果第j位字符串是1,那么相应地第j位元素特征向量被选中,否则,它会被忽略。

初始化P(i)的步骤是随机选择字符串的位建设若
干个体。

评价每一个P(i)是由计算它们的适应性来完成。

适应性评价包含两个方面:准确性和特征选择的数量。

在本文中,我们只考虑的第一个项目作为适应性的准确性。

评估P (i)完后,从P(i)和P(i-1)导出的那些选定P(i+1)(P(1)只从P(0)导出)是根据一定比例由P(i)和P(i-1)个体确定的。

重组的P(i+1)包含两个部分:交叉和变异。

有三种基本类型的交叉:单点交叉,两点交叉和统一交叉。

对于单点交叉,P(i+1)中的每两个在一个随机产生的共同点被分割,相应的两个部分被互换。

对于双点交
叉,P(i+1)中的每两个在随机选择的共同点被分裂,并且两个点的中间部分也被互换。

均匀交叉不同于上述两个方案。

在这种情况下,P(i+1)中的每1位是从P(i)和P(i-1)中的每1位随机挑选的。

单交叉适用于本文,并且作者实验得交叉概率为0.85。

主成分分析是用来线性项目把特征向量转换成低量值空间。

这个空间的跨越是由主成分确定的(即特征向量对应最大的特征值)的分布情况,包括训练集的一套特征向量。

在特征空间定制了特征向量后,一个新的含有部分投影系数的低量值特征向量的一部分,被用来代表相应的原始特征向量。

的主要观点归纳如下:
训练集的平均特征向量的定义是:
其中N为训练集中向量的数值。

每个训练集中的向量不同于训练集向量的平均差△Pi=Pi-,(i =1,...,N)。

协方差矩阵C由下式估算:
然而本征空间可以由计算特征向量EV1,EV2,……,EVM(M是特征值的总数)和C中的特征值λ1,λ2,...,λM来确定。

选择M0特征向量EV1,EV2,...,EVM0(M0≤M),其中对应于M0最大特征值λ1,λ2,...,λM0,(λ1＞λ2＞……＞λM0)。

给定一个新的特征向量Pj,减去平均(△Pi=Pi-)后计算预测:
P′jk是投影系数代表原始特征向量Pj。

在语音识别和说话人识别,倒谱系数(M FCC)最初已由雷诺和瑞鑫提出[6]。

M FCC 的原理是源于生物听觉系统,在一定的频率范围它的能力是有限的。

例如,很难从200Hz中区分195Hz或203Hz,但容易确定双方都属于同一范围的生物学听觉系统。

结合的方法不同于M FCC,因为频谱模式的细节由滤波器组过滤,M FCC特征提取过程是一项复杂的工作。

因此,一个简单的矩形滤波器组被用来取代三角滤波器组并且离散余弦变换被忽略掉。

矩形滤波器组是由几个连续的矩形过滤器组成。

每一个矩形过滤器进行的平均组合(在矩形过滤器中)。

因此,给定特征向量的维数M,每个矩形过滤器的大小是m,并且所有元素被每个m元素平均,从而使特征向量维数从M较少到M’,这等于滤波后M/m的整数部分。

矩形滤波器大小m可以是自然数从1到M。

如果m太小,特征向量维数的减少就不明显。

如果m过大,特征向量的频谱细节就被滤波器组滤掉。

因此,人们需要在结合的过程中找到一个最佳的m。

支持向量机是由Vapnik和同事基于结构风险最小化(SRM)原理上由统计学习理论
而提出的,并已广泛应用于现实世界中的分类与回归。

在线性可分的情况下,SVM的训练是建设一个超平面H,
此式用来分隔两个不同类别的特征向量的最大差值。

通过找到另一个向量W和一个参数b构造超平面,最小化||W||并满足下列条件:
这里Pi代表每个训练集的样本,y是向量Pi的分类标签,||W||是W的欧氏范数。

确定了W和b后,给定向量Pj可划分为:
在非线性可分的情况下,向量图的输入向量到一个高维数特征空间使用核函数度
K(Pi,Pj)。

因此,在此高维数空间里非线性可分问题转化成为一个线性可分问题。

在这种情况下,分类的判别函数改为:
l是训练集中样本的总数,ai为拉格朗日因子,b是分类阈值,由最小化下列拉格朗日表达式确定:
为度量样本点P到分类超平面的距离函数。

1.4.1 Lennard-Jones算法[7]
Lennard-Jones算法简称L-J算法。

由(8)式得知,距离函数g(P)决定着SVM的分类结果,为了评测各个特征值对g(P)影响的大小,首先要求出该函数在样本点P的梯度pg(P)=对于常用的核函数来说pK (P,Pi)是很容易求取的。

梯度向量pg(P)为
g(P)增益最大的方向向量。

它与坐标轴的夹角越小,相应的特征值对g(P)的作用就越大,即对SVM的分类结果影响就越大。

分析SVM分类器的几何特点可知,距离函数g (P)与训练样本P相应的系数αi有如下的关系:
其中满足0＜α＜C条件的样本为支持向量,决定着最终的分类结果。

支持向量到分类超平面的距离的绝对值为1,L-J算法通过评测支持向量及其周围样本点处的
Pg(P)值,可以反映出各个特征的重要性,算法的具体流程如下:
(1)选取适当的核函数及相关参数,训练生成SVM分类器;
(2)取一个适当的小正数ε,在数据集中找出所有满足|g(Pi)?1|≤ε要求的样本,令此集合为εI;
(3)求取集合Iε中各样本点处的Pg(P)值;
(4)每个坐标轴方向上的单位向量表示为ej(j=1,2,…,d),求取Pg(P)与各个坐标轴的夹角:
(5)的值α¯的,j数值越大,相应的特征值对于分类结果的影响就越大。

1.4.2 算法的改进
L-J算法用角度作为评测标准,需要计算梯度向量Pg(P)与各个单位向量ej间的夹角,每个特征都要计算一次,当数据维度很高时,比较繁琐。

设|Pg(P)|为Pg(P)的各个分量取绝对值后生成的向量,将|Pg(P)|归一化后,其第j个分量越大,则αj就越大,所以|Pg(P)|的各个分量可以替代αj的作为。

改进的算法直接用向量作为评测标准,具体流程如下:
(1)～(3)同L-J算法;
(4)在集合Iε中将|Pg(P)|归一化后求和:
(5)将V归一化:则的各个分量的大小反映出相应特征值的重要性。

此算法相当于求取集合Iε所有数据点处的|P g(P)|的“合力”,省去了L-J算法中繁琐的角度计算,所以较为简捷。

传统上,短时傅里叶变换是用来将车辆的声波和振地波波形变换成一套频率特征向量。

根据采样率,首先窗口尺寸L是一个适当选择,如256, 512,1 024,2 048和4 096采样点。

为了获得N个短期时间序列{xj=(xj1,xj2,...,xjL),(j= 1,...,N)},通过使用连续重叠窗口构建声波和振地波时间序列。

为了运行快速傅氏变换(FFT),人们计算了{x1,x2,...,xN}的平均值得到
{△x1,△x2,...,△xN},(△xj=(△xj1,△xj2,...,△xjL),(j=1,...,N),△xji=xjix¯ ji,(i=1,2,...,L))。

将Hamm ing窗口添加到每个向量上作为过滤器来降低吉布斯效应。

Hamm ing窗
口表达式如下:
然而每个向量△x1,△x2,...,△xN由FFT进行标准化变换,最后得到特征集向量{P1,
P2,...,PN},(Pj=(Pj1,Pj2,...,PjL),(j= 1,2,...,N))。

由于每个特征向量的维数{P1,P2,...,PN}太高,人们通常使用三个方面的特征选择方法降低它的维数,即遗传算法(GA),主成分分析(PCA),或二者结合。

在这项研究中[8],使用无线分布式传感器网络(WDSN)数据库进行分类。

建立这一数据库的最初任务是进行分类四种不同类型的车辆包括小轿车(CAR),公共汽车(BUS),卡车(TRUCK)和集装箱货车(Container Truck简称CTR)。

为了建立这个数据库,这四个类型的车辆沿着某公路的匝道口道路跑了几次。

有8个传感器节点分布在道路旁边记录运行车辆的声波和振地波数据。

每个节点配备了两个不同的传感器:麦克风和振地波检波器。

所有传感器取样速率为20千赫。

所有信号重新在4960赫兹取样。

经过一系列的程序,如放大、滤波、采样、和A/D转换,所有板上的可编程数字信号处理器做本地分类并发送结果到中央传感器,然后中央传感器产生的结果再送到中央处理计算机中。

图2显示了CTR样品的样品的声波和振地波时间序列。

探讨改变窗口大小的分类精度,五个不同的窗口大小的256,512,1 024,2 048和4 096采样点被用来对CAR和CTR的声波和振地波时间序列进行特征提取。

在获取信号过程中采用相邻窗口重叠10%。

如3.1节中所描述的完成提取特征后,发现声波和振地波的多数信息主要集中在低频率(特征向量)。

声波和振地波的频率特点是从0到988.1 Hz的较低范围,在较高频率的能量幅度趋近于零。

根据传统方法[3,4],在五个不同尺寸的窗户下向量的维数是51,102,204,408和816:采样点分别是256,512,1 024,2 048和4 096。

在传统的特征提取和特征选择后,所有的特征向量被划分为三个集:训练集,测试集,和独立集。

从8个不同的测试点测试CAR、CTR、BUS和TRUCK的声波和振地波信号,然后
挑选出训练集和测试集的特征向量。

训练集用于训练SVM和建造一个超级平面,用来区分负区样本和正区样本。

为了进一步减少特征向量的维数,上述传统的特征选择后,遗传算法(GA)和主成分分析(PCA)用于特征选择。

着重于GA和PCA的分类,只选择了窗口大小为1 024,通过利用支持向量机(SVM)和改进的SVM的所有分类进行下列研究。

在遗传算法方面,每个群体由10个个体构成,其它参数被选择犹如2.1节中第一部分所描述的。

采用声波和振地波测试集的最高分类精度分别为92.3%和80.9%。

相应地,独立集的声波和振地波的分类精度分别为86.9%和77.1%。

对应于最高测试精度的最佳个体维数是112(声波特征)和107(振地波特征)。

所选择的两个最好个体的最佳特征是204原始特征的前半部分,而这里使用传统的特征选择方法进行选择。

实现声波和振地波测试集分的类精度最高分别是92.0%和76.1%。

与此同时,声波和振地波特征向量的维数降低至26和21,其相应的比率分别为95%和99%。

声波和振地波信号相应于独立集的分类精度分别为87.5%和71.3%。

图4中测试集和独立集的精确度随着比例的增加而逐渐增加,达到了最高的精度时比率为95%以上。

当比率超过95%,精确度下降。

它反映了一个事实,即并非总是特征向量成分越多,分类的精确性就越高。

并表明,对一些数据集,PCA不仅可以有效地减少特征向量的维数,而且可以同时改善分类的性能。

使用SVM的不同特征选择方法得到的声波和振地波信号的测试集和独立集的最高分类精度列于表1。

表1中,TP,FN,TN和FP分别代表真阳(True Positive),假阴(False N egative),真阴(True Negative),假阳(False Positive)的样本。

QP,QN,和Q代表的分类精度为正值部分,负值部分和整个样本。

在表1中,PCA可以在很大的程度上减少特征向量的维数。

然而,相对于传统的特征选择方法,它使得大多数分类精度是降低的。

尽管使用遗传
算法的振地波信号的独立集分类精度提高4.6%,大多数的分类准确度还是有所下降。

一方面,使用GA减少的程度不会大于PCA的程度。

另一方面,使用GA以获得最佳个体将会很费时。

为了同时实现更高的分类精度、特征向量的低维数和不耗时的训练,作者研究了结
合特征选择的方法并用PCA统一了这种方法。

首先,改变矩形过滤器结合的大小从2到10,特征向量的维数相应地从102减少到20。

在与PCA统一与结合去构建特征向量期间,从一个新的特征向量集中把PCA抽取的特征向量和由组合抽取的特征向量连接起来。

在此主成分分析(PCA)中,所选特征值之和的比例是所有特征值总和的95%。

主成分分析(PCA)后,声波和振地波特征向量维数分别为26和13。

因此,如表2所示,用PCA的特征向量的数值量与等于不用PCA时声波的量增加26,振地波的量增加13。

由表2可见,使相结合方法的所有分类精度均优于那些没有用主成分分析(PCA)的情况。

对声波信号,当使用与主成分分析(PCA)相结合的方法并且结合尺度达到5时,
测试集的总精度达到了最好的结果94.4%,独立集的最好结果是89.1 %。

对振地波信号,当使用与主成分分析(PCA)相结合的方法并且结合尺度达到2时,测试集的总
精度达到了最好的结果81.5%～82.4%,独立集的最好结果是72.5%～77.2%。

随着结合尺寸的增加,使用与主成分分析相结合方法的准确性随之减少,并且慢于不
用主成分分析相结合的方法。

(1)窗口尺寸的选择是提高声波和振地波信号的测试集和独立集的分类准确度的重
要因素;
(2)使用声波信号分类车辆的类型比使用振地波信号更有效;
(3)结合主成分分析(PCA)的声波和振地波特征构建的归一化方法是简单、省时的和可靠的方法,并且帮助支持向量机SVM和改进的SVM分类器取得了更好的效果。

【相关文献】
[1]肖汉光.利用支持向量机SVM识别车辆类型[J].重庆大学学报:自然科学版,2006,29(1):61-65.
[2]王运琼.利用支持向量机识别汽车颜色[J].计算机辅助设计与图形学学报,2004,16(5):701-706.
[3]F.Marco et pute.64,826(2004).
[4]H.Wu et al.Khosla,IEEE Trans.Instrumentation and Measurement 48,1005(1999).
[5]L IL.Ground vehicle acoustic signal processing based on biological hearing
models[D].Master’s thesis,University of Maryland,College Park,1999.
[6]REYNOLDSL,JUANGB H.Fundamentals of speech recognition[M].Prentice-Hall,1993.
[7]HERMESL,BUHMANN J M.Feature selection for support vector machines[C]//Proc.of the 15th International Conference on Pattern Recognition.Barcelona:[s. n.],2008:716-719. [8]ZHANG C J.The research of vehicle classification using SVM and KNN in a
ramp[C].International Forum on Computer Science-Technology and Applications 2009 A:IEEE Computer Society’s Conference Publishing Services,2009.。