支持向量机的多分类算法

收稿日期:2004-11-13;修回日期:2005-01-31。

基金项目:国家自然科学基金(50077008);广东省自然科学基金(033044)联合资助课题
作者简介:胡国胜(1965-),男,副教授,博士,主要研究方向为小波理论、SVM 理论研究及其应用。

E 2mail :jam -hu @
支持向量机的多分类算法
胡国胜1,3,钱　玲2,张国红1
(1.广东科学技术职业学院,广东广州510640;
2.塔里木油田公司勘探开发研究院,新疆塔里木843300;
3.河南大学计算机与信息工程学院,河南开封475001)
摘　要:系统介绍了统计学习理论(statistical learning theory ,SL T )与支持向量机(support vector machine ,SVM )的基本思想和算法,总结和比较了二分类和多分类两种情况下支持向量机的主要训练算法。

与人工神经网络相比,分析了支持向量机算法的优点。

归纳了支持向量机在诸如模式识别、函数逼近、时间序列预测、故障预测和识别、信息安全、电力系统以及电力电子领域中的应用。

最后对SVM 前景作了展望。

关键词:模式识别;电力系统;电力电子;支持向量机;多分类算法中图分类号:TP391.41 文献标识码:A
Survey of multi 2classif ication algorithms based on support vector machine
HU Guo 2sheng 1,3,Q IAN Lin 2,ZHAN G Guo 2hong 1
(1.Guangdong V ocational Coll.of Science.and Technology ,Guangz hou 510640,China;2.Inst.of Ex ploring Development ,Talim n Pet ro Field Com pany ,Talim n 843300,China;3.School of Com puter and Inf ormation Engineering ,Henan U niv.,Kaif eng 475001,China )
Abstract :The basic theory and algorithms of statistical learning theory (SL T )and support vector machines (SVMs )are surveyed.According to 22classification and multi 2classification cases ,main SVM training algorithms are
summarized and compared.By comparison with ANN ,the characteristics of SVMs are analyzed.SVM applications ,such as pattern recognition ,function approaching ,time series prediction ,fault prediction and recognition ,information security ,power system and power electronics ,are described.Finally ,some problems in SVM development are pre 2sented.
K ey w ords :pattern recognition ;power system ;power electronics ;support vector machines (SVMs );multi 2
classification algorithms
0　引　言
统计学习理论(statistical learning theory ,SL T )[1]是在传统统计学基础上发展起来的一种具有坚实基础的机器学习方法,是目前针对小样本统计估计和预测学习的最佳理论,它从理论上系统地研究了经验最小化原理成立的条件、有限样本下经验风险与期望风险的关系及如何利用这些理论找到新的学习原则和方法等问题。

自20世纪90年代以来,由于3方面的原因:自身形成了一个较为完善的理论体系(统计学习理论)、提出了新的模式识别方法(支持向量机)和神经网络等其它学习方法遇到困难,因此对这一领域的研究开始受到重视。

其中最重要的作为统计学习理论的实现方法———支持向量机(support vector machines ,
SVMs ),对统计学习理论的发展起到巨大的推动作用,并得
到广泛应用[2～8]。

支持向量机具有完美的数学形式、直观
的几何解释和良好的泛化能力,解决了模型选择与欠学习、过学习问题以及非线性问题,避免了局部最优解,有效地克服了“维数灾难”,且人为设定的参数少,便于使用,已经成功地应用于许多分类、识别和回归问题[2,4,5]。

SVM 算法实质上是求解一个凸规划问题,或者其对偶问题———一个二次规划(QP )问题。

最优化理论中的许多成熟算法需要利用整个Hessian 矩阵,因受计算机内存容量和计算速度的限制,只适用于样本较少的情况,而根本无法处理大量数据的问题。

因此设计适于大量样本的算法成为SVM 研究中的重要内容。

目前,在理论和实践上都取得很大进展,出现了一些比较有效的训练算法和实用软件[9]。

2006年1月系统工程与电子技术
Jan.2006第28卷　第1期
Aerospace Electronics Information Engineering and Control Vol.28　No.1
文章编号:10012506X (2006)0120127206
1　SVM 二分类模型[1]
给定样本集,x i ∈R n ,y i ∈{-1,1},i =1,…,l 和核函数K (x i ,x j )。

K 对应某特征空间Z 中的内积,即〈<(x i ),<(x j )〉=K (x i ,x j )。

变换<:x →Z 将样本从输入空间映射到特征空间。

设计基于SVM 的二分类器,就是在Z 中寻找一定意义下的最优超平面〈w ,<(x )〉-b =0。

具体来说,当样本集在Z 中线性可分时,使分类间隔最大,即求解
min w ,b 12
||w ||2
subject to y i (〈
w ,<(x i )〉-b )≥1i =1,…,l
(1)
当样本集在Z 中线性不可分时,使分类间隔和分类错误达到某种折衷,即求解
min w ,b,ξ
12||w ||2
+C ∑l
i =1
ξi
subject to y i (〈w ,<(x i )〉-b )≥1-ξi
ξi ≥0,i =1,…,l
(2)
式中:ξi —
——松弛变量;C ———正则化参数。

由于特征空间的维数可能很高,甚至是无穷的,且变换<并未直接给出,大多数方法不直接求解问题(1)和2),而是求解它们的对偶问题
min α
W (α)=12
αT
Q α-e T αsubject to y T α=00≤αi ,i =1,…,l
(3)
min α
W (α)=12
αT
Q α-e T αsubject to y T α=00≤αi ≤C ,i =1,…,l
(4)
式中:α=(a 1,a 2,…,a l )T ,a i 是问题(1)中不等式约束
y i (〈w ,<(x i )〉-b )≥1或者问题(2)中不等式约束y i (〈w ,<(x i )〉-b )≥1-ξi 对应的拉格朗日乘积因子(以下简称乘子);Hessian 矩阵Q 是半正定的,Q ij =y i y j 〈<(x i ),<(x j )〉=y i y j K (x i ,x j );e =(1,1,…,1)T 。

求解上述规划问题,得到一个二分类器
u (x )=
∑l
j =1
a j y j
K (x
j
,x )-b
y (x )=sign (u (x ))
(5)
若a i =0,样本x i 称为非支持向量;若a i >0,x i 称为支持向量;若a i =C ,x i 称为有界支持向量;若0<a i <C ,x i 称为非有界支持向量。

问题(1)～(4)都是凸规划问题。

而凸规划的局部最优解即全局最优解。

因此,SVM 方法避免了神经网络等方面存在的局部最优解问题。

2　SVM 多分类算法
SVMs 最基本的理论是针对二分类问题,SVM 二分类
方法具有清晰的几何含义,问题(1)和问题(2)分别等价于
求解特征空间中两类训练样本形成的两个凸包或者缩小的凸包之间的距离[1,9]。

几何方法就是利用这种几何解释,将SVM 的训练问题转化为经典的几何问题。

比如K eerthi 等人[9]将两个传统的Nearest Point 算法加以组合、改进,设计出一种快速迭代算法,用来求解问题(1);对于问题(2),则通过采用松弛变量ξ的l 2范数,将其转化为问题(1)求解。

事实上,如果在目标函数中加入0.5b 2,则问题(1)可以转化为一个凸包到原点的最小距离,存在更加简单有效的算法ISA [10]。

二分类器算法比较丰富和完善,著名的有Vapnik 的Chunking 方法[11]、Osuna 的分解算法[12]、Joachims 的
SVM light 方法[13]、Platt 的SMO 算法[14]
、Hush 的G DA 算法[15]
等。

然而,在实际应用中,比如语音识别、字体识别、人脸识别等,必须要解决多分类问题,尤其是人脸识别技术与普通的模式识别不同,主要是因为在一般的模式识别中,有几个分类,每个分类中有很多样本,这样可以安排大量样本进行训练。

相反,人脸识别中通常会有很多不同的人脸,每个人脸代表一个分类,而每个分类中的样本数都比较少,在很多情况下,甚至每个人只有一张图片(如身份证照片),这样无疑增加了识别的难度。

对于多分类识别问题,必须将SVMs 进行改进和推广。

对于多分类问题,SVM 算法有几下几种。

(1)标准算法[1]。

对于k 2类问题构造k 个分类器,第i 个SVM 用第i 类中的训练样本作为正的训练样本,而将其它的样本作为负的训练样本。

这个算法称为一对多方法(one 2against 2rest )。

最后的输出是两类分类器输出为最大的那一类(此时,两类分类器的判决函数不用取符号函数sgn )。

这个方法的不足之处是它的推广误差无界,容易产生属于多类别的点和没有被分类的点。

(2)一对一方法(one 2against 2one )[16,17]。

该算法在k 2类训练样本中构造所有可能的二类分类器,每类仅仅在k 2类中的二类训练样本上训练,结果共构造N =k (k -1)/2个分类器。

组合这些二类分类器很自然地用到了投票法,得票最多(max wins )的类为新点所属的类。

U.K rebel 用该方法训练多类SVM ,取得了很好的结果。

一对一算法的缺点是:1)如果单个二类分类器不规范化,则整个k 类分类器将趋向于过学习;2)推广误差无界;3)对于任意两个分类,构造一个分类器,仅识别这两个分类,完成这个过程需要k (k -1)/2分类器,计算量非常庞大,导致在决策时速度很慢。

(3)层(树)分类方法[18,19]。

这种算法是一对一方法的改进,将k 个分类合并为两个大类,每个大类再分成两个子类,如此下去,直到最基本的k 个分类,这样形成不同的层次,每个层次都使用SVMs 来进行分类。

(4)k 2类SVM 方法[20]。

该算法对所有的样本使用同一个二次规划,只需要一次就可以决定分类。

这种方法的局限在于,由于要一次处理所有数据,约束条件急剧增加,进行分类的二次规划相当庞大,即使是转化为线性规划,数
　・128　・
系统工程与电子技术2006年　
据的规模依然受限。

(5)QP 2MC 2SV 算法[21]。

Weston 提出了两种新的k 2类SVM 算法,它在构造决策函数时很自然地同时考虑所有的类。

将原始优化问题推广为
φ(w ,ξ)=12∑k m =1(w m ,w m )+C ∑l
i =1∑m ≠y
i
ξm
i
(6)
s.t.(w i ・x i )+b y i ≥(w m ・x i )+b m +2-ξm
i ξm i ≥0,i =1,2,…,l ,　m ∈{1,2,…,k}\y i
相应的决策函数变为f (x )=arg max k [(w i ・x )+b i ],i =1,2,…,k 。

当k 取2时,和二类分类问题等价。

(6)L P 2MC 2SV 算法[21]。

原始最优化问题变为
φ(α,ξ)=∑
l
i =1
αi
+C ∑l
i =1
∑j ≠y i
ξi
(7)
s.t.
∑
m :y m ≠y i
αm K (x i
,x m )+b y i ≥
∑αn
K (x i
,x n )+b y i +2-ξj
i
αi ≥0,ξj
i ≥0,i =1,2,…,l ,　j ∈{1,2,…,k}\y i
决策函数为:f (x )=arg max
n
∑
i :y i =n
αi
K (x ,x i
)+b n。

这
两种方法的缺点是计算量都比较大,优点是得到的决策分类面的支持向量机的数据均比常规方法少。

(7)Platt [22]等提出了一种新的学习架构:决策导向非循环图(decision directed acyclic graph ,DDA G ),将多个二类分类器组合成k 2类分类器。

对于k 2类问题,DDA G 含有k (k -1)/2个分类器,每个分类器对应两类。

其优点是推广误差只取决于类数k 和节点上的类间间距(margin ),而与输入空间的维数无关,根据DDA G 提出算法DA GSVM ,DDA G 的每个节点和一个12对21分类器相关,其速度显著比标准算法或取最大算法(max wins )快。

以上方法各有千秋,但都没有脱离SVMs 的最优超平面,形象地说,SVM 在多分类问题上相当于多个超平面将数据空间分割,每一类数据都被若干个超平面围在一个区域里。

文献[23]对此进行了全面的比较。

(8)球结构分类算法[24]。

Zhu 提出,将同一类数据用超球来界定,数据空间变为由若干个超球组成,在三维上面像是很多肥皂泡的集合。

最小球的二次规划为max L (a m i )=
∑i
a m
i
k (x m i
,x m i
)-∑i ,j
a m i a m j
k (x m i ,x m
j )　(8)
s.t.∑i
a m i =1,0≤a m i
≤C
m
这样的算法在算法复杂性、扩充性和数据规模上都比较占有优势。

3　SVM 应用
支持向量机在模式识别(字符识别、文本自动分类、人脸检测、头的姿态识别)、函数逼近、时间序列预测、故障识别和预测、信息安全以及电力电子中均有很好的应用。

(1)模式识别
它是支持向量机一个最重要也是最成功的应用之一,
也是支持向量机二分类和多分类的直接应用。

文献[25～28]将支持向量机应用到人脸和人脸姿势的识别;文献[29]进一步应用到人的全身识别中。

指纹识别是近年来研究的热点问题,它是网络安全的一项重要研究课题,文献[30]尝试用支持向量机来解决指纹的识别问题,取得很好的效果。

G iorgio 在文献[31]中运用支持向量机来研究基因数据分析和编码。

文献[32]研究了计算机键盘用户身份验证,合法用户的拒绝率FAR 和非法用户的通过率IPR 都比传统的BP ,PNN ,RBF 及LVQ 方法要小。

文献[33]利用基于支持向量机的模式识别方法对语音激活检测进行了研究,语音激活检测(voice activity detector ,VAD )可应用于数字蜂窝系统中来有效地减少平均比特率和信道间相互干扰以及降低便携设备的功率损耗。

文中验证了SVM 方法在DAV 检测中的有效性,并采用与G.729B 的VAD 方法相同的特征参数进行SVM 学习,将新提出的VAD 方法模块集成到G.729B 中,经过非正式的听力测试表明,集成后的系统比G.729B 从知觉上有一定的改善。

文献[34]将支持向量机应用于基于内容的语音分类和检索,文献[35]研究了图像的检索问题,SVM 算法在有限训练样本下有较强的泛化能力,通过对9918幅图像的训练学习,检索结果无论从查全率和查准率两方面较传统方法都有较大的提高。

(2)函数逼近
文献[36]中讲述了函数逼近的支持向量机方法。

特别地,文献[37]将支持向量机拟合函数应用到分形插值中,利用分形插值的随机迭代算法迭代一些点,然后用支持向量机方法进行函数拟合,解决了分析图像的断裂和周期现象。

(3)系统可靠性分析蒙特・卡罗模拟系统可靠性评估方法是通过随机生成几个系统状态和评估结构函数或系统函数(SF )来实现的。

在文献[38,39]中,作者将蒙特・卡罗方法和支持向量机算法结合起来评估系统的可靠性。

文献[39～43]进一步地将其应用到电力系统的可靠性分析中。

文献[41～43]探索了应用统计学习理论和支持向量机方法分析和评估电力系统的暂态稳定性(TSA )。

文献[41]利用统计学习理蜜中的结构风险最小化原理,运用支持向量机算法,结合装袋(bag 2ging )和近似推理,提出了电力系统暂态稳定评估模型(TSE )的构造方法。

该方法充分发挥支持向量机在解决有限样本、非线性及高维识别中体现出的优势,求解出划分系统是否暂态稳定的超平面及其附近的临界样本,以控制预测模型的泛化误差。

有效地提高了暂稳评估模型的泛化能力,并通过训练样本集重构解决了暂稳评估的多类识别问题,提高了对未知样本进行精确推理的能力以及预测稳定性和精度。

文献[43]利用支持向量机算法适合高维空间和快速的训练,以实际的大规模电力系统Brazilian Priba 为例,分析了暂态稳定性(TSA )。

该文在多层感知(ML Ps )和SVM 模型之间进行了比较。

在模型的合理性、训练时间、分类精度和降低维数方面进行了讨论。

文章表明,SVMs 适应于大
　第28卷　第1期支持向量机的多分类算法
・129　・　
规模电力系统的暂态稳定分析(TSA),且SVMs模型性能比ML P模型性能优越。

(4)故障诊断
文献[44]将SVM预测方法应用到故障过程趋势预测的研究中。

在设备故障的早期,一般故障不明显,故障信号也未表现出明显的变化,预测下一步故障发生的趋势是非常必要的。

文章以国际上通用的过程仿真对象“Tennessee Eastm an”工厂反应器发生过压故障前后的液体、压力和温度实测数据为例,应用SVMs训练算法,对以时间为自变量的故障过程趋势预测的仿真研究。

电动机在工业上的应用非常广泛,这对电机的可靠性和安全性提出了更高的要求。

人工智能的故障诊断方法在电机的状态监测中是通用方法。

但正如前面所言,神经网络存在明显缺陷,因此Poyhonen等人[45]将基于SVMs的多分类方法成功地应用于电机故障诊断中。

通过对异步电机的定子电流的特征分析,来区别正常和故障发生状态以及对电机4种故障的分类。

Robert和Stanislaw在文献[46]中提出了一种新的高压输电线路故障混合定位方法,该方法基于支持向量机和系统中暂态电压和电流的频率特征。

数据实验表明,该方法对各种类型的输电线路故障定位精度很高。

200km输电线路中故障定位的平均误差小于100m,最大误差也不超过2km。

文献[47]提出了基于损失函数的SVM训练算法,该方法引进模糊隶属度概念,应用模糊理论的方法对支持向量机进行分类及对最优分类面进行解释,对可疑分类区列出了模糊隶属度的表达式。

针对故障诊断问题中误判造成的损失不同,定义了损失函数的模糊隶属度,改进了支持向量机算法。

该方法应用于汽轮机减速箱轴承轻微故障诊断中,可以近似地得出故障的严重程度。

尽早地识别轴承的轻微故障,提高了减速箱运行的可靠性和安全性。

文献[48]首先用小波变换来提取电能质量信号的特征向量,构成特征空间后,用模糊SVMs对7种电能质量进行训练后,成功地解决了电能质量信号扰动的识别问题。

在构造模糊SVMs时,考虑到电能质量初期扰动信号对训练SVMs的影响大,适当将权重加大,即权重随着故障发生时间推移,扰动信号对SVMs训练影响越小,权重也越小。

这对尽早发现故障,避免故障损失扩大非常实用。

(5)时间序列预测
文献[49]提出最小二乘法支持向量机算法应用于金融领域的时间序列预测。

负荷预测是电力系统高精度预测和计划部门安排购电计划和制定运行方式的基础。

随着分时电价市场化营运,高效、快速的预测方法愈显重要。

影响负荷变化的因素很多且复杂,给预测工作带来很大困难。

早期的时间序列法、回归分析法等计算量小,速度快,但由于模型过于简单而无法模拟复杂多变的电力负荷。

后来的专家系统在负荷预测中取得一定成果,但其通用性较差,缺乏学习能力。

近年来,随着人工智能技术的迅猛发展,前向网络(BP)、径向基网络(RBF)及模糊逻辑方法(FL)在短期负荷预测领域得到广泛应用,得到较高的预测精度。

但是,这类方法的最终解过于依赖初值,其收敛速度较慢,且网络的隐节点数难于确定。

针对这些缺点,文献[3,50～54]在将支持向量机方法应用到电力系统短期负荷预测方面进行了尝试,取得训练时间短、预测精度高的效果。

(6)信用评价
文献[55]应用层(树)多分类算法(参见第2节)对2000年96家中国上市公司的信用进行分类,分类准确率达93. 75%,高于神经网络方法的分类准确率。

文献[56]用同样方法根据总资产、长期债券等21种特征对美国及其他地区公司的客户信贷进行分类。

文献[57]首先对供应链伙伴企业提取了产品信息、地理位置、企业信息、合作历史、服务等评价体系,然后应用12对21分类算法对供应链伙伴选择方法进行了研究。

文献[58]根据商业银行16个主要信用指标:销售收入/总资产、总资产周转率、流动资产周转率、固定资产周转率、存货周转率、应收账款周转率、流动比率等构成特征空间,将SVM多分类算法成功地应用到商业银行的信用风险评估中。

除了上述应用外,SVM方法也逐步应用到电力电子领域[59,60]。

4　SVM展望
SVM算法(包括多分类算法)的理论研究取得了长足进展,在实际应用中得到广泛应用。

随着研究的深入,SVM 算法及应用必将得到进一步完善和发展。

(1)针对具体实际问题,寻找快速训练、泛化能力强的高效算法一直是今后研究的努力方向。

(2)SVM算法与传统算法相结合。

如利用小波变换提取特征、利用聚类算法对训练数据和检验数据进行分类(组),然后对各类(组)数据进行训练和识别;减小特征空间,提高训练速度和识别的准确性。

(3)应用的范围更广。

目前SVM应用主要集中在自然科学、工程应用和医学领域居多,在人文科学、社会科学、管理科学领域应用相对少得多。

(4)实用产品、专家系统的开发。

由于统计学习理论和SVM算法出现历史不长,研究成果大多处于理论阶段,开发出实用的产品,如医疗诊断专家系统、图像识别的安全产品、语音识别工具、电力系统故障诊断仪、电能质量识别器等将是下一步研究的重点。

参考文献:
[1]VAPNIK V N.The nature of statistical learning theory[M].New
York:S pri nger2Verlag,2000.
[2]GUO G D,L I S Z.Content2based audio classification and retrieval
by support vector machines[J].I EEE T rans.on Neural Net work, 2003,14(1):209-115.
[3]ZHAO D F,WAN G M,ZHAN GJ S,et al.A support vector ma2
chine approach for short term load forecasting[J].Chi nese Proceed2
i ngs of the CS EE,2002,22(4):27-30.
　・130
　・系统工程与电子技术2006年　
[4]L I S Z.Content2based classification and retrieval of audio using the
nearest feature line method[J].I EEE T rans.on S peech A udio Processi ng,2000,8(9):619-625.
[5]PON TIL M,V ERRI A.Support vector machines for32D object
recognition[J].I EEE T rans.on Pattern A nal.M achi ne Intell., 1998,20(2):637-646.
[6]CHUAN G C C,SU S F,J EN G J T,et al.Robust support vector
regression networks for function approximation with outliers[J].
I EEE T rans.on Neural Net work,2002,13(6):1322-1330.
[7]L IN C J.A formal analysis of stopping criteria of decomposition
methods for support vector machine[J].I EEE T rans.on Neural Net works,2002,13(5):1045-1052.
[8]FERNANDO P F,AN GEL N V,ANIBAL R F,et al.Empirical
risk minimization for support vector classifiers[J].I EEE T rans.
on Neural Net works,2003,14(2):296-303.
[9]KEERTHI S S,SHEVADE S K,BHATTACHAR YYA C,et al.
A fast iterative nearest point algorithm for support vector machine
classifier design[J].I EEE Trans.on Neural Networks,2000,11
(1):124-136.
[10]ZHAN G L.The theory of SVM and programming based algo2
rithms in neural networks[J].Chi nese Journal of Com puters, 2001,24(2):113～118.
[11]BOSER B,GU YON I,VAPNIK V N.A training algorithm for
optimal margin classifiers[C]//Proceedings of the5th Annul ACM Workshop on Computational Learning Theory.ACM Press, 1992,144-152.
[12]OSUNA E,FREUND R,GIROSI F.Training support vector
machines:an application to face detection[R].In Proceedi ngs of CV PR’97Puerto Rico,1997.
[13]JOACHIMS T.Making large2scale support vector machine learning
practical[C]//Cambridge.MA:MI T Press,1999.169-184. [14]PLATT J.Fast training of support vector machines using sequen2
tial minimal optimization[C]//Cambri dge,MA:M I T Press, 1999.185-208.
[15]HUSH D,SCOVE L C.P olynomial2time decomposition algorithms for
support vector machines[R].L A NL T echnical Report L A2UR2002 3800,Lo s Alamo s:Lo s Alamo s National L aboratory,2000. [16]COLLOBERT R,BEN GIO S.SVM Torch:a support vector ma2
chine for large2scale regression and classification problems[J].
Journal of M achi ne L earni ng Research,2001,1:143-160. [17]KREBEL U.Pairwise classification and support vector machines.
advances in kernel methods[C]//Cambri dge:M I T Press,1999.
255-268.
[18]GUO G,L I S,CHAN K.Face recognition by support vector ma2
chines[C]//Proceedings of the International Conferences on Au2 tomatic Face and G esture Recognition.2000.196-201.
[19]FRIEDHELM S,GUN THER P.Tree2structured support vector
machines for multi2class pattern recognition.multiple classifier sys2 tem[C].Processi ng Systems12,M I T Press,2001.409-417.
[20]ERIN J,KRISTIN P,et al.Multicategory classification by sup2
port vector machine[C].Com putational Opti miz ation and A p2 plicati ns,1999,12:53-59.
[21]WESTON J,Watkins C.Multiclass support vector machines[M].
T R CS D T R9804,Depart ment of Com puter Science Egham, S urvey T W2003x,England,1998.
[22]PLATT rge margin DA Gs for multiclsss classification,in ad2
vances in neural information[C]//Processing Systems12,M I T Press,2000.547-553.
[23]HSU C W,L IN C J.A comparison of methods for multicalss sup2
port vector machines[J].I EEE T rans.on Neural Net works, 2002,13(2):415-422.
[24]ZHU M L,L IU X D,CHEN S F.Solving the problem of multi2
class pattern recognition with sphere2structured support vector ma2 chines[J].Chi nese Journal of N anji ng U niversity,2003,39
(2):153-158.
[25]DENIZ O,CASTRILLON M,HERNANDEZ M.Face recogni2
tion using independent component analysis and support vector ma2 chines[J].Pattern Recognition L etters,2003,24:2153-2157.
[26]WAN G Y,CHUA C,HO Y.Facial feature detection and face
recognition form2D and3D images[J].Pattern Recognition L et2 ters,2002,23:1191-1202.
[27]MA Y,DDIN G X D.Face detection based on hierarchical support
vector machines[J].Chi nese Journal of Tsi nghua U niv(Sci& Tech),2003,13(1):35-38.
[28]YE H J,BAI X B,XU G Y.Face pose discrimination with sup2
port vector machines[J].Chi nese Journal of Tsi nghua U niv(Sci &Tech),2003,43(1):67-70.
[29]CHIKAHITO N,MASSIMIL IANO P,Bernd H,et al.Full2body
person recognition system[J].Pattern Recognition,2003,36: 1997-2006.
[30]YAO Y,GIAN L,MISSIMIL IANO P,et bining flat and
structured representation for fingerprint classification with recur2 sive neural networks and support vector machines[J].Pattern Recognition,2003,36:397-406.
[31]GIORGIO V.G ene expression data analysis of human lymphoma
using support vector machines and output coding ensembles[J].
A rtif icial Intelligence i n Medici ne,2002,26:281-304.
[32]L IU X J,CHEN S C,PENG H J.C omputer keystroker verification
based on support vector machines[J].Chinese Journal of Computer Research and Development,2002,39(9):1082-1086.
[33]DON G E Q,ZHZO H M,ZHOU Y T,et al.Applying support
vector machines to voice activity detection[J].Chi nese Journal of Chi na Instit ute of Com m unications,2003,24(3):70-77. [34]GUO G,L I S.Content2based audio classification and retrieval by
support vector machines[J].I EEE T rans.on Neural Net works, 2003,14(1):209-215.
[35]ZHAN G L,L IN F Z,ZHAN G B.Support vector machine based
relevance feedback algorithm in image retrieval[J].Chi nese Jour2 nal of Tsi nghua U niv(Sci&Tech),2002,42(1):80-83. [36]ZHU G Q,L IU S R,YU J S.Support vector machine and its ap2
plications to function approximation[J].Chi nese Journal of East Chi na U niversity of Science and Technology,2002,28(5):555 -558,568.
[37]MA Y Q,ZHAN G X G.Application of support vector machines
function regression in fractal interpolation[J].Chi nese Journal of Tsi nghua U niv(Sci&Tech).2000,40(3):76-78,103.
　第28卷　第1期支持向量机的多分类算法・131
　・　
[38]ROCCO C M,MORENO J A.Fast monte carlo reliabilit y evalua2
tion using support vector machine[J].Reliability Engi neeri ng and System S af ety,2002(76):237-243.
[39]ROCCO C M,MORENO J A.System reliability evaluation using
monte carlo&support vector machine[C]//IEEE Symposium on Proceedings Annual Reliability and Maintainability,Caracas, Venez uela,2003.482-485.
[40]HU G S,CHEN Y T.Power system reliability evaluation using
support vector machine[C]//Inter.Symposium on Computational Intelligence and Industrial Applications,Hai nan,2004.
[41]XU T,HUO R M,W ANG P,et al.P ower system transient stability
assessment based on statistical learning theory[J].Proceedings of The Chinese Society f or Electrical Engineering,2003,23(11):51-55. [42]MOUL IN L S,ALVES A P,SHARK AWI M A.Support vector and
multilayer perceptron neural networks applied to power systems tran2 sient stability analysis with input dimensionality reduction[J].I EEE Trans.on Power System,2002,17(3):1308-1313.
[43]MOUL IN L S,ALVES A P,SHARK AWI M A.Support vector ma2
chines for transient stability analysis of large2scale power systems[J].
I EEE Trans.on Power System,2004,19(2):818-825.
[44]MA X X,HUAN G X Y,CHAI Y.Fault process trend prediction
based on support vector machines[J].Chi nese Journal of S ystem Si m ulation.2002,14(11):1948-1951.
[45]POYHONEN S,NEGREA M,ARKKIO A,et al.Fault diagnostics
of an electrical machine with multiple support vector classifiers[/ Proceedings of the2002IEEE International Symposium on Intelligent
C ontrol Vancouver,Canada,October,2002,373-378.
[46]ROBERT S,STANISLAW O.Accurate fault location in the pow2
er transmission line using support vector machine approach[J].
I EEE T rans.on Power S ystem,2004,19(2):979-986.
[47]ZHAI YJ,HAN P,DON G D F,et al.Risk function based SVM
algorithm and its application to a slight malfunction diagnosis[J].
Proceedi ngs of CS EE,2003,23(9):198-203.
[48]HU G S,XIE J,ZHU F F.Classification of power quality distur2
bances using wavelet and fuzzy support vector machines[J].I EEE Processi ng of the Fourth International Conf erence on M achi ne L earni ng and Cybernetic,2005,9(7):3981-3984.
[49]TON Y V,JOHAN A,DIR K2EMMA B.Financial time series
prediction using least squares support vector machines within the
evidence framework[J].I EEE T rans.on Neural Net works.
2001,12(4):809-821.
[50]PAN F,CHEN G H Z,YAN G J F,et al.Power system short2
term load forecasting based on support vector machines[J].Power S ystem Technology,2004,28(21):39-42.
[51]ZAN G L,L IU X S,YIN H L.Application of support vector ma2
chines based on time sequence in power system load forecasting [J].Power S ystem Technology,2004,28(19):38-41. [52]L I Y C,LO B,FAN G T J.Short2term load forecast based on
fuzzy wavelet support vector machines[C]//Proceedings of the5th World Congress on Intelligent Control and Automation, Hangz hou,P.R.Chi na.2004.15-19.
[53]ZHU S F,WAN G X H.A SVM approach to ship power load fore2
casting based on RBF kernel[C]//Proceedings of the5th World Congress on Intelligent Control and Automation,Hangz hou,P.
R.Chi na,2004.1824-1828.
[54]HU G S,REN Z.The comparision of short2term electric power
load non2linear forecasting models[J].Elect rotechnical A pplica2 tion,2005,24(1):48-53.
[55]TIAN X,DEN G F Q.An improved multiclass SVM algorithm
and its application to the credit scoring model[J].Proceedi ngs of the Fif th Worl d Congress on Intelligent Cont rol and A utomation, Hangz hou,2004:1940-1944.
[56]HUANG Z,CHENG H,HSU C J,et al.Credit rating analysis with
support vector machines and neural networks:a market comparative study[J].Decision S upport Systems,2004(37):543-558. [57]ZHANG H,ZHENG X.Research of partner enterprise selection in
supply chain management based on support vector machine[J].Com2 puter Integrated Manuf acturing System,2004,10(7):796-800.
[58]L IU Y T,WU C,WAN G M,et al.The model of credit risk as2
sessment in commercial banks on support vector machine[J].
Forecasti ng,2005,24(1):52-55.
[59]FREDE B,DORIN O,JOHN K.Adaptive SVM to compensate
DC2link voltage ripple for four2switch three2phase voltage2source inverters[J].I EEE T rans.on Power Elect ronics,1999,14(4): 743-752.
[60]BON G H,TAE2WOO K,HYOUN Y J.A novel SVM\based
hysteresis current controller[J].I EEE T rans.on Power Elec2 t ronics.1998,13(2):297-307.
(上接第105页)
namische drehfeldantriebe mitt stromrichterspeisung[J].ET Z2
A rchiv,1985,7(7):211-218.
[2]李夙.异步电动机直接转矩控制[M].北京:机械工业出版社,1994.[3]胡俊达,李永坚.基于模糊自适应速度调节器的直接转矩控制系
统[J].大电机技术,2003(6):58-61.
[4]连丽艳等.直接转矩控制系统的神经网络控制[J].电气传动自
动化,2004,26(1):30-31.
[5]诸静.模糊控制原理与应用[M].北京:机械工业出版社,1999.
　・132
　・系统工程与电子技术2006年　。