最小二乘支持向量机的半监督学习算法

１ 支持向量机
在２类模式识别问题中，给定训练样本：Ｇ一 ｛（ｘｉ，Ｙｉ））ｎ滓１，工ｉ∈ＲＪ，Ｙｉ∈｛＋ｌ，一１｝，ＳＶＭ 的训练目标为，通过训练样本构造一个分类决策函 数，使训练样本以最大间隔分开，且将待分类样本 尽可能地正确分类．分类函数表示为
，（工）＝ｓｇｎ［－∑Ｙｉ口。（工·Ｘｉ）＋５３． （１）
式中，ｓｇｎ（·）为符号函数．求解决策函数需要 构造优化问题：
ｍｉｎ万１㈨ＩＩ ２＋ｃ∑毒
｛“．ｙ，［（’．，％）＋ｂ３≥１一毫
‘２’
【
￡≥ｏ，ｉ一１，２，…，咒
式中：参数Ｃ为样本的惩罚系数，其对偶为
Ｊｍａｘ∑ａｉ一专∑叫拂Ｙｊ（”弓）
ｉ＝１
－＾Ｊ＝１
Ｉ Ｓ．ｔ．妻ｙ霹ｉ一０
∞’
扛１
【０≤ａｉ≤Ｃ
式中：％为拉格朗日乘子，若啦＞ｏ则其对应的样
标注法则转移到最终的分类器中，此时再使用这个
混合样本集进行训练会得到一个泛化性能更好的分
类器，如图２所示．
０
０
Ｆｉｇ．２
图２混合样本训练结果 Ｒｅｓｕｌｔ ｏｆ ｔｒａｉｎｉｎｇ ｗｉｔｈ ｔｈｅ ｌａｂｅｌｅｄ ｅｘａｍｐｌｅｓ
ａｎｄ ｕｎｌａｂｅｌｅｄ ｅｘａｍｐｌｅｓ
万方数据
·１０９０·
哈尔滨工程大学学报
万方数据
第１０期
张健沛，等：最小二乘支持向量机的半监督学习算法
·１０８９·
把支持向量机的学习问题转化为解线性方程组问 题，因此具有较快的运算速度．
该文受ＬＳ－ＳＶＭ思想的启发，以最／ｂ－－乘支 持向量机为学习模型，实现支持向量机的半监督学 习算法，提出一种最／ｂ－－乘的支持向量机半监督学 习算法（ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ Ｌ§ＳＶＭ，ＳＬＳ－ＳＶＭ）．
由于ＴＳＶＭ算法可以把无标签样本中隐含的 分布信息加入到支持向量机的学习过程中，ＴＳＶＭ 算法比单纯使用有标签样本训练得到分类器在性能 上有了显著的提高．针对ＴＳＶＭ算法在无标签样 本的标记过程中存在的问题，陈毅松等人在ＴＳ— ＶＭ的基础上提出了ＰＴＳＶＭ算法Ｌ引．ＰＴＳＶＭ算 法，对无标签样本采用渐进式的成对标注方法，每 次在边界区域内标注ｌ～２个样本，并动态的调整 这些样本的标签，直到边界域内没有错分样本为
支持向量机（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ）是 Ｖａｐｎｉｋ等在统计学习理论基础上发展起来的针对 小样本的机器学习方法，目前该方法由于其泛化能 力强、高维操作方便而得到了日益广泛的研究和应 用．传统的基于监督学习的分类方法，虽然能够有 效地解决各种实际问题，但是需要手工对大量样本 进行标记以获取足够的训练样本，代价高、效率 低．因此，根据实际需要又提出了基于半监督学习
Ｓｅｍｉ·。ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ａ ｌｅａｓｔ ｓｑｕａｒｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ
ＺＨＡＮＧ Ｊｉａｎ—ｐｅｉ，ＺＨＡ（）Ｙｉｎｇ，ＹＡＮＧ Ｊｉｎｇ
（Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ。Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ）
收稿日期：２００７—１０一ｌＯ． 基金项目：国家自然科学基金资助项目（６０８７３０３７；６０６７３１３１）；
黑龙江省自然科学基金资助项日（Ｆ２００５—０２）． 作者简介：张健沛（１９５６一），男，教授，博仁生导师，Ｅ—ｍａｉｌ：ｚｈａｎｇｊｉａｎ—
ｐｅｉ＠ｈｒｂｅｕ．ｅｅｌｕ．ｏｎ，
的分类方法．这类方法能够自动（或半自动）地对 有标签样本和无标签样本的混合集进行数据分类， 在提高效率的同时又扩大了算法的适用范围．近年 来国内外一些学者提出各种支持向最机半监督学习 算法Ｌｌ。２］，这些算法在各个领域中也都有了不同程 度的应用．但是，这些算法都是基于标准支持向量 机的，即在半监督学习过程中需要求解一个受约束 的二次型规划问题，在需要反复训练混合样本集得 到分类器的情况下，显然，这种方法计算复杂性 大、效率低．在监督学习中，对于大规模样本集， 为了使计算复杂性降低，减少训练时间， Ｓｕｙｋｅｎｓ［３ｊ提出了最小二乘支持向量机（１ｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ，ＬＳＳＶＭ），它
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｌｅａｓｔ ｓｑｕａｒｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｗａｓ ａｐｐｌｉｅｄ ｔｏ ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｎｄ ｒｅｓｕｌｔｅｄ ｉｎ ａ ｎｅｗ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ，ａ ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｓｔ ｓｑｕａｒｅ－ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＩ。Ｓ－ＳＶＭ）．Ｔｈｅ ａｌｇｏ— ｒｉｔｈｍ ｔｒａｉｎｅｄ ｂｏｔｈ ｌａｂｅｌｅｄ ａｎｄ ｕｎｌａｂｅｌｅｄ ｅｘａｍｐｌｅｓ ｗｉｔｈ ＳＬＳ－ＳＶＭ。ｏｖｅｒｃｏｍｉｎｇ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｓｌｏｗ ｌｅａｒｎｉｎｇ ａｎｄ ｌＯＷ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｏｔｈｅｒ ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ＳＶＭ．Ｔｈｅ ａｌｇｏｒｉｔｈｍ ｒｅｄｕｃｅｄ ｔｈｅ ｉｔｅｒａｔｉｏｎ ｎｕｍｂｅｒ ｎｅｅｄｅｄ ｔｏ ｒｅａｃｈ ｃｏｎｖｅｒｇｅｎｃｅ ｂｙ ｕｓｉｎｇ ａ ｒｅｇｉｏｎ ｌａｂｅｌｉｎｇ ｒｕｌｅ．Ａ ｄｅｔａｉｌｅｄ ｍａｔｈｅｍａｔｉｃａｌ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ＳＬＳ－ＳＶＭ ａｌｇｏｒｉｔｈｍ ｗａｓ ｐｒｅｓｅｎｔｅｄ．Ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ａｒｔｉｆｉｃｉａｌ ａｎｄ ｒｅａｌ ｄａｔａｓｅｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｅ ｓｅｍｉ—ＳＵ— ｐｅｒｖｉｓｅｄ ａｌｇｏｒｉｔｈｍ ｏｎ ＳＩ。Ｓ－ＳＶＭ ｇｒｅａｔｌｙ ｒｅｄｕｃｅｓ ｔｒａｉｎｉｎｇ ｔｉｍｅ，ｓｐｅｅｄｓ ｕｐ ｔｈｅ ｔｒａｉｎｉｎｇ ｐｒｏｃｅｓｓ，ａｎｄ ｈａｓ ｂｅｔ— ｔｅｒ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ：ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ａｌｇｏｒｉｔｈｍ；ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ；ｓｔａｔｉｓｔｉｃ ｔｈｅｏｒｙ；ｌｅａｓｔ ｓｑｕａｒｅ ｓｕｐｐｏｒｔ ｖｅｃ— ｔｏｒ ｍａｅｈｉｎｅ
止，每进行一次成对标注就需要对之前的全部有标 签样本进行～次训练．从上面的算法描述中可以看 到，每次训练样本集加入新的无标签样本时都采用 标准支持向量机重新训练整个新的样本集，由于算 法本身的特点，即需要重新计算一个二次规划问题 的解，训练时间较长．如果将该算法应用到大规模 样本集时，训练效率极低．鉴于此，该文在ＰＴＳ－ ＶＭ算法的基础上提出了最小二乘支持向量机的半 监督学习算法，将ＬＳ－ＳＶＭ与半监督学习思想相 结合，期望在精度允许的范围内提高分类器的训练 速度．最小二乘支持向量机的半监督学习算法的基 本思想是：首先在有标签的样本集上采用ＬＳ－ＳＶＭ 训练一个初始分类器，使用初始分类器对无标签样 本进行赋值，然后采用ＬＳ－ＳＶＭ算法对标注后的 样本和有标签样本集进行重置，在这个过程中动态 调整样本的标签．
２半监督学习支持向量机
半监督学习利用少量有标签数据训练初始分类
器，同时用大量无标签数据来进一步改进初始分类 器的性能以最终达到精确学习的一种综合学习方 法．在学习过程中，学习机在训练过程中使用的样 本为较少的有标签样本和较多的无标签样本的混合 样本集，不但利用了有标签样本对单个样本精确描 述的优势，而且发挥了无标签样本对样本集整体描 述的重要作用，即：由于无标签样本的数量远大于 有标签的样本数量，所以与有标签样本相比它们能 够更好地刻画整个样本空间上的数据特性，从而使 训练出的分类器具有更好的推广性能Ｅ ４｜．图１为只 使用有标签样本进行训练得到的分类器，其中三角 和圆圈分别代表正类和负类；实心和空心分别代表 有标签样本和无标签样本．从图ｌ可以更加清楚的 看出作为无标签样本的空心三角和圆圈比实心的可 以更准确的描述训练样本的分布特性．
最优分类面，因此其时间复杂度较高（０（，１３·５），
咒为训练样本数）．Ｓｕｙｋｅｎｓ八ＫＥ３］提出的Ｉ§
ＳＶＭ算法是ＳＶＭ的一种扩展，它用二次损失函 数取代ＳＶＭ中的ｅ不敏感损失函数，从而将ＳＶＭ 的二次规划问题转换为求解线性方程组的问题，达 到了降低时间复杂度的目的．实验证明，在精度允 许范围内，ＬＳ－ＳＶＭ比标准ＳＶＭ的训练速度更 快、结构更简单．ＬＳＳＶＭ以其明确的物理意义 和高效的机器学习性能在函数估计和逼近中得到了 广泛的应用． ３．２ ＳＬＳ－ＳＶＭ算法描述
ＩＩ＇ｌ，｜｜２＋ｃ∑毫＋ｃ’∑ｇ
待１
尸１
Ｓ．ｔ． Ｙ，（’．，·鼍＋６）≥１一￡，
“７
１
￡＞０，ｉ一１，…，咒，
Ｉ＇．，·工？＋ｂ Ｉ≥１一管，
ｌ
芎＞ｏ，歹一１，…，优．
与监督式支持向量机中的参数Ｃ的作用类似，
参数Ｃ’为无标签样本在训练过程中的影响因子．
３ 最小二乘支持向量机的半监督学习 方法
３．１最小二乘法支持向量机 标准支持向量机本质上需要求解二次规划获得
本为支持向量．通过式（３）的最优解ａ－－－－－［口？ａ≠
…口毒］，得到式（１）．当分问题为非线性时，采用
核技巧，利用核函数Ｋ（·），将输入空间映射到
高维的核函数空间，此时的决策函数为
—Ｌ
厂（ｚ）＝ｓｇｎ［∑ｙｉａｉＫ（ｘ，置）＋６］． （４）
在标准支持向量机训练算法中，训练分类器需 要大量有标签的样本，而获取大量有着正确标签的 样本集往往是很难满足的，特别是在一些需要实时 和在线处理的领域．如果能把大量无标签样本所包 含的数据特征加入到学习算法的设计中去，就可以 弥补标准ＳＶＭ带来的缺陷，获得更好的分类效 果．这也是将半监督学习的思想引入到支持向量机 学习算法中的主要原因．
第２９卷
基于支持向量机的半监督学习算法最早是由 ＫｒｉｓｔｉｎＥＳ３提出的一种模型，并采用混合整数规划的 方法来实现了该算法．随后ＪｏａｃｈｉｍｓＬ ６Ｊ、Ｄｅｍｉｒｅｚ 等人陆续提出一些近似的方法，其中比较典型的是 直推式支持向量机（ｔｒａｎｓｄｕｃｔｉｖｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＴＳＶＭ）算法，算法描述如下：
训练样本为一组给定的独立同分布的有标签训 练样本集： Ｇ＝｛（ｘｌ，Ｙ１）＇．．·，（毛，弘）），ｘｉ∈掣，∞∈｛＋ｌ，一１｝ 和另一组来自同一分布的无标签样本集：
Ｇ。＝（ｘ÷，ｘｉ，…，ｘ主｝，ｘ？∈Ｒｄ． Ｔ．Ｊｏａｃｈｉｍｓ的直推式向量机的训练过程可以 描述为以下的优化问题：
源自文库
ｍｉｎ。可１
ｆ”·６＇｝’｝’。
第２９卷第１０期 ２００８年ｌＯ月
哈尔滨工程大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ
ＶｏＬ ２９№．１０ Ｏｃｔ．２００８
最小二乘支持向量机的半监督学习算法
张健沛，赵莹，杨静
（哈尔滨工程大学计算机科学与技术学院，黑龙江哈尔滨１５０００１）
摘要：将最小二乘支持向量机引入到半监督学习中，提出了一种最小二乘支持向量机的半监督学习算法．采用 最小二乘支持向量机训练混合样本集，利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一 些半监督支持向量机学习算法时间代价大、效率低的缺陷．在训练过程中采用区域标注法，减少达到收敛所需要 的迭代次数，并给出了ＳＬＳ－ＳＶＭ算法具体的数学描述．在人造数据集及实际数据集七的实验表明，最小二乘支 持向量机的半监督学习算法可以有效的减少训练时间，提高训练的速度，从而具有更好的推广能力． 关键词：半监督学习；支持向量机；统计学习理论；最小二乘法 中图分类号：ＴＰ３０１．５文献标识码：Ａ文章编号：１００６—７０４３（２００８）１０－１０８８－０５
》
》ｐ
可
》驴Ｖ 》
可９。
一一＝＝＝Ｐ 丫
咿Ｙ
里芝——————一
——＿—１ｒ一◆—二—：一＝：ｏ’一一一
ｏ
Ｏ
Ｏ
●Ｏ Ｏ
Ｏ Ｏ
Ｏ
Ｏ
Ｏ
Ｏ
Ｆｉｇ．１
图１有标签样本训练结果 Ｒｅｓｕｌｔ ｏｆ ｔｒａｉｎｉｎｇ ｗｉｔｈ ｔｈｅ ｌａｂｅｌｅｄ ｅｘａｍｐｌｅｓ
半监督支持向量机的学习目标．使用混合样本
进行学习，将训练样本集中的无标签样本通过某种