可自适应分组的超球多任务学习算法

可自适应分组的超球多任务学习算法

毛文涛;王海成;刘尚旺

【摘要】针对现有回归多任务学习中各任务独立评估风险、缺乏统一约束条件的缺点,提出了一种具有自适应分组能力的超球多任务学习算法.该算法以极限学习机(ELM)为基础形式,首先引入超球损失函数对所有任务的风险进行统一评估,并采用迭代再权最小二乘法求解;其次,考虑到任务之间关联度存在差异,基于相关性强的任务其权重向量也较相似的假设,构建带分组结构的正则项,使得同组内的任务独立进行训练,最终将优化目标转为混合0-1规划问题,并采用多目标优化方法自动确定模型参数和最优分组结构.基于仿真数据和圆柱壳振动信号数据的测试结果表明,该算法可有效识别出任务中的分组结构,同时与现有算法相比,可明显提高回归模型的泛化能力.

【期刊名称】《计算机应用》

【年(卷),期】2014(034)007

【总页数】5页(P2061-2065)

【关键词】多任务学习;极限学习机;自适应分组;混合0-1规划;多目标优化

【作者】毛文涛;王海成;刘尚旺

【作者单位】河南师范大学计算机与信息工程学院,河南新乡453007;清华大学工程物理系,北京100084;河南师范大学计算机与信息工程学院,河南新乡453007【正文语种】中文

【中图分类】TP181

0 引言

多任务学习(multi-task learning)［1］是近年来模式识别、工业控制等领域备受

关注的一种新的学习形式。与传统的学习模式不同，多任务学习适用于存在大量任务，但每个任务的样本数量较少的应用。这种学习方式的本质是借助多个任务之间的有用信息，提高小样本问题的学习效果。提高多任务学习算法的泛化能力有着明确的工程应用意义。

为有效共享和合理利用任务间的信息，多任务学习需要准确描述任务之间的相关性，目前主要有如下做法:一是假设所有任务共享一个公共的基础表示［1］，比如假设所有任务共享一个低维的线性特征子空间，将多任务学习转换为寻找一个一阶正则化的稀疏表示［2］，这一思路适合于解决高维数据和具有结构化特征的学习问题;二是利用参数的关联度来定义任务的相似性，最典型的做法是将任务表示为一个公共模型和一个任务相关的私有模型之和［3］，这一思路适用于低维数据学习问题，并适合将支持向量机(Support Vector Machine，SVM)等传统单任务算法扩展为多任务学习的形式［4］;三是利用贝叶斯方法求解共享结构，即假设所有任务参数ωt 符合某概率分布，则ωt 接近某个高斯分布的均值ωc［5］。需要注意的是，上述三种思路并不互斥，可根据具体问题结合使用。

上述思路的重点都是利用模型参数描述任务的相关性，进而通过模型参数传递信息。但这些研究很少采用其他的信息传递通道，例如，往往只对各任务独立评估损失、缺乏对多任务学习模型整体风险的评估。若能在上述三种思路之外，将损失函数和约束条件作为任务间传递信息的通道，则可进一步提高模型的泛化能力。为解决这一问题，本文遵循上述第二类思路，采用极限学习机(Extreme Learning Machine，ELM)［6］作为基础算法形式，引入超球损失函数，构建得到新的多

任务学习模型。之所以选择ELM 极限学习机作为基础算法形式，是因为与SVM

相比，ELM 具有清晰的模型结构和较高的学习速度，在较大规模数据上有较好的

泛化能力，适用范围更广［7］。同时，考虑到任务间关联度的差异，本文基于相关性强的输出端其模型参数也较相似的假设，引入自适应分组概念，并采用混合

0-1 规划和多目标优化的解决方案，识别最优模型参数和分组结构，最终通过仿真函数和圆柱壳振动信号数据验证了所提算法的有效性。

1 ELM 简介

给定符合i. i. d. 条件的样本集{(x1，t1)，(x2，t2)，…，(xN，tN)}⊂Rn × Rm，

则具有个隐神经元的标准单隐藏层前馈型神经网络(SLFN)可表示为:

其中:g(x)为激活函数，wi =［wi1，wi2，…，win］T 为连接输入层与第i 个隐神经元的权重，βi =［βi1，βi2，…，βim］T 为与第i个隐神经元连接的输出权重，bi 为第i 个神经元的偏置。Huang 等［6］在理论上证明了对于N 个严格分离的

样本和根据任意连续概率分布任意产生的Rn × R 中的(wi，bi)值，如果激活函数g:R|→R 无限可微，则隐层输出矩阵H 及‖Hβ -T‖ = 0 以概率1 存在。因此，给

定(wi，bi)，训练一个SLFN等价于寻找下式的最小二乘解:

其中:

由于实际问题中往往存在远小于N，β 无法直接通过求逆计算。因此，Huang 等［6］计算式(3)的最小范数最小二乘解:

其中是H 的Moore-Penrose 广义解。ELM 的训练框架［6］可简述如下:

步骤1 随机生成输入权重和偏置

步骤2 计算H。

步骤3 计算式(3)。

Huang 等［6］给出了详细的理论证明。ELM 的输出值可表示为:

2 基于ELM 的超球多任务学习算法

多任务学习的数学描述可表示为:给定T 个学习任务，训练样本均取自同一样本空

间X × Y ⊂Rd × R。每一个任务具有m 个训练样本，因此，学习任务可表达为对于T 个决策函数f1，f2，…，fT，寻找函数ft(xit)≈yit。如果T = 1，则多任务学

习问题转变为单任务学习问题。

如上所述，ELM 具有结构简单清晰、学习速度快的优点。将式扩展为正则化形式，并引入超球ε-不敏感损失函数，则可得基于ELM 的超球多任务学习模型:

其中:W = ［β1，β2，…，βT］T，yi = ［yi1，yi2，…，yiT］，βj 为第j个任务的模型输出权重。C 为正则化参数，用来均衡所表示的泛化能力与为代表的拟合误差。可以看出，式(4)中采用了超球ε-不敏感损失函数［8］，即在所有任务围成的半径为ε 的超球内样本不受惩罚，所得到的约束条件将T 个学习任务纳入同一个

决策模型中。式(4)的优点在于通过约束条件和损失函数，提供了新的任务间信息

共享和迁移的通道。由于多任务学习的本质是通过多个任务之间传递领域知识、进而增进模型的信息含量，式(4)提供了一种对多个任务的学习风险进行整体评估的

方法，这在现有利用模型参数传递信息的算法形式基础上，间接地促进了领域知识的共享。同时，对式(4)直观理解，其所采用的约束条件可以避免不同任务间重复

计算损失。因此，该约束条件比传统的等式约束或单个任务的约束更适合于求解多任务学习的问题。式(4)的优化目标与SVM 经典形式较为接近，因此该方法同样

适用于SVM。此处选用ELM，更多考虑的是ELM具有更为广泛的适用范围，同

时在算法形式上简单清晰，适宜扩展为多任务学习形式。