ELM极限学习机相关

简单易学的机器学习算法——极限学习机(ELM)

一、极限学习机的概念

极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求解单隐层神经网络的算法。

ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。

二、极限学习机的原理

ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。

(选自黄广斌老师的PPT)

对于一个单隐层神经网络(见Figure 1)，假设有个任意的样本，其中，。对于一个有个隐层节点的单隐层神经网络可以表示为

其中，为激活函数，为输入权重，为输出权重，是第个隐层单元的偏置。表示和的内积。

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

即存在，和，使得

可以矩阵表示为

其中，是隐层节点的输出，为输出权重，为期望输出。

，

为了能够训练单隐层神经网络，我们希望得到，和，使得

其中，，这等价于最小化损失函数

传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM 算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定

其中，是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

三、实验

我们使用《简单易学的机器学习算法——Logistic回归》中的实验数据。

原始数据集

我们采用统计错误率的方式来评价实验的效果，其中错误率公式为：

对于这样一个简单的问题，。

MATLAB代码

主程序

[plain]view plain copy

1.%% 主函数，二分类问题

2.

3.%导入数据集

4. A = load('testSet.txt');

5.

6.data = A(:,1:2);%特征

bel = A(:,3);%标签

8.

9.[N,n] = size(data);

10.

11.L = 100;%隐层节点个数

12.m = 2;%要分的类别数

13.

14.%--初始化权重和偏置矩阵

15.W = rand(n,L)*2-1;

16.b_1 = rand(1,L);

17.ind = ones(N,1);

18.b = b_1(ind,:);%扩充成N*L的矩阵

19.

20.tempH = data*W+b;

21.H = g(tempH);%得到H

22.

23.%对输出做处理

24.temp_T=zeros(N,m);

25.for i = 1:N

26. if label(i,:) == 0

27. temp_T(i,1) = 1;

28. else

29. temp_T(i,2) = 1;

30. end

31.end

32.T = temp_T*2-1;

33.

34.outputWeight = pinv(H)*T;

35.

36.%--画出图形

37.x_1 = data(:,1);

38.x_2 = data(:,2);

39.hold on

40.for i = 1 : N

41. if label(i,:) == 0

42. plot(x_1(i,:),x_2(i,:),'.g');

43. else

44. plot(x_1(i,:),x_2(i,:),'.r');

45. end

46.end

47.

48.output = H * outputWeight;

49.%---计算错误率

50.tempCorrect=0;

51.for i = 1:N

52. [maxNum,index] = max(output(i,:));

53. index = index-1;

54. if index == label(i,:);

55. tempCorrect = tempCorrect+1;

56. end

57.end

58.

59.errorRate = 1-tempCorrect./N;

激活函数

[plain]view plain copy

1.function [ H ] = g( X )

2. H = 1 ./ (1 + exp(-X));

3.end

ELM(Extreme Learning Machine)是一种新型神经网络算法，最早由Huang于2004年提出【Extreme learning

machine: a new learning scheme of feedforward neural networks】。

与SVM，传统神经网络相比，ELM的训练速度非常快，需要人工干扰较少，对于异质的数据集其泛化能力很强。

Huang在【Extreme learning machines: a survey，2011】这篇论文中对ELM进行了总结，包括最初的ELM算法和后来被发展延伸的ELM算法(比如在线序列ELM算法、增量ELM算法和集成ELM算法等)，里面的很多知识点值得学习。

ELM的原理

从神经网络的结构上来看，ELM是一个简单的SLFN，SLFN示意图如下：

该SLFN包括三层：输入层、隐含层和输出层（忽略输入层则为两层）。其中隐含层包括L 个隐含神经元，一般情况下L远小于N，输出层的输出为m维的向量，对于二分类问题，显然该向量是一维的。

对于一个训练数据样本，忽略输入层和隐含层而只考虑隐含层神经元的输出和输出层，则神

经网络的输出函数表达式为：ai和bi是隐含层节点的参数，

表示第i个隐含层神经元和输出神经元之间的连接权值，即它是一个m维的权值向量。公式里面的G是隐含层神经元的输出。针对加法型隐含层节点，G为：

其中，小g为激励函数，激励函数可以是线性函数，也可