样本处理及极限学习机

这周工作：

一、样本的处理

1.噪声的处理：

裁剪时将噪声去除

2.归一化

将0-9 10个样本集每个样本集共52个样本合计520个训练样本

每一个样本为19x19像素50x50mm的正方格

3.设立标签

4.测试样本

预留0-9每个26个样本合计260个样本测试，样本只做裁剪处理

二、了解极限学习机

1.人工神经网络

它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

2.神经元（节点、处理单元）

示意图：

x1~x n为输入向量X∈R n的各个分量；w1~w n为神经元各个突触的权值

b为偏置；t为神经元输出

数学表示t=f(W·X+b)；f为‘神经元’的激励函数。f通常为R→R的非线性函数。

W·X表示向量W和X的内积

由此可见神经元的功能：将得到的输入变量与输入权重的内积加上偏置的和通过非线性的激励函数，得到一个标准的输出响应。

3.单隐藏层反馈神经网络

极限学习机是从单隐藏层反馈神经网络发展而来

单隐藏层反馈神经网络特点：

1可以直接从训练样本中拟合出复杂的映射函数

2 可以为大量难以用传统分类参数技术处理的自然或者人工现象提供模型

3 缺少快速的学习方法

n-L-m结构的单隐藏层反馈神经网络：

输入层：与外界取得联系

隐藏层：与外界没有联系

输出层：向外界反馈信息

在标准的单隐藏层神经网络中，一般的输入层的激励函数均设为g(x)=x的线性函数。输出层第K个神经元的响应可以表示为

y[k]=[g(W1·X+b1)g(W2·X+b2)……g(w L·X+b L)]·βk+b2[k],k=1……,m

其中Wi∈R n,i=1……L表示隐藏层第i个神经元的输入权重，简称输入权重

βk∈R L,k=1……m表示输出层第K个神经元的输入权重，简称输出权重

单隐藏层反馈神经元可由如下式紧凑表示：

y=h(x)β+b s

其中y∈R m是神经网络输出层所有神经元的响应，简称输出向量：

h(x)=[g(W1·X+b1)g(W2·X+b2)……g(w L·X+b L)]是神经网络层所有神经元对输入向量x的响应，简称隐藏层响应向量。

β=[βT1 βT2……βT m]T是神经网络所有输出权重排列而成的矩阵简称输出权重矩阵

bi为隐藏层第i个神经元的偏置，bs∈R m为整个输出层偏置所排列的向量；

T表示矩阵的转置

由上可以看出神经网络实际上建立了一个映射函数f:x→y

理论上来说,神经网络可以通过改变神经元的输入权重来表示任意一个映射的函数。

在机器学习中，损失函数C表示数学模型f（x）与真实观察t的测度

神经网络的学习过程就可以表示为，在训练样本集中寻找使C最小的Wi bi β和bs

误差反向传递法：

输入训练样本集，损失函数的容许误差值ε

输出 Wi bi β和bs

步骤：

1.随机生成Wi bi β和bs

2.根据公式计算C

3 while C> ε do

1)计算梯度

2)根据链式求导法则更新Wi bi β和bs

3）向前传播

4）重新计算C

4.end

缺点：当数据过大时，迭代更新时间过长。

5.极限学习机（训练速度快训练误差小泛化性更好）

通过黄教授的两个理论可知：

只要激励函数f ：R→R满足在任意区间上无限可微，那么Wi bi 可以从Rn和R 空间的任何区间内根据任意连续的概率分布随机生成，也就是说单隐藏层反馈神经网络无需再对Wi bi 进行调整；又因为理论2，我们发现偏置也不再那么重要。那么我们只剩下β需要确定。

令神经网络的输出等于样本标签得

Y=Hβ

当隐藏神经元个数L等于样本个数N时,即L=N时，β=H-1Y

但是大多数情况下 L<

因此我们需要求得可以使损失函数C最小的解

极限学习机的流程：

输入：训练样本集隐藏神经元个数L 激励函数f（·）

输出：权重β

1.根据公式生成 Wi bi i=1…….L;

2.根据公式计算H

3.根据公式计算β

即构建出了一个单隐藏层反馈神经网络。那么我们对于一个未知标签的样本就可以通过神经网络推测出它的标签。

参考文献：[1]甘露.极限学习机的研究与应用[D]西安科技电子大学.2014 [2]杨戈.基于极限学习机的脱机手写体汉字研究[D].东北大学信息科学与工程学院.2012

[3]刘聪，张新英.集成极限学习机在数字识别中的应用[A]中原工学院信息商务学院.2016