极限学习机

1 介绍

我们在这提出一个基于在线极限学习机和案例推理的混合预测系统。人工神经网络(ANN)被认为是最强大和普遍的预测器，广泛的应用于诸如模式识别、拟合、分类、决策和预测等领域。它已经被证明在解决复杂的问题上是非常有效的。然而，神经网络不像其他学习策略，如决策树技术，不太常用于实际数据挖掘的问题,特别是在工业生产中，如软测量技术。这是部分由于神经网络的“黑盒”的缺点，神经网络没能力来解释自己的推理过程和推理依据，不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。所以需要神经网络和其他智能算法结合，弥补这个缺点。

案例推理的基本思想是：相似的问题有相似的解（类似的问题也有类似的解决方案）。经验存储在案例中，存储的案例通常包括了问题的描述部分和解决方案部分；在解决一个新问题时，把新问题的描述呈现给CBR系统，系统按照类似案件与类似的问题描述来检索。系统提交最类似的经验(解决方案部分)，然后重用来解决新的问题。CBR经过二十多年的发展，已经成为人工智能与专家系统的一种强有力的推理技术。作为一种在缺乏系统模型而具有丰富经验场合下的问题求解方法，CBR系统在故障诊断、医疗卫生、设计规划集工业过程等大量依赖经验知识的领域取得了很大的成功。但是由于案例属性权值的设定和更新问题，CBR 在复杂工业过程的建模与控制工作仍处于探索阶段，尤其对于预测回归问题，研究的更少。

不同于传统学习理论，2006年南洋理工大学Huang GB教授提出了一种新的前馈神经网络训练方法-极限学习机（ELM），能够快速的训练样本（比BP神经网络训练速度提高了数千倍），为在线学习和权值跟新奠定了基础。我们提出的基于在线极限学习机的案例推理混合系统，能够使用案例来解释神经网络，用在线学习的方法为案例检索提供案例权值和更新案例权值，为在线预测某些工业生产提供了较好的模型。

2使用在线极限学习机训练特征权值的算法

2.1 训练和更新样本特征权值（不是训练样本权值的，要记好，从新选择小题目）

在这一节中我们提出如何使用在线极限学习机确定和更新案例库属性权值。首先使用固定型极限学习机【】对给出的数据进行充分的训练，使训练的样本达到预期的误差范围内。通过训练后的网络和

数据集，我们确定初始案例库的特征权值集。然后,当一个新的问题（案

例）来查询时，我们可以根据基于训练特征权重的训练数据中找出K 个最相似的案例。当然，OSELM 的预测结果也可以和最邻近的案例相比较。这提供了扩展的信息数据库中查询与大多数类似的案件。考虑到工业生产的连续性和耦合性，在这样的动态情况下,在线学习属性至关重要。在线学习系统可以更新经验数据的特征属性权值，使系统更准确的预测当前工况，达到自然学习过程。本文针对前期的生产状况进行特征权值初始化，即采用前一段的生产数据预测下一段时间的生产指标状况值。基本思想如图2所示：

设置窗口宽度为n,沿数据的时间轴滑动，依次预测下一段时间的生产数据。 极限学习机的数学模型如图2：

o 输入层 隐藏层

输出层

ELM 的学习方法：给定任意N 个不同的样本{(,)}n m i j x t R R ∈⨯，隐层神经元数目L ，激励函数选择一个非常数的连续函数(,,)i i G a b x ，随机选取隐层参数

,,1,2,...,i i a b i L =，ELM 可以以ε误差逼近任意的N 个样本，表示为：

1

(,,),1,...,L

j i

i

i

i

j

j

i O G a b x O -t j N βε==

≤=∑，

（1）

其中，i a 是输入权值，i b 是隐层节点的阈值，i x 是输入向量，i β是第i 个隐层元和输出节点的连接权值，j O 是输出向量。上式可以简化为H T β=，H 为隐层输出矩阵，其中：

11,,T T T T L N L m N m

t T t βββ⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦1111111()(,,)

(,,)()(,,)(,,)L L N N L L L N L

h x G a b x G a b x H h x G a b x G a b x ⨯⎡⎤⎡⎤

⎢⎥⎢⎥==⎢⎥⎢

⎥

⎢⎥⎢⎥⎣⎦⎣⎦ 计算输出权值,H T H β++=是隐层输出矩阵的左伪逆矩阵。

考虑到生产过程的实际要求，由于生产的连续性，在这样的动态情况下,在线学习属性至关重要。在线学习系统可以更新经验数据的特征属性权值，使系统更准确的预测当前工况，达到自然学习过程。所以此次使用惯序性极限学习机，它具有固定极限学习机的训练速度，又有增量式极限学习机的泛化效率。惯序性极限学习机的学习和训练过程不是一撮而就的，数据分批次给出，学习过程存在次序性。任何时候，只有新的训练样本需要被学习，并调整权值。训练过程不存在任何先验知识，只需要新的数据。学习算法如下：

第一步: 使用固定型极限学习机确定初始样本0

01{(,)}N i j i x t ψ==权值，使

00H T β-最小，

获取0100

0000,T T

K H H K H H β-==； 第二步:当有一组新数据来到时，通过下面来更新权值：

10101111()T +K H T H βββ-=-，其中1011T K K H H =+；若有1k +个新数据分

批给出001

11

{(,)}N k i j N x t ψ+++=，则有： 111111111(),k k T k T k k k k k k k k K H T H K K H H βββ+-+++++++=+-=+ （3）

其中：

0000001

1111111111111(,,)(,,),(,,)

(,,)k k T

N N L L N k k T N k L L N k N k N L N m

t G a b x G a b x H T G a b x G a b x t +++++++++++++⨯⨯⎡⎤⎡⎤

⎢⎥⎢

⎥==⎢⎥

⎢

⎥

⎢⎥

⎢⎥⎣

⎦

⎣⎦

（4）

2 .2 案例推理（CBR ）

Shank 教授提出的基于案例推理CBR 属于机器学习领域的类比学习，即通过源问题与目标问题的相似性，查找目标问题的求解方法，其学习本身也是增量式的，可以解决非线性的半结构化或非结构化问题。从典型的CBR 模型图3可以看出，案例的检索是CBR 周期的一个关键环节。这一匹配过程的关键是案例间的相似性度量。由于案例特征项的重要性各不相同，他们在相似度函数中因被设置为不同的值，各特征项权重直接影响着匹配的质量，所以各特征项权重应该提前设置好。