极限学习机
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2 图说极限学习机原理
其实说到机器学习的学习,最先被介绍的基本都是感知机算法,但是仔细一想,其实也可以
从极限学习机的角度进行最开始的拓展性介绍 ELM 是一种新型的快速学习算法, 对于单隐层神经网络, ELM 可以随机初始化输入权重和偏 置并得到相应的输出权重。
总而言之, 也是通过一些线性代数的处理方便带入到 lagrange 方程的模型之中以便进行进一 步的求出局部极值的处理,又是万恶的 Lagrange
Байду номын сангаас
关于 ELM 极限学习机
0 引言
极限学习机不是一个新的东西,只是在算法(方法)上有新的内容。在神经网络结构上,就 是一个前向传播的神经网络,结构上也没有什么大的创新,感觉就是 BP 神经网络的经典结 构的升级
也有比较明显的创新点,比较值得拿来讨论的如下: 1)输入层和隐含层的连接权值、隐含层的阈值可以随机设定,且设定完后不用再调整。这 和 BP 神经网络不一样,BP 需要不断反向去调整权值和阈值。因此这里就能减少一半的运算 量了。不过在 BP 网络中其实初始化阈值与权值也是在比较靠前的时候随机化拟定的 2) 隐含层和输出层之间的连接权值β不需要迭代调整, 而是通过解方程组方式一次性确定。 研究表明,通过这样的规则,模型的泛化性能很好,速度提高了不少。 一言概之,ELM 最大的特点就是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs), 在保证学习精度的前提下比传统的学习算法速度更快。
1 关于极限学习机的概念
极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算 法。 ELM 最大的特点是对于传统的神经网络, 尤其是单隐层前馈神经网络(SLFNs), 在保证学习精 度的前提下比传统的学习算法速度更快。不过收敛的速度快不代表效果一定就好