上海大学毕业设计(论文)开题22报告-杨科 (13)

毕业设计（论文）开题报告

学院通信与信息工程

专业生物医学工程

学号11121962

姓名杨科

指导教师施俊

日期二○一五年一月十九日

教务处制

对于一个单隐层神经网络，假设有N 个任意的样本（i ,i X t ），其中12[,,...,]T m i i i im t t t t R =∈。对于一个有L 个隐层节点的单隐层神经网络可以表示为：

1

(),1,...,L

i i

i

j i j i g w

x b o j N

β=+==∑ (2.2.1)

其中， 12[,,...,]T i i i in w w w w =为输入权重，()g x 是激活函数，12[,,...,]T i i i im ββββ=为输出权重，i b 是第

个隐层单元的偏置。i j w x ⋅表示i w 和j x 的内积。

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

1

||||0N

j

j j o

t =-=∑

即存在i β，i w 和i b ，使得

1

(),1,...,L

i i

i

j i j i g w

x b t j N β=+==∑

可以矩阵表示为H T β=，其中是隐层节点的输出，β为输出权重，为

期望输出。为了能够训练单隐层神经网络，我们希望得到ˆi w

，和，使得：

,,ˆˆˆ(,)(,)min i i i i i ELM i i i w b H w b T L H w b T β

ββ-=-

其中，1,...,i L =，这等价于最小化损失函数：

2

11()N

L i i j i j j i E g w x b t β==⎛⎫

=+- ⎪⎝⎭

∑∑

传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM 算法中, 一旦输入权重i w 隐层的偏置i b 被随机确定，隐层的输出矩阵就

被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重β可以被确定

ˆH T

β+

=

其中，H+是矩阵的广义逆。且可证明求得的解ˆβ的范数是最小的并且唯一。