人工神经网络及其在生物信息学中的应用

1982年，Hopfield 提出了神经网络的一种数学模型（Hopfield反馈网络），引入 了能量函数的概念，用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定 性的判别依据。
1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播（BP）算法，较好 地解决了多层网络的学习问题。
▪ 计算过程：
– 从输入层经隐层逐层正向计算各单元的输出； – 由输出误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值。
第 10页
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续
第 11页
Oi
Oj
i
wij
k wij
人工神经网络及其在生物信息中的应用
(6)是否达到预先设定的要求如达到 要求则算法结束，否则返回(2)，进 入下一轮学习
人工神经网络及其在生物信息中的应用
1.6 Hopfield网络
Hopfield网络：单层、对称、全反馈网络，根据激活函数选取的不同，可分为离散型 和连续性两种（ DHNN,CHNN）。
DHNN：作用函数为hardlim，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算。
第 18页
人工神经网络及其在生物信息中的应用
1.5 自组织特征映射
▪ 自组织映射神经网络（简称SOM网络）
▪ 学习算法步骤
(1)网络初始化：用随机数设定输入层和映射 层之间权值的初始值
(2)输入向量：把输入向量输入给输入层
(3) 计算映射层的权值向量和输入向量的距离
按下式给出
n
d j
(xi wij )2
第 9页
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）
▪ 三层前馈网络适用范围好，但是学习算法较为复杂，主要困难是中间的隐 层不直接与外界连接，无法直接计算其误差。
▪ 解决方法：反向传播（Back-Propogation）算法。
▪ 其主要思想：从后向前（反向）逐层传播输出层的误差，以间接算出隐层 的误差。
第 22页
人工神经网络及其在生物信息中的应用
1.6 Hopfield网络 1.6.1 离散型的 Hopfield神经网络
▪ DHNN的稳定工作点
Xi(t+1)= Xi(t)=sgn(∑WijXi(t)-θi ) i=1,2,…,n
DHNN的能量函数定义为：
1 n n
n
E
2
i 1
wij xi x j
▪ 历史
1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型；
1949年，心理学家D. O. Hebb提出神经元之间突触联系强度可变的假说，并据此提 出了神经元的学习准则；
50年代末，Rosenblatt提出了感知器模型；
1969年，Minsky和Papert从数学上深入分析了感知器的原理，指出了其局限性—“异 或”运算不可表示 ；
▪ 当样本为归一化样本（||x|| = 1）时，学习可按如下算法进行：
wij ( y j net j )xi
网络不可能收敛到修正量趋向于零的状态，因此可以采取强制收敛的方法，在学习过程
中将步长参数η缓慢减少至零。
学习结果受初始值和学习样本顺序影响很大，聚类的结果未必是我们想要的结果，需要
适当的人工干预。
net j
ij xi
W
T j
X
i
y {1 netj netk ( jk )
j
0 其他
第 16页
人工神经网络及其在生物信息中的应用
1.4 竞争学习和侧抑制（续）
▪ 学习时先用随机数作为权值初始值，在初始值和整个学习过程中随时将权向量进行
归一化处理，即
wi'j
wij
wi2j
i
使各个权向量总是满足||wj|| = 1
1.3 前馈神经网络及其主要算法 1.3.2 感知器(Pereceptron)
▪ 一种双层神经网络模型，一层为输入层，一层具有计算单元； ▪ 通过监督学习建立模式判别的能力； ▪ 学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。
wij (t 1) wij (t) wij (t)
感知器的特性： wij (t) ( y j y j )xi
1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续
第 12页
Oi
Oj
i
wij
k wij
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.4反向传播算法（BP法）续
▪ 反向传播算法步骤
Oi
Oj
（1）选定权系数初始值([-0.3,0.3])
i
wij
（2）重复下述过程直至收敛（对各样本以此计算）。
x
xc
||)
exp{
||
x xc 2 2
||2
}
xc为核函数中心、为函数的宽度参数
RBF网络的作用：
1. 把网络看成对未知函数f（x）的逼近器。一般任何函数都可表示为一组基函数的 加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f（x）。
2. 在RBF网络中，从输入层到隐层的基函数输出是一种非线性映射，而输出则是线 性的。这样，RBF网路可以看成是首先将原始的非线性可分的特征空间变换到另 一空间（通常是高维空间），通过合理选择这一变换使在新空间中原问题线性 可分，然后用一个线性单元来解决问题。
第 17页
人工神经网络及其在生物信息中的应用
1.5 自组织特征映射
▪ 大脑皮层中，神经元呈二维空间排列，其输入信号主要有两部分：
– 一是来自感觉组织或其他区域的外部输入信号； – 而是同一区域的反馈信号，形成信息交互。
▪ 近邻神经元之间的局部交互：最相近的“邻元”（约小于0.5mm）相互兴 奋，较远的邻元（1mm~2mm）互相抑制，更远的又是弱兴奋。形如“墨 西哥草帽”
两层感知器只能用于解决线性可分问题。
学习过程收敛很快，且与初始值无关。
第 8页
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.3三层前馈网络
▪ 在很宽松的条件下，三层前馈网络可以逼近任意的多元非线性函数，突破 了二层前馈网络线性可分的限制。
▪ 这种三层或三层以上的前馈网络通常又被叫做多层感知器（Multi-Layer Perceptron，简称MLP）。
– 具体到神经元模型，表现为如下的算法：
Δωi = ηyxi 式中Δωi是对第i个权值的修正量，η是控制学习速度的系数。
第 6页
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.1 前馈神经网络
各神经元接受前一级输入，并输出到下一级，无反馈。
输入层
第 7页
隐层
Biblioteka Baidu
输出层
人工神经网络及其在生物信息中的应用
第 21页
人工神经网络及其在生物信息中的应用
1.6 Hopfield网络 1.6.1 离散型的 Hopfield神经网络
右图是一个有三个节点的DHNN结构。
对于以符号函数为激活函数的网络， 网络的方程可写为：
n
ui (t 1) wij x j t i j 1
xi (t 1) sgnui (t 1) i 1,2, , n
第 4页
人工神经网络及其在生物信息中的应用
1.2 人工神经元 1.2.2 人工神经元
11
n
net i xi i1
y f (net)
第 5页
n
y sgn( i xi ) i1
f
(
x)
sgn(x)
1 1
(x 0) (x 0)
某些重要的算法需要输出函数f 可微
y
th(x)
1
2 e2
x
2. 人工神经网络在生物信息学中的应用
第 2页
人工神经网络及其在生物信息中的应用
1.1 引言
▪ 人工神经网络（Artificial Neural Networks，简称ANN）
是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来 实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。
第 3页
人工神经网络及其在生物信息中的应用
1.2 人工神经元 1.2.1 生物神经元
胞体：神经细胞的主体，完成普通细胞的生存功能
树突：接受来自其他神经元的信号
轴突：输出信号，传导信号
突触：两个神经元联系的特殊部位，通常是一个神经元轴突的端部靠化学接触
或者电信号接触（兴奋）传递给下一个神经元的树突或胞体
⑤ 修正权值
η∈[0.1,3] α∈[0.9,1)
wi j (t 1) wij (t) wi j (t) 可选隐单元数N=log2P，P为样本个数
第 13页
（参考值）
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.5径向基函数网络（RBF网络）
▪ 另外一种较常用的前馈型神经网络； ▪ 只有一个隐层，隐层单元采用径向基函数作为其输出特征； ▪ 输入层到隐层之间的权值固定为1； ▪ 输出节点为线性求和单元，隐层到输
DHNN主要有以下两种工作方式： （1）串行工作方式 在某一时刻只有一个神经元按照上式改变状态，而其它神经元的输出
不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。 （2）并行工作方式 在某一时刻有N个神经元按照上式改变状态，而其它的神经元的输出
不变。变化的这一组神经元可以按照随机方式或某种规 则来选择。当N=n时，称为全并行方式。
人工神经网络及其在生物信息中的应用
Artificial Neural Networks and the Approaches in Bioinformatics 2010 生物信息科学与技术 报告人：杜庆良 时间：2020年6月30日
目录
1. 人工神经网络
1. 引言 2. 人工神经元 3. 前馈神经网络 4. 竞争学习和侧抑制 5. 自组织特征映射 6. Hopfield网络
k wij
① 从前向后各层计算各单元Oj
net j ijOi
Oj 1/(1 enetj )
② 对输出层计算δj
i 1
j ( y O j )O j (1 O j )
③ 从后向前计算各隐层δj j Oj (1 O j ) wjkk
k
④ 计算并保存各权值修正量 wi j (t) awi j (t 1) jOi
j 1
i xi
i 1
1 X TWX X T
2
E
1 n 2 i1
n
wij
j 1
xi
xj
n i 1
i
xi
i1
(4) 选择与权值向量的距离最小的神经元
计算并选择使输入向量和权值向量的距离最 小的神经元，把其称为胜出神经元并记为
j *，并给出其邻接神经元集合。
第 19页
(5)调整权值 胜出神经元和位于其邻接神经元的 权值，按下式更新：
wij h( j, j*)(xi wij )
wij (t 1) wij (t) wij
出节点之间的权值可调。
第 14页
人工神经网络及其在生物信息中的应用
1.3 前馈神经网络及其主要算法 1.3.5径向基函数网络（RBF网络）
径向基函数（Radial Basis Function），就是某种沿径向对称的标量函数。
通常定义为空间任一点 x 到某一中心 xc 之间欧氏距离的单调函数。
k(||
1
y (1,1)
y
1
1 ex
y (0,1)
人工神经网络及其在生物信息中的应用
1.2 人工神经元 1.2.3 神经元的算法
▪ 几乎所有神经网络学习算法都可以看做Hebb学习规则的变形。Hebb学习规 则的基本思想是：
– 如果神经元ui接收来自另一个神经元uj的输出，则当这两个神经元同时兴奋时， 从ui到uj的权值就得到加强。
第 15页
人工神经网络及其在生物信息中的应用
1.4 竞争学习和侧抑制
▪ 引入竞争机制的前馈网络可以实现无监督学习，完成聚类的任务。
▪ 学习结构与二层前馈网络类似
▪ 在输出层加上了侧抑制
▪ 侧抑制：在输出层各单元之间相互用较大的 负权值输入对方的输出，这种互连构成了正 反馈。
▪ 具有较大输入的单元输出为1，而其他单元的 输出都为0。
第 20页
人工神经网络及其在生物信息中的应用
1.6 Hopfield网络
Hopfield网络的稳定性可用能量函数进行分析。
目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把 系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就 是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把 系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题 的目标函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题 的过程。这样的优点在于它的解并不需要真的去计算，而只要构成这种反 馈网络，适当的设计其连接值和输入就可达到目的。