基于神经网络和聚类的预测算法

2、 2000年全国竞赛A题
人类基因组计划中DNA全序列草图是由4个字符A，T，C，G按一定顺序排成 的长约30亿的字符序列，其中没有“断句”也没有标点符号．虽然人类对它知 之甚少，但也发现了其中的一些规律性和结构．例如，在全序列中有一些是用 于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大 多数用于编码构成蛋白质的20种氨基酸．又例如，在不用于编码蛋白质的序列 片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA 序列的结构也取得了一些结果．此外，利用统计的方法还发现序列的某些片段 之间具有相关性，等等．这些发现让人们相信，DNA序列中存在着局部的和全 局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的．目前在 这项研究中最普通的思想是省略序列的某些细节，突出特征，然后将其表示成 适当的数学对象．作为研究DNA序列的结构的尝试，提出以下对序列集合进行 分类的问题： 1）请从20个已知类别的人工制造的序列（其中序列标号1～10 为A类，11～20 为B类）中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方 法是否足够好．然后用你认为满意的方法，对另外20个未标明类别的人工序列 （标号21～40）进行分类，把结果用序号（按从小到大的顺序）标明他们的类 别（无法分类的不写入） 2）同样方法对182个自然DNA序列(他们都较长)进行分类，像1）一样地给出分 类结果．
BP网络的学习算法（梯度下降法）
F w(k 1) w(k ) w
Weight Update 第m 层的灵 敏度
W k + 1 = W k – s a
m
m
m
m–1 T

b k + 1 = b k – s
m
m
m
误差反向传播
s
M
2 F
M
对样本对（输入和期望输出）进行学习；将样本的输 入送至神经网络，计算得到实际输出；若实际输出与 期望输出之间的误差不满足精度要求，则调整权值W 和阈值b，逐渐减小误差，直至满足精度要求。
学习过程：通过样本更新权值和阈值
输出目标
训练样本
{ p1, t 1 } { p2, t 2 } {pQ,tQ }
输入 p
a f (W , p)
W(old) W(new)
神经网络
a
学习
网络的学习：通过样本不断调整权值 学习好以后的网络：权值不再改变，所学的知 识存储在权值中 学习好以后的网络进行预测、分类等等 下面将给出三种典型的有导师学习的神经网 络：BP,RBF,PNN
BP（反向传播）神经网络原理
一、结构
1、多层前馈网络：
前、后层之间各神经元 实现全联接；同一层的 神经元之间无联接。
x1 x2 xn
j
误差反向传播(学习算法) i k +
输入层
M wij
2、输入输出关系： a f W , x
隐含层 信息流
q
wki
输出层
L
激活函数通常采用 S 形函数，如 logsig，tansig函数；输出 层激活函数多采用purelin函数。
练习
1、现给出一药品商店两年当中24个月的药 品销售量（单位：箱）如下： 1856 1995 2220 2056 1123 1775 1900 1389 1609 1424 2276 1332 2056 2395 2600 2298 1634 1600 1873 1487 1900 1500 2046 1556 要求用当前的所有数据预测下一个月的药品 销售量。
问题分析
BP，RBF网络均可达到预测目的：用前三个月 的销售量预测下一个月的销售量，也就是用1-3月 的销售量预测第4个月的销售量，用2-4个月的销售 量预测第5个月的销售量，如此循环下去，直到用 9-11月预测12月份的销售量。这样训练BP神经网 络后，就可以用10-12月的数据预测来年一月的销 售量。
信号前向传播+误差反向传播
二、BP网络的学习
1、信号前向传播
p
BP神经网络
a
a f (W , p)
Forward Propagation
a = p a
m+1 0 m+ 1 m+1 m m+ 1
=f
W
a +b

m = 0 2 M – 1
a = aM
2、误差反向传播
训练样本： { p1, t 1} { p2, t 2}
a f (n) f ( wT x)
常见的几类激活函数
这些非线性函数具有两个显著的特征，一是 突变性，二是饱和性，这正是为了模拟神经 细胞兴奋过程中所产生的神经冲动以及疲劳 等特性
人工神经网络
人工神经网络＝神经元＋连接
连接
神经元 神经元
神经网络分类 •无反馈网络：前馈神经网络 •有反馈网络：递归神经网络
关键：调整权值
p
a
神经网络
输入：苹果或香蕉
a f (W , p)
期望输出
t=1---苹果 t=0---香蕉
shape p = te xture w eight
有导师的学习
期望输出（向量）
训练样本：{ p1, t 1} { p2, t 2} {pQ,tQ }
输入（向量）
基本思想：
ni wij p j
j 1
R
wR 2
ns f s
as
a f W p
T


wR 3
pR
权值， 求和，激活函数
多层前馈神经网络
x1 w11 w12 w13
x2
n f
1 1
1 1 a1 1
n f n f
2 2
2 1
2 a12 1
n
3 1
3 a12 f1
w21
w22
n f
1 2
1 a1 2 2
均方误差（单输出）
{pQ,tQ }
均方误差（多输出）
2
F x = E e = E t – a
2
F x= Ee e = E t – a t – a
T
T
F w(k 1) w(k ) w
梯度下降法：权值阈值的调整沿着误差函数下降 最快的方向——负梯度方向
已知的人工序列
1.aggcacggaaaaacgggaataacggaggaggacttggca cggcattacacggaggacgaggtaaaggaggcttgtctacgg ccggaagtgaagggggatatgaccgcttgg 2.cggaggacaaacgggatggcggtattggaggtggcggact gttcggggaattattcggtttaaacgggacaaggaaggcggctg gaacaaccggacggtggcagcaaagga 。。。。。。。。 40.ccattagggtttatttacctgtttattttttcccgagaccttaggttt accgtactttttaacggtttacctttgaaatttttggactagcttaccct ggatttaacggccagttt
概率神经网络
通过训练集学习数 据背后的统计规律分布函数
训练好以 后的网络 进行分类
概率神经网络
许多研究已表明概率神经网络具有以下特性： (1)训练容易，收敛速度快，从而非常适用于 实时处理； (2)可以完成任意的非线性变换，所形成的判 决曲面与贝叶斯最优准则下的曲面相接近； (3)各层神经元的数目比较固定，因而易于硬件 实现； 这种网络已较广泛地应用于非线性滤波、模 式分类、联想记忆和概率密度估计当中。
BP网络学习算法的改进
BP算法缺点小结
易形成局部极小而得不到全局最优；
训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。
针对上述问题，国内外已提出不少有效的改 进算法，其中基于LM的改进算法是较常用的一 种方法。
概率神经网络
神经元模型
连接权值w对应于突触
完成输入-输出的非线性映射，有三个关键
连接权值
x1
求和单元
激活函数
激活函数
w1 权值
w2
n

阈值
多输入
x2
f
a
wn xn
净输入 n 输入-输出关系
T w x w x ii i 1 n
单输出
w1 w2 w 其中， wn 1 x1 x2 x xn
网络构建：输入为特征，期望输出为类别：0.1或0.9 网络的训练及检验： 在已知类别序列1～20中,取A类前7个序列(1～7) 和B类前7个序列(11～17)作为训练集P_train,序列 8～10、18～20作为测试集P_test.对BP/RBF/PNN 网络进行训练,给定样本总体误差标准为10^(-5).当 网络学习收敛于给定的标准后,用测试集进行分类检 验,考察这三种网络性能优劣，选择性能最好的网络 进行分类。 网络进行分类 将标号21～40的特征输入训练好的网络，输出 即为类别
3、理论上，具有一个隐含层的BP网络可以以任意精度
逼近任意非线性函数。
二、BP网络的学习算法
} { p2, t 2 } {pQ,tQ } 训练样本 { p1, t 1 BP网络的学习算法是典型的有导师学习算法： 将样本输入神经网络，得到网络的实际输出，若 输出值与期望输出之间的误差不满足精度要求， 则从输出层反向传播该误差，从而调整权值及阈 值，使得网络的输出和期望输出间的误差逐渐减 小，直至满足精度要求。 学习过程：
Biblioteka Baidu2 2 a2 2
n f
3 2
2 3 a2 2
w23
wR 1
wR 2
1 n1 s1 f s
1
a1 s1
n f
2 s2
2 2 as 2 s2
n f
3 s3
2 3 as 2 s3
wR 3
xR
输入层
隐含层
输入-输出关系：
a f W , p
隐含层
输出层
人工神经网络
一、网络结构
1、输入神经元数，输出神经元个数 2、隐层数，每个隐层中神经元个数 3、每个神经元的激活函数f
特征：神经元+相互作用
神经元模型
突触 突触 突触
x1
突触
突触
神经元与神经元之间如何 相互作用（传递信息）？
依赖于突触的联接！突触的联接 会受外界信息的影响或自身生长 过程的影响而变化。正是通过神 经元及其突触联接的可变性，使 得大脑具有学习、记忆和认知等 各种智能。
突触是可变的
w1
w2
x2
a
xn
wn
x1 x2 x xn
单层前馈神经网络
p1 w11 w12 w13
p2 w21
n1 f 1 n2 f 2
a1
w22
a2
输入-输出关系： R ai f i w p ij j j 1
w23
wR 1
(n M )(t a)
m = M – 1 2 1
s
m
F
M
(n ) W
m

m 1 T

s m1
BP学习过程
Step1 • 选定样本,p=1,…,P, 随机确定初始权矩阵 W（ 0 ） • 利用样本计算网络输出，得到误差
Step2 Step3
• 利用误差反向计算每一层的 sensitivty ， 更新权值和阈值。直到误差满足精度 要求。
输入-输出关系
p a
神经网络
a f (W , p)
二、前馈神经网络的学习
这类网络模型 怎样实现分类、识别、 预测等智能行为？
通过学习！改变连接权值W！
通过样本更新权值和阈值
以识别苹果和香蕉为例
期望输出
} { p2, t 2 } {pQ,tQ } 训练样本：{ p1, t 1
输入
基于神经网络的预测与分类
人工神经网络产生背景
机器智能
研究怎样用机器（计算机）模仿人脑 从事推理、设计、思考、学习等思维活动， 以解决和处理较复杂的问题。 人工神经网络 是机器智能的一部分，它模拟大脑的神经 系统，更简单的说，就是人脑神经系统的一 个数学模型
大脑神经系统
大脑内约含1000亿个神经元 神经系统是由这些神经元经过高 度的组织与相互作用而构成的复 杂的网络
神经网络的结构
前馈神经网络
输入--输出关系？
递归神经网络
特点：神经元之间 有反馈连接
单个神经元
x1
w1 权值
w2
n

x2
多输入
f
a
单输出
wn xn
净输入 n 输入-输出关系
T w x w x ii i 1 n
a f (n) f ( wT x)
w1 w2 w 其中， wn 1