第9章-神经计算

环境
输出
神经网络
环境
输入 神经网络
评价信息
4 常见神经网络模型



感知器 BP神经网络 径向基函数神经网络（ RBFNN） 自组织映射神经网络（ SOMNN） Hopfield神经网络 脉冲耦合神经网络（PCNN）
9.2 感知器


感知器概述 感知器工作原理 感知器的学习算法 感知器的MATLAB实现
X n 1, x1 n , x2 n ,,xm n
T
w n b n , w1 n , w2 n ,,wm n

T
令上式等于零，可得到在维空间的单层感知器的判别超平面。

第一步,设置变量和参量。 为学习 f() 为激活函数, y ( n ) 为网络实际输出， d ( n )为期望输出，
neural network, BNN)，
特别是人脑 人工神经网络(artificial neural network, ANN)： 由大量神经元经广泛互联组成的非线性网络 （功能模块，数学模型）。实现人脑的一些功 能。
神经网络发展历史简介
M-P神经元模型
1943) Hebb神经元学习准则 (心理学家Hebb, 1949) 分布式系统方面的研究(如Von Neumann) Perceptron感知机模型(Rosenblatt 1958) Adaline(Widrow and Hoff) 《Perceptron》 (Minsky & Papert, 1969) Hopfield模型 (Hopfield，1982) 多层感知机MLP与反向传播算法BP (Rumelhart, 1986) 脉冲耦合神经网络(PCNN , 1991)

learnp()


train()
பைடு நூலகம்

功能 神经网络训练函数 格式
说明 net为训练后的网络；tr为训练记录；Y为网络输出矢量；E 为误差矢量；Pf为训练终止时的输入延迟状态；Af为训练终止时的 层延迟状态；NET为训练前的网络；P为网络的输入向量矩阵；T 表示网络的目标矩阵，缺省值为0；Pi表示初始输入延时，缺省值 为0；Ai表示初始的层延时，缺省值为0； VV为验证矢量（可省 略）；TV为测试矢量（可省略）。网络训练函数是一种通用的学 习函数，训练函数重复地把一组输入向量应用到一个网络上，每 次都更新网络，直到达到了某种准则，停止准则可能是达到最大 的学习步数、最小的误差梯度或误差目标等。
神经网络
a(n)
比较
p(n)
误差信号 e(n)
非监督学习与再励学习
非监督学习：不存在教
学习 方法
师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性 再励学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能
输入

使用MATLAB实现神经网络的步骤如下：


第一步 根据应用创建一个神经网络； 第二步 设定神经网络的训练参数，利用给 定样本对创建的神经网络进行训练； 第三步 输入测试数据，测试训练好的神经 网络的性能。
9.2 BP神经网络

BP神经网络模型 BP网络的标准学习算法 BP神经网络学习算法的MATLAB实现 BP神经网络的特点
i 1
wi xi b 0
对于只有两个输入的判别边界是直线（如下式所示）,选择合 适的学习算法可训练出满意的 w1 和w2，当它用于两类模式的分 类时，相当于在高维样本空间中，用一个超平面将两类样本 分开。
w1x1 w2 x2 b 0
3 感知器学习算法


基于迭代的思想，通常是采用误差校正学习规则的学习算法。 可以将偏差作为神经元突触权值向量的第一个分量加到权值 向量中 输入向量和权值向量可分别写成如下的形式：

newp()


hardlim()

功能：创建一个感知器神经网络的函数 格式：net = newp(PR，S，TF，LF) 说明：net为生成的感知机神经网络；PR为一个R2的矩阵，由R组输入 向量中的最大值和最小值组成；S表示神经元的个数；TF表示感知器 的激活函数，缺省值为硬限幅激活函数hardlim；LF表示网络的学习函 数，缺省值为learnp 功能 硬限幅激活函数 格式 A = hardlim(N) 说明 函数hardlim(N)在给定网络的输入矢量矩阵N时，返回该层的输 出矢量矩阵A。当N中的元素大于等于零时，返回的值为l；否则为0。 也就是说，如果网络的输入达到阈值，则硬限幅传输函数的输出为1； 否则，为0。 功能 感知机的权值和阈值学习函数
a f (n) n
a
n
Sigmoid函数
Sigmoid
特性：

Function ：
1 a f (n) 1 e n


值域a∈(0,1) 非线性，单调性 无限次可微 |n|较小时可近似线性 函数 |n|较大时可近似阈值 函数
3 神经网络的学习方法
神经网络的学习：从环境中获取知识并改进
[net，tr，Y，E，Pf，Af] = train(NET，P，T，Pi，Ai，VV，TV)


sim()


功能 对网络进行仿真 格式 (1) [Y，Pf，Af，E，perf] = sim(NET，P，Pi，Ai，T) (2) [Y，Pf，Af，E，perf] = sim(NET，{Q TS}，Pi，Ai，T) (3) [Y，Pf，Af，E，perf] = sim(NET，Q，Pi，Ai，T) 说明 Y为网络的输出；Pf表示最终的输入延时状态；Af表示最终的 层延时状态；E为实际输出与目标矢量之间的误差；perf为网络的 性能值；NET为要测试的网络对象；P为网络的输入向量矩阵；Pi 为初始的输入延时状态（可省略）；Ai为初始的层延时状态（可省 略）；T为目标矢量（可省略）。式(1)、(2)用于没有输入的网络， 其中Q为批处理数据的个数，TS为网络仿真的时间步数。

根据误差判断目前输出是否满足条件，一般为对所有样本误差为零或者均 小于预设的值，则算法结束，否则将值增加1，并用下式调整权值：
然后转到第三步，进入下一轮计算过程
w n 1 w n d n y n x n
4 感知器的MATLAB实现

MATLAB中单层感知器常用工具函数名 称和基本功能
函数名 功 能
newp()
hardlim() learnp() train()
生成一个感知器
硬限幅激活函数 感知器的学习函数 神经网络训练函数
sim()
mae() plotpv() plotpc()
神经网络仿真函数
平均绝对误差性能函数 在坐标图上绘出样本点 在已绘制的图上加分类线


plotpc()



功能 在存在的图上绘制出感知器的分类线函数 格式 (1) plotpc(W，B) (2) plotpc(W，B，H) 说明 硬特性神经元可将输入空间用一条直线(如果神经元有两 个输入)，或用一个平面(如果神经元有三个输入)，或用一个超 平面(如果神经元有三个以上输入)分成两个区域。plotpc(w，b) 对含权矩阵w和偏差矢量b的硬特性神经元的两个或三个输入 画一个分类线。这一函数返回分类线的句柄以便以后调用。 plotpc(W，B，H)包含从前的一次调用中返回的句柄。它在画 新分类线之前，删除旧线。
常用输出函数
阈值函数：
1 (n 0) a f (n) hardlim(n) 0 (n 0) 1 (n 0) a f (n) hardlim s(n) 1 (n 0)
a 1
-1
-b
Wp
线性输出函数

Purelin Transfer Function ：
1 感知器概述

概述

由美国学者Rosenblatt在1957年首次提出 学习算法是Rosenblatt在1958年提出的 包含一个突触权值可调的神经元 属于前向神经网络类型 只能区分线性可分的模式 IEEE设立以其名字命名的奖项

感知器模型
2 感知器工作原理
感知器可将外部输入分为两类和。当感知 器的输出为+1时，输入属于 l1类，当感知器的 输出为-1时，输入属于 l2类，从而实现两类目标 的识别。在维空间，单层感知器进行模式识别 的判决超平面由下式决定： m

神经元基本工作机制：
状态：兴奋与抑制 互联，激励，处理，阈值
神经元模型
Neuron
Model： 多输入，单输出，带偏置
1. R个输入pi∈R，即 R维输入矢量p
2. n: net input, n=wp+b。
R个权值wi∈R，即 R维权矢量w 阈值b
3. 输出a=f(n), f: transfer function

mae()


功能 平均绝对误差性能函数 格式 perf=mae(E，w，pp) 说明 perf表示平均绝对误差和， E为误差 矩阵或向量(网络的目标向量与输出向量之 差)， w为所有权值和偏值向量(可忽略)， pp为性能参数(可忽略)。

plotpv()


功能 绘制样本点的函数 格式 (1) plotpv(P，T) (2) plotpv(P，T，V) 说明 P定义了n个2或3维的样本，是一个2n维或3n维的矩阵；T 表示各样本点的类别，是一个n维的向量；V=[x_min x_max y_min y_max]，为一设置绘图坐标值范围的向量。利用plotpv() 函数可在坐标图中绘出给定的样本点及其类别，不同的类别使 用不同的符号。如果T只含一元矢量，则目标为0的输入矢量在 坐标图中用符号＂o＂表示： 目标为1的输入矢量在坐标图中用 符号＂+＂表示。如果T含二元矢量，则输入矢量在坐标图中所 采用的符号分别如下：[0 0]用＂o＂表示；[0 1]用＂+＂表示： [1 0]用＂*＂表示；[1 1]用＂＂表示。
((心理学家McCulloch & 数学家Pitts
神经网络的特点
神经网络的应用
NN从计算模型的角度本质上可以理解为函数逼
近，可以应用到众多领域。
2 神经网络基础

生物神经网络：Biological Neural Network (BNN) 神经元：neuron （结构见图示）
神经元经突触传递信号给其他神经元（胞体或树 突） 1011个神经元/人脑 104个连接/神经元
概述

Rumelhart，McClelland于1985年提出了BP网络的误差反 向后传BP(Back Propagation)学习算法
David Rumelhart
J. McClelland
自身性能，主要指调节网络参数使网络达到 某种度量，又称为网络的训练 学习方式：

监督学习 非监督学习 再励学习
监督学习
对训练样本集中的每一组输入能提供一组目标输 出。样本数据(p, t)。 网络根据目标输出与实际输出的误差信号来调节 网络参数 t(n)

教师
期望输出
环境
输入
实际输出
n 为迭代次数，e为实际输出与期望输出的误差。 速率，




第二步,初始化 给权值向量 W (0)的各个分量赋一个较小的随机非零值，置 n 0 第三步,输入一组样本X n 1, x1 n , x2 n , ,xm n ，并给出 它的期望输出d ( n ) 。 m y ( n ) f w ( n ) x ( n ) i i 第四步,计算实际输出: i 0 第五步,求出期望输出和实际输出求出差 e d ( n ) y ( n )
第9章 神经计算
9.1 人工神经元模型 9.2 感知器 9.3 反向传播网络 9.4 自组织映射神经网络 9.5 Hopfield网络 9.6 脉冲耦合神经网络 9.7神经计算的发展趋势 9.8 小结
9.1人工神经元模型
1 概述
2 神经网络基础
3神经网络的学习方法
4 常用神经网络模型
1 概述
生物神经网络(biological