《神经网络建模》PPT课件

列表
函数名
功能
purelin
线性传递函数
hardlim
硬限幅递函数
hardlims
对称硬限幅递函数
satli
饱和线性传递函数
satlins
对称饱和线性传递函数
logsig
对数S 形传递函数
tansig
正切S 形传递函数
radbas
径向基传递函数
compet
竞争层传递函数
1、阶跃函数：f
(x)
10,,xx00，或符号函数f
p1=[1], p2=[2],p3=[3], p4=[4] 这可用下列代码创建： P =[1 2 3 4]; 模拟这个网络，我们得到：
A = sim(net,P) A= 1234
• 在某些特定的情况下，我们可能想要在同一时间模拟一些不同序 列的网络响应。这种情况我们就要给网络输入一组同步序列。比 如说，我们要把下面两个序列输入网络：
1.5数据结构:影响网络仿真的输入数据结构的格式
静态网络中的同步输入仿真：
例1
动态网络中的异步输入仿真：当网络中存在延迟时，顺序发 生的输入向量就要按一定的序列输入网络。为了演示这种情
况，我们以一个有延迟的简单网络为例。
动态网络中的同步输入仿真
• 如果我们在上例中把输入作为同步而不是异步应用， 我们就会得到完全不同的响应。这就好象每一个输入 都同时加到一个单独的并行网络中。在前一个例子中， 如果我们用一组同步输入，我们有：
newp 创建感知器网络 newlind 设计一线性层 newlin 创建一线性层 newff 创建一前馈 BP 网络 newcf 创建一多层前馈 BP 网络 newfftd 创建一前馈输入延迟 BP 网络 newrb 设计一径向基网络 newrbe 设计一严格的径向基网络 newgrnn 设计一广义回归神经网络 newpnn 设计一概率神经网络 newc 创建一竞争层 newsom 创建一自组织特征映射 newhop 创建一 Hopfield 递归网络 newelm 创建一 Elman 递归网络
(
x)
1, x 1,
x
0
0
2、双曲正切函数：f
(
x)
tanh(
x)
e e
x x
ex ex
3、sigmoid函数（S型）：f
(
x)
1
x2 x2
,
x
0
0, x 0
4、高斯函数：f
(
x)
exp
1 2
2 i
n
(xj
i1
x
ji
)2
1.3、网络结构以及工作方式
从连接方式看NN主要有两种网络拓扑结构： • 前馈型网络：结点分为输入单元和计算单元
照此步骤处理。
多层网络的功能非常强大。例、一个两层的网络，第一层的 转移函数是曲线函数，第二层的转移函数是线性函数，通过 训练，它能够很好的模拟任何有有限断点的函数。这种两层
网络集中应用于“反向传播网络”。
注意:我们把第三层的输出a3标记为y。我们将使用这种符号 来定义这种网络的输出。
1.4创建网络
p(1)=[1], p(2)=[2],p(3)=[3], p(4)=[4]
p(1)=[4], p(2)=[3],p(3)=[2], p(4)=[1] 输入 P应该是一个细胞数组，每一个数组元素都包含了两个同时发生 的序列的元素。
P = {[1 4] [2 3] [3 2] [4 1]}; 现在我们就可以模拟这个网络了：
还有阈值 j (或偏置bj j ),可通过把输入维数增加一维把阈值包括进去
m
y j f ( wij xi ), (i 0对应阈值 j，w0 j =1或偏置w0 j = 1) i0
1.2激活（传递）ຫໍສະໝຸດ Baidu数的取法
在Matlab工具箱里包括了许多激活（传递）函数。在
“Transfer Function Graphs”中可以找到它们的完全
人工神经网络建模
数学与信息科学系
1、神经网络简介
人工神经网络是在现代神经科学的基础上发展起来的， 旨在模拟人脑结构以及功能的一种抽象的数学模型,其中 Hopfield神经网络、ART神经网络、BP神经网络是常用的 网络。 •Hopfield神经网络是由相同的神经元构成的单元，是一 类不具有学习能力的单层自联想网络，她的网络模型由 一组可使某一个能量函数最小的微分方程组成。 •ART神经网络主要用于模式识别，她的不足之处在于对 转换、失真和规模变化较敏感 •BP神经网络是误差反向传播的多层前向网络,其信息处 理机制由神经元激活特性和网络拓扑结构决定,神经元的 传递函数是非线性函数,网络结构由输入层、隐含层、输 出层组成,同层节点间无关联 ,异层节点前向连接。
A = sim(net,P); 网络输出结果将是：
A = {[ 1 4] [4 11] [7 8] [10 5]} • 可以看到，每个矩阵的第一列是由第一组输入序列产生的输出序
列，每个矩阵的第二列是由第二组输入序列产生的输出序列。这 两组序列之间没有关联，好象他们是同时应用在单个的并行网络 上的。
前面的讨论中，不论是作为一个同步向量矩阵输 入还是作为一个异步向量细胞数组输入，模拟的 输出值是一样的。 在训练网络时，这是不对的。当我们使用adapt函 数时，如果输入是异步向量细胞数组，那么权重 将在每一组输入提交的时候更新（就是增加方 式）；如果输入是同步向量矩阵，那么权重将只 在所有输入提交的时候更新（就是批处理方式）。
n{1}=net.IW{1,1}*p+net.b{1}
多层神经元网络
上面所示的网络有R1个输入，第一层有S1个神经元，第二层 有S2个神经元…
中间层的输出就是下一层的输入。第二层可看作有S1个输入， S2个神经元和S1xS2 阶权重矩阵W2 的单层网络。第二层的输 入是a1，输出是a2，现在我们已经确定了第二层的所有向量 和矩阵，我们就能把它看成一个单层网络了。其他层也可以
1.1、人工神经元模型
人工神经网络的基本单元的神经元模型
人工神经元的三个要素
1、一组连接（突触），连接强度由各连接上的权值wij表示，权值为正表 示激活，负表示抑制
m
2、一个求和单元 ，用于求取各输入信号之间的加权和 wij xi i 1
3、一个非线性激活函数f，起到非线性映射的作用并将神经元的输出限制 在一定范围内
• 反馈型网络：所有结点都是计算单元 NN的工作过程主要分为两个阶段： 第一阶段：学习期，此时个计算单元状态不变，各
连线上的权值可通过学习来修改 第二阶段：工作期，此时各连接权值固定，计算各
单元状态变化
网络结构：前馈型神经网络
两个或更多的上面所示的神经元可以组合成一层，一个典 型的网络可包括一层或者多层。我们首先来研究神经元层。 单层神经元网络 有R输入元素和S个神经元组成的单层网络如下图所示