2-2MATLAB神经网络工具箱中的神经网络模型

p1=p(1),
p p{1}(2)
1 2
p
2 2, 2
p{2}(2,2)
例:
iw
1,1 2, 3
=
iw{1,1}(2,3)
p
p
1,( k 1)
p{1, k 1}
2,( k 1) 2
p{2, k 1}(2)
神经网络工具箱常用函数列表
重要的感知器神经网络函数：

1 2 访问元素:m{1}=n{}= b 4 5 6
n{2,1}(4)=5
变量符号在MATLAB中的表示
(1)上标变量以细胞矩阵(Cell array)即大括 号表示p1={1} (2)下标变量以圆括号表示, ,
Matlab 有30个工具箱包，包括 控制系统工具箱（Control System Toolbox） 信号处理工具箱（Signal Processing toolbox） 系统辨识工具箱（System Identification toolbox） 鲁棒控制工具箱（Robust Control toolbox） μ 分析于综合工具箱（μ -analysis and synthesis toolbox） 定量反馈理论工具箱（QFT toolbox） 神经网络工具箱（Neural Network toolbox） 最优化工具箱（Optimisation toolbox） 数据库工具箱（Database toolbox） 网络工具箱（Matlab WebServer）等。
b 4 5 6
1 2 c 3 4 1 2 3 5 6
] [2 2double m a, b ] [2 3double
] [] a [] [2 2double n ][3 2double ] b c [2 3double
人工神经元的一般模型

由此构成人工神经元的一般模型，如下图所示。
上式可写成矩阵向量形式：a=f(Wp+b)
由S个神经元组成的单层网络
输入 S个神经元的层
p1 p2 p3
w1,1 b1 1 b2 1
n1
f
a1
输入 P R×1
S个神经元的层
W
S×R
n2
f
a2
1 R
+ Sn ×1 f
S
a S×1
b
S×1 a=f(Wp+b)
simuhop solvehop 设计Hopfield网络 设计线性网络 产生对称随机数 反向传播学习规则 Hebb学习规则 感知层学习规则 Widrow－Hoff学习规则 线性层初始化 感知层初始化 自组织映射初始化 绘制自组织映射图 利用反向传播训练前向网络 利用感知规则训练感知层 利用Widrow－Hoff规则训练线性层 利用Kohonen规则训练自组织映射
| t
k 1
k
ak |
n
(3)误差平方和sse(sum squared error)
n
sse (tk ak )
k 1
2
MATLAB工具箱中的神经网络结构
1.人工神经元的一般模型
n
在 s
,则
i xi 中，令 b
i 1
R i 1
，
p i xi
a f ( wi pi b)
多层网络简化形式
图中:
P p1 , p2,...pR
b [b , b ,...b ]
1 1 1 1 2 1 s1
1,1 1,1 1,1 iw1 iw ... iw ,1 1, 2 1, R 1,1 1,1 1,1 iw2,1 iw2, 2 iw2,R 1,1 IW 1,1 1,1 1,1 iws1 ,R iws1 ,1 iws1 , 2

initff： 初始化不超过3层的前向网络； simuff：仿真不超过3层的前向网络； trainbp，trainbpx，trainlm：训练BP

trainbp：最慢； trainbpx：次之； trainlm：速度最快，但需要更多的存储空间。

learnbp：
学习规则
自组织网络
权值矩阵向量W(t)
标量元素 wi , j (t ) ,i为行,j为列,t为时间或迭代 函数 列向量 w j (t ) w (t ) 行向量 i

阈值向量b(t)

标量元素bi (t ) ,i为行,t为时间或迭代函数
网络层符号

加权和: n ,m为第m个网络层, s m 为第 个神经元,n为加权和 网络层输出: a 个神经元,a为输出
MATLAB神经网络工 具箱中的神经网络 模型
Matlab的首创者Cleve Moler博士在数值分析，特别是在是指 线性代数的领域中很有影响。
Matlab（Matrix Laboratory，即矩阵实验室）
Matlab于1984年推出了正式版本。后来Moler组建了一个名为 MathWorks的软件开发公司（） 专门扩展并改进Matlab。 1998年推出5.3版。 2000年11月推出6.0。 2011年9月推出7.13 ，MATLAB7.2以后，编号以年份命名， 上半年推出的用a表示，下半年推出的用b表示。
n IW P b
1 1
,
1
a1为第一层神经元的输出向量,大小为
S 1
1
a f ( IW P b )
1 1 1 1

神经网络的层数为神经元网络层的数目加1, 即隐层数目加1.
多层神经网络结构
a 2 f 2 ( LW 2 a1 b 2 ) f 2 [ LW 2 f 1 ( IW 1 p b1 ) b 2 ]
表示 …… lws22,1 1 ,s
b 表示…
i si
第i个网络层的第
s
i
个神经元的阈值
例:
输入
S个神经元的层
p1 p2 p3
w1,1 b1 1 b2 1
n1
f
a1
n2
f
a2
pR
ns
wS,R
f
as
bs 1
输入
S个神经元的层
n1为第一层神经元的中间运算结果,即连接权向量 与阈值向量的加权和,大小为 S 1 1 ,即
初始化： initp 训练： trainp 仿真： simup 学习规则： learnp
线性神经网络函数



初始化： 设计： 仿真： 离线训练： 在线自适应训练： 学习规则：
initlin solvelin simulin trainwh adaptwh learnwh
BP网络函数：
神经网络例子
创建线性神经网络层
net = newlin([1 3;1 3],1); net.IW{1,1} = [1 2]; net.b{1} = 0; 设有数据集由4个向量组成 p1=[1 2]’ p2= [2 1]’ p3=[2 3]’ p4=[3 1]’ P=[1 2 2 3;2 1 3 1] A = sim(net,P) A= 5485
神经网络工具箱简介


MATLAB 7对应的神经网络工具箱的版本为 Version 4.0.3,它以神经网络理论为基础,利用 MATLAB脚本语言构造出典型神经网络的激活函 数,如线性、竞争性和饱和线性等激活函数，使设 计者对所选定网络输出的计算变成对激活函数的 调用。 还可根据各种典型的修正网络权值规则，加上网 络的训练过程，利用MATLAB编写出各种网络设 计和训练的子程序，用户根据自己的需要去调用。

确定网络模型

网络参数的选择 训练模型的确定

网络测试

误差信号的不同定义:
(1)均方误差mse(mean squared error)
m se E[e]
(t
k 1
n
k
ak ) n
2
(2)平均绝对误差mae (mean absolute error)
n
m ae
m , m为第m个网络层, m s
m sm

s 为第 s
m
m

输入层权值矩阵 IW k ,l ,网络层权值矩阵 LW k ,l ,其 中,上标k,l表示第l个网络层到第k个网络层的连 接权值矩阵向量
例: iw 表示输入向量的第R个输入 1 元素到输入层的第 s 个神经元的连 接权.

1,1 s1 , R
pR
ns
wS,R
f
as
简化表示
bs 1
输入
S个神经元的层
MATLAB工具箱中的神经网络结构
多层网络的简化表示:
MATLAB神经网络工具箱中的神经 网络模型
基本概念: 标量:小写字母,如a,b,c等; 列向量:小写黑体字母,如a,b,c等,意为一列 数; 矩阵向量:大写黑体字母,如A,B,C等
说明:

输入层神经元的个数决定IW的行数,输入向 量元素的个数决定IW的列数,即S1行R列.
4.公式和图形中的变量符号在编程 代码中的表示方法

,
,
细胞矩阵:将多个矩阵 向量作为细胞矩阵的” 细胞”(Cell),细胞矩阵 的各个元素值为对应 细胞的大小和数值类 型
1 2 a 3 4



初始化：initsm 仿真： simuc 训练： trainc：利用竞争规则训练 trainsm：利用Kohonen规则训练
反馈网络（Hopfield网络）







仿真： 设计： solvehop solvelin rands learnbp learnh learnp learnwh initlin initp initsm plotsm trainbp trainp trainwh trainsm
神经网络工具箱的主要应用
函数逼近和模型拟合 信息处理和预测 神经网络控制 故障诊断

应用神经网络工具箱求解问题的一般过程

确定信息表达方式



数据样本已知 数据样本之间相互关系不确定 输入/输出模式为连续的或者离散的 输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变 化形式 数据样本的预处理 将数据样本分为训练样本和测试样本 选择模型的类型和结构，也可对原网络进行变形和扩充 确定输入输出神经元数目 选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误 差 选择合适的测试样本