第4讲神经网络融合

人工神经网络技术基础 神经网络的应用步骤：
神经网络的设计，包括确定网络结构、作用 函数和学习算法； 神经网络初始化； 利用实验方法获得神经网络的训练数据和测 试数据； 利用实验数据对网络进行训练和测试；
利用训练后的网络处理相关的输入信息。
典型的神经网络类型介绍 感知器神经网络特点：
否
达到最大 迭代次数 是 结 束
否
典型的神经网络类型介绍 在Matlab中仿真神经网络。
对象命令方式：
• 生成网络：net=newff( PR，[S1 S2 … Sn]，{TF1 TF2 … TFn}，BTF)；
如：net=newff( [0,10;-1,2]，[5 1]，
{‘tansig’, ’purelin’}，’trainlm’)； • 网络训练：[net, tr] = train (net, P,T) • 网络仿真：Output = sim (net, p)
典型的神经网络类型介绍 感知器神经网络的局限性：
网络结构很简单，用于解决线性问题； 作用函数为阶跃函数，主要用于解决分类问 题；
典型的神经网络类型介绍 线性神经网络特点：
网络结构上可以为单层或多层的前向网络结 构； 作用函数为线性函数，因此输出为连续变化 的任意值； 利用基于最速梯度和最小二乘原理的学习算 法，具有较好的学习性能；
典型的神经网络类型介绍 在Matlab中仿真神经网络。
基于GUI（Graphical User Interfaces）方式： 利用nntool命令进入。
典型的神经网络类型介绍
典型的神经网络类型介绍
创建新网络
典型的神经网络类型介绍
创建新网络
典型的神经网络类型介绍
网络初始化


其中：ympk(n)为在第p组样本输入时网络经n次权值调 整后第k层第m个神经元的输出。
典型的神经网络类型介绍 BP神经网络的反向误差传播算法：
网络学习的目标即通过对个神经元权值和阈值的调整使 网络目标函数达到最优。对表示误差大小的目标函数可 以应用梯度下降法对网络进行调整使目标函数达到最小。
典型的神经网络类型介绍
建立数据
典型的神经网络类型介绍
建立数据
典型的神经网络类型介绍
训练网络
典型的神经网络类型介绍
训练网络
典型的神经网络类型介绍
训练网络
典型的神经网络类型介绍
网络仿真
典型的神经网络类型介绍 在Matlab中仿真神经网络。
基于Simulink方式：neural命令
k
按梯度下降法应沿该方向调整ak，用表示调整后的变量，即：
ˆk ak 1 ak s
J ak ak J ak
其中η 为调整步长。
典型的神经网络类型介绍
也可写为：
ak 1 ak k J ak
J ak ak 1 ak k ak
典型的神经网络类型介绍
误差反向传播（BP）神经网络的网络结构：
典型的神经网络类型介绍 BP神经网络的作用函数：
常采用可微的单调递增函数 输出层可采用线性函数
典型的神经网络类型介绍 BP神经网络的学习算法：
网络学习中的正向传播和反向传播 正向计算用于网络输出计算。
k k 1 k y f net f Wij n y jp bi n j
信息融合技术
基于神经网络的数据融合方法及应用
本节内容
1
人工神经网络技术基础
2
3
典型的神经网络类型介绍
基于神经网络的传感器检测数据融合
人工神经网络技术基础
什么是神经网络技术？
神经网络是由数个至数十亿个被称为神经元的细胞 （组成我们大脑的微小细胞）所组成，它们以不同方
式连接而型成网络。
人工神经网络就是尝试模拟这种生物学上的体系结构 及其操作用于信息处理技术。 人工神经网络是利用多个简单计算模型有机构成一个 计算网络用以实现一个复杂的规则。
经网络完成该系统的数据处理。
基于神经网络的传感器检测数据融合
理论值 环境温度 测量值 理论值 环境温度 测量值 理论值
869.189 837.808 756.575 770.997
750 20
765.326 762.908 762.734 778.058 768.418
45
767.072 753.322 754.777
人工神经网络技术基础
人工神经网络技术基础
人工神经网络技术基础
人工神经网络技术基础 决定神经网络性能的几个因素：
神经网络的网络结构：包括神经网络的层数、 每层神经元数量； 每层神经元的作用函数； 神经网络训练的目标函数和学习算法； 神经网络权值和阈值的初始值； 神经网络的训练数据。
基于神经网络的传感器检测数据融合
网络结构设计： 隐含层数设计：
隐含层的层数应大于1层，可由下式试算：

J K 1 I 1 N ceil 2
其中，N为隐层层数；J为输出层神经元个数；I为输入 层神经元个数；K为标准样本个数。本例取1层隐层。 隐含层神经元个数设计： 隐含层节点个数设计相对于隐含层数的设计比较复杂， 一般有基于最小二乘设计法、基于黄金分割设计法等。 本例取：M=2n+1，其中n为输入层神经元的个数。
850 20
846.641 850.121 871.750 886.931 896.766
45
855.983 844.269 878.671
950
环境温度
测量值
975.678 936.677
20
953.530 936.952 972.731 969.696 966.840
45
967.399 991.950 960.165
人工神经网络技术基础
阶跃函数
1 x 0 f x 0 x 0
对称型阶跃函数
f x
1
x 0 - 1 x 0
人工神经网络技术基础
阶跃函数
f x
1 1 ex
对称型阶跃函数
1 e x f x 1 ex
一般用于解决较为简单的线性逼近问题。
典型的神经网络类型介绍
典型的神经网络类型介绍
典型的神经网络类型介绍
线性神经网络的学习算法：
权值调整： 权值增量： 阈值调整： 阈值增量：
W i 1 W i W i
T W i e i p i bi 1 bi bi bi ei
k ip k

k ip

k
1 4
U
3 6
2
5
典型的神经网络类型介绍 BP神经网络的反向误差传播算法：
确定网络学习的目标函数：目标函数是网络学习和调整 的准则，一般为反映误差大小等网络性能的函数。 如取误差的L2范数作为目标函数，以Ep表示第p组样本
训练第n步时的目标函数。
2 2 1 1 1 k k 2 n E p n Tp y p n d mp ymp n emp 2 2 2 m 2 m
E p n ik n
典型的神经网络类型介绍
网络初始化 输入训练样本
输 入 下 一 个 样 本
计算隐层和输出层输出
计算输出层误差
调整权值、阈值
误差满足 是 否 完成所有 训练样本 是 计算总体误差
否
总体误差满足 是 结 束
否
达到最大 迭代次数 是 结 束
否
典型的神经网络类型介绍 网络初始化
梯度下降法：设▽J(ak)是J(a)在ak点的梯度，则▽J(ak) 的负方向为函数J(a)减小最快的方向，沿该方向调整ak 寻找J(a)最小值的方法称为梯度下降法。
典型的神经网络类型介绍
用sk表示在ak点目标函数的负梯度方向，即：
s k J ak
Sk的单位向量为：
J ak ˆ s J ak
注：为说明问题上述数据扩大了温度对结果的影响。
基于神经网络的传感器检测数据融合
网络结构设计： 由于输入向量有2个元素、输出向量有1个元素，所以网
络输入层的神经元有2个，输出层神经元数目为1。
神经网络是误差后身传播神经网络，其隐含层结构的层数 与各层的节点数直接影响网络性能的优劣。若隐层数较多， 网络所表达的映射就越复杂，不仅增大计算量，而且易导 致数据失真；若各隐含层的节点数较多，会使其学习时间 过长，误差也不一定最小，若节点数较少，会导致网络容 错性较差，局部极小就多。 因此，隐含层是网络结构设 计的重要问题。
权值调整： 权值增量： 阈值调整：
W i 1 W i W T T W t a p ep
bi 1 bi b 阈值增量： b t a 1 e 在Matlab中训练网络：
[net,y,e]=adapt(net,p,t) 在Matlab中仿真网络： A=sim(net,p)
输入训练样本
输 入 下 一 个 样 本
计算隐层和输出层输出
计算输出层误差
调整权值、阈值
误差满足 是 否 完成所有 训练样本 是
否
计算输出层误差 调整权值、阈值 典型的神经网络类型介绍wk.baidu.com
入 下 一 个 样 本
计算隐层和输出层输出
误差满足 是 否 完成所有 训练样本 是 计算总体误差
否
总体误差满足 是 结 束
基于神经网络的传感器检测数据融合
网络结构设计： 学习算法设计：traingdm是带动量的梯度下降法、
trainlm是指L-M优化算法、trainscg是指量化共轭梯
度法等，本例选择trainlm学习算法。 输入/输出向量设计： 根据已知条件，可将目标距离的理论值作为对测量温度 和测量值的一个映射（二元函数）。由此，可以确定网 络的输入为2维向量，且该网络为单输出神经网络。
基于神经网络的传感器检测数据融合 举例：
由于红外光在介质中的传播速度受到温度等环境因素影响， 为获得较准确的测量结果需要对红外测距系统的测量数据 进行处理。为确定某一红外测距传感器系统的数据处理算
法，利用该测距系统进行如下实验：在不同温度下将目标
放置不同的距离分别进行测距，每一温度下对同一目标连 续测量5次，测量的实验数据见附表所示。请利用BP神
将梯度定义代入得:
按照上述方法，可得神经网络中权值和阈值的调整公式：
W n 1 W n W n W n k
k ij k ij k ij k ij
Wijk n
E p n
n 1 n n n k
k i k i k i k i
基于神经网络的传感器检测数据融合
网络结构设计： 作用函数设计：
隐层作用函数取正切S型传递函数tansig函数，即：
1 e 2 x f x , 1 e 2 x x
输出层作用函数取对数S型传递函数logsig函数，即：
f x 1 , 1 e x x
网络结构上可以为单层或多层的前向网络结 构； 作用函数为阶跃函数，因此输出为二值变量； 利用输入和误差简单计算权值和阈值调整量， 学习算法很简单； 一般用于解决较为简单的线性分类问题。
典型的神经网络类型介绍
典型的神经网络类型介绍
典型的神经网络类型介绍
感知器神经网络的学习算法：
人工神经网络技术基础 神经网络技术的主要用途？
利用一定数据在一定误差下逼近一个解析式 未知的函数。 利用人工神经网络实现空间的线性或非线性 划分，以此实现目标分类。
神经网络的实现是基于数据的，最终的规 则对用户是透明的。
人工神经网络技术基础
人工神经网络技术基础
由上图可得：
N Y F X kWk b k 1
在Matlab中训练网络： [net,tr]=train(net,p,t) 在Matlab中仿真网络： A=sim(net,p)
典型的神经网络类型介绍 线性神经网络的局限性：
采用线性作用函数，只能反映线性映射关系； 训练不一定能达到零误差； 网络的训练和性能受学习速率的影响。