人工神经网络概述

2.1 感知器
单层感知器的学习法：
2.1 感知器
多层感知器：
在输入层和输出层之间加入一层或多层隐单元，构成 多层感知器。提高感知器的分类能力。
两层感知器可以解决“异或”问题的分类及识别任一凸 多边形或无界的凸区域。
更多层感知器网络，可识别更为复杂的图形。
2.2 BP网络
多层前馈网络的反向传播 （BP）学习算法，简称BP 算法，是有导师的学习，它 是梯度下降法在多层前馈网 中的应用。
基本感知器
是一个具有单层计算神经元的两层网络。 只能对线性可分输入矢量进行分类。
n个输入向量x1,x2, …, xn 均为实数，w1i，w2i,…,wni 分别是n个输入 的连接权值，b是感知器的阈值，传递函数f一般是阶跃函数，y 是感 知器的输出。通过对网络权值的训练，可以使感知器对一组输入矢量 的响应成为0或1的目标输出，从而达到对输入矢量分类识别的目的。
网络结构 见图，u、y是网络的输
入、输出向量，神经元用节 点表示，网络由输入层、隐 层和输出层节点组成，隐层 可一层，也可多层（图中是 单隐层），前层至后层节点 通过权联接。由于用BP学习 算法，所以常称BP神经网络 。
2.2 BP网络
已知网络的输入/输出样本，即导师信号 。
BP学习算法由正向传播和反向传播组成 ：
net.trainparam.goal=0.00001;
网络可能根本不能训
% 进行网络训练和仿真：
练或网络性能很差；
[net,tr]=train(net,X,Y);
若隐层节点数太多，
% 进行仿真预测
虽然可使网络的系统
XX1=[0.556 0.556 0.556 0.556 0.556 0.556 0.556] 误差减小，但一方面
这样每一步都能保证
从而使J最终可收敛到最小。这就是梯度下降算法，也是BP学习算法的 基本思想。
2.2 BP网络
BP学习算法步骤:
① 设置初始权系数w0为较小的随机非零值； ② 给定输入/输出样本对，计算网络输出, 完成前向
传播
③ 计算目标函数J。如J<ε, 训练成功，退出；否则 转入④
④ 反向传播计算 由输出层，按梯度下降法将误差 反向传播，逐层调整权值。
1.3 生物神经网络
• 生物神经元结构 细胞体：处理 树突： 输入 轴突： 输出 突触： 接口
1.3 生物神经网络
生物神经元状态
Hale Waihona Puke 静息极化兴奋
去极化
抑制
超极化
兴奋与抑制：
当传入神经元的冲动，经整和 ，使细胞膜电位升高，超过动作电 位的阈值时，为兴奋状态，产生神 经冲动，由轴突经神经末稍传出。
当传入神经元的冲动，经整和 ，使细胞膜电位降低，低于阈值时 ，为抑制状态，不产生神经冲
•输入
•神经网络1
•神经网络 2
•环
•输出
境
1.6 常用的神经网络
• 常用的前向神经网络 感知器 BP网络（误差向后传播神经网络） 径向基函数网络（RBF神经网络）
• 常用的反馈神经网络 Hopfield网络 Boltzmann机网络 Kohonen网络（自组织特征映射模型）
2 感知器与BP网络 2.1 感知器
其特有的结构和学习规则，进行联接权系数的调整，此 时，网络的学习评价标准隐含于其内部
•输入
•神经网络
•实际输出
1.5 人工神经网络的学习
（3）再励学习（强化学习）
把学习看为试探评价过程，学习机制选择一个输出 作用于环境，环境的状态改变，并产生再励信号反馈至 学习机，学习机依据再励信号与环境当前的状态，再选 择下一个输出作用于环境，选择的原则是使受到奖励的 可能性增大
• T.Koholen的定义：“人工神经网络是由具 有适应性的简单单元组成的广泛并行互连 的网络，它的组织能够模拟生物神经系统 对真实世界物体所作出的交互反应。
1.1 人工神经网络的定义
• 美国神经网络学者Nielsen的定义
– 人工神经网络是一个并行、分布处理结构，它 由处理单元及其称为联接的无向讯号通道互连 而成。
YY=sim(net,XX)
perf=sse(e)
•网络训练误差曲 线
{u1,t1}, {u2,t2},…{uQ,tQ} 即共Q个样本。或记为{uq,tq}, q=1,…Q
网络训练的目的，是使对每一个输入样本，调整网络参数 ，使输出均方误差最小化。
2.2 BP网络
BP学习算法基本思想：
考虑迭代算法，设初始权值为w0, k时刻权值为wk, 则使用泰勒级数展开， 有：
问题：如何选择 ，使J最小？ 最直接的方法就是选择
XX2=[-15 -15 -15 -15 -15 -15 -15]
使网络训练时间延长
XX3=[ 85 85 85 85 85 85 85]
，另一方面，训练容
XX4=[1.5167 1.23333 0.9500 0.6667 0.3833 0.1 1.8] XX=[XX1;XX2;XX3;XX4]
易陷入局部极小点而 得不到最优点
2.2 BP网络
• 优点
– 学习完全自主； – 可逼近任意非线性函数；
• 缺点
– 算法非全局收敛； – 收敛速度慢；
3 例子：BP神经网络优化化学反应 条件
• 问题描述：过碳酸钠是一种强氧化剂，其 水溶液可用作医疗杀菌剂、口腔消毒剂。 由于过碳酸钠对湿度和温度很敏感，容易 分解，其有效氧含量和稳定性还有待提高 。为改进过碳酸钠的工艺，筛选出新的复 合稳定剂，利用BP神经网络对其工艺参数 进行考察，并利用仿真结果进行预测，其 方法及步骤如下：
• 能力特征：自学习 自组织 自适应性
1.2 神经网络的基本特征和应用
在各个行业均有应用，擅长的有： 模式识别 人工智能 控制工程 优化分析和联想记忆 信号处理
1.3 生物神经网络
• 人类的大脑大约有 1.41011个神经细胞（ 神经元）。每个神经元 有数以千计的通道同其 它神经元广泛相互连接 ，形成复杂的生物神经 网络。
人工神经网络概述
内容
1、神经网络的基本概念 2、感知器与BP网络 3、例子：BP神经网络优化化学反应条件
1 神经网络的基本概念
•1.1人工神经网络的定义
• 以数学和物理方法以及信息处理的角度对 人脑神经网络进行抽象，并建立某种简化 模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。
1.5 人工神经网络的学习
（1）有导师学习（有监督学习） 在学习过程中，网络根据实际输出与
期望输出的比较，进行联接权系的调整 ，将期望输出称导师信号是评价学习的 标准。
•输入
•神经网络
•实际输出
•比较
•期望输出
1.5 人工神经网络的学习
（2）无导师学习（无监督学习） 无导师信号提供给网络，网络能根据
步骤1：确定影响过碳酸钠工艺条件的主要因素及考 察范围
• 步骤2：确定BP神经网络结构 采用3层BP网络模型，即输入层、输出层和隐含 层配。比4、个反输应入温向度量、X反1、应X时2、间X、3稳、定X4剂分加别入对量应四原个料 考数察收因率素 和， 活性2个氧输含出量向，量其Y拓1 、扑Y结2分构别如对图应。目标函
1.5 人工神经网络的学习
• 网络运行一般分为训练阶段和工作阶段。 训练的目的是为了从训练的数据中提取隐 含的知识和规律，并存储于网络中供工作 阶段使用。
• 神经网络能够通过对样本的学习训练，不 断改变网络的连接权值以及拓扑结构，以 使网络的输出不断地接近期望的输出。这 一过程称为神经网络的学习或训练，其本 质是可变权值的动态调整。
① 正向传播是输入信号从输入层经隐层 ，传向输出层，若输出层得到了期望 的输出，则学习算法结束；否则，转 至反向传播。
② 反向传播是将误差(样本输出与网络输 出之差）按原联接通路反向计算，由 梯度下降法调整各层节点的权值和阈 值，使误差减小。
•正向传播 •反向传播
2.2 BP网络
BP学习算法基本思想： 设算法的输入输出样本(导师信号)为
% 构建BP神经网络、定义网络训练次数、显示方式、误差要求
net=newcf(minmax(X),[10,2],{'tansig','purelin'},'trainlm');
net.trainparam.epochs=3000;
net.trainparam.show=100;
•若隐层节点数太少，
1.4 人工神经元模型
常用的转移函数（激发函数 ）
（1）阈值型转移函数 （硬限幅函数）
1.4 人工神经元模型
（2）非线性转移函数 单极性Sigmoid函数
双极性Sigmoid函数
1.4 人工神经元模型
（3）分段线性转移函数
1.5 人工神经网络模型
• 根据连接关系分类 层次型结构 互联型结构
• 根据信息流向分类 前馈型网络 反馈型网络
步骤3：用Matlab仿真
% 定义输入向量X和输出向量Y（训练样本） X1=[0.416 0.454 0.50 0.556 0.625 0.769 1.0] X2=[-10 0 10 -15 -5 5 15] X3=[40 85 25 70 10 55 100] X4=[1.5167 1.23333 0.9500 0.6667 0.3833 0.1 1.8] Y1=[81.4 93.6 95.0 98.0 78.1 87.3 96.3] Y2=[13.5 13.9 14.1 14.5 10.0 13.7 14.2] X=[X1;X2;X3 ;X4] Y=[Y1;Y2]
– 这些处理单元具有局部内存，可以完成局部操 作，即它必须仅仅依赖于经过输入联接到达处 理单元的所有输入信号的当前值和存储在处理 单元局部内存中的值。