ANN神经网络资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
BP网络的激活函数必须是处处可微的，因此它不能 采用二值型的阀值函数{0，1}或符号函数{－1，1}
BP网络经常使用的是S型的对数或正切激活函数和线 性函数
BP网络特点
输入和输出是并行的模拟量
网络的输入输出关系是各层连接的权因子决定，没有固定 的算法
权因子通过学习信号调节。学习越多，网络越聪明
网络训练
训练BP网络，需要计算网络加权输入矢量以及网络 输出和误差矢量，然后求误差平方和
当所训练矢量的误差平方和小于误差目标，训练停 止；否则在输出层计算误差变化，且采用反向传播 学习规则来调整权值，然后重复此过程
网络完成训练后，对网络输入一个不是训练集合中 的矢量，网络将以泛化方式给出输出结果
出
百度文库 常见的激励函数
ANN的基本结构
输入层
隐层
前向神经网络模型
输出层
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优化 计算
通过学习得到的。大多数人工神经网络都采用这种 方法
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
早期符号智能对人工智能的发展起到了重要的推动作用， 但随着科技的发展，复杂性问题的大量涌现，这些方法在 处理非线性、不确定等复杂性问题时显得无能为力。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
用网络的实际输出A1,A2,…,Aq, 与目标矢量 T1,T2,…,Tq之间的误差修改其权值，使Am与期望的 Tm,(m＝l,…,q)尽可能接近
学习规则
BP算法是由两部分组成,信息的正向传递与误差的反 向传播
正向传播过程中，输入信息从输入层经隐含层逐层计算传 向输出层，每一层神经元的状态只影响下一层神经元的状 态
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
信息的正向传递
隐含层中第i个神经元的输出
输出层第k个神经元的输出
定义误差函数
利用梯度下降法求权值变化及误差的反向传播
输出层的权值变化
其中 同理可得
利用梯度下降法求权值变化及误差的反向传播
隐含层权值变化
其中
同理可得
对于f1为对数S型激活函数， 对于f2为线性激活函数
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
计算权值修正后误差平方和
SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))
学习规则是人工神经网络研究中的核心问题
Hebb学习规则 误差校正（纠错）学习规则 无监督学习规则
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于1949 年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间 的突触连接加强
a为学习速率，Vi, Vj为神经元i和j的输出
2.1.4 BP网络
反向传播网络(Back-Propagation Network，简 称BP网络)是对非线性可微分函数进行权值训练 的多层网络
权值的调整采用反向传播(Back-propagation） 的学习算法
它是一种多层前向反馈神经网络，其神经元的 变换函数是S型函数
输出量为0到1之间的连续量，它可实现从输入 到输出的任意的非线性映射
隐含层越多，网络输出精度越高，且个别权因子的损坏不 会对网络输出产生大的影响
只有当希望对网络的输出进行限制，如限制在0和1之间， 那么在输出层应当包含S型激活函数
在一般情况下，均是在隐含层采用S型激活函数，而输出层 采用线性激活函数
S型函数具有非线性放大系数功能，可以把输入从负无穷大到正 无穷大的信号，变换成-1到l之间输出
泛化性能只对被训练的输入／输出对最大值范围内的数据 有效，即网络具有内插值特性，不具有外插值性。超出最 大训练值的输入必将产生大的输出误差
一个具有r个输入和一个隐含层的神经网络模型结构
网络模型
感知器和自适应线性元件的主要差别在激活函数上： 前者是二值型的，后者是线性的
BP网络具有一层或多层隐含层，除了在多层网络上 与前面已介绍过的模型有不同外，其主要差别也表 现在激活函数上。
Hebb学习规则是人工神经网络学习的基本规则， 几乎所有神经网络的学习规则都可以看作Hebb学 习规则的变形
误差校正规则
用已知样本作为教师信号对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法
不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感
智能算法 及其在数学建模中的应用
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI）
计算智能（CI）
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。
变量表达：计算网络各层输出矢量A1和A2以及网络 误差E
A1＝tansig(W1*P，B1)； A2＝purelin(W2*A1，B2)； E＝T-A；
权值修正：计算各层反传的误差变化D2和D1并计算 各层权值的修正值以及新权值：
D2＝deltalin(A2，E)； D1＝deltatan(A1，D2，W2)； [dlWl，dBl]＝learnbp(P，D1，lr)； [dW2，dB2]＝1earnbp(A1，D2，1r)； W1＝W1十dW1；B1＝B1十dBl； W2＝W2十dW2；B2＝B2十dB2
对较大的输入信号，放大系数较小；而对较小的输入信号，放大 系数则较大
采用S型激活函数可以处理和逼近非线性输入/输出关系
学习规则
BP算法是一种监督式的学习算法
主要思想
对于q个输入学习样本：P1,P2,…,Pq，已知与其对应 的输出样本为：T1,T2,…,Tq
使网络输出层的误差平方和达到最小
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
生物神经元简图
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的 特征和简单、通用、鲁棒性强、适于并行处理的优点。 在并行搜索、联想记忆、模式识别、知识自动获取等 方面得到了广泛的应用。
如果在输出层未得到期望的输出，则计算输出层的误差变 化值，然后转向反向传播，通过网络将误差信号沿原来的 连接通路反传回来修改各层神经元的权值直至达到期望目 标
假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活 函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出 为A，目标矢量为T
无监督的学习规则
ij (vi ij )
这类学习不在于寻找一个特殊映射的表示，而 是将事件空间分类为输入活动区域，并有选择 地对这些区域响应，从而调整参数一反映观察 事件的分部
输入可以是连续值，对噪声有较强地抗干扰能 力
对较少输入样本，结果可能要依赖于输入序列
2.1.3 人工神经网络在数学建模中的应用领域 回归与预测 模式识别（分类） 联想记忆与学习
为了能够较好地掌握BP网络的训练过程，我们用两 层网络为例来叙述BP网络的训练步骤
初始化：用小的随机数初始化每一层的权值W和偏差 B，保证网络不被大的加权输入饱和
期望误差最小值error_goal 最大循环次数max_epoch 修正权值的学习速率1r，一般情况下k＝0.0l,0.7
BP网络主要用于下述方面
函数逼近：用输入矢量和相应的输出矢量训练一个 网络逼近一个函数
模式识别和分类：用一个特定的输出矢量将它与输 入矢量联系起来；把输入矢量以所定义的合适方式 进行分类；
数据压缩：减少输出矢量维数以便于传输或存储
具有将强泛化性能：使网络平滑地学习函数，使网络能够 合理地响应被训练以外的输入
突触延时和不应期
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
人工神经元模型
激励函数
求和
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输
BP网络经常使用的是S型的对数或正切激活函数和线 性函数
BP网络特点
输入和输出是并行的模拟量
网络的输入输出关系是各层连接的权因子决定，没有固定 的算法
权因子通过学习信号调节。学习越多，网络越聪明
网络训练
训练BP网络，需要计算网络加权输入矢量以及网络 输出和误差矢量，然后求误差平方和
当所训练矢量的误差平方和小于误差目标，训练停 止；否则在输出层计算误差变化，且采用反向传播 学习规则来调整权值，然后重复此过程
网络完成训练后，对网络输入一个不是训练集合中 的矢量，网络将以泛化方式给出输出结果
出
百度文库 常见的激励函数
ANN的基本结构
输入层
隐层
前向神经网络模型
输出层
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优化 计算
通过学习得到的。大多数人工神经网络都采用这种 方法
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
早期符号智能对人工智能的发展起到了重要的推动作用， 但随着科技的发展，复杂性问题的大量涌现，这些方法在 处理非线性、不确定等复杂性问题时显得无能为力。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
用网络的实际输出A1,A2,…,Aq, 与目标矢量 T1,T2,…,Tq之间的误差修改其权值，使Am与期望的 Tm,(m＝l,…,q)尽可能接近
学习规则
BP算法是由两部分组成,信息的正向传递与误差的反 向传播
正向传播过程中，输入信息从输入层经隐含层逐层计算传 向输出层，每一层神经元的状态只影响下一层神经元的状 态
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
信息的正向传递
隐含层中第i个神经元的输出
输出层第k个神经元的输出
定义误差函数
利用梯度下降法求权值变化及误差的反向传播
输出层的权值变化
其中 同理可得
利用梯度下降法求权值变化及误差的反向传播
隐含层权值变化
其中
同理可得
对于f1为对数S型激活函数， 对于f2为线性激活函数
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
计算权值修正后误差平方和
SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2))
学习规则是人工神经网络研究中的核心问题
Hebb学习规则 误差校正（纠错）学习规则 无监督学习规则
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于1949 年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间 的突触连接加强
a为学习速率，Vi, Vj为神经元i和j的输出
2.1.4 BP网络
反向传播网络(Back-Propagation Network，简 称BP网络)是对非线性可微分函数进行权值训练 的多层网络
权值的调整采用反向传播(Back-propagation） 的学习算法
它是一种多层前向反馈神经网络，其神经元的 变换函数是S型函数
输出量为0到1之间的连续量，它可实现从输入 到输出的任意的非线性映射
隐含层越多，网络输出精度越高，且个别权因子的损坏不 会对网络输出产生大的影响
只有当希望对网络的输出进行限制，如限制在0和1之间， 那么在输出层应当包含S型激活函数
在一般情况下，均是在隐含层采用S型激活函数，而输出层 采用线性激活函数
S型函数具有非线性放大系数功能，可以把输入从负无穷大到正 无穷大的信号，变换成-1到l之间输出
泛化性能只对被训练的输入／输出对最大值范围内的数据 有效，即网络具有内插值特性，不具有外插值性。超出最 大训练值的输入必将产生大的输出误差
一个具有r个输入和一个隐含层的神经网络模型结构
网络模型
感知器和自适应线性元件的主要差别在激活函数上： 前者是二值型的，后者是线性的
BP网络具有一层或多层隐含层，除了在多层网络上 与前面已介绍过的模型有不同外，其主要差别也表 现在激活函数上。
Hebb学习规则是人工神经网络学习的基本规则， 几乎所有神经网络的学习规则都可以看作Hebb学 习规则的变形
误差校正规则
用已知样本作为教师信号对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法
不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感
智能算法 及其在数学建模中的应用
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI）
计算智能（CI）
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。
变量表达：计算网络各层输出矢量A1和A2以及网络 误差E
A1＝tansig(W1*P，B1)； A2＝purelin(W2*A1，B2)； E＝T-A；
权值修正：计算各层反传的误差变化D2和D1并计算 各层权值的修正值以及新权值：
D2＝deltalin(A2，E)； D1＝deltatan(A1，D2，W2)； [dlWl，dBl]＝learnbp(P，D1，lr)； [dW2，dB2]＝1earnbp(A1，D2，1r)； W1＝W1十dW1；B1＝B1十dBl； W2＝W2十dW2；B2＝B2十dB2
对较大的输入信号，放大系数较小；而对较小的输入信号，放大 系数则较大
采用S型激活函数可以处理和逼近非线性输入/输出关系
学习规则
BP算法是一种监督式的学习算法
主要思想
对于q个输入学习样本：P1,P2,…,Pq，已知与其对应 的输出样本为：T1,T2,…,Tq
使网络输出层的误差平方和达到最小
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
生物神经元简图
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的 特征和简单、通用、鲁棒性强、适于并行处理的优点。 在并行搜索、联想记忆、模式识别、知识自动获取等 方面得到了广泛的应用。
如果在输出层未得到期望的输出，则计算输出层的误差变 化值，然后转向反向传播，通过网络将误差信号沿原来的 连接通路反传回来修改各层神经元的权值直至达到期望目 标
假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活 函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出 为A，目标矢量为T
无监督的学习规则
ij (vi ij )
这类学习不在于寻找一个特殊映射的表示，而 是将事件空间分类为输入活动区域，并有选择 地对这些区域响应，从而调整参数一反映观察 事件的分部
输入可以是连续值，对噪声有较强地抗干扰能 力
对较少输入样本，结果可能要依赖于输入序列
2.1.3 人工神经网络在数学建模中的应用领域 回归与预测 模式识别（分类） 联想记忆与学习
为了能够较好地掌握BP网络的训练过程，我们用两 层网络为例来叙述BP网络的训练步骤
初始化：用小的随机数初始化每一层的权值W和偏差 B，保证网络不被大的加权输入饱和
期望误差最小值error_goal 最大循环次数max_epoch 修正权值的学习速率1r，一般情况下k＝0.0l,0.7
BP网络主要用于下述方面
函数逼近：用输入矢量和相应的输出矢量训练一个 网络逼近一个函数
模式识别和分类：用一个特定的输出矢量将它与输 入矢量联系起来；把输入矢量以所定义的合适方式 进行分类；
数据压缩：减少输出矢量维数以便于传输或存储
具有将强泛化性能：使网络平滑地学习函数，使网络能够 合理地响应被训练以外的输入
突触延时和不应期
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
人工神经元模型
激励函数
求和
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输