ANN神经网络.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
早期符号智能对人工智能的发展起到了重要的推动作用， 但随着科技的发展，复杂性问题的大量涌现，这些方法在 处理非线性、不确定等复杂性问题时显得无能为力。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
生物神经元简图
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
ANN的基本结构
输入层
隐层
前向神经网络模型
输出层
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优 化计算
通过学习得到的。大多数人工神经网络都采用这种 方法
学习规则是人工神经网络研究中的核心问题
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
人工神经元模型
激励函数
求和
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输
出
常见的激励函数
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的 特征和简单、通用、鲁棒性强、适于并行处理的优点。 在并行搜索、联想记忆、模式识别、知识自动获取等 方面得到了广泛的应用。
突触延时和不应期
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
Hebb学习规则 误差校正（纠错）学习规则 无监督学习规则
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间的 突触连接加强
a为学习速率，Vi, Vj为神经元i和j的输出
Hebb学习规则是人工神经网络学习Hale Waihona Puke Baidu基本规则， 几乎所有神经网络的学习规则都可以看作Hebb学 习规则的变形
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
智能算法 及其在数学建模中的应用
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI）
计算智能（CI）
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
生物神经元简图
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
ANN的基本结构
输入层
隐层
前向神经网络模型
输出层
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优 化计算
通过学习得到的。大多数人工神经网络都采用这种 方法
学习规则是人工神经网络研究中的核心问题
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
人工神经元模型
激励函数
求和
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输
出
常见的激励函数
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的 特征和简单、通用、鲁棒性强、适于并行处理的优点。 在并行搜索、联想记忆、模式识别、知识自动获取等 方面得到了广泛的应用。
突触延时和不应期
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
Hebb学习规则 误差校正（纠错）学习规则 无监督学习规则
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间的 突触连接加强
a为学习速率，Vi, Vj为神经元i和j的输出
Hebb学习规则是人工神经网络学习Hale Waihona Puke Baidu基本规则， 几乎所有神经网络的学习规则都可以看作Hebb学 习规则的变形
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
智能算法 及其在数学建模中的应用
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI）
计算智能（CI）
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。