ANN神经网络ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
突触延时和不应期
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
.
17
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
出
.
20
常见的激励函数
.
21
ANN的基本结构
输入层
隐层
前向神经网络模型
.
输出层
22
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
.
23
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优 化计算
通过学习得到的。大多数人工神经网络都采用这种 方法
智能算法 及其在数学建模中的应用
.
1
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
.
2
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI） .
计算智能（CI） 3
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。
早期符号智能对人工智能的发展起到了重要的推动作用， 但随着科技的发展，复杂性问题的大量涌现，这些方法在 处理非线性、不确定等复杂性问题时显得无能为力。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
.
6
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
.
7
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
.
18
人工神经元模型
激励函数
求和
.
19
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输
特征和简单、通用、鲁棒性强、适于并行处理的优点。
在并行搜索、联想记忆、模式识别、知识自动获取等
方面得到了广泛的应用。 .
8
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
.
14
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
.
13
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
学习规则是人工神经网络研究中的核心问题
Hebb学习规则 误差校正（纠错Hale Waihona Puke Baidu学习规则 无监督学习规则
.
24
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间的 突触连接加强
.
4
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
.
5
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
.
15
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
.
16
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
.
9
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
.
10
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
.
11
生物神经元简图
.
12
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近
突触对神经冲动的传递具有延时和不应期。在相 邻的两次冲动之间需要一个时间间隔，即为不应 期，在此期间对激励不响应，不能传递神经冲动；
学习、遗忘和疲劳
由于结构可塑性，突触的传递作用可增强、减弱、 饱和，所以细胞具有相应的学习功能，遗忘或疲 劳效应。
.
17
2.1.2 ANN的结构
神经网络是一个并行和分布式的信息处理网络结构
出
.
20
常见的激励函数
.
21
ANN的基本结构
输入层
隐层
前向神经网络模型
.
输出层
22
v1
v2
v3
vn
z-1
z-1
z-1
z-1
反馈形网络模型
.
23
ANN的基本训练与学习算法
人工神经网络连接权的确定通常有两种方法
根据具体要求，直接计算，如Hopfield网络作优 化计算
通过学习得到的。大多数人工神经网络都采用这种 方法
智能算法 及其在数学建模中的应用
.
1
计算智能简介 人工神经网络及应用 支持向量机及应用 模糊集及应用 遗传算法及应用
.
2
单元一 智能算法简介
智能的层次
生物智能（BI）
人工智能（AI）
符号智能（SI） .
计算智能（CI） 3
最高层次的智能是生物智能（Biological Intelligence， BI）,生物智能中又以智慧生物的智能最高。
早期符号智能对人工智能的发展起到了重要的推动作用， 但随着科技的发展，复杂性问题的大量涌现，这些方法在 处理非线性、不确定等复杂性问题时显得无能为力。
计算智能（Computation Intelligence, CI）技术就是在这 一背景下发展起来的。
.
6
计算智能的最大特点就是不需要建立问题本身精确的数学模型，侧重从 数据中学习，非常适合于处理那些因为难以建立有效的形式化模型而用 传统人工智能方法难以解决的问题。
.
7
计算智能的主要方法有人工神经网络、遗传算法、遗 传程序、演化程序、局部搜索、模拟退火等等。
这些方法具有以下共同的要素：自适应的结构、随机 产生的或指定的初始状态、适应度的评测函数、修改 结构的操作、系统状态存储器、终止计算的条件、指 示结果的方法、控制过程的参数。
计算智能的这些方法具有自学习、自组织、自适应的
一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经 元
每个神经元输入有多个连接通道，每个连接通道对应于 一个连接权系数
.
18
人工神经元模型
激励函数
求和
.
19
激励函数的基本作用
控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输
特征和简单、通用、鲁棒性强、适于并行处理的优点。
在并行搜索、联想记忆、模式识别、知识自动获取等
方面得到了广泛的应用。 .
8
典型的代表如遗传算法、免疫算法、模拟退火 算法、蚁群算法、微粒群算法，都是一种仿生 算法，基于“从大自然中获取智慧”的理念， 通过人们对自然界独特规律的认知，提取出适 合获取知识的一套计算工具。总的来说，通过 自适应学习的特性，这些算法达到了全局优化 的目的。
.
14
兴奋与抑制状态
神经元具有两种的常规工作状态：当传入冲动的时空整 合结果使细胞膜电位升高，超过动作电位阈值（约为40mV） 时，细胞进入兴奋状态，产生神经冲动，由轴突输出；当 传入冲动的时空整合结果使膜电位下降至低于动作电位阈 值时，细胞进入抑制状态，无神经冲动输出，满足“0—1” 律，即“兴奋—抑制”状态；
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度，即超过其阈值电位后，突触前膜将向突 触间隙释放神经传递的化学物质
突触有两种类型，兴奋性突触和抑制性突触。前者产 生正突触后电位，后者产生负突触后电位
.
13
特点：
时空整合功能
神经元对于不同时间通过同一突触传入的神经冲动， 具有时间整合功能；对于同一时间通过不同突触传入的 神经冲动，具有空间整合功能。两种功能相互结合，具 有时空整合的输入信息处理功能，所谓整合是指抑制或 兴奋的受体电位或突触电位的代数和；
学习规则是人工神经网络研究中的核心问题
Hebb学习规则 误差校正（纠错Hale Waihona Puke Baidu学习规则 无监督学习规则
.
24
Hebb学习规则
Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则
如果两个神经元同时兴奋(即同时被激活)，则它们之间的 突触连接加强
.
4
人工智能（Artificial Intelligence, AI）是另一 层次的智能，研究如何 制造出人造的智能机器 或智能系统，来模拟人 类的智能活动。
1956年Dartmouth大学 研讨会上将“人工智能” 定义为“试图用来模仿 与智能有关的人类活动 的计算机过程”。
.
5
传统的人工智能偏重与符号处理与逻辑推理，因此又称为 符号智能(Symbolism Intelligence, SI)。
.
15
脉冲与电位转换
突触界面具有脉冲/电位信号转换功能。沿神经纤维传递 的电脉冲为等幅、恒宽、编码（60~100mV）的离散脉冲信 号，而细胞膜电位变化为连续的电位信号。在突触接口处 进行“数/模”转换，是通过神经介质以量子化学方式实 现的变换过程；
.
16
神经纤维传导速度
神经冲动沿神经纤维传导的速度在1~50m/s之间， 因纤维特性不同而不同，粗纤维的传导速度在 100m/s,细纤维的传导速度可低至每秒数米；
计算智能是以生物进化的观点认识和模拟智能。按照这一观点， 智能是在生物的遗传、变异、生长以及外部环境的自然选择中产 生的。在用进废退、优胜劣汰的过程中，适应度高的（头脑）结 构被保存下来，智能水平也随之提高。因此说计算智能就是基于 结构演化的智能。
在概念提出初期，狭义的计算智能包括人工神经网络、模糊逻辑和进化 计算。
.
9
单元二 人工神经网络及应用
ANN的基本原理 BP网络及应用
.
10
2.1 ANN基本原理
2.1.1 生物神经元
神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成，神经元互相连接成神经网
络
.
11
生物神经元简图
.
12
生物神经元传递信息的过程为多输入、单输出
神经元各组成部分的功能来看，信息的处理与传递主 要发生在突触附近