人工智能人工神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
?9.1.3 人工神经网络研究的兴起与发展
?人工神经网络的研究经历了不少的曲折，大体上可分为四 个阶段:
? 产生时期(20世纪50年代中期之前) ? 高潮时期(20世纪50年代中期到20世纪60年代末期) ? 低潮时期(20世纪60年代末到20世纪80年代初期) ? 蓬勃发展时期(20世纪80年代以后)
成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单 元我们把它称作人工神经元。
人工神经网络（ANN）可看成是以人工神经元为节点，用有向 加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物 神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧 的权值表示相互连接的两个人工神经元间相互作用的强弱。
成为人工智能研究中的活跃领域。本章将简要介绍神经 网络基本的概念、模型以及学习算法。
2
9.1 神经网络的基本概念及组成特性
9.1.1 生物神经元的结构与功能特性 9.1.2 人工神经网络的组成与结构 9.1.3 人工神经网络研究的兴起与发展
3
9.1 神经网络的基本概念及组成特性
9.1.1 生物神经元的结构与功能特性
激发函数一般具有非线性特性,常用的非线性激发函数如图所示
n ?1
? 这里，? ＝ w ix i ? ? 称为激活值 i? 0
(a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切型 图 常用的激发函数
9
9.1 神经网络的基本概念及组成特性
? 阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ )之间的
6
9.1 神经网络的基本概念及组成特性
图9.2 人工神经网络的组成
图9.3 M－P神经元模型
7
9.1 神经网络的基本概念及组成特性
2. 人工神经元的工作过程
对于某个处理单元（神经元）来说，假设Leabharlann Baidu自其他处理单
元（神经元） i的信息为 Xi，它们与本处理单元的互相作用强度 即连接权值为 Wi, i=0,1, …,n-1, 处理单元的内部阈值为 θ。那 么本处理单元（神经元）的输入为
内连续取值的。以它为激发函数的神经元也具有饱和特性。
? 双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。
10
9.1 神经网络的基本概念及组成特性
3.人工神经网络的结构
人工神经网络中，各神经元的不同连接方式就构成 了网络的不同连接模型。常见的连接模型有:
? 前向网络。 ? 从输入层到输出层有反馈的网络。 ? 层内有互联的网络。 ? 互联网络。
第九章 人工神经网络
1
人工神经网络是集脑科学、神经心理学和信息科学 等多学科的交叉研究领域，是近年来高科技领域的一个 研究热点。它的研究目标是通过研究人脑的组成机理和 思维方式，探索人类智能的奥秘，进而通过模拟人脑的 结构和工作模式，使机器具有类似人类的智能。它已在 模式识别、机器学习、专家系统等多个方面得到应用，
16
9.2 感知器模型及其学习算法
? 9.2.2 单层感知器模型的学习算法
? 算法思想： 首先把连接权和阈值初始化为较小的非零随机数， 然后把有 n个连接权值的输入送入网络，经加权运算处理，得 到的输出如果与所期望的输出有较大的差别，就对连接权值参 数按照某种算法进行自动调整，经过多次反复，直到所得到的 输出与所期望的输出间的差别满足要求为止。
n ?1
? w xi i
而处理单元的输出为 i ? 0 n ?1 ? y ? f ( w ixi ? ? )
（9.1.1） （9.1.2）
i? 0
式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联 权重。f称为激发函数或作用函数，它决定节点（神经元）的输出。
8
9.1 神经网络的基本概念及组成特性
14
9.2 感知器模型及其学习算法
9.2.1 感知器模型 9.2.2 单层感知器模型的学习算法 9.2.3 线性不可分问题 9.2.4 多层感知器
15
9.2 感知器模型及其学习算法
?9.2.1 感知器模型
? 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究 大脑的存储、学习和认知过程而提出的一类具有自学习能 力的神经网络模型，它把神经网络的研究从纯理论探讨引 向了从工程上的实现。 ? Rosenblatt提出的感知器模型是一个只有单层计算单元 的前向神经网络，称为单层感知器。 ?教材中图9.5所示的即为一个单层感知器模型。
11
9.1 神经网络的基本概念及组成特性
4. 人工神经网络的分类及其主要特征
? 分类 ? 按性能分：连续型和离散型网络，或确定型和随机型网 络。 ? 按拓扑结构分：有反馈网络和无反馈网络。 ? 按学习方法分：有教师的学习网络和无教师的学习网络。 ? 按连接突触性质分：一阶线性关联网络和高阶非线性关 联网络。
2. 神经元的功能特性 （1）时空整合功能。 （2）神经元的动态极化性。 （3）兴奋与抑制状态。 （4）结构的可塑性。 （5）脉冲与电位信号的转换。 （6）突触延期和不应期。 （7）学习、遗忘和疲劳。
5
9.1 神经网络的基本概念及组成特性
9.1.2 人工神经网络的组成与结构
1. 人工神经网络的组成 人工神经网络（简称ANN）是由大量处理单元经广泛互连而组
关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元， 也就是我们前面提到的M-P模型。
? 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将
函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满 足线性关系，一直延续到输出为最大域值为止。但当达到最大值后， 输出就不再增大。
? S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围
12
9.1 神经网络的基本概念及组成特性
? 人工神经网络具有以下主要特征： （1）能较好的模拟人的形象思维。 （2）具有大规模并行协同处理能力。 （3）具有较强的学习能力。 （4）具有较强的容错能力和联想能力。 （5）是一个大规模自组织、自适应的非线性动力系统。
13
9.1 神经网络的基本概念及组成特性
1. 生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称 神经元。神经元主要由三部分构成： （1）细胞体;（2）轴突;（3）树突; (如图9.1)
图9.1 生物神经元结构
4
9.1 神经网络的基本概念及组成特性
突触是神经元之间相互连接的接口部分，即一个神经元的神经 末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢 尾端。突触是轴突的终端。
?人工神经网络的研究经历了不少的曲折，大体上可分为四 个阶段:
? 产生时期(20世纪50年代中期之前) ? 高潮时期(20世纪50年代中期到20世纪60年代末期) ? 低潮时期(20世纪60年代末到20世纪80年代初期) ? 蓬勃发展时期(20世纪80年代以后)
成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单 元我们把它称作人工神经元。
人工神经网络（ANN）可看成是以人工神经元为节点，用有向 加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物 神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧 的权值表示相互连接的两个人工神经元间相互作用的强弱。
成为人工智能研究中的活跃领域。本章将简要介绍神经 网络基本的概念、模型以及学习算法。
2
9.1 神经网络的基本概念及组成特性
9.1.1 生物神经元的结构与功能特性 9.1.2 人工神经网络的组成与结构 9.1.3 人工神经网络研究的兴起与发展
3
9.1 神经网络的基本概念及组成特性
9.1.1 生物神经元的结构与功能特性
激发函数一般具有非线性特性,常用的非线性激发函数如图所示
n ?1
? 这里，? ＝ w ix i ? ? 称为激活值 i? 0
(a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切型 图 常用的激发函数
9
9.1 神经网络的基本概念及组成特性
? 阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ )之间的
6
9.1 神经网络的基本概念及组成特性
图9.2 人工神经网络的组成
图9.3 M－P神经元模型
7
9.1 神经网络的基本概念及组成特性
2. 人工神经元的工作过程
对于某个处理单元（神经元）来说，假设Leabharlann Baidu自其他处理单
元（神经元） i的信息为 Xi，它们与本处理单元的互相作用强度 即连接权值为 Wi, i=0,1, …,n-1, 处理单元的内部阈值为 θ。那 么本处理单元（神经元）的输入为
内连续取值的。以它为激发函数的神经元也具有饱和特性。
? 双曲正切型函数实际只是一种特殊的S型函数，其饱和值是－1和1。
10
9.1 神经网络的基本概念及组成特性
3.人工神经网络的结构
人工神经网络中，各神经元的不同连接方式就构成 了网络的不同连接模型。常见的连接模型有:
? 前向网络。 ? 从输入层到输出层有反馈的网络。 ? 层内有互联的网络。 ? 互联网络。
第九章 人工神经网络
1
人工神经网络是集脑科学、神经心理学和信息科学 等多学科的交叉研究领域，是近年来高科技领域的一个 研究热点。它的研究目标是通过研究人脑的组成机理和 思维方式，探索人类智能的奥秘，进而通过模拟人脑的 结构和工作模式，使机器具有类似人类的智能。它已在 模式识别、机器学习、专家系统等多个方面得到应用，
16
9.2 感知器模型及其学习算法
? 9.2.2 单层感知器模型的学习算法
? 算法思想： 首先把连接权和阈值初始化为较小的非零随机数， 然后把有 n个连接权值的输入送入网络，经加权运算处理，得 到的输出如果与所期望的输出有较大的差别，就对连接权值参 数按照某种算法进行自动调整，经过多次反复，直到所得到的 输出与所期望的输出间的差别满足要求为止。
n ?1
? w xi i
而处理单元的输出为 i ? 0 n ?1 ? y ? f ( w ixi ? ? )
（9.1.1） （9.1.2）
i? 0
式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联 权重。f称为激发函数或作用函数，它决定节点（神经元）的输出。
8
9.1 神经网络的基本概念及组成特性
14
9.2 感知器模型及其学习算法
9.2.1 感知器模型 9.2.2 单层感知器模型的学习算法 9.2.3 线性不可分问题 9.2.4 多层感知器
15
9.2 感知器模型及其学习算法
?9.2.1 感知器模型
? 感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究 大脑的存储、学习和认知过程而提出的一类具有自学习能 力的神经网络模型，它把神经网络的研究从纯理论探讨引 向了从工程上的实现。 ? Rosenblatt提出的感知器模型是一个只有单层计算单元 的前向神经网络，称为单层感知器。 ?教材中图9.5所示的即为一个单层感知器模型。
11
9.1 神经网络的基本概念及组成特性
4. 人工神经网络的分类及其主要特征
? 分类 ? 按性能分：连续型和离散型网络，或确定型和随机型网 络。 ? 按拓扑结构分：有反馈网络和无反馈网络。 ? 按学习方法分：有教师的学习网络和无教师的学习网络。 ? 按连接突触性质分：一阶线性关联网络和高阶非线性关 联网络。
2. 神经元的功能特性 （1）时空整合功能。 （2）神经元的动态极化性。 （3）兴奋与抑制状态。 （4）结构的可塑性。 （5）脉冲与电位信号的转换。 （6）突触延期和不应期。 （7）学习、遗忘和疲劳。
5
9.1 神经网络的基本概念及组成特性
9.1.2 人工神经网络的组成与结构
1. 人工神经网络的组成 人工神经网络（简称ANN）是由大量处理单元经广泛互连而组
关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元， 也就是我们前面提到的M-P模型。
? 线性分段函数可以看作是一种最简单的非线性函数，它的特点是将
函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满 足线性关系，一直延续到输出为最大域值为止。但当达到最大值后， 输出就不再增大。
? S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围
12
9.1 神经网络的基本概念及组成特性
? 人工神经网络具有以下主要特征： （1）能较好的模拟人的形象思维。 （2）具有大规模并行协同处理能力。 （3）具有较强的学习能力。 （4）具有较强的容错能力和联想能力。 （5）是一个大规模自组织、自适应的非线性动力系统。
13
9.1 神经网络的基本概念及组成特性
1. 生物神经元的结构 神经细胞是构成神经系统的基本单元，称之为生物神经元，简称 神经元。神经元主要由三部分构成： （1）细胞体;（2）轴突;（3）树突; (如图9.1)
图9.1 生物神经元结构
4
9.1 神经网络的基本概念及组成特性
突触是神经元之间相互连接的接口部分，即一个神经元的神经 末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢 尾端。突触是轴突的终端。