神经网络(第1章--绪论)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
什么是人工神经网络
在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神 经网络进行抽象，并建立某种简化模型，就称为人工神经网络。 人工神经网络远不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与 模拟。
神经网络的基本特征
结构上：处理单元的高度并行性与分布性
能力上：自学习、自组织、自适应
2015-1-15
SZU
42
第一章 小结
神经网络的基本功能
联想记忆功能 非线性映射功能
2015-1-15
SZU
43
2015-1-15
1.1 人脑与电脑
人脑强大or电脑强大？
2015-1-15
SZU
5
1.1 人脑与电脑
钱学森先生认为：人脑的思维有逻辑思维、形象思维和灵感思维三种
基本方式。
迄今为止，计算机在解决与形象思维和灵感思维相关的问题时，显得无能为力。 如人脸识别、骑自行车、打篮球等涉及联想或经验的问题，人脑可以从中体会那 些只可意会不可言传的直觉和经验，可以根据情况灵活掌握处理问题的规则，从 而轻而易举地完成此类任务，而计算机在这方面显得十分笨拙。
2015-1-15
SZU
22
1.2 人工神经网络发展简史
2015-1-15
SZU
23
1.2 人工神经网络发展简史
2015-1-15
SZU
24
1.2 人工神经网络发展简史
低潮时期（1969-1982）
2015-1-15
SZU
25
1.2 人工神经网络发展简史
2015-1-15
SZU
26
1.2 人工神经网络发展简史
2015-1-15
SZU
12
1.1 人脑与电脑
人脑与电脑信息处理机制的比较
系统结构 信号形式 信息存储 信息处理机制
2015-1-15
SZU
13
1.1 人脑与电脑
人脑与电脑信息处理机制比较
系统结构
人脑在漫长的进化过程中形成了规模宏大、结构精细的群体 结构，即神经网络。脑科学研究结果表明，人脑的神经网络 是由数百亿神经元的相互连接组合而成。每个神经元相当于 一个超微型信息处理与存储机构，大量神经隐患广泛连接后 形成的神经网络可以进行各种极其复杂的思维活动。 计算机是一种由各种二值逻辑门电路构成的按串行方式工作 的逻辑机器，由运算器、控制器、存储器和输入输出设备组 成，其信息处理是建立在冯诺依曼体系基础上，基于程序存 取进行工作的。
2015-1-15
SZU
34
1.4 神经网络的应用领域
信息处理领域
信号处理、模式识别、数据压缩
自动化领域
系统辨识、神经控制器、智能检测
工程领域
汽车工程、军事工程、化学工程、水利工程
经济领域 医学领域
2015-1-15 SZU 35
1.4 神经网络的应用领域
2015-1-15
2015-1-15
SZU
9
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息加工能力
人脑具有复杂的回忆、联想和想象等非逻辑加工功能，因而 人的认识可以逾越现实条件下逻辑所无法越过的认识屏障， 产生诸如直觉判断或灵感一类的思维活动。 计算机没有非逻辑加工功能，因而不能逾越有限条件下逻辑 的认识屏障。计算机的逻辑加工能力也仅限于二值逻辑，缺 乏辩证逻辑能力。
低潮时期（1969-1982）
复兴时期（1982-1986）
新时期（1987-…）
2015-1-15
SZU
19
1.2 人工神经网络发展简史
启蒙时期（1890-1969）
2015-1-15
SZU
20
1.2 人工神经网络发展简史
2015-1-15
SZU
21
1.2 人工神经网络发展简史
自学习自组织与自适应性202032133szu13神经网络的基本特征与功能知识处理202032134szu14神经网络的应用领域医学领域202032135szu14神经网络的应用领域202032136szu14神经网络的应用领域202032137szu14神经网络的应用领域202032138szu14神经网络的应用领域202032139szu14神经网络的应用领域202032140szu14神经网络的应用领域202032141szu第一章小结在对人脑神经网络的基本认识的基础上用数理方法从信息处理的角度对人脑神经网络进行抽象并建立某种简化模型就称为人工神经网络
2015-1-15
SZU
3
1.1 人脑与电脑
人脑强大or电脑强大？
1997年5月11日，早晨4时50分(北京时间)，一台 名为“深蓝”的超级电脑将棋盘上的一个兵走到C4位 置时，人类有史以来最伟大的国际象棋名家卡斯帕罗 夫不得不沮丧地承认自己输了。世纪末的一场人机大 战终于以计算机的微弱优势取胜。这场比赛是继去年 卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与 改进型的“深蓝”的第二次较量。 比赛于5月3日--11日在纽约的公平大厦举行。整 个比赛引起了全世界传媒的巨大关注。比赛吸引人们 注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前 充满信心，发誓要为捍卫人类之优于机器的尊严而战。 然而，最后的结果却是他所捍卫的人类尊严在一台冷 漠的“蓝色巨人”面前被无情地击溃了。虽然人类的 骄傲可以把这场比赛的结果仍然归咎于人类的胜利， 毕竟“深蓝”自己也是人类所研制出来的一台计算机 而已，但人类所创造的工具击溃了人类，并且是在人 类引以为骄傲的智慧领域，这在一定程度上带来了恐 惧，并由此引发了一场有关人类创造物与自身关系的 深层讨论。 “深蓝”是IBM公司生产的世界上第一台超级国际 象棋电脑。是一台 RS6000SP2超级并行处理计算机，计 SZU 4 算能力惊人，平均每秒可计算棋局变化2OO万步。
2015-1-15
SZU
10
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息综合能力
人脑善于对客观世界千变万化的信息和知识进行归纳、类比 和概括，综合起来解决问题。人脑的这种综合判断过程往往 是一种对信息的逻辑加工和非逻辑加工相结合的过程。它不 仅遵循确定性的逻辑思维原则，而且可以经验地、模糊地甚 至是直觉地作出一个判断。大脑所具有的这种综合判断能力 是人脑创造力的基础。 计算机的信息综合能力取决于它所执行的程序，由于不存在 能完全描述人的经验和直觉地数学模型，因此计算机难以达 到人脑所具有的融会贯通的信息综合能力。
2015-1-15
SZU
27
1.2 人工神经网络发展简史
复兴时期（1982-1986）
2015-1-15
SZU
28
1.2 人工神经网络发展简史
2015-1-15
SZU
29
1.2 人工神经网络发展简史
2015-1-15
SZU
30
1.2 人工神经网络发展简史
新时期（1987-…）
2015-1-15
SZU
31
1.2 人工神经网络发展简史
2015-1-15
SZU
32
1.3 神经网络的基本特征与功能
神经网络的基本特征
结构特征：并行处理、分布式存储与容错性 能力特征：自学习、自组织与自适应性
2015-1-15
SZU
33
1.3 神经网络的基本特征与功能
神经网络的基本功能
联想记忆 非线性映射 分类与识别 优化计算 知识处理
2015-1-15
SZU
14
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信号形式
人脑中的信号形式具有模拟量和离散脉冲两种形式。模拟量 信号具有模糊性特点，有利于信息的整合和非逻辑加工，这 类信息处理方式难以用现有的数学方法进行充分描述，因而 很难用计算机进行模拟。 计算机中信息的表达采用离散的二进制数和二值逻辑形式。 然而客观世界存在的事物关系并非都可以分解为二值逻辑的 关系，还存在着各种模糊逻辑关系和非逻辑关系。计算机对 这类信息的处理是难以胜任的。
SZU
36
1.4 神经网络的应用领域
2015-1-15
SZU
37
1.4 神经网络的应用领域
2015-1-15
SZU
38
1.4 神经网络的应用领域
2015-1-15
SZU
39
1.4 神经网络的应用领域
2015-1-15
SZU
40
1.4 神经网络的应用领域
2015-1-15
SZU
41
第一章 小结
2015-1-15
SZU
11
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息处理速度
人脑的信息处理是建立在大规模并行处理基础上的，这种并 行处理所能够实现的高度复杂的信息处理能力远非传统的以 空间复杂性代替时间复杂性的多处理机并行处理系统所能达 到的。 神经细胞间信息的传递速度只能达到毫秒级，而现代计算机 中电子元件的计算速度是纳秒级。似乎计算机的处理速度远 高于人脑，事实上在数值处理等只需要串行算法就能解决的 应用方面确实如此。然而在处理文字、图像、声音等类信息 的能力与速度却远不如人脑。
2015-1-15
SZU
6
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
记忆与联想能力 学习与认知能力 信息加工能力 信息综合能力 信息处理速度
2015-1-15
SZU
7
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
记忆与联想能力
2015-1-15
SZU
8
1.1 人脑与电脑
人工神经网络
参考书目
《人工神经网络理论、设计与应用》，第2版，韩力群，化学工业出
版社.
《面向MATLAB工具箱的神经网络理论与应用》，第3版，丛爽，中国
科学技术大学出版社.
2015-1-15
SZU
2
第一章 绪论
人脑与电脑
人工神经网络发展简史
神经网络的基本特征与功能
神经网络的应用领域
2015-1-15
SZU
17
1.1 人脑与电脑
人工神经网络（ANN-Artificial Neural Networks）
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 为叙述方便，人工神经网络通常简称为神经网络。
2015-1-15
SZU
18
1.2 人工神经网络发展简史
启蒙时期（1890-1969）
2015-1-15
SZU
15
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信息存储
人脑的信息不是集中存储于一个特定的区域，而是分散地存 储于整个系统中。此外，人脑中存储的信息不是相互孤立的， 而是联想式的。人脑这种分布式、联想式的信息存储方式使 人类非常擅长于从失真和缺省的模式中恢复出正确的模式。 计算机的信息是集中存储在存储器中，且存储单元之间相互 孤立。
2015-1-15
SZU
16
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信息处理机制
人脑采用了信息存储与信息处理一体化的群体协同并行处理 方式，信息的处理受原有存储信息的影响，处理后的信息又 留记在神经元中称为记忆。这种信息处理-存储的构建模式 是广泛分布在大量神经元上同时进行的，因此呈现出来的整 体信息处理能力不仅能快速完成各种极复杂的信息识别和处 理任务，而且能产生高度复杂而奇妙的效果。 计算机采用的是有限集中的串行信息处理机制，即所有信息 处理都集中在一个或几个CPU中进行。CPU通过总线同内外存 储器进行顺序“个别对话”，存取指令或数据，因而时间利 用率较低。
人脑与电脑信息处理能力的比较
学习与认知能力
人脑具有从实践中不断抽取知识、总结经验的能力。人脑对 经验作出反应从而改变行为的能力就是学习与认知能力。
计算机所完成的所有工作都是严格按照事先编制的程序进行 的，因此它的功能和结果都是确定不变的，执行同一程序所 得到的永远是同一个结果。它不可能在不断重复的过程中总 结或积累任何经验，因此不会主动提高自己解决问题的能力。
在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神 经网络进行抽象，并建立某种简化模型，就称为人工神经网络。 人工神经网络远不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与 模拟。
神经网络的基本特征
结构上：处理单元的高度并行性与分布性
能力上：自学习、自组织、自适应
2015-1-15
SZU
42
第一章 小结
神经网络的基本功能
联想记忆功能 非线性映射功能
2015-1-15
SZU
43
2015-1-15
1.1 人脑与电脑
人脑强大or电脑强大？
2015-1-15
SZU
5
1.1 人脑与电脑
钱学森先生认为：人脑的思维有逻辑思维、形象思维和灵感思维三种
基本方式。
迄今为止，计算机在解决与形象思维和灵感思维相关的问题时，显得无能为力。 如人脸识别、骑自行车、打篮球等涉及联想或经验的问题，人脑可以从中体会那 些只可意会不可言传的直觉和经验，可以根据情况灵活掌握处理问题的规则，从 而轻而易举地完成此类任务，而计算机在这方面显得十分笨拙。
2015-1-15
SZU
22
1.2 人工神经网络发展简史
2015-1-15
SZU
23
1.2 人工神经网络发展简史
2015-1-15
SZU
24
1.2 人工神经网络发展简史
低潮时期（1969-1982）
2015-1-15
SZU
25
1.2 人工神经网络发展简史
2015-1-15
SZU
26
1.2 人工神经网络发展简史
2015-1-15
SZU
12
1.1 人脑与电脑
人脑与电脑信息处理机制的比较
系统结构 信号形式 信息存储 信息处理机制
2015-1-15
SZU
13
1.1 人脑与电脑
人脑与电脑信息处理机制比较
系统结构
人脑在漫长的进化过程中形成了规模宏大、结构精细的群体 结构，即神经网络。脑科学研究结果表明，人脑的神经网络 是由数百亿神经元的相互连接组合而成。每个神经元相当于 一个超微型信息处理与存储机构，大量神经隐患广泛连接后 形成的神经网络可以进行各种极其复杂的思维活动。 计算机是一种由各种二值逻辑门电路构成的按串行方式工作 的逻辑机器，由运算器、控制器、存储器和输入输出设备组 成，其信息处理是建立在冯诺依曼体系基础上，基于程序存 取进行工作的。
2015-1-15
SZU
34
1.4 神经网络的应用领域
信息处理领域
信号处理、模式识别、数据压缩
自动化领域
系统辨识、神经控制器、智能检测
工程领域
汽车工程、军事工程、化学工程、水利工程
经济领域 医学领域
2015-1-15 SZU 35
1.4 神经网络的应用领域
2015-1-15
2015-1-15
SZU
9
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息加工能力
人脑具有复杂的回忆、联想和想象等非逻辑加工功能，因而 人的认识可以逾越现实条件下逻辑所无法越过的认识屏障， 产生诸如直觉判断或灵感一类的思维活动。 计算机没有非逻辑加工功能，因而不能逾越有限条件下逻辑 的认识屏障。计算机的逻辑加工能力也仅限于二值逻辑，缺 乏辩证逻辑能力。
低潮时期（1969-1982）
复兴时期（1982-1986）
新时期（1987-…）
2015-1-15
SZU
19
1.2 人工神经网络发展简史
启蒙时期（1890-1969）
2015-1-15
SZU
20
1.2 人工神经网络发展简史
2015-1-15
SZU
21
1.2 人工神经网络发展简史
自学习自组织与自适应性202032133szu13神经网络的基本特征与功能知识处理202032134szu14神经网络的应用领域医学领域202032135szu14神经网络的应用领域202032136szu14神经网络的应用领域202032137szu14神经网络的应用领域202032138szu14神经网络的应用领域202032139szu14神经网络的应用领域202032140szu14神经网络的应用领域202032141szu第一章小结在对人脑神经网络的基本认识的基础上用数理方法从信息处理的角度对人脑神经网络进行抽象并建立某种简化模型就称为人工神经网络
2015-1-15
SZU
3
1.1 人脑与电脑
人脑强大or电脑强大？
1997年5月11日，早晨4时50分(北京时间)，一台 名为“深蓝”的超级电脑将棋盘上的一个兵走到C4位 置时，人类有史以来最伟大的国际象棋名家卡斯帕罗 夫不得不沮丧地承认自己输了。世纪末的一场人机大 战终于以计算机的微弱优势取胜。这场比赛是继去年 卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与 改进型的“深蓝”的第二次较量。 比赛于5月3日--11日在纽约的公平大厦举行。整 个比赛引起了全世界传媒的巨大关注。比赛吸引人们 注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前 充满信心，发誓要为捍卫人类之优于机器的尊严而战。 然而，最后的结果却是他所捍卫的人类尊严在一台冷 漠的“蓝色巨人”面前被无情地击溃了。虽然人类的 骄傲可以把这场比赛的结果仍然归咎于人类的胜利， 毕竟“深蓝”自己也是人类所研制出来的一台计算机 而已，但人类所创造的工具击溃了人类，并且是在人 类引以为骄傲的智慧领域，这在一定程度上带来了恐 惧，并由此引发了一场有关人类创造物与自身关系的 深层讨论。 “深蓝”是IBM公司生产的世界上第一台超级国际 象棋电脑。是一台 RS6000SP2超级并行处理计算机，计 SZU 4 算能力惊人，平均每秒可计算棋局变化2OO万步。
2015-1-15
SZU
10
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息综合能力
人脑善于对客观世界千变万化的信息和知识进行归纳、类比 和概括，综合起来解决问题。人脑的这种综合判断过程往往 是一种对信息的逻辑加工和非逻辑加工相结合的过程。它不 仅遵循确定性的逻辑思维原则，而且可以经验地、模糊地甚 至是直觉地作出一个判断。大脑所具有的这种综合判断能力 是人脑创造力的基础。 计算机的信息综合能力取决于它所执行的程序，由于不存在 能完全描述人的经验和直觉地数学模型，因此计算机难以达 到人脑所具有的融会贯通的信息综合能力。
2015-1-15
SZU
27
1.2 人工神经网络发展简史
复兴时期（1982-1986）
2015-1-15
SZU
28
1.2 人工神经网络发展简史
2015-1-15
SZU
29
1.2 人工神经网络发展简史
2015-1-15
SZU
30
1.2 人工神经网络发展简史
新时期（1987-…）
2015-1-15
SZU
31
1.2 人工神经网络发展简史
2015-1-15
SZU
32
1.3 神经网络的基本特征与功能
神经网络的基本特征
结构特征：并行处理、分布式存储与容错性 能力特征：自学习、自组织与自适应性
2015-1-15
SZU
33
1.3 神经网络的基本特征与功能
神经网络的基本功能
联想记忆 非线性映射 分类与识别 优化计算 知识处理
2015-1-15
SZU
14
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信号形式
人脑中的信号形式具有模拟量和离散脉冲两种形式。模拟量 信号具有模糊性特点，有利于信息的整合和非逻辑加工，这 类信息处理方式难以用现有的数学方法进行充分描述，因而 很难用计算机进行模拟。 计算机中信息的表达采用离散的二进制数和二值逻辑形式。 然而客观世界存在的事物关系并非都可以分解为二值逻辑的 关系，还存在着各种模糊逻辑关系和非逻辑关系。计算机对 这类信息的处理是难以胜任的。
SZU
36
1.4 神经网络的应用领域
2015-1-15
SZU
37
1.4 神经网络的应用领域
2015-1-15
SZU
38
1.4 神经网络的应用领域
2015-1-15
SZU
39
1.4 神经网络的应用领域
2015-1-15
SZU
40
1.4 神经网络的应用领域
2015-1-15
SZU
41
第一章 小结
2015-1-15
SZU
11
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
信息处理速度
人脑的信息处理是建立在大规模并行处理基础上的，这种并 行处理所能够实现的高度复杂的信息处理能力远非传统的以 空间复杂性代替时间复杂性的多处理机并行处理系统所能达 到的。 神经细胞间信息的传递速度只能达到毫秒级，而现代计算机 中电子元件的计算速度是纳秒级。似乎计算机的处理速度远 高于人脑，事实上在数值处理等只需要串行算法就能解决的 应用方面确实如此。然而在处理文字、图像、声音等类信息 的能力与速度却远不如人脑。
2015-1-15
SZU
6
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
记忆与联想能力 学习与认知能力 信息加工能力 信息综合能力 信息处理速度
2015-1-15
SZU
7
1.1 人脑与电脑
人脑与电脑信息处理能力的比较
记忆与联想能力
2015-1-15
SZU
8
1.1 人脑与电脑
人工神经网络
参考书目
《人工神经网络理论、设计与应用》，第2版，韩力群，化学工业出
版社.
《面向MATLAB工具箱的神经网络理论与应用》，第3版，丛爽，中国
科学技术大学出版社.
2015-1-15
SZU
2
第一章 绪论
人脑与电脑
人工神经网络发展简史
神经网络的基本特征与功能
神经网络的应用领域
2015-1-15
SZU
17
1.1 人脑与电脑
人工神经网络（ANN-Artificial Neural Networks）
人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 为叙述方便，人工神经网络通常简称为神经网络。
2015-1-15
SZU
18
1.2 人工神经网络发展简史
启蒙时期（1890-1969）
2015-1-15
SZU
15
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信息存储
人脑的信息不是集中存储于一个特定的区域，而是分散地存 储于整个系统中。此外，人脑中存储的信息不是相互孤立的， 而是联想式的。人脑这种分布式、联想式的信息存储方式使 人类非常擅长于从失真和缺省的模式中恢复出正确的模式。 计算机的信息是集中存储在存储器中，且存储单元之间相互 孤立。
2015-1-15
SZU
16
1.1 人脑与电脑
人脑与电脑信息处理机制比较
信息处理机制
人脑采用了信息存储与信息处理一体化的群体协同并行处理 方式，信息的处理受原有存储信息的影响，处理后的信息又 留记在神经元中称为记忆。这种信息处理-存储的构建模式 是广泛分布在大量神经元上同时进行的，因此呈现出来的整 体信息处理能力不仅能快速完成各种极复杂的信息识别和处 理任务，而且能产生高度复杂而奇妙的效果。 计算机采用的是有限集中的串行信息处理机制，即所有信息 处理都集中在一个或几个CPU中进行。CPU通过总线同内外存 储器进行顺序“个别对话”，存取指令或数据，因而时间利 用率较低。
人脑与电脑信息处理能力的比较
学习与认知能力
人脑具有从实践中不断抽取知识、总结经验的能力。人脑对 经验作出反应从而改变行为的能力就是学习与认知能力。
计算机所完成的所有工作都是严格按照事先编制的程序进行 的，因此它的功能和结果都是确定不变的，执行同一程序所 得到的永远是同一个结果。它不可能在不断重复的过程中总 结或积累任何经验，因此不会主动提高自己解决问题的能力。