第一章 人工神经网络概述_PPT幻灯片
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 希望在理论上寻找新的突破，建立新的专 用/通用模型和算法。
3. 进一步对生物神经系统进行研究，不断地 丰富对人脑的认识。
人工神经网络
人工神经网络的特点：
（1）高度的并行性 （2）高度的非线性全局作用 （3）良好的容错性与联想记忆功能 （4）强大的自适应、自学习功能
第二节 人工神经网络的基本结构与模型
人工神经网络
第一节 人工神经网络的概念与发展
T.Kohonen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互 连的网络，它的组织能够模拟生物神经系 统对真实世界物体所作出的交互反应。”
人工神经网络
历史回顾
➢萌芽期（20世纪40年代） ➢第一高潮期（1950～1968） ➢反思期（1969～1982） ➢第二高潮期（1983～1990） ➢再认识与应用研究期（1991~）
科学发展大趋势
New Society New Education
New Sciences
Info
Bio
Enhancing
Human
Performance
Nano
Cogno
New Industries
New Applications
New Humanbeing
技术创新浪潮的经济长波规律
水力 纺织 铁
人工神经网络
简单神经元网络及其简化结构图
（1）细胞体 （2）树突 （3）轴突（4）突触
人工神经网络
人工神经元模型
输入分量pj（j=1，2，…，r） 权值分量wj（j=1，2，…，r）
激活函数 f(·) 偏差(bias) b
人工神经网络
权值和输入的矩阵形式可以由W的行矢量和 P的列矢量表示：
W [w 1 w 2 ... w r]
脑科学 智能技术
创 新 步 伐
1990
第一次浪潮 2020
第二次浪潮 2050
第三次浪潮 2080
？？？ ？？？
第四次浪潮 2100
对21世纪技术创新浪潮
脑科学
脑科学从分子水平、 细胞水平、行为水平 研究脑结构, 建立脑 模型，揭示自然智能 机理和脑本质。
硬件系统
神经网络
认知科学
认知科学是研究人类感知、学习、记忆、思维、 意识等人脑心智活动过程的科学。 学习、记忆在脑内如何发生，是神经生物学的核心 问题之一。学习导致神经系统结构和功能上的精细 修饰，形成记忆痕迹。揭示学习、记忆的神经机制， 对理解人类智力的本质具有重大意义。
人工神经网络
反思期（1969～1982）
• M. L. Minsky和S. Papert， 《Perceptron》，MIT Press，1969年
• “异或”运算不可表示 • 二十世纪70年代和80年代早期的研究结果 • 认识规律：认识 — 实践 — 再认识
人工神经网络
第二高潮期（1983～1990）
人工神经网络
萌芽期（20世纪40年代）
人工神经网络的研究最早可以追溯到人类开始研 究自己的智能的时期，到1949年止。 • 1943年，心理学家McCulloch和数学家Pitts建立 起了著名的阈值加权和模型，简称为M-P模型。发 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 • 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说——Hebb学习律
P[p 1 p2 ... pr]T
模型的输出矢量表示为：
r
Af(W*Pb)f( wjpjb) j1
人工神经网络
第一高潮期（1950～1968）
• 以 Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是 单级感知器（Perceptron）。
• 可用电子线路模拟。 • 人们乐观地认为几乎已经找到了智能的关
键。许多部门都开85年，UCSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理 （PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann 机。
人工神经网络
4）1986年，并行分布处理小组的Rumelhart 等研究者重新独立地提出多层网络的学习 算法——BP算法，较好地解决了多层网络 的 学 习 问 题 (Paker1982 和 Werbos1974 年 ) 。
蒸汽 铁路 钢
电 化学品 内燃机
石油化学 电子 航空
创 新 步 伐
1785
机械化
铁路化 电气化 电子化 数字化
第一次浪潮
60年
第二次浪潮
第三次浪潮 第四次浪潮 第五次浪潮
1845
1900
1950
1990 1999 2020
55年
50年
40年 30年
对21世纪技术创新浪潮
数字网络 软件 新媒体
生物基因 （蛋白质） 纳米材料
1)1982年，J. Hopfield提出循环网络
–用Lyapunov函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据
–阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
人工神经网络
2）1984年， J. Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了 著名的TSP问题，找到了最佳解的近似解， 引起了较大的轰动。
软件系统
人工智能
用人工的方法和技术，模仿、延伸和扩展人 的 智能, 实现机器智能。
仿真系统
人工神经网络
人工神经网络是当前人工智能领域最领人感兴趣和 最富有魅力的研究课题之一。
人工神经网络是由大量的、功能比较简单的形 式神经元互相连接而构成的复杂网络系统，可以模 拟大脑的许多基本功能和简单的思维方式。通过学 习来获取外部的知识并存贮在网络内，在解决诸如 语音和图像的识别、理解、知识的处理、组合优化 计算和智能控制等一系列本质上为非计算的问题方 面表现突出。
5）国内首届神经网络大会是1990年12月在北 京举行的
人工神经网络
再认识与应用研究期（1991~）
问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题
人工神经网络
研究：
1. 开发现有模型的应用，并在应用中根据实 际运行情况对模型、算法加以改造，以提 高网络的训练速度和运行的准确度。
3. 进一步对生物神经系统进行研究，不断地 丰富对人脑的认识。
人工神经网络
人工神经网络的特点：
（1）高度的并行性 （2）高度的非线性全局作用 （3）良好的容错性与联想记忆功能 （4）强大的自适应、自学习功能
第二节 人工神经网络的基本结构与模型
人工神经网络
第一节 人工神经网络的概念与发展
T.Kohonen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互 连的网络，它的组织能够模拟生物神经系 统对真实世界物体所作出的交互反应。”
人工神经网络
历史回顾
➢萌芽期（20世纪40年代） ➢第一高潮期（1950～1968） ➢反思期（1969～1982） ➢第二高潮期（1983～1990） ➢再认识与应用研究期（1991~）
科学发展大趋势
New Society New Education
New Sciences
Info
Bio
Enhancing
Human
Performance
Nano
Cogno
New Industries
New Applications
New Humanbeing
技术创新浪潮的经济长波规律
水力 纺织 铁
人工神经网络
简单神经元网络及其简化结构图
（1）细胞体 （2）树突 （3）轴突（4）突触
人工神经网络
人工神经元模型
输入分量pj（j=1，2，…，r） 权值分量wj（j=1，2，…，r）
激活函数 f(·) 偏差(bias) b
人工神经网络
权值和输入的矩阵形式可以由W的行矢量和 P的列矢量表示：
W [w 1 w 2 ... w r]
脑科学 智能技术
创 新 步 伐
1990
第一次浪潮 2020
第二次浪潮 2050
第三次浪潮 2080
？？？ ？？？
第四次浪潮 2100
对21世纪技术创新浪潮
脑科学
脑科学从分子水平、 细胞水平、行为水平 研究脑结构, 建立脑 模型，揭示自然智能 机理和脑本质。
硬件系统
神经网络
认知科学
认知科学是研究人类感知、学习、记忆、思维、 意识等人脑心智活动过程的科学。 学习、记忆在脑内如何发生，是神经生物学的核心 问题之一。学习导致神经系统结构和功能上的精细 修饰，形成记忆痕迹。揭示学习、记忆的神经机制， 对理解人类智力的本质具有重大意义。
人工神经网络
反思期（1969～1982）
• M. L. Minsky和S. Papert， 《Perceptron》，MIT Press，1969年
• “异或”运算不可表示 • 二十世纪70年代和80年代早期的研究结果 • 认识规律：认识 — 实践 — 再认识
人工神经网络
第二高潮期（1983～1990）
人工神经网络
萌芽期（20世纪40年代）
人工神经网络的研究最早可以追溯到人类开始研 究自己的智能的时期，到1949年止。 • 1943年，心理学家McCulloch和数学家Pitts建立 起了著名的阈值加权和模型，简称为M-P模型。发 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 • 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说——Hebb学习律
P[p 1 p2 ... pr]T
模型的输出矢量表示为：
r
Af(W*Pb)f( wjpjb) j1
人工神经网络
第一高潮期（1950～1968）
• 以 Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是 单级感知器（Perceptron）。
• 可用电子线路模拟。 • 人们乐观地认为几乎已经找到了智能的关
键。许多部门都开85年，UCSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理 （PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann 机。
人工神经网络
4）1986年，并行分布处理小组的Rumelhart 等研究者重新独立地提出多层网络的学习 算法——BP算法，较好地解决了多层网络 的 学 习 问 题 (Paker1982 和 Werbos1974 年 ) 。
蒸汽 铁路 钢
电 化学品 内燃机
石油化学 电子 航空
创 新 步 伐
1785
机械化
铁路化 电气化 电子化 数字化
第一次浪潮
60年
第二次浪潮
第三次浪潮 第四次浪潮 第五次浪潮
1845
1900
1950
1990 1999 2020
55年
50年
40年 30年
对21世纪技术创新浪潮
数字网络 软件 新媒体
生物基因 （蛋白质） 纳米材料
1)1982年，J. Hopfield提出循环网络
–用Lyapunov函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据
–阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
人工神经网络
2）1984年， J. Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了 著名的TSP问题，找到了最佳解的近似解， 引起了较大的轰动。
软件系统
人工智能
用人工的方法和技术，模仿、延伸和扩展人 的 智能, 实现机器智能。
仿真系统
人工神经网络
人工神经网络是当前人工智能领域最领人感兴趣和 最富有魅力的研究课题之一。
人工神经网络是由大量的、功能比较简单的形 式神经元互相连接而构成的复杂网络系统，可以模 拟大脑的许多基本功能和简单的思维方式。通过学 习来获取外部的知识并存贮在网络内，在解决诸如 语音和图像的识别、理解、知识的处理、组合优化 计算和智能控制等一系列本质上为非计算的问题方 面表现突出。
5）国内首届神经网络大会是1990年12月在北 京举行的
人工神经网络
再认识与应用研究期（1991~）
问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题
人工神经网络
研究：
1. 开发现有模型的应用，并在应用中根据实 际运行情况对模型、算法加以改造，以提 高网络的训练速度和运行的准确度。