第1章 绪论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
百度文库
• （3）信息的智能化处理 • 神经网络适宜于处理具有残缺结构和含 有错误成分的模式，能够在信源信息含糊、 不确定、不完整，存在矛盾及假象等复杂 环境中处理模式。网络所具有的自学习能 力使得传统专家系统技术应用较为困难的 知识获取工作转换为网络的变结构调节过 程，从而大大方便了知识库中知识的记忆 和抽提。
1.1.3 什么是人工神经网络
人工神经网络(ANN)只是对人脑的简化、抽象和模拟。
ANN是人类对其大脑神经网络认识理解的基础上人 工构造的能够实现某种功能的神经网络。它是理论化的 人脑神经网络的数学模型，是基于模仿大脑神经网络结 构和功能而建立的一种信息处理系统。它实际上是由大 量简单处理单元并联组合而成的复杂网络，具有高度的 非线性特征。
• （4）复杂控制 • 神经网络在诸如机器人运动控制等复 杂控制问题方面有独到之处。较之传统数 字计算机的离散控制方式，更适宜于组成 快速实时自适应控制系统。
• （5）信号处理 • 神经网络的自学习和自适应能力使其 成为对各类信号进行多用途加工处理的一 种天然工具，尤其在处理连续时序模拟信 号方面有很自然的适应性。 • （6）工程设计 • 神经网络在工程设计中的应用非常广 泛，如产品设计和机械制造系统的设计。
1.2.2 低潮期(1969年—1982年)
1969年人工智能创始人M.Minsky 和S. Papert 合著的《感知机》（ Perceptrons） 一书，指出ANN只能用于线性问题求解，而 对非线性问题，需要隐含层，但理论上无法证 明。为ANN的研究泼了一盆冷水。开始了长 达10年的低潮期。 1969年，美国波士顿大学的S.GrossBerg 及其夫人提出著名的自适应共振理论，在之后 若干年中，陆续提出ART I，II，III三个版本 的系统。 1972年，芬兰的T.Kohonen和美国的 J.Anderson提出了自组织映射(SOM)理论。 1980年日本的福岛邦彦发表了《新认知机》 一文，其后不断进行改进。
1.2.4 新时期(1987年—
)
1987年6月，首届国际ANN学术会议在美 国加州圣地亚哥召开，与会代表1600多人， 成立了国际神经网络学会INNS，之后每年 一次。不久，《Neural Network》创刊.重要 的是，计算机技术飞速发展，促成了NN技 术的研究和应用普及。
1.2.5 国内研究概况
• 随着人工神经网络技术的发展，其用途 日益广泛，应用领域也在不断拓展，已在 各工程领域中得到广泛的应用。主要应用 如下： • （1）模式信息处理和模式识别 • 人工神经网络特别适宜解算这类问题， 形成了新的模式信息处理技术。它在各领 域中广泛应用是神经网络技术发展的重要 侧面。
• （2）最优化问题计算 • 人工神经网络中有相当一部分模型是非 线性动态系统，若将所计算问题的目标函 数与网络某种能量函数对应起来，网络动 态向能量函数极小值方向移动的过程则可 视作优化问题的解算过程。网络的动态过 程就是优化问题计算过程，稳态点则是优 化问题的局部或全局最优动态过程解。
右为“深蓝”现场操作者
许峰雄博士 ：“深蓝之父”、微软亚洲研究院的高级研究员，绰号：CB ——“疯狂的鸟”。他在1980年毕业于台湾大学，1989获得卡耐基梅隆大学 计算机博士学位。他和同伴在1997年研制出大型计算机“深蓝”，拉开电 脑与人脑的“世纪之战”，以“深蓝”战胜国际象棋世界冠军卡斯帕罗夫 而告终，轰动全世界。2003年春，许峰雄加盟微软亚洲研究院。
PK
5、信息处理速度 人脑信息传递速度为毫 秒级，而电脑为纳秒 级，对于串行算法， 电脑确实快。而对于 并行算法、模式识别 等，电脑就差远了
1.1.2 人脑与计算机信息处理机制比较
四个方面 1、系统结构：简单与复杂 2、信号形式：二值逻辑与模糊逻辑 3、信息存储：集中与分散 4、信息处理机制：串行与协同
卡斯帕罗夫曾分别于1996年和1997年同IBM公司超 级计算机“深蓝”两次展开“人机大战”，结果 卡斯帕罗夫一胜一负。在1997年的那场著名比赛 中，卡斯帕罗夫以2．5∶3．5的总比分在“深蓝” 面前败下阵来，引起全球轰动。一些人甚至认为， 这标志着电脑的智能已经开始超越人脑。 2003年1月26日，卡斯帕罗夫花了不到4个小时，仅 用27回合，就轻取名为“小深”的计算机软件棋 手，在引人注目的新一轮“人机大战”中以1∶0 暂告领先。 由以色列科学家开发的“小深”每秒能思考 300万步棋并能以更接近人类棋手的方式对奕， 曾连续三次在国际象棋计算机大赛中夺冠，人称 电脑“棋王”。 之后这台电脑被拆卸。
• • • •
关于考勤和考试
• 第15周上报考试资格同学，我要求14周确 认参加考试的同学。 • 考试形式：开卷。
1. 1 人脑与计算机
人类具有高度发达的大脑，大脑是思维活动的物质基础， 小档案：IBM生产， 思维是人类智能的集中体现。 CPU：RS6000SP2 人脑思维具有三种方式：逻辑思维、形象思维、灵感思维 数据处理方式：并行 速度：200万步/秒 -----钱学森
最新：280.6兆次/秒 逻辑思维是概念、判断与推理，即将信息抽象为概念，再根据逻辑 规则进行推理。这可以使用串行指令由机器完成。 例如：1997年的国际象棋人机大战：深蓝 PK 卡斯帕洛夫 2006年8月，浪潮天梭超级计算机 PK 5位中国象棋大师联队(柳大 华、卜风波、徐天红、张强、汪洋 ) 然而，在形象思维和灵感思维方面，计算机表现差强人意。
人工神经网络吸取了生物神经网络 的许多优点， 它的主要特点如下：
• • • • 高度的并行性 高度的非线性全局作用 良好的容错性与联想记忆功能 十分强的自适应、自学习功能
1. 2 人工神经网络的发展史
人工神经网络的研究是人类探索模仿脑 神经系统信息处理智能装置的一个相当 重要的领域。纵观其发展历程，几经兴 衰，我们可以大致将它划分为四个时期： 第一是启蒙期 第二是低潮期 第三是复兴期 第四是高潮期
1997年5月11日深蓝战胜卡斯帕罗夫
• 1997年5月11日，早晨4时50分(北京时间)，一台名为“深蓝”的 超级电脑将棋盘上的一个兵走到C4位置时，人类有史以来最伟大的 国际象棋名家卡斯帕罗夫不得不沮丧地承认自己输了。世纪末的一场 人机大战终于以计算机的微弱优势取胜。这场比赛是继去年卡斯帕罗 夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深蓝”的第 二次较量。 • 比赛于5月3日--11日在纽约的公平大厦举行。整个比赛引起了全 世界传媒的巨大关注。比赛吸引人们注视目光的原因之一是世界象棋 冠军卡斯帕罗夫赛前充满信心，发誓要为捍卫人类之优于机器的尊严 而战。然而，最后的结果却是他所捍卫的人类尊严在一台冷漠的1.4 吨重的庞然大物 “蓝色巨人”面前被无情地击溃了。虽然人类的骄 傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己 也是人类所研制出来的一台计算机而已，但人类所创造的工具击溃了 人类，并且是在人类引以为骄傲的智慧领域，这在一定程度上带来了 恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。 • “深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。是 一台RS6000SP2超级并行处理计算机，计算能力惊人，平均每秒可 计算棋局变化200万步。
五大师将出征：汪洋、张强、卜风波、徐天红、柳大华
棋天大圣
1.1.1 人脑与电脑比较
1、记忆与联想能力
人脑
电脑
1.4×1011个神经细胞 存储器 随机 顺序 联想记忆 无 过滤 无 自联恢复 无 创造性 无 2、学习与认知能力 计算机被动执行程序 3、信息加工能力 电脑不具备非逻辑加工能力 4、信息综合能力 归纳、类比、概括、综合
• 我国最早关于NN的著作是涂序彦在1980年出版的《生 物控制论》一书，其中一章介绍了神经网络。 • 1988年，北大非线性研究中心发起举办“神经网络学习 与识别”会议； • 1990年召开“中国首届神经网络学术大会”； • 1991年在南京召开第二届，成立神经网络学会。
1.3 人工神经网络的主要应用领域
主讲：李忠 教授
参考文献：
• 将宗礼，人工神经网络导论，北京：高等教育出版社， 2003 • 丁士圻，郭丽华，人工神经网络基础，哈尔滨工程大 学出版社，2008 • 焦李成. 神经网络的应用与实现. 西安: 西安科技大学 出版社，2005 • 胡守仁. 神经网络导论. 北京: 国防科技大学出版社， 1993 • 近年“计算机学报”、“软件学报”、“模式识别”、 “自动化学报”等相关文献
前 言
现代计算机对于那些 特征明确、推理或 者运算规则清楚的 可编程问题，可以 高速有效地求解， 在数值计算与逻辑 运算方面拓展了人 脑能力。 随着人脑科学的深入 研究，推动了人工 神经网络的研究与 应用。
第一章 绪论
1. 1 人脑与计算机 1. 2 人工神经网络的发展史 1. 3 神经网络的基本特征与功能 1. 4 人工神经网络的主要应用领域
1.2.3 复兴期(1982年—1987年)
人工神经网络研究的复兴标志是： 1982年，美国加州工学院物理学家John J. Hopfield博士发表的一篇突破性学术论文， 提出了一个强有力的网络模型，引入了李雅 普诺夫能量函数，这与电子电路存在对应关 系。 1986年发表David E. Rumelhart及其小组 发表了《并行分布式处理》一书，提出神经 网络的三个特征：结构、传递函数和训练方 法。也就是在这一时期，Rumelhart等人提 出BP算法，对神经网络的复苏和发展起到了 关键性作用。
1.2.1 启蒙期(1890年—1969年)
1890年从著名美国心理学家W. James的 《心理学原理》研究开始，到1969 年。 1943年，生理学家W.S.McCulloch和数 学家W.A.Pitts发表的《神经活动中所蕴含 思想的逻辑活动》从信息处理角度提出形 式神经元的数学模型，M-P模型。开创了 新时代。 1949年心理学家Donald Olding Hebb出 版《行为构成》一书，首次提出连接权训 练算法。 1958年计算机学家Frank Rosenblatt提出 了“感知机(perceptron)”，这是一个三层 结构的神经网络。 1960年Bernard Widrow和Marcian Hoff 发表《自适应开关电路》一文，提出了 Adaline模型，即自适应线性单元，设计 了一个精巧的学习训练算法—--误差平方 和最小。
1. 4 本课程的主要内容
• 一般地说，按人工神经网络的拓扑结构可分两 类：前向网络和反馈网络。在本课程中除了介绍 神经网络的基础知识外，还将重点介绍。 典型的前向网络有： 感知机（Perceptrons） 自适应线性网络(Adaptive Linear Networks) 反向传播网络(Back Propagation Networks)
• （3）信息的智能化处理 • 神经网络适宜于处理具有残缺结构和含 有错误成分的模式，能够在信源信息含糊、 不确定、不完整，存在矛盾及假象等复杂 环境中处理模式。网络所具有的自学习能 力使得传统专家系统技术应用较为困难的 知识获取工作转换为网络的变结构调节过 程，从而大大方便了知识库中知识的记忆 和抽提。
1.1.3 什么是人工神经网络
人工神经网络(ANN)只是对人脑的简化、抽象和模拟。
ANN是人类对其大脑神经网络认识理解的基础上人 工构造的能够实现某种功能的神经网络。它是理论化的 人脑神经网络的数学模型，是基于模仿大脑神经网络结 构和功能而建立的一种信息处理系统。它实际上是由大 量简单处理单元并联组合而成的复杂网络，具有高度的 非线性特征。
• （4）复杂控制 • 神经网络在诸如机器人运动控制等复 杂控制问题方面有独到之处。较之传统数 字计算机的离散控制方式，更适宜于组成 快速实时自适应控制系统。
• （5）信号处理 • 神经网络的自学习和自适应能力使其 成为对各类信号进行多用途加工处理的一 种天然工具，尤其在处理连续时序模拟信 号方面有很自然的适应性。 • （6）工程设计 • 神经网络在工程设计中的应用非常广 泛，如产品设计和机械制造系统的设计。
1.2.2 低潮期(1969年—1982年)
1969年人工智能创始人M.Minsky 和S. Papert 合著的《感知机》（ Perceptrons） 一书，指出ANN只能用于线性问题求解，而 对非线性问题，需要隐含层，但理论上无法证 明。为ANN的研究泼了一盆冷水。开始了长 达10年的低潮期。 1969年，美国波士顿大学的S.GrossBerg 及其夫人提出著名的自适应共振理论，在之后 若干年中，陆续提出ART I，II，III三个版本 的系统。 1972年，芬兰的T.Kohonen和美国的 J.Anderson提出了自组织映射(SOM)理论。 1980年日本的福岛邦彦发表了《新认知机》 一文，其后不断进行改进。
1.2.4 新时期(1987年—
)
1987年6月，首届国际ANN学术会议在美 国加州圣地亚哥召开，与会代表1600多人， 成立了国际神经网络学会INNS，之后每年 一次。不久，《Neural Network》创刊.重要 的是，计算机技术飞速发展，促成了NN技 术的研究和应用普及。
1.2.5 国内研究概况
• 随着人工神经网络技术的发展，其用途 日益广泛，应用领域也在不断拓展，已在 各工程领域中得到广泛的应用。主要应用 如下： • （1）模式信息处理和模式识别 • 人工神经网络特别适宜解算这类问题， 形成了新的模式信息处理技术。它在各领 域中广泛应用是神经网络技术发展的重要 侧面。
• （2）最优化问题计算 • 人工神经网络中有相当一部分模型是非 线性动态系统，若将所计算问题的目标函 数与网络某种能量函数对应起来，网络动 态向能量函数极小值方向移动的过程则可 视作优化问题的解算过程。网络的动态过 程就是优化问题计算过程，稳态点则是优 化问题的局部或全局最优动态过程解。
右为“深蓝”现场操作者
许峰雄博士 ：“深蓝之父”、微软亚洲研究院的高级研究员，绰号：CB ——“疯狂的鸟”。他在1980年毕业于台湾大学，1989获得卡耐基梅隆大学 计算机博士学位。他和同伴在1997年研制出大型计算机“深蓝”，拉开电 脑与人脑的“世纪之战”，以“深蓝”战胜国际象棋世界冠军卡斯帕罗夫 而告终，轰动全世界。2003年春，许峰雄加盟微软亚洲研究院。
PK
5、信息处理速度 人脑信息传递速度为毫 秒级，而电脑为纳秒 级，对于串行算法， 电脑确实快。而对于 并行算法、模式识别 等，电脑就差远了
1.1.2 人脑与计算机信息处理机制比较
四个方面 1、系统结构：简单与复杂 2、信号形式：二值逻辑与模糊逻辑 3、信息存储：集中与分散 4、信息处理机制：串行与协同
卡斯帕罗夫曾分别于1996年和1997年同IBM公司超 级计算机“深蓝”两次展开“人机大战”，结果 卡斯帕罗夫一胜一负。在1997年的那场著名比赛 中，卡斯帕罗夫以2．5∶3．5的总比分在“深蓝” 面前败下阵来，引起全球轰动。一些人甚至认为， 这标志着电脑的智能已经开始超越人脑。 2003年1月26日，卡斯帕罗夫花了不到4个小时，仅 用27回合，就轻取名为“小深”的计算机软件棋 手，在引人注目的新一轮“人机大战”中以1∶0 暂告领先。 由以色列科学家开发的“小深”每秒能思考 300万步棋并能以更接近人类棋手的方式对奕， 曾连续三次在国际象棋计算机大赛中夺冠，人称 电脑“棋王”。 之后这台电脑被拆卸。
• • • •
关于考勤和考试
• 第15周上报考试资格同学，我要求14周确 认参加考试的同学。 • 考试形式：开卷。
1. 1 人脑与计算机
人类具有高度发达的大脑，大脑是思维活动的物质基础， 小档案：IBM生产， 思维是人类智能的集中体现。 CPU：RS6000SP2 人脑思维具有三种方式：逻辑思维、形象思维、灵感思维 数据处理方式：并行 速度：200万步/秒 -----钱学森
最新：280.6兆次/秒 逻辑思维是概念、判断与推理，即将信息抽象为概念，再根据逻辑 规则进行推理。这可以使用串行指令由机器完成。 例如：1997年的国际象棋人机大战：深蓝 PK 卡斯帕洛夫 2006年8月，浪潮天梭超级计算机 PK 5位中国象棋大师联队(柳大 华、卜风波、徐天红、张强、汪洋 ) 然而，在形象思维和灵感思维方面，计算机表现差强人意。
人工神经网络吸取了生物神经网络 的许多优点， 它的主要特点如下：
• • • • 高度的并行性 高度的非线性全局作用 良好的容错性与联想记忆功能 十分强的自适应、自学习功能
1. 2 人工神经网络的发展史
人工神经网络的研究是人类探索模仿脑 神经系统信息处理智能装置的一个相当 重要的领域。纵观其发展历程，几经兴 衰，我们可以大致将它划分为四个时期： 第一是启蒙期 第二是低潮期 第三是复兴期 第四是高潮期
1997年5月11日深蓝战胜卡斯帕罗夫
• 1997年5月11日，早晨4时50分(北京时间)，一台名为“深蓝”的 超级电脑将棋盘上的一个兵走到C4位置时，人类有史以来最伟大的 国际象棋名家卡斯帕罗夫不得不沮丧地承认自己输了。世纪末的一场 人机大战终于以计算机的微弱优势取胜。这场比赛是继去年卡斯帕罗 夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深蓝”的第 二次较量。 • 比赛于5月3日--11日在纽约的公平大厦举行。整个比赛引起了全 世界传媒的巨大关注。比赛吸引人们注视目光的原因之一是世界象棋 冠军卡斯帕罗夫赛前充满信心，发誓要为捍卫人类之优于机器的尊严 而战。然而，最后的结果却是他所捍卫的人类尊严在一台冷漠的1.4 吨重的庞然大物 “蓝色巨人”面前被无情地击溃了。虽然人类的骄 傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己 也是人类所研制出来的一台计算机而已，但人类所创造的工具击溃了 人类，并且是在人类引以为骄傲的智慧领域，这在一定程度上带来了 恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。 • “深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。是 一台RS6000SP2超级并行处理计算机，计算能力惊人，平均每秒可 计算棋局变化200万步。
五大师将出征：汪洋、张强、卜风波、徐天红、柳大华
棋天大圣
1.1.1 人脑与电脑比较
1、记忆与联想能力
人脑
电脑
1.4×1011个神经细胞 存储器 随机 顺序 联想记忆 无 过滤 无 自联恢复 无 创造性 无 2、学习与认知能力 计算机被动执行程序 3、信息加工能力 电脑不具备非逻辑加工能力 4、信息综合能力 归纳、类比、概括、综合
• 我国最早关于NN的著作是涂序彦在1980年出版的《生 物控制论》一书，其中一章介绍了神经网络。 • 1988年，北大非线性研究中心发起举办“神经网络学习 与识别”会议； • 1990年召开“中国首届神经网络学术大会”； • 1991年在南京召开第二届，成立神经网络学会。
1.3 人工神经网络的主要应用领域
主讲：李忠 教授
参考文献：
• 将宗礼，人工神经网络导论，北京：高等教育出版社， 2003 • 丁士圻，郭丽华，人工神经网络基础，哈尔滨工程大 学出版社，2008 • 焦李成. 神经网络的应用与实现. 西安: 西安科技大学 出版社，2005 • 胡守仁. 神经网络导论. 北京: 国防科技大学出版社， 1993 • 近年“计算机学报”、“软件学报”、“模式识别”、 “自动化学报”等相关文献
前 言
现代计算机对于那些 特征明确、推理或 者运算规则清楚的 可编程问题，可以 高速有效地求解， 在数值计算与逻辑 运算方面拓展了人 脑能力。 随着人脑科学的深入 研究，推动了人工 神经网络的研究与 应用。
第一章 绪论
1. 1 人脑与计算机 1. 2 人工神经网络的发展史 1. 3 神经网络的基本特征与功能 1. 4 人工神经网络的主要应用领域
1.2.3 复兴期(1982年—1987年)
人工神经网络研究的复兴标志是： 1982年，美国加州工学院物理学家John J. Hopfield博士发表的一篇突破性学术论文， 提出了一个强有力的网络模型，引入了李雅 普诺夫能量函数，这与电子电路存在对应关 系。 1986年发表David E. Rumelhart及其小组 发表了《并行分布式处理》一书，提出神经 网络的三个特征：结构、传递函数和训练方 法。也就是在这一时期，Rumelhart等人提 出BP算法，对神经网络的复苏和发展起到了 关键性作用。
1.2.1 启蒙期(1890年—1969年)
1890年从著名美国心理学家W. James的 《心理学原理》研究开始，到1969 年。 1943年，生理学家W.S.McCulloch和数 学家W.A.Pitts发表的《神经活动中所蕴含 思想的逻辑活动》从信息处理角度提出形 式神经元的数学模型，M-P模型。开创了 新时代。 1949年心理学家Donald Olding Hebb出 版《行为构成》一书，首次提出连接权训 练算法。 1958年计算机学家Frank Rosenblatt提出 了“感知机(perceptron)”，这是一个三层 结构的神经网络。 1960年Bernard Widrow和Marcian Hoff 发表《自适应开关电路》一文，提出了 Adaline模型，即自适应线性单元，设计 了一个精巧的学习训练算法—--误差平方 和最小。
1. 4 本课程的主要内容
• 一般地说，按人工神经网络的拓扑结构可分两 类：前向网络和反馈网络。在本课程中除了介绍 神经网络的基础知识外，还将重点介绍。 典型的前向网络有： 感知机（Perceptrons） 自适应线性网络(Adaptive Linear Networks) 反向传播网络(Back Propagation Networks)