人工神经网络(讲稿)复习过程

一. 概论
人工神经网络的定义和研究发展的根源 神经细胞与生物神经网络 人工神经网络的特点 人工神经网络的发展简史
1.1 人工神经网络的定义和研究发展根源
（1）定义：人工神经网络是以大量的具有相同结构的简单单元的 连接，来模拟人类大脑的结构和思维方式的一种可实 现的物理系统，可通过计算机进行模拟实现。
物理器件或软件系统的水平； 对大脑中网络结构和机制认识的水平。
1.3 人工神经网络的特点和优点 优点：
并行性：简单单元并行连接，在时钟控制下集体操作，处理速 度快。
容错性：局部的或部分神经元出现差错，不会影响全局结果。 网络能够自动纠正错误。
分布式存储：信息储存在网络的连接权上，是分散的，而不在 储存器中。
2. 低潮时期（1969-1982） 1969，Minsky和Papert在论著《感知机》中指出了感知机的局限性，
即只能作线性分类，对于非线性分类，感知机无法解决。大批学者便离开 这一领域，出现人工神经网络的研究的低潮（六、七十年代）。
3. 复兴时期（1982-1986） （1）1982-1984，Hopfield提出一种互连反馈网络，现称之为 Hopfield 网络。引入了一种能量函数，证明了网络的稳定性，即网络的状态向能量 低的方向进行演化，最终必然达到一个极小点而稳定。Hopfield网络在优 化和语音识别方面有着重要的应用。 （2）1986，Rumelhart和Hinton等提出了多层前向网络的误差反向传播 （BP)算法，使得网络可以任意逼近一个连续系统，并得到广泛的应用。
举例：2-3岁的小孩可以从人群中认出父母、3-4岁能够顺利地穿过十字 路口，但最先进的机器人也难以完成这项任务。
因而模仿人类的思维方式可以提高机器人的能力
1.2 神经细胞与生物神经网络
1. 神经网络
组织形式 大脑中大约有100亿个神经元，它们相互连接，形成一个复杂庞大的网
络系统。因此大脑的结构是一个神经（元）网络。 根据估计，每个神经元大约与上千个神经元相互连接。 大脑所形成的神经网络是由一些小的网络连接而成。根据估计，所有神
1.3 人工神经网络的特点和优点 特点：
1. 人工神经网络是采用物理上可实现的器件或计算机来模拟 大 脑中神经网络的结构与功能，并将其应用于工程和其它科 学领域。 2. 模拟并非完全一样的复制生物神经网络，而是采纳有利的 部分来克服目前计算机或其它系统不能解决的问题，如学习 、识别、控制等方面 的问题。 3. 人工神经网络功能的提高依赖于以下两点：
信号分析与信息处理
人工神经网络
Artificial Neural Network
神经网络－模式识别
引例：水果分类的问题（识别不同的水果）
说明：1. 对水果的分类，是一个模式的识别问题。而对机械运行状态的判 断，也是一个模式识别，因此可以使用神经网络进行判断。 2. 为神经网络提供数值参量（形状、大小、成分等），就可以得 到对应的种类属性（苹果、桔子）。因此，使用各种信号数据参 数作为输入，也可以获得机械运行状态的属性参量。 3. 权值相量、判断标准、误差输入可以不断的修正。
(1) 电脉冲: 神经元在被激活后产生电脉冲，由轴突传出。 相对幅值约为100mv，宽度约为1ms，称为神经元的动作电位。
(2)电脉冲的传递:
(3) 神经元的特性: (1) 突触的特性 兴奋性突触：后突触膜电位随递质与受体的结合数量的增加而增加。 抑制性突触：后突触膜电位随递质与受体的结合数量的增加而减小。 (2) 时空整和性 空间累加：将来自不同树突的兴奋性和抑制性信号进行累加。 时间累加：由于输入信号对神经元膜电位的影响要持续一段时间
可学习性：人工神经网络的连接权、阈值可通过学习得到，并 来自百度文库根据外部环境进行自适应，自组织。
1.4 人工神经网络的发展简史
1.初始发展期（1890-1968） （1）1890，James（美国生理学家）在其著作《生理学》中首次较系统
地阐明了大脑的结构和功能、神经元的功能与连接、信息的传递等，并 将大脑看作一个神经网络。为进一步认识大脑的功能奠定了基础。 （2）1943年，McCulloch 和Pitts（美国心理学家和数学家）提出了神经 元的数学模型，现称为M-P模型。 （3）1949年，Hebb在其著作《行为自组织》中提出了改变神经元连接强 度的学习规则（现称Hebb规则）：连接权的学习律是正比于两个被连 接神经元的活动状态之乘积。 （4）1958, Rosenblatt 发展了M-P模型，提出了感知机（Perceptron） 及其学习算法，它是历史上第一个人工神经网络和学习算法。它的出现 掀起了神经网络研究的第一高潮。
（几ms），因此，从时间上进行着累加。
1.2 神经细胞与生物神经网络 4.神经网络信息处理的特
点
分布式存储与容错性： ：信息在神经网络内的储存是按内容分布于大量的 神经细胞中，而且每个神经细胞实际上储存着多种不同信息的部分内容。 局部的或部分神经元出现差错，不会影响全局结果。网络能够自动纠正错 误。 并行性性：在神经网络中，巨量的神经元同时进行大规模的并行处理。尽 管神经元的响应速度很慢，每次约1ms左右，比一般电子元件慢几个数量 级，却可以在几毫秒内对一个复杂的过程作出判断和决策。计算机却无能 为力。 信息的处理与存储的合二而一性：每个神经元都兼有处理与存储的功能， 神经元之间连接强度的变化，反映了对信息的记忆，同时又与神经元对激 励的响应一起反映了对信息的处理。 自学习和自组织性：对外界事物的反映，通过神经元之间的连接强度不断
1.1 人工神经网络的定义和研究发展根源
（2）研究和发展的根源
(1) 现代计算机在解决信息初级加工如视觉、听觉、嗅觉的感知识别 上十分迟钝，且研究进展缓慢。但人脑在这些方面远远超过了计算机。 因需要向大脑学习；
(2) 现代计算机中每个电子元件的计算速度已达纳秒(ns)级，而人脑 中神经细胞的反映时间只是毫秒(ms)级，为何大脑处理信息的功能远高 于计算机，这表现出大脑结构上和信息处理方式上的优越性。
经元被安排到约1000个主要的功能模块，每个功能模块大约有上百个神经 网络，每个网络约有10万个神经元。 信息的传递
从一个神经元到另一个神经元； 从一个网络到另一个网络； 从一个模块到另一个模块。
1.2 神经细胞与生物神经网络
2. 生物神经元（细胞）结构模型
1.2 神经细胞与生物神经网络 3. 神经元的电脉冲