人工神经网络简介.ppt

H—H方程
I

Cm
dV dt

g k n4 (V
Vk
)

g Nam3h(V
VNa )

gl
(V
Vl
)
研究人工神经网络和目的
揭示功能造福人类 构造ANN用于工程及其他领
域
PDP（Parallel Distributed Processing）理论框架
5 传递规则 wijoi
6 把处理单元的输入及当前状态结合 起来产生激活值的激活规则 7 通过经验修改联接强度的学习规则 8 系统运行的环境（样本集合）
PDP模型下的人工神经元网络模型
x1 w1i x2 w2i

人工智能
人工智能（Artificial Intelligence,简 记AI）最早在1956年被引入的。
人工智能就是研究如何让计算机模 仿人脑进行工作。
学术流派
有代表性的包括： 符号主义（或符号/逻辑主义）学派 联接主义（或并行分布处理）学派 进化主义（或行动/响应）学派
突触传递信息特点：
1、时延性（0.3—1ms） 2、综合性：时间与空间的累加 3、类型：兴奋与抑制 4、脉冲与电位转换（D/A功能） 5、速度:1—150m/s 6、不应期（死区）3—5ms 7、不可逆性（单向） 8、可塑性：强度可变
大脑处理信息的特点
分布存储与冗余性 并行处理 信息处理与存储合一 可塑性与自组织性 鲁棒性
人工神经网络的特点
学习能力 泛化能力 信息的分布存放 适用性问题
1、对大量的数据进行分类，并且只有较少的 几种情况
2、必须学习一个复杂的非线性映射
人工神经网络的发展是曲折的
萌芽期
1943年，心理学家McCulloch和数学家 Pitts建立起了著名的阈值加权和模型， 简称为M-P模型；
物理符号系统
Newell和Simon在1976年提出 的假说，他们认为：一个物理 系统表现智能行为的充要条件 是它有一个物理符号系统。
联接主义观点
认为：智能的本质是联接机制，神 经网络是一个由大量简单的处理单 元组成的高度复杂的大规模非线性 自适应系统。
人工神经网络
力求从四个方面模拟人脑的智能行为 1、物理结构 2、计算模拟 3、存储与操作 4、训练
第二高潮期
1、1982年，J.Hopfield提出循环网络，并将 Lyapunov函数引入人工神经网络，作为网络 性能判定的能量函数。这是一个突破性的进 展。
2、1984年，J.Hopfield设计研制了Hopfield 网的电路。人工神经元被用放大器来实现， 而联接则是用其他电子线路实现的。它较好 地解决了著名的TSP问题，找到了最佳解，引 起了较大轰动。
另外，目前还无法对人工神经网络的工作 机理进行严格的解释。
目前研究方向
1 开发现有模型的应用，并在应用中概 括实际运行情况对模型、算法加以改造， 以提高网络的训练速度和运行的准确度。
2 希望在理论上寻找新突破，建军立新 的专用/通用模型和算法。
3 进一步对生物神经系统进行研究，不 数地丰富对人脑的认识。
第一高潮期
大体上可以认为是从1950年到 1968年，也就是从单级感知器 (Perceptron)的构造成功开始， 到单级感知器被无情的否定为 止。
人们乐观地认为找到了智能的 关键
反思期
M.L.Minsky和S.Papert对单 级感知器进行了深入的研究， 从理论上证明了当时的单级感 知器无法解决许多简单问题， 包括最基本的“异或”问题。
xn wni
neti xjwji ai F (ai , neti ) oi f (ai )
人工神经网络的定义
1987年，Simpson从人工神经网 络的拓朴结构出发，给出一个虽不 太严格但简明扼要的定义：人工神 经网络是一个非线性的有向图，图 中含有可以通过改变权大小来存放 模式的加权边，并且可以从不完整 的或未知的输入找到模式。
两种模型的比较
项目
物理符号系统 人工神经网络
处理方式 逻辑运算
模拟运算
执行方式 串行
并行
动作
离散
连续
存储
局部集中
全局分布
两种人工智能技术的比较
项目
基本实现 方式 基本开发 方式
适应领域 模拟的人工 神经网络技术 智能技术
并行处理；对样本数据进 串行处理；由程 行多目标学习；通过人工 序实现控控制 神经元之间的相互作用实
心理学家D.O.Hebb提出Hebb学习 律 ——人工神经网络学习训练算法的 起点，是里程碑
Hebb学习律
联接两个神经元的突触的强度按如下规则变 化：在任意时刻，当这两个神经元处于同一 种状态时，表明这两个神经元具有对问题响 应的一致性，所以它们应该互相支持，其间 的信号传输应该加强，这是通过加强它们之 间的突触的联接强度实现的。反之，在某一 时刻，当这两个神经元处于不同的状态时， 表明它们对问题的响应不一致，因此它们之 间的突触的联接强度被减弱。
经元互相连接构成神经网络。
1012
生物神经元
电脑模拟的锥体神经细胞
生物神经系统有基本特征
神经元及其联接 神经元之间的联接强度决定信号传递的强弱 神经元之间的联接强度可以随训练而改变的 信号可以是起刺激作用的，也可以是起抑制
作用 一个神经元接受的信号的累积效果决定该神
经元的状态 每个神经元可以有一个“阈值”
人类个体智能是一种综合能力
感知与认识客观事物、客观世界和自我的能力 通过学习取得经验秘积累知识的能力 理解并运用知识和经验分析、解决问题的能力 联想、推理、判断、决策的能力 运用语言进行抽象、概括的能力 发现、发明、创造、创新的能力 实时、迅速、合理地应付环境的能力 预测、洞察事物发展、变化的能力
现控制
设计规则、框架、定义人工神经网络的结构
程序；用样本数 原型，通过样本数据，依
据进行调试
据基本的学习算法完成学
习
精确计算：符号 非精确计算；模拟处理， 处理，数值计算 大规模数据并行处理
左脑（逻辑思维）右脑（形象思维）
生物神经元的组成
细胞体（Cell body） 树突（Dendrite） 轴突（Axon） 突触（Synapse） 人的大脑由1011个神经元构成，神
人工神经网络
讲座人：冯源
人工神经网络
人工神经网络（Artificial Neural Networks，简记为ANN）是对人类 大脑系统的一阶特性的一种描述。 它是一个数学模型，可以用计算机 程序来模拟，是人工智能的一种方 法。
智能的含义
人类能记忆事物，能有目的地 进行一些活动，能通过学习获得知 识，并能在后续的学习中不断地丰 富知识，还有一定的能力运用这些 知识去探索未知的东西，去发现、 去创新。
类似的算法分分别被Paker 和 Werbos在1982年和1974年独 立地提出过。但当时并未受 到重视。
再认识与应用研究期
20世经90年代后，人们发现，关于人工神 经网络还有许多待解决的问题，因此又开 始新一轮的再认识。
人工神经网络的不精确推理，使它因结果 精度低而不能满足用户需要。因此一部分 研究者在系统中将其作为初步“筛选工 具”，取得结果后再用传统方法求精。
处理单元就是人工神经元。
ai
PDP（Parallel Distributed Processing）理论框架
Rumellhart 、McClelland 、Hinton等 人提出
1 一组处理单元（PE或AN） 2 处理单元的激活状态 ai 3 每个处理单元的输出函数 fi 4 处量单元之间的联接模式
第二高潮期
3、1985年，美国加州大学圣地亚哥分校 （UCSD）的Hinton、Sejnowsky、Rumelhart 等人所在的并行分布处理（PDP）小组的研究 者在Hopfield网络中引入了随机机制，提出了 所谓的Boltzmann机。首次提出了多层网的学习 算法。
4、1986年，并行分布处理小组的Rumelhart等 研究者重新独立地提出多层网络的学习算法— —BP算法，较好地解决了多层网络的学习问题。
人工神经网络的定义
1988年，Hecht--Nielsen曾经给人工神经网络下了 如下定义：人工神经网络是一个并行、分布处理结构， 它由处理单元及称为联接的无向信号通道互连而成。 这些处理单元（PE—Processing Element）具有局部内 存，并可以完成局部操作。每个处理单元有一个单一 的输出联接，这个输出可以根据需要被分支成希望个 数的许多并行联接，且这些并行联接都输出相同的信 号，即相应处量单元的信号，信号的大小不因分支的 多少而变化。处理单元的输出信号可以是任何需要的 数学模型，每个处量单元中进行的操作必须是完全局 部的。也就是说，它必须仅仅依赖于经过输入联接到 处理单元的所有输入信号的当前值和存储在处理单元 局部内存中的值。