人工神经网络基础

一 人工神经网络发展
人工神经网络是近年来得到迅速发展的一 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的 有力工具。
二 生物学基础
生物神经元 突触信息处理 信息传递功能与特点
1、生物神经元
神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个
一 人工神经网络发展
自20世纪80年代中期以来，世界上许多国家掀 起了神经网络的研究热潮，可以说神经网络已 成为国际上的一个研究热点。
一 人工神经网络发展
神经网络研究的两大派：
主要包括:生物学家、物理学家和心理学家
研究目的：给出大脑活动的精细模型和描述。
主要包括:工程技术人员
主要目的：怎样利用神经网络的基本原理，来构 造解决实际问题的算法，使得这些算法具有有趣 的和有效的计算能力。
1949年，心理学家Hebb提出神经系统的学习规 则，为神经网络的学习算法奠定了基础。现在，这 个规则被称为Hebb规则，许多人工神经网络的学 习还遵循这一规则。
一 人工神经网络发展
1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型， 第一次把神经网络的研究从纯理论的探讨付诸工程实践， 掀起了人工神经网络研究的第一次高潮。
1943 ， 神经 生 理 学 家 McCulloch 和 数 学 家 Pitts 基于早期神经元学说，归纳总结了生物神经 元的基本特性，建立了具有逻辑演算功能的神经元 模型以及这些人工神经元互联形成的人工神经网络 ，即所谓的 McCulloch-Pitts 模型。
McCulloch-Pitts 模型（MP模型）是世界上第 一个神经计算模型，即人工神经系统。
神经元约与104-105个神经元通过突触联接，形 成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的 不规则树枝状纤维构成的神经细胞，其形状很 像一棵枯树的枝干 主要由细胞体、树突、轴突组成
1、生物神经元
• 树突是树状的神经纤维接收网络，它将电信号传送到细胞体 • 细胞体对这些输入信号进行整合并进行阈值处理 • 轴突是单根长纤维，它把细胞体的输出信号导向其他神经元
人工神经网络
人工神经网络概述 前向多层网络 自组织特征映射网络（SOFM）
人工神经网络概述
一 人工神经网络发展 二 生物学基础 ห้องสมุดไป่ตู้ 人工神经网络结构 四 神经网络基本学习算法
一 人工神经网络发展
最早的研究可以追溯到20世纪40年代。1943年， 心理学家McCulloch和数学家Pitts合作提出了形 式神经元的数学模型。这一模型一般被简称M-P神 经网络模型，至今仍在应用，可以说，人工神经网 络的研究时代，就由此开始了。
递主要发生在突触附近； 当神经元细胞体通过轴突传到突触前膜的脉冲幅
度达到一定强度，即超过其阈值电位后，突触前 膜将向突触间隙释放神经传递的化学物质； 突触有两种类型，兴奋性突触和抑制性突触。前 者产生正突触后电位，后者产生负突触后电位。
3、信息传递功能与特点
具有时空整合能力 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在
其表达式为：
f
(
x)
1 0
, ,
x0 x0
MP模型：
可知当神经元i的输入信号加权和超过阈值时，输出为
“1”，即“兴奋”状态；反之输出为“0”，是“抑制” 状态。
激活函数的基本作用
一 人工神经网络发展
1982年，美国加州工学院物理学家Hopfield提出了离散 的神经网络模型，标志着神经网络的研究又进入了一个新 高潮。1984年，Hopfield又提出连续神经网络模型，开 拓了计算机应用神经网络的新途径。
1986年，Rumelhart和Meclelland提出多层网络的误差 反传(back propagation)学习算法，简称BP算法。解决 了多层前向神经网络的学习问题，证明了多层神经网络具 有很强的学习能力，它可以完成许多学习任务，解决许多 实际问题。
MP模型：
称为输出函数或激活函数
MP模型：
求和操作
n
xi w ji u j i j 1
n
激活函数 yi f (xi ) f ( w ji u j i ) j 1
MP模型：
f(x)是激活函数(Activation Function)，也称输出函数。 MP神经元模型中的输出函数为阶跃函数：
1969年，人工智能学者专著《感知机》的发表，从数学上 严格论证了简单的线性感知机不能解决“异或”（XOR） 问题。同时也指出如果在感知器中引入隐含神经元，增加 神经网络的层次，可以提高神经网络的处理能力，但是却 无法给出相应的网络学习算法。于是，从20世纪60年代末 期起，人工神经网络的研究进入了低潮。
神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的 功能。
1、生物神经元
生物学研究表明一些神经结构是与生俱来的，而 其他部分则是在学习的过程中形成的。 在学习的过程中，可能会产生一些新的连接，也 可能会使以前的一些连接消失。这个过程在生命 早期最为显著。
2、突触的信息处理
生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传
1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应
对应突触传递作用增强、减弱和饱和
三 人工神经网络结构
人工神经网络 人工神经元模型 常见的神经元激发函数 人工神经网络典型结构
二、人工神经元模型
人工神经网络属于此类
一 人工神经网络发展
人工神经网络概念：
人工神经网络：
就是把一个描述生物神经网络运行机理和工 作过程的抽象和简化了的数学-物理模型， 表达成为一个以其中的人工神经元为节点、 以神经元之间的连接关系为路径权值的有向 图，再用硬件或软件程序实现该有向图的运 行，其稳态运行结果体现生物神经系统的某 种特殊能力。