3基于人工神经网络的建模设计方法

1 1 e
u j

1987年在美国召开了第一届世界神 经网络大会1000人参加。
IJCNN等大会


Neural Computing, IEEE Neural Network 等期刊
概述

人工智能与神经网络


共同之处：研究怎样使用计算机来模仿人脑工 作过程。学习——实践——再学习——再实践 。 不同之处：

1986年美国的一个平行计算研究小 组提出了前项反馈神经网络的Back Propagation（BP）学习算法。成为 当今应用最广泛的方法之一。该方法 克服了感知器非线性不可分类问题， 给神经网络研究带来了新的希望。 n
y j f ( wij xi j )
i 1
f (u j )
Spatial (signals) Temporal (pulses)

Threshold over composed inputs Constant firing strength

神经网路的复杂多样，不仅在于神经 元和突触的数量大、组合方式复杂和联系 广泛，还在于突触传递的机制复杂。现在 已经发现和阐明的突触传递机制有：突触 后兴奋，突触后抑制，突触前抑制，突触 前兴奋，以及“远程”抑制等等。在突触 传递机制中，释放神经递质是实现突触传 递机能的中心环节，而不同的神经递质有 着不同的作用性质和特点

神经细胞的输出对输入的反映。典型 的转移函数是非线性的。
f(u) f(u)
1 1
f(u)
1
0 (a)
u
0 (b)
u
0 (c)
u

人脑神经网络：
人脑中约有１４０亿个神经细胞，根 据Stubbz的估计这些细胞被安排在约 １０００个主要模块内，每个模块上 有上百个神经网络，每个网络约有１ ０万个神经细胞。

优缺点

ຫໍສະໝຸດ Baidu评价

优点： 并行性；分布存储；容错性；学习能力 缺点： 不适合高精度计算；学习问题没有根本 解决，慢；目前没有完整的设计方法， 经验参数太多。

3.2 BP网络

前馈型神经网： 最初称之为感知器。应用最广泛的一 种人工神经网络模型，最要原因是有 BP学习方法。

前馈网络结构是分层的，信息只能从 下一层单元传递到相应的上一层单元。 上层单元与下层所有单元相联接。转 移函数可以是线性阈值的。


七十年代,据说全球只有几十个人在研究， 但还是成功的。如：日本Fukusima的 Neocognitron； 芬兰Kohonen的自组织神 经网络；Stephen Crossberg的共振自适应理 论ART网络等 。

1982年John J. Hopfield（物理学家）提出 了全联接网络，离散的神经网络模型。—— 全新的具有完整理论基础的神经网络模型。 基本思想是对于一个给定的神经网络，对于 一个能量函数，这个能量函数是正比于每一 个神经元的活动值和神经元之间的联接权。 而活动值的改变算法是向能量函数减少的方 向进行，一直达到一个极小值为止。证明了 网络可达到稳定的离散和连续两种情况。３ 年后AT&T等做出了半导体芯片。——神经 网络复兴时期开始。


10 billion neurons in human brain Summation of input stimuli


10 6 billion synapses in human brain
Chemical transmission and modulation of signals Inhibitory synapses Excitatory synapses

同样是模仿人脑，但所考虑的角度不同。 成年人和婴儿。学习过程不一样。一个是 总结出常人都不懂得规律；一个是没完没 了向他出示、重复一样东西，就象教一个 小孩子说话。
概述
研究目的 人工智能 人脑推理、学习、思考、规划等 思维活动，解决需人类专家才能 处理的复杂问题。 推理方法、知识表示、机器学习 神经网络 阐明有关人脑结构及其功能 以及相关学习、联想记忆的 基本规律。 生物的生理机制、信息的存 储、传递、处理方式 人懂→机器懂→人懂 图像等→机器→图像等 知识库中有事实和规则，随时添 在网的结构之中，一条出问 加而增大，一条出了毛病有可能 题不会触大错，网络结构不 出错。 会随知识增加变化很大 符号 脉冲形式，以频率表示 树、网等，一条一条执行，并行 原理上是并行结构，与生物 处理较难 信息处理机制一致
神经系统活动，不论是感觉、运动，还是 脑的高级功能（如学习、记忆、情绪等）都有 整体上的表现，面对这种表现的神经基础和机 理的分析不可避免地会涉及各种层次。这些不 同层次的研究互相启示，互相推动。在低层次 （细胞、分子水平）上的工作为较高层次的观 察提供分析的基础，而较高层次的观察又有助 于引导低层次工作的方向和体现其功能意义。 既有物理的、化学的、生理的、心理的分门别 类研究，又有综合研究。
MP模型的意义： M-P模型能完成一定的逻辑运算
第一个采用集体并行计算结构来描 述人工神经元和网络工作。 为进一步的研究提供了依据 （可以完成布尔逻辑计算）


1949年Donala U.Hebb（心理学家）论 著《The Organization of Behavior（行 为自组织）》，提出突触联系强度可变 的假设，认为学习的过程最终发生在神 经元之间的突触部位，突触的联系强度 随着突触前后神经元的活动而变化。 ——赫布规则 多用于自组织网络的学习。即：若两个 神经元输出兴奋，则它们之间的连接权 加强，反之减少。wij wij Si S j
赫布规则意义（提出了变化的概念）

提出了一个神经网络里信息是储藏在突 触连接的权中的概念


连接权的学习律是正比于两个被连接神 经细胞的活动状态值的乘积 假设权是对称的 细胞的互相连接的结构是他们权的改变 创造出来的


1957年Frank Rosenblatt定义了一个神经网络 结构，称为感知器(Perceptron) 。 规则学习 意义：第一次把神经网络研究从纯理论的探讨 推向工程实现，在IBM704计算机上进行了模 拟，证明了该模型有能力通过调整权的学习达 到正确分类的结果。掀起了神经网络研究高潮。

人工智能研究人脑的推理、学习、思考、规 划等思维活动，解决需人类专家才能处理的 复杂问题。

神经网络企图阐明人脑结构及其功能，以及 一些相关学习、联想记忆的基本规则（联想、 概括、并行搜索、学习和灵活性）
概述

例如：

人工智能专家系统是制造一个专家，几十年难 以培养的专家。 神经网络是制造一个婴儿，一个幼儿，一个可 以学习，不断完善，从一些自然知识中汲取智 慧的生命成长过程。
BP神经网络
x1 w1
Σ
xn wn
θ
Y
前馈型神经网


基本原理，结构简单。很少在实际应用中出 现。采用阶跃函数作为传递函数。从２维空 间可以很显然的看出其分类功能，但Minsky 等揭示的致命弱点也一目了然。关键是学习 算法及网络设计方法： (1) y 输出yi等于： i f ( wij x j j )
前馈型神经网－单层感知器
其中
1 u j 0 f (u j ) 1 u j 0
前馈型神经网－单层感知器
线性可分与不可分 p n 如果输入x有k个样本，x , p=1, 2, …, k, xR



当将这些样本分别输入到单输出的感知器中，在 一定的和下，输出有两种可能+1或-1。 把样本xp看作为在n维状态空间中的一个矢量， 那么k个样本为输入空间的k个矢量。而方程（1） 就是把这个n维空间分为SA、SB两个子空间，其 分界线为n-1维的超平面。即用一个单输出的感 知器通过调整参数及来达到k个样本的正确划分。 如：........….
1 2 n
x1
x2
xn

反馈型全互联网络：所有计算单元之间都有联接。如： Hopfield网络

反馈型局部联接网络：特例，每个神经元的输出只与 其周围的神经元相连，形成反馈网络。
网络分类

分类
前馈型； 反馈型； 自组织竞争； 随机网络 其它

基本属性

基本属性：


非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是 一种非线性现象。人工神经元处于激活或抑制两种 不同的状态。这种行为在数学上表现为一种非线性。 非局域性： 一个神经网络通常由多个神经元广泛联接而成。一 个系统的整体行为不仅取决于单个神经元的特征， 而且可能主要由单元之间的相互作用、相互联接所 决定。通过单元之间的大量联接模拟大脑的非局域 性。联想记忆是非局域性的典型例子。
前馈型神经网－单层感知器
........….
x A S A , x B S B其中( A 1,2,...l , B l 1, l 2, , , , k )
则存在一组权值wij使得公式(1)满足:
x A S A , y 1; x B S B , y 1
则称样本集为线性可分的，否则为线性不 可分的。

1943年McCulloch（心理学家）和Pitts （数理逻辑学家）发表文章，提出M-P 模型。描述了一个简单的人工神经元模 型的活动是服从二值（兴奋和抑制）变 化的。总结了神经元的基本生理特性， 提出了神经元的数学描述和网络的结构 方法。——标志神经计算时代的开始 输出表达式 1 xi y xi 0 图

非定常性： 人工神经网络具有自适应、自组织、自学习能力。 神经网络不但处理的信息有各种各样，而且在处理 信息的同时，非线性动力系统本身也在不断变化。 经常采用迭代过程描写动力系统的演化过程。
非凸性： 一个系统的演化方向，在一定条件下，将取决于某 个特定的状态函数，如能量函数，它的极值相应于 系统比较稳定的状态。非凸性是指这种函数有多个 极值，故系统具有多个较稳定的平衡态，这将导致 系统演化的多样性。
概述

发展史

1890年，美国生物学家W.James出版 了《Physiology》（生理学）一书。 首次阐明了有关人脑结构及其功能， 以及相关学习、联想、记忆的基本规 律。指出：人脑中当两个基本处理单 元同时活动，或两个单元靠得比较近 时，一个单元的兴奋会传到另一个单 元。而且一个单元的活动程度与他周 围的活动数目和活动密度成正比。图
研究内容 知识表示方法 知识储存方式
信息传递方式 信息处理方式
神经元模型
树突 细胞质 细胞核 突触
细胞膜
来自其他细胞
轴突
神经末梢

神经元

每一个细胞处于两种状态。突触联接 有强度。多输入单输出。实质上传播 的是脉冲信号，信号的强弱与脉冲频 率成正比。
x1 x2 θ xn si yi
i
ui

转移函数：
y j f ( wij xi j )
i 1 n
1 f (u j ) 0
uj 0 uj 0
1969M.Minsky和S. Papert发表了 《Perceptrons》的论著，指出感知器仅 能解决一阶谓词逻辑，只能做线性划分。 对于非线性或其他分类会遇到很大困难。 一个简单的XOR问题的例子就证明了这 一点。——神经网络研究一度达到低潮。 原因还有：计算机不够发达、VLSI还没 出现、而人工智能和专家系统正处于发 展高潮。 图 能划分的、不能划分的
第三章 基于人工神经网络的建模 设计方法

人工神经网络简介 BP网络 反馈式神经网络 人工神经网络应用
3.1人工神经网络简介
人工神经网络: 采用物理可实现的系统来模仿人脑神经细 胞的结构和功能的系统。
研究神经网络目的：

用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒 级。而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能 力，又有类似于人的识别、分析、联想等能力。
网络模型

前馈网络：每层只与前层相联接
y1 y2 yn
x1
x2
xn

输入输出有反馈的前馈网络：输出层上存在一 个反馈回路，将信号反馈到输入层。而网络本 身还是前馈型的 y y y
1 2 n
x1
x2
xn

前馈内层互联网络：外部看还是一个前 向网络，内部有很多自组织网络在层内 y y 互联着。 y