计算智能-神经网络

(5)硬件实现。神经网络不仅能够通过软件而且可以借 助硬件实现并行处理。近年来，一些超大规模集成电路 实现硬件已经问世，而且可以从市场上购买到。这使得 神经网络成为具有快速和大规模处理能力的网络。
神
经
元
的
结
构
神
经
元
的
结
构
本体： （细胞体、细胞核、细胞质），对输入信 号进行处理，相当于CPU。 树突：本体向外伸出的分支，多根，长1mm左右， 本体的输入端，输入信号。 轴突：本体向外伸出的最长的分支，即神经纤维， 一根，长1cm—1m左右，通过轴突上的神经末梢将 信号传给其它神经元，本体的输出端，输出信号。 突触：各神经元之间轴突和树突之间的接口，即 神经末梢与树突相接触的交界面，每个细胞体大约 有103—104个突触。突触有兴奋型和抑制型两种。
x9, x10, x11是输出层；两者之间以疾病名作为中间层。
(1) 这是一个带有正负权值ωij 的前向网络，由ωij 可构成 相应的学习矩阵。这个学习矩阵可用来表示相应的神经 网络。
(2) 神经元取值为+1，0，-1，激励函数为一离散型的阈
值函数，计算公式为：
其中，Xj 表示节点 j 输入的加权和；xj 为节点 j 的输出。 为计算方便，上式中增加了ω0jx0项, x0 的值为常数1, ω0j的值标在节点的圆圈中，它实际上是-θj，
即ω0j = -θj ， θj是节点 j 的阈值。
(3) 图中连接弧上标出的ω ij值是根据一组训练样本， 通过某种学习算法(如BP算法)对网络进行训练得到的。 这就是神经网络系统所进行的知识获取。 (4) 由全体ω ij 的值及各种症状、疾病、治疗方案名所 构成的集合就形成了该疾病诊治系统的知识库。
该神经元单元由多个输入xi, i=1,2,…,n 和一个输出 f 组 成，n为输入信号的数目。
中间状态由输入信号的加权和表示，ωji为连接权系数 (对于激发状态，ωji取正值；对于抑制状态，ωji取负值)， θj为神经元单元的偏置(阈值)。
f 为神经元输出, f (.)为输出变换函数，有时叫做激活函
数，输出变换函数往往采用如下的0和1二值函数或S形 函数。
1 f 0
x
i 1 n i 1
n
i i

x
i i
一种神经网络中最常用的S形函数由下式表示：
另外还有分段线性函数如下图（b）所示：
例题：已知
输入样本 (x1, x2, x3, x4 ,x5) =(1,0,1,1,0),
低谷期 （1960－1970）
原因：
1969年，人工智能之父Minskey和Papert发表 论著指出了Perdeptron无科学价值，只能作线形 划分，对于非线形或其它分类会遇到很多困难， 连简单的XOR逻辑分类都做不到。
复兴期 （1980－1990）
1982年，加州大学的物理学家Hopfield提出了 有名的全连接Hopfield网络模型，并用电路实 现，人们对神经网络有了新的认识。
1986年， Rumelhart等人提出了反向传播算法 ， 使 Hopfield网络模型和多层前馈型神经网络成
为应用最为广泛的模型。
全新的发展时期 （1990年以后）
电子电路、脑科学、生物学、光学的进步为人
工神经网络的发展打下了基础。
理论不断深化，应用得到进一步推广
光学神经网络，混沌神经网络，模糊神经网络， 进化神经网络等新模型出现。
神经网络的研究发展历史
萌芽时期 （1940－1960）
1943年，美国心理学家McCulloch和数学家Pitts合 作，提出了神经元的数学模型和网络的结构方法，即 M-P模型，这就是神经网络的概念。标志着神经网络时 代的开始。 1957年，计算机科学家Rosenblatt用硬件完成了最 早的神经网络模型，定义为感知器（Perceptron）用 来模拟生物的感知和学习能力。把神经网络从纯理论推 向了工程实践。
目前国内外研究状况
1. 研究机构
美国DARPA计划、日本HFSP计划、法国尤里卡 计划、德国欧洲防御计划、前苏联高技术发展计划 2. 学会 86年4月，美国物理学会在Snowbirds召开了国际神经 网络学术会议； 87年6月，IEEE在San Diego召开了国际神经网络学术 会议，并成立了国际神经网络学会；
神经网络的工作方式
2、工作期
经过训练的神经网络，可以把某一问题的若干 知识在同一网络中用相应的权重和阈值等表示出来。 (1) 把未知数据从网络的输入层输入到各个节点。
(2) 利用激励函数逐层计算出网络中各神经元的输出。 (3) 直至计算出输出层的输出值为止，得到输出结果。
医疗诊断的实例。假设神经网络模型只有6种 症状、2种疾病、3种治疗方案。对网络的训练样本 是选择一批合适的病人并从病历中采集如下信息： (1) 症状：对每一症状只采集有、无及没有记录这三 种信息。 (2) 疾病：对每一疾病也只采集有、无及没有记录这 三种信息。 (3) 治疗方案：对每一治疗方案只采集是否采用这两 种信息。 其中，对“有”、“无”、“没有记录”分别用＋ 1,-1,0表示。这样对每一个病人就可以构成一个训 练样本。
前馈型网络
前馈型网络结构清晰，学习和调整方法较容易，处理问题 的能力相对较强，目前应用较广泛。
人工神经网络的典型结构
• 具有分层结构，从 外部看仍为前馈型 单向传播类型； • 同层神经元之间存 在的横向连接；
• 同层神经元之间的 连接是为了激励和 压抑的竞争需要
前馈内层互联网络
• 是自组织竞争网络 的结构特征之一。
人工神经网络的特性：
(1)并行分布处理。神经网络具有高度的并行结构和并 行实现能力，因而具有较好的耐故障能力和较快的总 体处理能力。这一特性特别适于实时和动态处理。 (2)非线性映射。神经网络具有固有的非线性特性，这 源于其近似任意非线性映射(变换)能力。这一特性给处 理非线性问题带来新的希望。
权重 (w1, w2, w3, w4 ,w5) =(0.4,0.3,-0.2,-0.1,0.2),
1 f 0
n
神经元的偏置（阈值）θ ＝0； （1） 若采用二元阈值激活函数 计算输出
x
i 1 n i 1
i i

x
i i
（1）若采用S型激活函数，计算输出
fi(ijxj i)
j
人工神经网络的分类
• 按照网络的结构分：前馈网络；反馈网络。 • 按照学习方式分：有教师指导的网络；无教师指 导的网络。 • 按照网络的性能分：连续型与离散型网络；确定 型与随机型网络。 • 按照连接突触的性质分：一阶线性关联网络；高 阶非线性关联网络。
• 按照对生物神经系统的不同层次的抽象模拟，可分为： 神经元层次模型，组合式模型，网络层次模型，神经 系统层次模型，智能型模型。
全互联网络
(a)
指 出 属 于 那 种 网 络 结 构
(b)
(c)
(d)
神经网络的工作方式
1、学习期 对神经网络的训练过程，通过学习不断的 调整和修正网络的参数，特别是权重。
(1) 有监督学习 根据网络的实际输出与期望输出(给定输出) 之间的误差， 来调整神经元之间的连接强度（权重）。因此，监督数据包 括输入数据和输出数据两种。即需要提供期望或目标输出值。 (2) 无监督学习 无监督学习算法不需要知道期望输出。在训练过程中， 只要向神经网络提供输入数据，网络能够根据输入数据的特 征或规律，以及自身的功能自动调整权重。 (3) 再励（强化）学习 如前所述，再励 (强化)学习不需要给出目标输出。采用 一个“评论员”来评价神经网络输出的优度(质量因数)。
兴奋性 输 入
抑制性 输 入
I1
… …
IN N1 NM
wk.baidu.com

y {0,1}
输出
M-P 模 型
用M-P模型实现二元Boole逻辑
人工神经网络的基本构成
人工神经网络由神经元模型构成，许多神经元 组成 的信息处理网络，具有并行分布结构；
每个神经元具有多个输入和单一输出，并且能够与 其他神经元连接； 存在许多(多重)输出连接方法，每种连接方法对应 于一个连接权系数。不同的链接方法可以构成不同 类型的网络结构。
人工神经网络的典型结构
最原始，最简单的神经 网络结构。
在图中，xi为节点的输 入(初始)值， yi为神经元模 型处理后的输出值， i=1,2,…,n。 单层感知器结构简单， 能力有限，很少单独使用， 一般作为其它网络模型的 基本单元。
单层感知器网络
人工神经网络的典型结构
• 前馈型网络具有分层结构， 从输入层至输出层的信号 为单向传播； • 神经元从一层连接至下一 层，不存在同层神经元之 间的横向连接； • 每层神经元只接收前一层 的传输来的信息；
88年起，IEEE和国际神经网络学会每年召开一次国际 会议；
我国自91年开始每两年召开一次学术会议。
3. 刊物
1990年3月，IEEE神经 网络会刊问世。 4. 应用范围 已经渗透到各个领域，智能控制、模式识别、计 算机视觉、自适应滤波、信号处理、非线形优化、语 音识别、知识处理、传感技术与机器人等等。神经网 络代表一种新的主义—连接主义，解决诸如知识表达、 推理学习、联想记忆、乃至复杂的社会现象，如混沌， 社会演变的复杂系统的统一模型，它预示着一个新的 工业。
假设上图是根据症状、疾病及治疗方案间的因果关
系以及通过训练样本对网络的训练得到的神经网络。其 中, x1, x2 ,…, x6 为症状; x7, x8 为疾病名； x9, x10, x11 为治疗方案；xa, xb, xc 是附加层，这是由于学习算法的 需要而增加的。在此网络中, x1, x2 ,…, x6 是输入层;
第 2 章
神经网络
要求理解神经网络的思想原理，掌 握神经网络的典型结构和网络训练的学 习算法，熟练掌握BP神经网络的结构原 理和学习算法，并能熟悉神经网络的各 种实际应用。
神经网络简介
神经网络（Neural Network）也叫人工神经网络，
是指模拟人脑神经系统的结构和功能，运用大量的处理 部件，由人工方式构造的网络系统。 神经网络理论突破了传统的、线性处理的局限，是 一种非线形动力系统，并以分布式存储和并行协同处理 为特色，虽然单个神经元的结构和功能极其简单有限， 但是大量的神经元构成的网络系统能实现极其复杂的行 为和功能。
学习规则—Hebb学习规则
• 神经网络的学习过程是发生在神经元之间的突触部位， 突触的联结强度随着突触前后神经元的活动而变化， 变化的量与两个神经元的活性之和成正比。 • Hebb学习规则是一个无监督学习规则，根据神经元连 接之间的激活水平改变权重，当两个神经元同时处于 激发状态时，他们之间的连接权重加强。
(3)通过训练进行学习。神经网络是通过所研究系统过 去的数据记录进行训练的。一个经过适当训练的神经 网络具有归纳全部数据的能力。因此，神经网络能够 解决那些由数学模型或描述规则难以处理的问题。
(4)适应与集成。神经网络能够适应在线运行，并能同 时进行定量和定性操作。神经网络的强适应和信息融合 能力使得它可以同时输入大量不同的控制信号，解决输 入信息间的互补和冗余问题，并实现信息集成和融合处 理。这些特性特别适于复杂、大规模和多变量系统。
人工神经网络的基本构成
严格地说，人工神经网络是一种具有下列特性的有向图：
(1) 对于每个节点 i 存在一个状态变量Xi；
(2) 从节点 j 至节点 i ，存在一个连接权系数ωji； (3) 对于每个节点 i ，存在一个阈值θi； (4) 对于每个节点 i ，定义一个激活函数fi (xi,ωji,θi)， i≠j; 对于二元阈值模型，此函数取
人工神经网络的典型结构
• 信号能够从正向和反向 流通。 • 输出层存在反馈回路， 到输入层作为一个输入 • 有些神经元的输出被反 馈至同层或前层神经元。 • Hopfield网络是反馈型 网络中的一个代表性例 子。
反馈型网络
人工神经网络的典型结构
• 信号能够从正向和反向 流通。 • 所有神经元之间都有连 接。多个神经元互连以 组织一个全互联神经网 络。 • 有些神经元的输出被反 馈至同层或前层神经元。