第9章 计算智能(1)：神经计算 模糊计算

2.人工神经网络的基本特性和结构 2.人工神经网络的基本特性和结构 （1）基本特性 人工神经网络是由神经元模型构成的信息处理网络，具有并行分布结构。 人工神经网络是由神经元模型构成的信息处理网络，具有并行分布结构。 严格说来，人工神经网络是一种具有下列特性的有向图： 严格说来，人工神经网络是一种具有下列特性的有向图： 对于每个节点i * 对于每个节点i存在一个状态变量
xi ；
；
从节点j至节点i * 从节点j至节点i，存在一个连接权系统数 w ji ； *对于每个节点i，存在一个偏置 对于每个节点i
θj
对于每个节点i i≠j； * 对于每个节点i，定义一个变换函数 f i ( x i , w ji , θ j ) ，i≠j；对于最一般的 情况， 形式。 情况，此函数取 f i ( ∑ w ji x i − θ j ) 形式。
20世纪80年代 Parker和Rumelhart提出了一种前馈神经网络的学习 世纪80年代， * 20世纪80年代，Parker和Rumelhart提出了一种前馈神经网络的学习 算 反向传播算法。 法 —— 反向传播算法。 2.ANN的主要特性 2.ANN的主要特性 并行分布处理：神经网络具有高度的并行结构和并行实现能力， * 并行分布处理：神经网络具有高度的并行结构和并行实现能力，因而有 较好的耐故障能力和较快的总体处理能力，特别适于实时和动态处理。 较好的耐故障能力和较快的总体处理能力，特别适于实时和动态处理。 * 非线性映射：神经网络具有固有的非线性特性，这给处理非线性问题带 非线性映射：神经网络具有固有的非线性特性， 来了新希望。 来了新希望。 通过训练进行学习：神经网络可通过研究过去的数据进行训练， * 通过训练进行学习：神经网络可通过研究过去的数据进行训练，通过训 练神经网络具有归纳全部数据的能力， 练神经网络具有归纳全部数据的能力，因而能够解决那些由数学模型或描 述规则难以处理的问题
§9.2.3人工神经网络的知识表示与推理 9.2.3人工神经网络的知识表示与推理
1.基于神经网络的知识表示 1.基于神经网络的知识表示 * 神经网络中的知识表示是隐式的表示方法 * 问题的若干知识在同一网络中表示 例如， 例如，可用神经网络所对应的有向图的邻接矩阵及阈值向量表示知识
x1
0
1.070 1.135
θ
x1 x2 xn
w j1 w j2 w jn
−1
∑
f( _ )
M
yj
图9.2 神经元模型
图9.1中 9.1中
xi
为输入； 为输入；
为输出； y j 为输出； t n 为时间； 为时间； 为输入信号的数目； 为输入信号的数目； 为神经元的偏置； 为神经元的偏置；
θj
w ji 为连接权系数； 为连接权系数；
左图神经网络的邻接矩阵 左图神经网络的邻接矩阵
例
一个医疗诊断系统的神经网络模型
假设系统的诊断模型只有六种症状、两种疾病、三种治疗方案。 假设系统的诊断模型只有六种症状、两种疾病、三种治疗方案。采集信
息如下： 息如下： 症状：对每一症状只采集有、无以及没有记录三种信息。 ① 症状：对每一症状只采集有、无以及没有记录三种信息。 疾病：对每一疾病只采集有、无以及没有记录三种信息。 ② 疾病：对每一疾病只采集有、无以及没有记录三种信息。 治疗方案；对每一治疗方案只采集采用、不采用两种信息。 ③ 治疗方案；对每一治疗方案只采集采用、不采用两种信息。 通过样本训练得到如下神经网络，其中， 通过样本训练得到如下神经网络，其中， 1 ， 2… ， 6为症状； 7，x 8 为 x x x x 为症状； 疾病名； 疾病名； 9 ，x10 ， 11 为治疗方案；x a ， b ，c 为附加层。x1 ， 2 ， … ，6 x x x 为附加层。 x 为治疗方案； x x 是输入层； 是输入层； 9 ， 10 ，11 是输出层；两者之间以疾病为中间层。 x x x 是输出层；两者之间以疾病为中间层。
适应与集成：神经网络能够适应在线运行， * 适应与集成：神经网络能够适应在线运行，并能同时进行定量和定性 操作，这使得神经网络适于复杂、大规模和多变量系统。 操作，这使得神经网络适于复杂、大规模和多变量系统。 硬件实现：神经网络不仅能通过软件而且可以借助硬件实现并行处理。 * 硬件实现：神经网络不仅能通过软件而且可以借助硬件实现并行处理。 这使得神经网络具有快速和大规模处理能力的实现网络 显然，神经网络由于其学习和适应、自组织、 显然，神经网络由于其学习和适应、自组织、函数逼近和大规模并 行处理等能力，因而有用于智能系统的潜力。 行处理等能力，因而有用于智能系统的潜力。
i =1 n
（2）基本结构 递归网络（反馈网络） ① 递归网络（反馈网络） 多个神经元互连以组织一个互连神经网络（同层有连接）； * 多个神经元互连以组织一个互连神经网络（同层有连接）； * 信号能从正向和反向流通 典型代表：Hopfield网络 Elmman网络 Jordan网络 网络、 网络、 网络。 * 典型代表：Hopfield网络、Elmman网络、Jordan网络。
AI⊂ CI ⊂ AI⊂ BI
2.计算智能和人工智能的关系讨论 2.计算智能和人工智能的关系讨论
（1）贝兹德克的ABC模型 贝兹德克的ABC模型 ABC 表示人工的， A – Artificial 表示人工的，即人造的 表示物理的+化学的+（？？）= B – Biological 表示物理的+化学的+（？？）=生物的 表示数学+ C – Computational 表示数学+计算机 I – 智能 NN – 神经网络 PR – 模式识别
f( _ ) 为输出变换函数，或称为激励函数，往往采用0和1的二值函数或S形 为输出变换函数，或称为激励函数，往往采用0 的二值函数或S 函数。 函数。 输入和输出的关系由下式表示： 输入和输出的关系由下式表示： y j ( t ) = f ( ∑ w ji x i − θ j )
i =1 n
（9.1） 9.1）
§9.2.3人工神经网络的典型模型 9.2.3人工神经网络的典型模型
自适应谐振理论（ART） * 自适应谐振理论（ART） 双向联想存储器（BAM） * 双向联想存储器（BAM） Boltzmann机 BM） * Boltzmann机（BM） 反向传播（BP） * 反向传播（BP）网络 对流传播网络（CPN） * 对流传播网络（CPN） * Hopfield网 Hopfield网 Madaline算法 * Madaline算法 * 认知机 * 感知器 自组织映射网（SOM） * 自组织映射网（SOM）
1.004
-1.5
2.102
y
-1.0 -2.0
1.100 − 3.121
x2
0
0 0 0 0 0
0 1.004 1.070 0 0 0 0
1.135 1.100 0 0 0 2.102 0 0 − 3.121 0 0 0 0
异或逻辑的神经网络表示
§9.2 神经计算
§9.2.1人工神经网络研究的进展 9.2.1人工神经网络研究的进展
生物学研究发现， 个神经细胞， 生物学研究发现，人的大脑大约有 1010 个神经细胞，每个细胞约有 10 4 条通路与其他脑细胞相连，并且通过突触交换信息， 条通路与其他脑细胞相连，并且通过突触交换信息，整个大脑构成了一个纵 横交错的极其复杂的非线性网络结构。人工神经网络（ANN）就是抽象、 横交错的极其复杂的非线性网络结构。人工神经网络（ANN）就是抽象、简化 与模拟上述大脑生物结构的计算模型。经过60多年的发展， 与模拟上述大脑生物结构的计算模型。经过60多年的发展，人工神经网络已 60多年的发展 成为人工智能的一个新学派。 成为人工智能的一个新学派。 ANN的研究进展 1. ANN的研究进展 1943年McCulloch和Pitts提出了 似脑机器” 提出了“ machine)的思 * 1943年McCulloch和Pitts提出了“似脑机器”（mindlike machine)的思 想 Rosenblatt命名 命名感知机 * Rosenblatt命名感知机 20世纪60年代 Widrow等人提出自适应性元，Steinbuch等人提出 世纪60年代， 等人提出自适应性元 等人提出学习矩阵 * 20世纪60年代，Widrow等人提出自适应性元，Steinbuch等人提出学习矩阵 20世纪70年代 Grossberg提出非线性动态系统结构，Hopfield提出一种 世纪70年代， 提出非线性动态系统结构 * 20世纪70年代，Grossberg提出非线性动态系统结构，Hopfield提出一种 递归型神经网络（ Hopfield网络 网络） 递归型神经网络（ Hopfield网络）
输入
人类知识 （+）传感输入 ）
复杂性
输入
B – 生物的
BNN
BPR
BI
复 杂 性
知识 （+）传感数据 ）
ANN
APR
AI
A – 符号的
计算 （+）传感器 ）
CNN
CPR
CI
C – 数值的
ABC的交通关系图 图9.1 ABC的交通关系图
（2）计算智能系统、人工智能系统 计算智能系统、 若一个系统只涉及数值数据，含有模式识别部分， * 若一个系统只涉及数值数据，含有模式识别部分，不应用人工智能意义 上的知识，而且能够呈现出： 计算适应性； 计算容错性； 上的知识，而且能够呈现出：① 计算适应性；② 计算容错性；③ 接 近人的速度； 误差率与人相近，则该系统是计算智能系统。 近人的速度；④误差率与人相近，则该系统是计算智能系统。 计算智能系统 非数值方式加上知识（ 即成为人工智 若一个智能计算系统以非数值方式加上知识 精品） * 若一个智能计算系统以非数值方式加上知识（精品）值，即成为人工智 能系统。 能系统。
x1 x2
w 11
y1
w 1m
M
xn
输入层
M
隐层
M
yn
输出层
3.人工神经网络的主要学习算法 3.人工神经网络的主要学习算法 （1）有师学习 根据期望和实际的网络输出之间的差来调整神经元间的连接强度或权； * 根据期望和实际的网络输出之间的差来调整神经元间的连接强度或权； 需要老师或导师提供期望或目标输出信号； * 需要老师或导师提供期望或目标输出信号； 典型例子： 规则、广义△规则或反向传播算法、LVQ等算法 等算法。 * 典型例子：△规则、广义△规则或反向传播算法、LVQ等算法。 （2）无师学习 无须知道期望输出； * 无须知道期望输出； 根据输入模式自动地适应连接权； * 根据输入模式自动地适应连接权； 典型例子：Kohonen算法和ART等 算法和ART * 典型例子：Kohonen算法和ART等。 （3）强化学习 是有师学习的特例； * 是有师学习的特例； 采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度； * 采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度； 典型例子：遗传算法。 * 典型例子：遗传算法。
§9.2.2人工神经网络的结构 9.2.2人工神经网络的结构
1.神经元及其特性 1.神经元及其特性 神经元是神经网络中连接机制机构的的基本处理单元， * 神经元是神经网络中连接机制机构的的基本处理单元，其模型模拟一个 生物神经元， i=1.2.3…,n和一个输出Y组成如下图所示： ,n和一个输出 生物神经元，由多个输入 x1 i=1.2.3 ,n和一个输出Y组成如下图所示：
x1
x '1 V1
x2
M
'
x2
V2 M x'n Vn
输出
xn
输入
ቤተ መጻሕፍቲ ባይዱ
② 前馈网络 多个神经元递阶分层结构（同层没有连接）； * 多个神经元递阶分层结构（同层没有连接）； 信号能从输入层向输出层单向连接流通； * 信号能从输入层向输出层单向连接流通； 典型代表：多层感知器（MLP）、学习矢量化（LVQ）网络、 ）、学习矢量化 * 典型代表：多层感知器（MLP）、学习矢量化（LVQ）网络、数据处理方 法（GMDH）网等。 GMDH）网等。
计算智能（ ）：神经计算 第9章 计算智能（1）：神经计算 §9.1 概述
模糊计算
1.计算智能（CI）、人工智能（AI）、生物智能（BI） 1.计算智能（CI）、人工智能（AI）、生物智能（BI） 计算智能 ）、人工智能 ）、生物智能
计算智能可理解为智力的低层认知， （1） 计算智能可理解为智力的低层认知，主要取决于数值数据而不依赖 知识。它涉及神经计算、模糊计算、进化计算和人工生命等领域。 知识。它涉及神经计算、模糊计算、进化计算和人工生命等领域。 人工智能是在计算智能的基础上引入知识而产生的智力中层认识。 （2） 人工智能是在计算智能的基础上引入知识而产生的智力中层认识。 生物智能，特别是人类智能是最高层的智能。 （3） 生物智能，特别是人类智能是最高层的智能。