基于神经网络的专家系统

• 神经元的工作过程一般是：
(1) 从各输人端接收输入信号xi； (2) 根据连接权值wi，求出所有输入的加权和σ ：
(3) 用某一特性函数 ( 又称作用函数) f 进行转换， 得到输出y：
2、神经元的互连形态 人工神经网络是由神经元广泛互连构成的， 不同的连接方式就构成了网络的不同连 接模型，常用的有以下几种： (1) 前向网络：前向网络又称为前馈网络。 在这种网络中，神经元分层排列，分别 组成输入层、中间层和输出层。每一层 神经元只接收来自前一层神经元的输入。 输入信息经各层变换后，最终在输出层 输出，如图所示。
1、线性阈值单元 线性阈值单元是前向网络(又称前馈网络)中 最基本的计算单元，它具有n个输入(x1 ， x2…，x n)，一个输出(y)，n个连接权值(w1 ， w2，…，wn。)，且符合下式：
线性阈值单元示意
2、单层感知器及其算法
单层感知器只有一个计算层，它以信号模 板作为输入，经计算后汇总输出，层内无互连， 从输出至输入无反馈，是一种典型的前向网络， 如图所示。
三、Hopfield模型 • Hopfield 模型是霍普菲尔特分别于1982年 及1984年提出的两个神经网络模型，一个 是离散的，一个是连续的，但它们都属 于反馈网络，即它们从输入层至输出层 都有反馈存在。下图是一个单层反馈神 经网络。
单层反馈神经网络
• 反馈网络的稳定性：由于网络的输出要 反复地作为输入送人网络中，这就使得 网络的状态在不断地改变，因而就提出 了网络的稳定性问题。
二、人工神经元及其互连结构
人工神经网络是由大量处理单元 (人工神经 元、处理元件、电子元件、光电元件等) 经广 泛互连而组成的人工网络，用来模拟脑神经系 统的结构和功能。 – 信息的处理是由神经元之间的相互作用来实 现。 – 知识与信息的存储表现为网络元件互连间分 布式的物理联系。 – 网络的学习和识别取决于各神经元连接权值 的动态演化过程。
前向网络
（2）从输出层到输入层有反馈的网络。这
种网络与上一种网络的区别仅仅在于，输出 层上的某些输出信息又作为输入信息送入到 输入层的神经元上。
图2 从输出层到输入层有反馈的网络
(3) 层内有互连的网络。同一层上的神经元 可以互相作用。
图3 层内有互连的网络
（4）互连网络。在这种网络中，任意两个 神经元之间都可以有连接，如图4所示。 在该网络中，信息可以在神经元之间反 复往返地传递，网络一直处在一种改变 状态的动态变化之中。
3、多层感知器 只要在输入层与输出层之间增加一层或多 层隐层，就可得到多层感知器。
三层感知器
二、B-P模型 1、B-P(Back-Propagation)模型概念
• B-P模型是一种用于前向多层神经网络的 反传学习算法，由鲁梅尔哈特 (D.Ruvmelhar)和麦克莱伦德(McClelland)于 1985年提出。 • B-P算法用于多层网络，网络中不仅有输 入层节点及输出层节点，而且还有一层 至多层隐层节点， 如图：
(1) 给wi(0)(i=1，2，…，n)及阈值θ分别赋 予一个较小的非零随机数作为初值；这 里wi (0)表示在时刻t=0时第i个输入的连 接权值。 (2) 输入一个样例X={x1，x2，…，xn}和一 个所期望的输出d。 d (3) 计算网络的实际输出：
（4）调整连接权值：
此处0<η≤1，它是一个增益因子，用于控制 调整速度。如果实际输出与已知的输出 一致，表示网络已经作出了正确的决策， 此时就无需改又wi(t)的值。 (5)转到第(2)步，直到连接权值w，对一切样 例均稳定不变时为止。
1、人工神经元 • 人工神经元是组成人工神经网络的基本 处理单元，简称为神经元。 • 心理学家麦克洛奇(W．McCulloch)和数 理逻辑学家皮兹(W.Pitts)于1943年首先提 出了一个简化的神经元模型，称为M-P模 型。
• M-P模型
• 圆表示神经元的细胞体； • e，i 表示外部输入，对应于生物神经元 的树突。e为兴奋性突触连接，i 为抑制 性突触连接； • θ表示神经元兴奋的阈值； • y 表示输出，它对应于生物神经元的轴 突。
一、脑神经系统与生物神经元
1. 脑神经系统:神经系统是由结构上相对 独立的神经细胞构成的。据估计，人脑 神经系统的神经细胞约为1011个。 2. 生物神经元 生物神经元组成：神经细胞称之为生物 神经元。神经元主要由三个部分组成： 细胞体、轴突、树突。
(1) 细胞体：由细胞核、细胞质与细胞膜等 组成。它是神经元的新陈代谢中心，同 时还用于接收并处理对其它神经元传递 过来的信息。 (2) 轴突：由细胞体向外伸出的最长的一条 分枝，每个神经元一个，其作用相当于 神经元的输出电缆，它通过尾部分出的 许多神经末梢以及梢端的突触向其它神 经元输出神经冲动。
• 在该网络中，每当有信息进入输入层时， 在输入层不做任何计算，直接将输入信 息分布地传递给下一层各有关节点。 • 若用Xj(t)表示节点j在时刻t的状态，则该 节点在下一时刻(即t+1)的状态由下式决定：
wij为从节点i到节点j的连接权值；θ为节点j 的阈值。 整个网络的状态用X(t)表示，它是由各节点 的状态所构成的向量。 • 对于上图，若假设输出层只有两个节点， 并用1和0分别表示每个节点的状态，则 整个网络共有四种状态，分别为： 00，01，10，11 • 如果假设输出层有三个节点，则整个网 络共有八种状态，每个状态是一个三位 的二进制数，如图所示。
• 在单层感知器中，当输入的加权和大于等于阈 值时，输出为1，否则为0或-1。它与M-P模型的 不同之处是假定神经元间的连接强度(即连接权 值wij ）是可变的，这样它就可以进行学习。 • 单层感知器的学习及其算法： – 学习的目的是调整连接权值，以使网络对任 何输入都能得到所期望的输出 。 – 考虑仅有一个输出节点的情况，其中，xi是 该输出节点的输入；wi 是相应的连接权值 (i=1，2．…，n)；y(t)是时刻t的输出；d是所 期望的输出，它或者为1，或者为-1。学习 算法如下：
2 神经网络模型
一、 感知器模型 罗森勃拉特于1957年提出的感知器模型，把 神经网络的研究从纯理论探讨引向了工程上的 实现，它是最先提出来的网络模型，而且它提 出的自组织、自学习思想及收敛算法对后来发 展起来的网络模型都产生了重要的影响。 最初的感知器是一个只有单层计算单元的 前向神经网络，由线性阈值单元组成，称为单 层感知器，后来针对其局限性进行了改进，提 出了多层感知器。
– 所谓一个网络是稳定的，是指从某一时刻开 始，网络的状态不再改变。 – 设用X(t) 表示网络在时刻t 的状态，如果从 t＝0的任一初态X(0)开始，存在一个有限的时 刻t，使得从此时刻开始神经网络的状态不 再发生,就称该网络是稳定的。即 ：
• Hopfield 离散网络模型：每个神经元只有 两种状态，可用1和-1，或者1和0表示， 由连接权值wij所构成的矩阵是一个零对 角的对称矩阵，即 ：
基于神经网络的专家系统
1 神经网络概念
神经网络:泛指生物神经网络与人工神经网络。
• 生物神经网络:指由中枢神经系统及周围 神经系统所构成的错综复杂的神经网络， 它负责对动物机体各种活动的管理，其 中最重要的是脑神经系统。 • 人工神经网络：指模拟人脑神经系统的 结构和功能，运用大量的处理部件，由 人工方式建立起来的网络系统。
– 以其输出与样例的期望输出进行比较， 如果它们的误差不能满足要求，则沿 着原来的连接通路逐层返回，并利用 两者的误差按一定的原则对各层节点 的连接权值进行调整，使误差逐步减 小，直到满足要求时为止。
• 反向传播的适用情况 – 正向传播用于进行网络计算，对其一 输入求出它的输出；反向传播用于逐 层传递误差，修改连接权值，以使网 络能进行正确的计算。 – 一旦网络经过训练用于求解现实问题， 则就只需正向传播，不需要再进行反 向传播。
• B-P算法学习的步骤： (1)从训练样例集中取一样例，把输入信息输入到网络 中。 (2)由网络分别计算各层节点的输出。 (3)计算网络的实际输出与期望输出的误差。 (4)从输出层反向计算到第一个隐层，按一定原则向减 小误差方向调整网络的各个连接权值。 ቤተ መጻሕፍቲ ባይዱ5)对训练样例集中的每一个样例重复以上步骤，直到 对整个训练样例集的误差达到要求时为止。
神经元之间的联系:
轴突及突触与其它许多神经元建立联系。 树突接收来自不同神经元的信息。 神经元之间的这种复杂联系就形成了相应的 神经网络。
神经元重要特性：
(1) 动态极化原则：在每一神经元中，信息 都是以预知的确定方向流动的，即从神经元 的接收信息部分 (细胞体、树突)传到轴突的 起始部分，再传到轴突终端的突触，最后再 传递给另一神经元。
图4 互连网络
三、 人工神经网络的特征及分类
1、人工神经网络有以下主要特征： (1) 能较好地模拟人的形象思维。 (2) 具有大规模并行协同处理能力。 (3) 具有较强的容错能力和联想能力。
(3)具有较强的学习能力。两种方式学习：
– 有教师的学习：指由环境向网络提供一组样 例，每一个样例部包括输入及标准输出两部 分，如果网络对输入的响应不一致，则通过 调节连接权值使之逐步接近样例的标准输出， 直到它们的误差小于某个预先指定的阈值为 止。 – 无教师的学习：指事先不给出标准样例，直 接将网络置于环境之中。学习阶段与工作阶 段融为一体。
(4) 结构的可塑性：突触传递信息的特性是可变 的，随着神经冲动传递方式的变化，其传递作 用可强可弱。 (5) 突触界面具有脉冲与电位信号的转换功能。 沿轴突传递的电脉冲是等幅、离散的脉冲信号， 而细胞膜电位变化为连续的电位信号，这两种 信号是在突触接口进行变换的。 (6) 突触对信息的传递具有时延和不应期。在相邻 的两次输入之间需要一定的时间间隔，在此期 间不响应激励，不传递信息，这称为不应期。
(3) 树突：这是由细胞体向外伸出的除轴突
外的其它分枝，长度一般均较短，但分 枝很多。它相当于神经元的输人端，用 于接收从四面八方传来的神经冲动。 (4) 突触：是神经元之间相互连接的接口部 分，即一个神经元的神经末梢与另一个 冲经元的树突相接触的交界面，位于神 经元的神经末梢尾端。