基于神经网络的专家系统

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
– 所谓一个网络是稳定的,是指从某一时刻开 始,网络的状态不再改变。 – 设用X(t) 表示网络在时刻t 的状态,如果从 t=0的任一初态X(0)开始,存在一个有限的时 刻t,使得从此时刻开始神经网络的状态不 再发生,就称该网络是稳定的。即 :
• Hopfield 离散网络模型:每个神经元只有 两种状态,可用1和-1,或者1和0表示, 由连接权值wij所构成的矩阵是一个零对 角的对称矩阵,即 :
(4) 结构的可塑性:突触传递信息的特性是可变 的,随着神经冲动传递方式的变化,其传递作 用可强可弱。 (5) 突触界面具有脉冲与电位信号的转换功能。 沿轴突传递的电脉冲是等幅、离散的脉冲信号, 而细胞膜电位变化为连续的电位信号,这两种 信号是在突触接口进行变换的。 (6) 突触对信息的传递具有时延和不应期。在相邻 的两次输入之间需要一定的时间间隔,在此期 间不响应激励,不传递信息,这称为不应期。
(3) 树突:这是由细胞体向外伸出的除轴突
外的其它分枝,长度一般均较短,但分 枝很多。它相当于神经元的输人端,用 于接收从四面八方传来的神经冲动。 (4) 突触:是神经元之间相互连接的接口部 分,即一个神经元的神经末梢与另一个 冲经元的树突相接触的交界面,位于神 经元的神经末梢尾端。
生物神经元组成
3、多层感知器 只要在输入层与输出层之间增加一层或多 层隐层,就可得到多层感知器。
三层感知器
二、B-P模型 1、B-P(Back-Propagation)模型概念
• B-P模型是一种用于前向多层神经网络的 反传学习算法,由鲁梅尔哈特 (D.Ruvmelhar)和麦克莱伦德(McClelland)于 1985年提出。 • B-P算法用于多层网络,网络中不仅有输 入层节点及输出层节点,而且还有一层 至多层隐层节点, 如图:
图4 互连网络
三、 人工神经网络的特征及分类
1、人工神经网络有以下主要特征: (1) 能较好地模拟人的形象思维。 (2) 具有大规模并行协同处理能力。 (3) 具有较强的容错能力和联想能力。
(3)具有较强的学习能力。两种方式学习:
– 有教师的学习:指由环境向网络提供一组样 例,每一个样例部包括输入及标准输出两部 分,如果网络对输入的响应不一致,则通过 调节连接权值使之逐步接近样例的标准输出, 直到它们的误差小于某个预先指定的阈值为 止。 – 无教师的学习:指事先不给出标准样例,直 接将网络置于环境之中。学习阶段与工作阶 段融为一体。
前向网络
(2)从输出层到输入层有反馈的网络。这
种网络与上一种网络的区别仅仅在于,输出 层上的某些输出信息又作为输入信息送入到 输入层的神经元上。
图2 从输出层到输入层有反馈的网络
(3) 层内有互连的网络。同一层上的神经元 可以互相作用。
图3 层内有互连的网络
(4)互连网络。在这种网络中,任意两个 神经元之间都可以有连接,如图4所示。 在该网络中,信息可以在神经元之间反 复往返地传递,网络一直处在一种改变 状态的动态变化之中。
2 神经网络模型
一、 感知器模型 罗森勃拉特于1957年提出的感知器模型,把 神经网络的研究从纯理论探讨引向了工程上的 实现,它是最先提出来的网络模型,而且它提 出的自组织、自学习思想及收敛算法对后来发 展起来的网络模型都产生了重要的影响。 最初的感知器是一个只有单层计算单元的 前向神经网络,由线性阈值单元组成,称为单 层感知器,后来针对其局限性进行了改进,提 出了多层感知器。
(1) 给wi(0)(i=1,2,…,n)及阈值θ分别赋 予一个较小的非零随机数作为初值;这 里wi (0)表示在时刻t=0时第i个输入的连 接权值。 (2) 输入一个样例X={x1,x2,…,xn}和一 个所期望的输出d。 d (3) 计算网络的实际输出:
(4)调整连接权值:
此处0<η≤1,它是一个增益因子,用于控制 调整速度。如果实际输出与已知的输出 一致,表示网络已经作出了正确的决策, 此时就无需改又wi(t)的值。 (5)转到第(2)步,直到连接权值w,对一切样 例均稳定不变时为止。
• M-P 模型对抑制性输入赋于了“否决 权”,只有当不存在抑制性输入,且兴 奋性输入的总和超过阈值,神经元才会 兴奋,其输入与输出的关系如表所示。 M-P模型输入输出关系表
• 在M-P模型基础上发展起来的常用神经网络模型 如图所示:
神经元的结构模型
• x(i=1,2,…,n) 为该神经元的输入 • Wi 为该神经元分别与各输入间的连接强 度,称为连接权值; • θ为该神经元的阈值, • s 为外部输入的控制信号,它可以用来调 整神经元的连接权值,使神经元保持在 某一状态; • y 为神经元的输出。
神经元之间的联系:
轴突及突触与其它许多神经元建立联系。 树突接收来自不同神经元的信息。 神经元之间的这种复杂联系就形成了相应的 神经网络。
神经元重要特性:
(1) 动态极化原则:在每一神经元中,信息 都是以预知的确定方向流动的,即从神经元 的接收信息部分 (细胞体、树突)传到轴突的 起始部分,再传到轴突终端的突触,最后再 传递给另一神经元。
• B-P算法学习的步骤: (1)从训练样例集中取一样例,把输入信息输入到网络 中。 (2)由网络分别计算各层节点的输出。 (3)计算网络的实际输出与期望输出的误差。 (4)从输出层反向计算到第一个隐层,按一定原则向减 小误差方向调整网络的各个连接权值。 (5)对训练样例集中的每一个样例重复以上步骤,直到 对整个训练样例集的误差达到要求时为止。
基于神经网络的专家系统
1 神经网络概念
神经网络:泛指生物神经网络与人工神经网络。
• 生物神经网络:指由中枢神经系统及周围 神经系统所构成的错综复杂的神经网络, 它负责对动物机体各种活动的管理,其 中最重要的是脑神经系统。 • 人工神经网络:指模拟人脑神经系统的 结构和功能,运用大量的处理部件,由 人工方式建立起来的网络系统。
(2) 时空整合处理功能:神经元对于不同时间通过
同一突触传入的信息,具有时间整合功能;对 于同一时间通过不同突触传人的信息,具有空 间整合功能。 (3) 兴奋与抑制工作状态: – 兴奋状态:指神经元对输入信息经整合后使 细胞膜电位升高,且超过了动作电位的阈值, 此时产生神经冲动,并由轴突输出。 – 抑制状态:指经对输入信息整合后,膜电位 下降至低于动作电位的阈值,此时无神经冲 动输出。
1、线性阈值单元 线性阈值单元是前向网络(又称前馈网络)中 最基本的计算单元,它具有n个输入(x1 , x2…,x n),一个输出(y),n个连接权值(w1 , w2,…,wn。),且符合下式:
线性阈值单元示意
2、单层感知器及其算法
单层感知器只有一个计算层,它以信号模 板作为输入,经计算后汇总输出,层内无互连, 从输出至输入无反馈,是一种典型的前向网络, 如图所示。
一、脑神经系统与生物神经元
1. 脑神经系统:神经系统是由结构上相对 独立的神经细胞构成的。据估计,人脑 神经系统的神经细胞约为1011个。 2. 生物神经元 生物神经元组成:神经细胞称之为生物 神经元。神经元主要由三个部分组成: 细胞体、轴突、树突。
(1) 细胞体:由细胞核、细胞质与细胞膜等 组成。它是神经元的新陈代谢中心,同 时还用于接收并处理对其它神经元传递 过来的信息。 (2) 轴突:由细胞体向外伸出的最长的一条 分枝,每个神经元一个,其作用相当于 神经元的输出电缆,它通过尾部分出的 许多神经末梢以及梢端的突触向其它神 经元输出神经冲动。
2、人工神经网络的分类
若按网络的拓扑结构划分,则可分为无 反馈网络与有反馈网络; 若按网络的学习方法划分,则可分为有 教师的学习网络与无教师的学习网络; 若按网络的性能划分,则既可以分为连 续型与离散型网络,又可分为确定型与 随机型网络; 若按连接突触的性质划分,则可分为一 阶线性关联网络与高阶非线性关联网络。
• B-P 网络
• 信息首先由输入层传至隐层节点, 经特性函数作用后,再传至下一隐 层,直到最终传至输出层进行输出。 • 特性函数通常选用 S型函数,例如:
2、B-P算法的学习过程
• 学习的目的是对网络的连接权值进行调 整,使得对任一输入都能得到所期望的 输出。 • 学习的方法:
– 用一组训练样例对网络进行训练,每一个样 例都包括输入及期望的输出两部分。 – 首先把样例的输入信息输入到网络中,由网 络自第一个隐层开始逐层地进行计算,并向 下一层传递,直至传至输出层;
二、人工神经元及其互连结构
人工神经网络是由大量处理单元 (人工神经 元、处理元件、电子元件、光电元件等) 经广 泛互连而组成的人工网络,用来模拟脑神经系 统的结构和功能。 – 信息的处理是由神经元之间的相互作用来实 现。 – 知识与信息的存储表现为网络元件互连间分 布式的物理联系。 – 网络的学习和识别取决于各神经元连接权值 的动态演化过程。
– 以其输出与样例的期望输出进行比较, 如果它们的误差不能满足要求,则沿 着原来的连接通路逐层返回,并利用 两者的误差按一定的原则对各层节点 的连接权值进行调整,使误差逐步减 小,直到满足要求时为止。
• 反向传播的适用情况 – 正向传播用于进行网络计算,对其一 输入求出它的输出;反向传播用于逐 层传递误差,修改连接权值,以使网 络能进行正确的计算。 – 一旦网络经过训练用于求解现实问题, 则就只需正向传播,不需要再进行反 向传播。
Baidu Nhomakorabea
• 在单层感知器中,当输入的加权和大于等于阈 值时,输出为1,否则为0或-1。它与M-P模型的 不同之处是假定神经元间的连接强度(即连接权 值wij )是可变的,这样它就可以进行学习。 • 单层感知器的学习及其算法: – 学习的目的是调整连接权值,以使网络对任 何输入都能得到所期望的输出 。 – 考虑仅有一个输出节点的情况,其中,xi是 该输出节点的输入;wi 是相应的连接权值 (i=1,2.…,n);y(t)是时刻t的输出;d是所 期望的输出,它或者为1,或者为-1。学习 算法如下:
三、Hopfield模型 • Hopfield 模型是霍普菲尔特分别于1982年 及1984年提出的两个神经网络模型,一个 是离散的,一个是连续的,但它们都属 于反馈网络,即它们从输入层至输出层 都有反馈存在。下图是一个单层反馈神 经网络。
单层反馈神经网络
• 反馈网络的稳定性:由于网络的输出要 反复地作为输入送人网络中,这就使得 网络的状态在不断地改变,因而就提出 了网络的稳定性问题。
1、人工神经元 • 人工神经元是组成人工神经网络的基本 处理单元,简称为神经元。 • 心理学家麦克洛奇(W.McCulloch)和数 理逻辑学家皮兹(W.Pitts)于1943年首先提 出了一个简化的神经元模型,称为M-P模 型。
• M-P模型
• 圆表示神经元的细胞体; • e,i 表示外部输入,对应于生物神经元 的树突。e为兴奋性突触连接,i 为抑制 性突触连接; • θ表示神经元兴奋的阈值; • y 表示输出,它对应于生物神经元的轴 突。
• 在该网络中,每当有信息进入输入层时, 在输入层不做任何计算,直接将输入信 息分布地传递给下一层各有关节点。 • 若用Xj(t)表示节点j在时刻t的状态,则该 节点在下一时刻(即t+1)的状态由下式决定:
wij为从节点i到节点j的连接权值;θ为节点j 的阈值。 整个网络的状态用X(t)表示,它是由各节点 的状态所构成的向量。 • 对于上图,若假设输出层只有两个节点, 并用1和0分别表示每个节点的状态,则 整个网络共有四种状态,分别为: 00,01,10,11 • 如果假设输出层有三个节点,则整个网 络共有八种状态,每个状态是一个三位 的二进制数,如图所示。
• 神经元的工作过程一般是:
(1) 从各输人端接收输入信号xi; (2) 根据连接权值wi,求出所有输入的加权和σ :
(3) 用某一特性函数 ( 又称作用函数) f 进行转换, 得到输出y:
2、神经元的互连形态 人工神经网络是由神经元广泛互连构成的, 不同的连接方式就构成了网络的不同连 接模型,常用的有以下几种: (1) 前向网络:前向网络又称为前馈网络。 在这种网络中,神经元分层排列,分别 组成输入层、中间层和输出层。每一层 神经元只接收来自前一层神经元的输入。 输入信息经各层变换后,最终在输出层 输出,如图所示。
相关文档
最新文档