6章-人工神经网络与专家系统及在材料科学与工程中的应用

f
i
表示神经元的偏置（也称阀值）
为传递函数，又称激发或激励函数
几种常用的传递函数
①阀值型函数
1 x 0 f ( x) 0 x 0
②S形函数 f (x) 1 1 e x
③双曲正切函数
1 e x f ( x) 1 e x
人工神经元模型和网络结构

焊接裂纹诊断决策树
基于Web的复合材料设计专家系统
富威1 ，王鹏2，李庆芬1 1哈尔滨工程大学 2 哈尔滨理工大学
复合材料结构设计框图
基于Web的专家系统结构图
专家系统应用（复合材料设计）流程图
6.1.4 材料专家系统的研究方法



以知识检索、简单计算和推理为基础的 专家系统。 以计算机模拟和运算为基础的材料设计 专家系统。 以模式识别和人工神经网络为基础的专 家系统。——人工神经网络(artificial neural network）专家系统

识别阶段 概念化阶段 形式化阶段 实现阶段 测试阶段 维护阶段
实例

焊接专家系统


焊接领域知识的复杂性和经验性, 被认为是最适合 于开发专家系统的领域之一。 功能

焊接工艺设计或工艺选择 焊接缺陷或设备故障诊断 焊接成本估算 实时监控 焊接CAD( 疲劳设计、符号绘制) 焊工考试
(1)函数逼近和模型的拟合； (2)信息处理和预测； (3)神经网络控制； (4)故障诊断。
神经网络工具箱的通用函数
函数类型
神经网络仿真函数 神经网络训练函数
函数名称
sim train trainb adapt learnp
函数用途
针对给定的输入，得到网络输出 调用其他训练函数，对网络进行训练 对权值和阀值进行训练 自适应函数 网络权值和阀值的学习 标准学习函数 将权值和阀值恢复到最后一次初始化时的值 对网络进行初始化 多层网络的初始化 利用Nguyen-Widrow准则对层进行初始化 调用制定的函数对层进行初始化 输入求和函数 输入求积函数 使权值向量和阀值向量的结构一致 硬限幅函数 对称硬限幅函数 权值求积函数
计算机在材料科学与工程中的应用
6章 人工神经网络与专家系统及在材料科学与工程中的应用
重庆大学材料学院 汤爱涛
6.1 专家系统(expert system)基本知识
6.1.1 概述 历史

产生于20世纪60年代 DENDRAL 系统 运用大量的专业知识及知识推理解决特定领域中实际问题的计算机程 序系统. 高效率求解复杂问题、逻辑推理、结构良好、自适应性 解释、预测、设计、诊断、规划、控制、决策、咨询等
6. 2 人工神经网络(ANN)专家系统

基于半经验方法构建的，即是从已有试 验数据出发，获取相关材料的成分、工 艺、组织和性能之间的关系规律，然后 进行成分设计或性能预测 。
神经网络专家系统的结构
神经网络专欢系统的形成

知识的表示 知识获取及存储 推理机制 解释机侧
6. 3人工神经网络的基本知识
传递函数
dtansig purelin dpurelin
学习函数 性能函数
learngd learngdm mse msereg plotperf plotes plotep errsurf
函数用途
创建级联前向网络 创建前向BP网络 创建存在输入延迟的前向网络 S型的对数函数 logsig的导函数 S型的正切函数 tansig的导函数 纯线性函数 Purelin的导函数 基于梯度下降法的学习函数 梯度下降动量学习函数 均方误差函数 均方误差规范化函数 绘制网络的性能 绘制一个单独神经元的误差曲面 绘制权值和阀值在误差全面上的位置 计算单个神经元的误差曲面
神经网络构建的一般性步骤( 参见教材)
① 确定输入参数
②
③
数据分析 确定输出参数
确定中间隐 层
选定 学习算法
选取 学习参数
程序实现训练
结果分析
网络结构部分
算法部分
程序部分
6.4

matlab神经网络工具箱及其使用
MATLAB神经网络工具箱(Neursl Network Toolbox)以神经网络理 论为基础，利用MATLAB语言编写出线性、竞争性等典型神经网 络激活函数，通过对激活函数的调用，实现对选定网络输出的计 算。 MATLAB 7对应的神经网络工具箱的版本号为Version 4.0.3，其涉 及到的网络模型有：感知器模型、线性滤波器、BP网络模型、控 制系统网络模型、径向基网络模型、自组织网络、反馈网络、自 适应滤波和自适应训练等。 神经网络工具箱中提供的神经网络模型主要应用于以下四个方面 :
人工神经网络的理论基础
生物神经网
枝 蔓 （ Dendrite ）
轴突（Axon） 胞体(Soma) 胞体(Soma)
突触（Synapse）
神经元主要由三部分构成： （1）细胞体;（2）轴突-突触;（3）树突(枝蔓);
生物神经网六个基本特征：
1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元接受的信号的累积效果决定该神经元的 状态； 6) 每个神经元可以有一个“阈值”。

反向：当输出达不到期望输出时，误差信号的反向传
播，并按照减小期望输出与实际输出的误差的原则，从 输出层经中间隐层，层层修正网络权值及阀值，并将修 正结果反馈给输入层。

学习方法

梯度下降法
误差反向传播神经网络模型
误差反向传播算法的一般性步骤：
1. 随机选定初始权值 ； 2. 正向计算过程：计算每层各单元的 各种输出 ；反向 计算过程：对每层的各单元，计算误差对输入的偏 导，； 3. 根据下式修正权值，其中η 为步长（常称为学习速 率0.01~1），且 ； 4. 若误差 E 停止，否则转2。 E W ( k 1) W ( k ) ( ) W (k )
焊接裂纹预测及诊断专家系统
天津大学 李午申 董建明 张炳范

焊接裂纹预测知识库

抗裂性试验数据知识库

冷裂纹的插销试验数 斜Y型坡口焊接裂纹试验方法试验数据 有各种焊接裂纹的多种判据公式及有关数据 按钢种牌号、板厚、施焊时的预热温度及环境温度 预测产生冷裂纹的倾向。

判据公式知识库


经验知识库
不需要知道期望输出。抽取训练数据统计特征。

强化学习
采用一个“评论员”来评价与给定输入相对应的神经网络 输出的优度。
δ 学习律（有师学习）
权的修正量ΔWqj = ηδ j vq 其中 δ j =F( yj - y’j ) F(x)=x （一般） η ：步长 vq：q个神经元输出
误差反向传播神经网络模型（BP网络）

定义


特点:


类型：

专家系统的构成




知识库：领域知识与经验的存储器； 数据库：存储该问题的初始数据和推理过 程中得到的各种中间信息，也就是存放用 户回答的事实、已知的事实和推理得到的 事实。 推理机：一组用来控制、协调整个系统的 工作程序。它根据当前输入的数据，利用 知识库中的知识，按一定的推理策略，去 解决当前的问题； 解释部分：处理人机对话，即对用户的提 问作出回答，为用户了解推理过程，向系 统学习和维护系统提供方便的一组程序； 知识获取部分：系统的学习功能，它为系 统改善提供方便。主要工作是知识库的维 护:如知识库一致性检验、知识的扩充与 修改等。
人工神经网络模型
人工神经网络模型是在人工神经元模型 的基础上构建的，其在不同角度与背景下有 着多种定义,其中比较典型的定义有两种: (1)见教材p175定义1 (2)见教材p175定义2
网络结构
人工神经网络中，各神经元的不同连接方式就构成 了网络的不同连接模型。

基本上有两大类：

分层网络递归网络（输入层、中间层-隐层、输出层） 相互连接型网络 前馈式 有反溃的前馈式 前馈内层互联 反溃型全互联 反溃型局部互联
目标 (a) (b)
神经网络
输入 调整权重 输出
比较 No. 层 No. 层
(c)
隐层 No.神经元
输入 层 输出层
…… ……
误差反向传播神经网络模型结构及其工作原理示意图
误差反向传播神经网络模型

基本原理（包括两个过程）

正向：输入信息从输入层经中间隐层逐层计算并传向输
出层，即工作信号的正向传播。
BP网络的设计

初始权值
BP网络的设计

学习算法
E E W (k 1) W (k ) [(1 )( ) ( )] W (k ) W (k 1)

学习参数 η:学习效率 α：比例因子（动量项系数/因子）
BP网络的设计

期望误差
对比于初始权值和学习参数，期望误差是较次要 的参数。但是在网络设计过程中，应该确定一个比较 合适的期望值。所谓“合适”是相对于所需要的隐层的 节点数及实际问题而言的。因为较小的期望误差是要 靠增加隐层的节点及训练时间为代价获得的。一般情 况下，作为对比可以同时对两个或多个不同期望误差 的网络进行训练，然后通过综合考虑来选择。
人工神经元模型和网络结构

人工神经元模型

n 1 i 0
w
n 1 i 0
i
x
i
＝

w ix i
y f(
w x )
i i i 0
n 1
其中:
x1 , x2 , , xn 输入信号; y i
为神经元输出
w ji 表示从神经元到神经元的连接强度,又称为权值.
误差反向传播神经网络模型
特点

优点：理论基础牢固，推导过程严谨，物理概念清晰，通用 性好等。所以，它是目前用来训练前向多层网络较好的算法。 缺点： （1）该学习算法的收敛速度慢；（2）网络中隐节点 个数的选取尚无理论上的指导；（3）从数学角度看，B-P算 法是一种梯度最速下降法，这就可能出现局部极小的问题。 当出现局部极小时，从表面上看，误差符合要求，但这时所 得到的解并不一定是问题的真正解。所以B-P算法是不完备的。
神经网络学习函数
learnpn revert init initlay initnw initwb netsum
初始化函数
神经网络输入函数
netprod concur harlim hardlims dotprod
传递函数 其他
BP网络的神经网络工具箱函数 函数类型
前向网络创建函数
函数名称
newcf newff newffd logsig dlogsig tansig

常见的连接模型有:

学习方式
神经网络主要通过两种学习算法进行训练，即指导式 （有师）学习算法和非指导式（无师）学习算法。此外，还 存在第三种学习算法，即强化学习算法，可以看做有师学习 的一种特例。

有导师学习
根据期望的和实际的网络输出之间的差来调节神经元的 连接的强度和权。

无导师学习

误差反向传播神经网络模型

设计过程

包括5个方面

网络结构 传输函数 初始权值 学习规则（即学习算法） 期望误差
BP网络的设计

网络结构
1. 输入层，输出层单元数 2. 网络层数，即中间隐层数目。见教材P178表6.1
BP网络的设计

Fra Baidu bibliotek
传输函数

S 双曲正切 线性(较少)

人工神经网络（Artificial Neural Networks， 简记作ANN），是对人类大脑系统的一阶特性 的一种描述。简单地讲，它是一个数学模型， 可以用电子线路来实现，也可以用计算机程序 来模拟，是人工智能研究的一种方法。

人工神经网络的理论基础 人工神经元模型和网络结构 误差反向传播神经网络模型


预测的推理原则
预测的推理原则
(1)选择要预测的裂纹种类 (2)根据屏幕提示输入裂纹预测所需的信息。 (3)根据输入的信息，推理机首先搜索抗裂性试验数据库。 (4)利用判据公式知识库预测裂纹。 (5)利用经验知识进行预测。

经上述预测后，若得出最终预测结果，则由屏幕或打印 机输出，否则系统提示“系统不能预测，需要增加相应裂 纹的预测知识”的信息。如用户具备这方面的知识，则可 转到学习功能，选择有关知识库加入相应的知识。
解释程序
专家系统基本特征



启发性——不仅能使用逻辑性知识还能使用启发性 知识； 透明性——能向用户解释它们的推理过程，还能回 答用户的一些问题； 灵活性——系统中的知识应便于修改和扩充； 推理性——系统中的知识必然是一个漫长的测试、 修改和完善过程。
6.1.3专家系统的开发

开发工具 开发过程