ch04决策支持系统(神经网络)

传统人工智能的局限性
人工神经元网络具有自学习能力，将其与传统
AI结合起来是模拟智能的很好的途径。 ANN是一种模仿人脑行为及其活动过程的推理 分析方法，它具有自学习能力，能从一系列的数据 中综合出规律性的知识——较为有效地解决了专家
系统知识获取困难。
4.4.1 神经网络原理
人类大脑大约包含有1.41011个神经元，每个 神经元与大约103～105个其它神经元相连接，构成 一个极为庞大而复杂的网络，即生物神经网络。 神经生理学和神经解剖学的 研究结果表明，神经元是脑 组织的基本单元，是神经系 统结构与功能的单位。
j
(3) 输出结点输出：
Ol f ( Tli yi l )
i
其中：Tij连接权值，l 结点阈值。
输出层（隐结点到输出结点间）的修正公式 输出结点的期望输出：tl 误差控制： P 所有样本误差： E ek
j j
(0)
j
0
超平面上部P 超平面上部P的任意结点满足于不等式，即
w x
j j
( p)
j
0
超平面上部P 超平面上部P的任意结点满足于不等式，即
w x
j j
( p)
j
0
超平面下部Q 超平面下部Q的任意结点满足于不等式，即
w x
j j
(q)
j
0
(3)作用函数的几何意义
┌ Ｗ1┐(k) ┌Ｗ1┐(k-1) ┌ｘ1 ┐ │ │ ＝ │ │ ＋ｃ （ｄ－ｙ）│ │ └ Ｗ2┘ └Ｗ2┘ └ｘ2 ┘
输入
(0,1)
(1,1)
(0,0)
(1,0)
y w1 x1 w2 x2
初值
┌Ｗ1┐ └Ｗ2┘
┌０┐ └０┘
ｃ＝１
其中ｄ为期望输出，ｙ为计算输出。 开，称该样本是线性可分样本。

Ｋ＝２， ｙ＝ｆ（０＋1）＝０ d=1 ┌Ｗ1 ┐(2)┌Ｗ1┐(1) ┌０┐ ┌０┐ ┌０┐ ０┐ ┌ │ │＝ │ │＋（１－０） │ │＝ │ │＋│ │＝ │ │ └Ｗ2 ┘ └Ｗ2┘ └１┘ └０┘ └１┘ └１┘
Ｋ＝３， ｙ＝ｆ（0＋０）＝０ d=1 ┌Ｗ1 ┐(3)┌Ｗ1┐(2) ┌１┐ ┌０┐ ┌１┐ １┐ ┌ │ │＝ │ │＋（１－０） │ │＝ │ │＋│ │＝ │ │ └Ｗ2 ┘ └Ｗ2┘ └０┘ └１┘ └０┘ └１┘ Ｋ＝４， ｙ＝ｆ（１＋１）＝ｆ（２）＝１ d=1 ┌Ｗ1 ┐(4)┌Ｗ1┐(3) ┌１┐ ┌１┐ ┌０┐ １┐ ┌ │ │＝ │ │＋（１－１） │ │＝ │ │＋│ │＝ │ │ └Ｗ2 ┘ └Ｗ2┘ └１┘ └１┘ └０┘ └１┘
由正向传播和反向传播组成，在正向传播过程中，输 入信息从输入层经过隐层，再传向输出层，每一层的神 经元的状态值只影响下一层神经元的状态值； 如果在输出层不能得到期望的输出值，则转入反向传 播，将误差信号沿逆向通路修正各层神经元的权值，使 得网络的总误差值收敛到极小。
信息的正向传播，误差的反向传播。
网络开始训练时选用较小的随机给定权值与内部阈 值（θ ），通过反复利用训练样本调整权值，直到误 差函数下降到可以接受的允许值（如0.05）。 BP神经网络对非线性数据分类是十分有效的。
修改后的权值，又回到了初始状态，如果继续计算，将出现无限循环，永 远不会收敛。
该例充分说明感知机对非线性样本无效。
4.4.3 反向传播模型
BP模型是1985年由Rumelhart等人提出的
1. 多层网络结构 神经网络不仅有输入节点、输出节点，而且有一层或多 层隐节点,如图：
Tli
Wij
BP算法的学习过程：
则(BP算法)为典型 基本思想： δ 规则中，误差由输出层逐层反向传至输入层，
由误差修改网络权值，直至得到网络权值适应学习
样本。
3、神经网络的几何意义
(1)神经元与超平面 由n个神经元（j=1,2,…,n）对连接于神经元i的 信息总输入Ii为：
Ii
w
j 1
n
ij
x j i
其中Wij为神经元j到神经元i的连接权值，i为神经 元的阈值。神经元xj(j=1,2,…,n)相当于n维空间 （x1,x2,…,xn）中一个结点的n维坐标（为了便于 讨论，省略i下标记）。
神经网络中使用的阶梯型作用函数f(x)把n维空间中 超平面的作用和神经网络作用w j x j ) 0
w x w x
j j j j
j
0 0
j
它的含义为：超平面上部P的任意结点经过作用函数
后转换成数值1；超平面上任意结点和超平面下部Q
I w j x j w1 x1 w2 x2 w3 x3 0
j 1
3
从几何角度看，一个神经元代表一个超平面。
(2)超平面的作用
n维空间（x1,x2,…,xn）上的超平面I=0，将空 间划分为三部分。 平面本身 超平面上的任意结点 满足于超平面方程，即：
w x
令：
I wj x j 0
j 1
n
它代表了n维空间中，以坐标xj为变量的一个超 平面。其中Wj为坐标的系数，为常数项。
当n=2时，“超平面”为平面（x1,x2）上的一条直 线： 2 I w j x j w1 x1 w2 x2 0
j 1
当n=3时，“超平面”为空间（x1, x2,x3）上的 一个平面：
Hebb规则
若i与j两种神经元之间同时处于兴奋状态，则 它们间的连接应加强，即： △Wij＝SiSj (＞0) 设α ＝1，当Si＝Sj＝1时，△Wij＝1，在Si，Sj 中有一个为0时，△Wij＝0； 这一规则与“条件反射”学说一致，并得到神 经细胞学说的证实。
(2)误差传播学习：以1986年Rumelhart等人提出的δ 规
Oi f (Wij I j i )
j
i 1, 2,, n
其中：Wij是神经元之间的连接强度，Wij（i≠j） 是可调实数，由学习过程来调整。 i 是阈值， f(x)是阶梯函数。
神经元作用函数
[0,1]阶梯函数
1 f (x) 0
x0 x0
+1
○
0
x
f
(0,1)S型函数：
系统工程专业本科学员必修课
决策支持系统
第四章 智能决策支持系
统和智能技术的决策支持
本章内容
智能决策支持系统概述 人工智能基本原理 专家系统与智能决策支持系统 神经网络的决策支持
遗传算法的决策支持
机器学习的决策支持
4.4 神经网络的决策支持
4.4.1 神经网络原理
4.4.2 感知机模型
感知机对ＸＯＲ问题的计算： 同二值逻辑样本计算，Ｋ＝１，２，３的计算相同，Ｋ＝４时有： ｙ＝ｆ（１＋１）＝ｆ（２）＝１
┌Ｗ1 │ └Ｗ2 ┐(4)┌Ｗ1 ┐(3) ┌１┐ ┌１┐ ┌－１┐ ┌０┐ │＝ │ │＋（０－１） │ │＝ │ │＋│ │＝│ │ ┘ └Ｗ2 ┘ └１┘ └１┘ └－１┘ └０┘
神经元组成: 树突：神经纤维较短，是接收信息的。 细胞核：对接收到的信息进行处理。 轴突：较长的神经纤维，是发出信息的。 突触：一个神经元的轴突末端与另一个神经元的树突
之间密切接触。
神经元具有如下性质：
（1）多输入单输出； （2）突触具有加权的效果； （3）信息进行传递； （4）信息加工是非线性。
E Tli Tli E wij ' wij
用误差去修正输出层和隐节点的权值，误差反向传播。
误差反向传播示意图
BP模型计算公式汇总
1. 输出结点输出Ol计算公式 （1）输入结点的输入xj yi f (Wij X j i ) （2）隐结点的输出： 其中：Wij连接权值，i 结点阈值。
2. 作用函数为(0,1)S型函数 1 f (x) 1 ex
3.误差函数
第p个样本误差计算公式可定义为：
E p 1 2 ( t pi O pi ) 2 i
对于整个网络系统的总均方误差为：E＝1/p∑Ep，其中p 为训练样本总数，tpi Qpi分别为实际输出和计算输出。
网络训练的目的是找到一组权值，使E极小化。LMS算法 用梯度下降法，即权重的增量正比于误差的负导数：
1 0.5
1 f (x) x 1 e
[-1,1]阶梯函数
0
x
(-1,1)S型函数：
2、神经网络的学习
神经网络的学习，主要是指通过一定的学习算法或 规则实现对突触结合强度(权值)的调整。ANN学习规则 主要有四种，即联想式学习、误差传播学习、概率式 学习和竞争式学习。
(1)联想学习：联想学习是模拟人脑的联想功能，典 型联想学习规则是由心理学家Hebb于1949年提出的学 习行为的突触联系，称为Hebb学习规则。
4.4.3 反向传播模型 4.4.4 神经网络专家系统及实例
4.4.5 神经网络的容错性
传统人工智能的局限性
传统AI能解决的问题局限于人的逻辑思维所能解 决的问题之内，完全是一种逻辑思维的模拟。而人脑
除逻辑思维外，还有形象思维与逻辑表象等，因而单
靠传统的AI不能很好地模拟智能。另外，对于无法形
式化的问，难以用AI来求解。


再循环一次，将会得到所有例子的（ｄ－ｙ）值均为零，即权值（Ｗ1• ＝ １，Ｗ2＝１）满足所有实例要求。
对ＸＯＲ异或问题： (0,1) (1,1) 输入 ｘ1 ｘ2 输出 d ０ ０ ０ ０ １ １ １ ０ １ (0,0) (1,0) １ １ 0 样本是非线性样本，即找不到一个超平面，将两类样本分开。
人工神经元:
人工神经元是组成人工神经网络的基本处理单元，
简称为神经元。
心理学家麦克洛奇(W．McCulloch)和数理逻辑学