第四章 智能技术的决策支持和智能决策支持系统(3)

i(1)= yi(1－yi )
T (2) l li
Wij(k+1)=Wij(k)＋i(1)xj i(k+1)= i(k)+ i(1)
输出 节点 l ·
Ol=f（ Tliyi－l ）
修正权 Tli 隐 节点 i ·
yi=f（ Wijxj－i ）
修正权 Wij 输入 节点 j · xj
2020/7/7
（2）误差控制 P 所有样本误差： E ek k1
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
n
其中一个样本误差： ek
tl(k) Ol(k)
l1
其中，p为样本数，n为输出结点数。
（3）误差公式： l (tl O l)O l(1 O l)
（4）权值修正：T li( k 1 ) T li( k ) ly i
（3）阈值修正： i( k 1 ) i( k ) ''i
2020/7/7
信息分析与决策支持 唐晶磊
误差反向传播示意图
隐结点误差的含义：
2020/7/7
if'(neti) lTli
l
信息分析与决策支持 唐晶磊来自求(2) l(1) i
l(2)=Ol(1－Ol)(dl－Ol) Til(k+1)= Til(k)＋l(2)yi l(k+1)= l(k)+ l(2)
1、神经元的数学模型
V1
Ti1 ·
· ·
··
Vj
Tij
··
·
·
Tin
n
f（ TijV j i ）
j 1
树
n
轴
Ui
TijV j
细
Ui
j 1
胞
突
突
体
Vn
其中：V1、V2、…Vn为输入，Ｕi为该神经元的输出，Ｔij为 外面神经元与该神经元连接强度（即权值）,为阈值，f(X) 为该神经元的作用函数。
切接触，传递神经元冲动的地方称为突触。
2020/7/7
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
神经元具有如下性质： ▪ （1）多输入单输出； ▪ （2）突触具有加权的效果； ▪ （3）信息进行传递； ▪ （4）信息加工是非线性。
2020/7/7
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
修正（Tli，l ），（Wij，i）
信息分析与决策支持 唐晶磊
异或问题求解实例
按问题要求，设置输入结点为两个（x1,x2），输出结点 为1个（z），隐结点定为2个（y1，y2），各结点阈值和网 络权值见图说明。
LOGO
决策支持系统及其开发
主讲教师：唐晶磊 E-mail: tangjinglei@
Tel:87091337(O)
2020/7/7
信息分析与决策支持 唐晶磊
(3) 部分内容
❖4.4 神经网络的决策支持 ❖4.5 遗传算法的决策支持
2020/7/7
信息分析与决策支持 唐晶磊
2020/7/7
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
BP模型的计算公式为：
1.隐结点的输出：
yif( w ijxji)f(neti)
j
其中： neti wijxj i
j
2. 输出结点计算输出：
O lf( T liyil)f(n e tl)
i
其中： netl Tliyi l
4.4 神经网络的决策支持
❖ 神经元的结构
2020/7/7
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
❖ 神经元由细胞体、树突和轴突三部分组成； ❖ 细胞体对接收到的信息进行处理； ❖ 轴突是较长的神经纤维，是发出信息的； ❖ 树突的神经纤维较短，是接收信息的； ❖ 一个神经元的轴突末端，与另一个神经元的树突之间密
1. 多层网络结构: 有输入层、输出层，一个或多个隐含层
2020/7/7
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
2. 作用函数为(0,1)S型函数
3.误差函数
1 f (x) 1ex
对第p个样本误差计算公式为：
Ep12 (tpiO pi)2 i
其中ｔpi，Opi分别是期望输出与计算输出。
其中k为迭代次数。
（5） 阈值修正： l(k 1 )l(k )l
2020/7/7
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
3、隐结点层（输入结点到隐结点间）的修正公式
（1）误差公式： i'yi(1yi) lTli
（2）权值修正：
l
W ij(k 1 ) W ij(k )' 'ix j
2020/7/7
1. 输出结点输出Ol计算公式
（1）输入结点的输入xj
（2）隐结点的输出：yi f( W ijXj i)
j
其中：Wij连接权值，结点阈值
i 。
(3) 输出结点输出： O l f( Tliyi l)
i
其中：Tij连接权值，
结点阈值
。
l
2 输出层（隐结点到输出结点间）的修正公式
（1）输出结点的期望输出tl
2020/7/7
信息分析与决策支持 唐晶磊
神经元作用函数
(0,1)S型函数：
f
1 f(x)1ex
1 0.5
(-1,1)S型函数：
x
0
1ex f (x)1ex
2020/7/7
信息分析与决策支持 唐晶磊
3、学习规则
神经元的学习规则是Hebb规则。 Hebb学习规则：若i与j两种神经元之间同时处于兴
奋状态，则它们间的连接应加强，即： △Wij＝SiSj (＞0) 这一规则与“条件反射”学说一致，并得到神经细
胞学说的证实。 设α＝1，当Si＝Sj＝1时，△Wij＝1， 在Si，Sj中有一个为0时，△Wij＝0。
2020/7/7
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
BP模型（Back propagation），需要确定它的网络结构、作 用函数和误差函数。
i
2020/7/7
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
3. 输出结点的误差公式：
1
E 2l
(tl
Ol)2
1
2
l
(tl f(
i
Tliyi l))2
1
2l
(tl f(
i
Tli f(
j
wijxj i)l))2
2020/7/7
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
2020/7/7
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
公式推导思想是：修正网络权值与阈值，使误差函数 沿梯度方向下降。 BP网络表示：输入结点xj，隐结点yi，输出结点Ol， 输入结点与隐结点间的网络权值为Wij，隐结点与输出 结点间的网络权值为Tli，输出结点的期望输出为tl。