优选第四章智能技术的决策支持和智能决策支持系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
切接触，传递神经元冲动的地方称为突触。
4.4 神经网络的决策支持
神经元具有如下性质： ▪ （1）多输入单输出； ▪ （2）突触具有加权的效果； ▪ （3）信息进行传递； ▪ （4）信息加工是非线性。
4.4 神经网络的决策支持
1、神经元的数学模型
V1
Ti1 ·
· ·
··
Vj
Tij
··
·
·
Tin
n
BP模型计算公式汇总
3、隐结点层（输入结点到隐结点间）的修正公式
（1）误差公式： i ' yi (1 yi ) lTli
（2）权值修正：
l
Wij (k 1) Wij (k ) ' 'i x j
（3）阈值修正： i (k 1) i (k ) ' 'i
误差反向传播示意图
隐结点误差的含义：
4.4.2 反向传播模型(BP模型)
BP模型的计算公式为：
1.隐结点的输出：
yi f ( wij x j i ) f (neti )
j
其中： neti wij x j i
j
2. 输出结点计算输出：
Ol f ( Tli yi l ) f (netl )
i
其中： netl Tli yi l
i f ' (neti ) lTli
l
求
(2) l
(1) i
l(2)=Ol(1－Ol)(dl－Ol) Til(k+1)= Til(k)＋l(2)yi l(k+1)= l(k)+ l(2)
i(1)= yi(1－yi )
T (2) l li
Wij(k+1)=Wij(k)＋i(1)xj i(k+1)= i(k)+ i(1)
BP模型计算公式汇总
n
其中一个样本误差： ek
t
( l
k
)
Ol( k )
l 1
其中，p为样本数，n为输出结点数。
（3）误差公式： l (tl Ol ) Ol (1 Ol )
（4）权值修正：Tli (k 1Hale Waihona Puke Baidu Tli (k) l yi
其中k为迭代次数。 （5） 阈值修正：
l (k 1) l (k) l
1 0.5
(-1,1)S型函数：
x
0
1 ex f (x) 1 ex
3、学习规则
神经元的学习规则是Hebb规则。 Hebb学习规则：若i与j两种神经元之间同时处于兴
奋状态，则它们间的连接应加强，即： △Wij＝SiSj (＞0) 这一规则与“条件反射”学说一致，并得到神经细
胞学说的证实。 设α＝1，当Si＝Sj＝1时，△Wij＝1， 在Si，Sj中有一个为0时，△Wij＝0。
4.4.2 反向传播模型(BP模型)
BP模型（Back propagation），需要确定它的网络结构、作 用函数和误差函数。
1. 多层网络结构: 有输入层、输出层，一个或多个隐含层
4.4.2 反向传播模型(BP模型)
2. 作用函数为(0,1)S型函数
3.误差函数
1 f (x) 1 ex
对第p个样本误差计算公式为：
j
❖ 其中Wij是神经元之间的连接强度， ❖ Wii＝0，Wij（i≠j）是可调实数，由学习过程来调整。
2、神经元作用函数
[0,1]阶梯函数:
1 x 0
+1 ○
f (x) 0 x 0
0
x
[-1,1]阶梯函数：
1
x0
f
(x)
1
x0
神经元作用函数
(0,1)S型函数：
f
1 f (x) 1 ex
（2）隐结点的输出：yi f ( Wij X j i )
j
其中：Wij连接权值，结点阈值
i 。
(3) 输出结点输出： Ol f ( Tli yi l )
i
其中：Tij连接权值， 结点阈值 l。
2 输出层（隐结点到输出结点间）的修正公式
（1）输出结点的期望输出tl
（2）误差控制 P 所有样本误差： E ek k 1
LOGO
优选第四章智能技术的决策支持和智 能决策支持系统
2020/9/8
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
❖ 神经元的结构
4.4 神经网络的决策支持
❖ 神经元由细胞体、树突和轴突三部分组成； ❖ 细胞体对接收到的信息进行处理； ❖ 轴突是较长的神经纤维，是发出信息的； ❖ 树突的神经纤维较短，是接收信息的； ❖ 一个神经元的轴突末端，与另一个神经元的树突之间密
f（ TijV j i ）
j 1
树
n
轴
Ui
TijV j
细
Ui
j 1
胞
突
突
体
Vn
其中：V1、V2、…Vn为输入，Ｕi为该神经元的输出，Ｔij为 外面神经元与该神经元连接强度（即权值）,为阈值，f(X) 为该神经元的作用函数。
❖ MP（神经元的数学模型）模型方程为：
Oi f Wij i i 1,2,, n
输出 节点 l ·
Ol=f（ Tli yi－l ）
修正权 Tli 隐 节点 i ·
yi=f（ Wij x j－i ）
修正权 Wij 输入 节点 j · xj
修正（Tli，l ），（Wij，i）
异或问题求解实例
按问题要求，设置输入结点为两个（x1,x2），输出结点 为1个（z），隐结点定为2个（y1，y2），各结点阈值和网 络权值见图说明。
异或问题求解实例
计算机计算结果
迭代次数：16745次；总误差：0.05 隐层网络权值和阈值：
w11=5.24 w12=5.23 1=8.01 w21=6.68 w22=6.64 2=2.98 输出层网络权值和阈值：
T1=-10 T2=10
=4.79
4.4.3 神经网络专家系统及实例
一、神经网络专家系统特点 1. 神经元网络知识库：为神经元之间的连接强度（权值）。
E p
1 2
(t pi Opi )2
i
其中ｔpi，Opi分别是期望输出与计算输出。
4.4.2 反向传播模型(BP模型)
公式推导思想是：修正网络权值与阈值，使误差函数 沿梯度方向下降。 BP网络表示：输入结点xj，隐结点yi，输出结点Ol， 输入结点与隐结点间的网络权值为Wij，隐结点与输出 结点间的网络权值为Tli，输出结点的期望输出为tl。
i
4.4.2 反向传播模型(BP模型)
3. 输出结点的误差公式：
1
E 2
l
(tl
Ol )2
1 2
l
(tl f (
i
Tli yi l ))2
1
2
l
(tl f (
i
Tli f (
j
wij x j i ) l ))2
BP模型计算公式汇总
1. 输出结点输出Ol计算公式
（1）输入结点的输入xj
4.4 神经网络的决策支持
神经元具有如下性质： ▪ （1）多输入单输出； ▪ （2）突触具有加权的效果； ▪ （3）信息进行传递； ▪ （4）信息加工是非线性。
4.4 神经网络的决策支持
1、神经元的数学模型
V1
Ti1 ·
· ·
··
Vj
Tij
··
·
·
Tin
n
BP模型计算公式汇总
3、隐结点层（输入结点到隐结点间）的修正公式
（1）误差公式： i ' yi (1 yi ) lTli
（2）权值修正：
l
Wij (k 1) Wij (k ) ' 'i x j
（3）阈值修正： i (k 1) i (k ) ' 'i
误差反向传播示意图
隐结点误差的含义：
4.4.2 反向传播模型(BP模型)
BP模型的计算公式为：
1.隐结点的输出：
yi f ( wij x j i ) f (neti )
j
其中： neti wij x j i
j
2. 输出结点计算输出：
Ol f ( Tli yi l ) f (netl )
i
其中： netl Tli yi l
i f ' (neti ) lTli
l
求
(2) l
(1) i
l(2)=Ol(1－Ol)(dl－Ol) Til(k+1)= Til(k)＋l(2)yi l(k+1)= l(k)+ l(2)
i(1)= yi(1－yi )
T (2) l li
Wij(k+1)=Wij(k)＋i(1)xj i(k+1)= i(k)+ i(1)
BP模型计算公式汇总
n
其中一个样本误差： ek
t
( l
k
)
Ol( k )
l 1
其中，p为样本数，n为输出结点数。
（3）误差公式： l (tl Ol ) Ol (1 Ol )
（4）权值修正：Tli (k 1Hale Waihona Puke Baidu Tli (k) l yi
其中k为迭代次数。 （5） 阈值修正：
l (k 1) l (k) l
1 0.5
(-1,1)S型函数：
x
0
1 ex f (x) 1 ex
3、学习规则
神经元的学习规则是Hebb规则。 Hebb学习规则：若i与j两种神经元之间同时处于兴
奋状态，则它们间的连接应加强，即： △Wij＝SiSj (＞0) 这一规则与“条件反射”学说一致，并得到神经细
胞学说的证实。 设α＝1，当Si＝Sj＝1时，△Wij＝1， 在Si，Sj中有一个为0时，△Wij＝0。
4.4.2 反向传播模型(BP模型)
BP模型（Back propagation），需要确定它的网络结构、作 用函数和误差函数。
1. 多层网络结构: 有输入层、输出层，一个或多个隐含层
4.4.2 反向传播模型(BP模型)
2. 作用函数为(0,1)S型函数
3.误差函数
1 f (x) 1 ex
对第p个样本误差计算公式为：
j
❖ 其中Wij是神经元之间的连接强度， ❖ Wii＝0，Wij（i≠j）是可调实数，由学习过程来调整。
2、神经元作用函数
[0,1]阶梯函数:
1 x 0
+1 ○
f (x) 0 x 0
0
x
[-1,1]阶梯函数：
1
x0
f
(x)
1
x0
神经元作用函数
(0,1)S型函数：
f
1 f (x) 1 ex
（2）隐结点的输出：yi f ( Wij X j i )
j
其中：Wij连接权值，结点阈值
i 。
(3) 输出结点输出： Ol f ( Tli yi l )
i
其中：Tij连接权值， 结点阈值 l。
2 输出层（隐结点到输出结点间）的修正公式
（1）输出结点的期望输出tl
（2）误差控制 P 所有样本误差： E ek k 1
LOGO
优选第四章智能技术的决策支持和智 能决策支持系统
2020/9/8
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
❖ 神经元的结构
4.4 神经网络的决策支持
❖ 神经元由细胞体、树突和轴突三部分组成； ❖ 细胞体对接收到的信息进行处理； ❖ 轴突是较长的神经纤维，是发出信息的； ❖ 树突的神经纤维较短，是接收信息的； ❖ 一个神经元的轴突末端，与另一个神经元的树突之间密
f（ TijV j i ）
j 1
树
n
轴
Ui
TijV j
细
Ui
j 1
胞
突
突
体
Vn
其中：V1、V2、…Vn为输入，Ｕi为该神经元的输出，Ｔij为 外面神经元与该神经元连接强度（即权值）,为阈值，f(X) 为该神经元的作用函数。
❖ MP（神经元的数学模型）模型方程为：
Oi f Wij i i 1,2,, n
输出 节点 l ·
Ol=f（ Tli yi－l ）
修正权 Tli 隐 节点 i ·
yi=f（ Wij x j－i ）
修正权 Wij 输入 节点 j · xj
修正（Tli，l ），（Wij，i）
异或问题求解实例
按问题要求，设置输入结点为两个（x1,x2），输出结点 为1个（z），隐结点定为2个（y1，y2），各结点阈值和网 络权值见图说明。
异或问题求解实例
计算机计算结果
迭代次数：16745次；总误差：0.05 隐层网络权值和阈值：
w11=5.24 w12=5.23 1=8.01 w21=6.68 w22=6.64 2=2.98 输出层网络权值和阈值：
T1=-10 T2=10
=4.79
4.4.3 神经网络专家系统及实例
一、神经网络专家系统特点 1. 神经元网络知识库：为神经元之间的连接强度（权值）。
E p
1 2
(t pi Opi )2
i
其中ｔpi，Opi分别是期望输出与计算输出。
4.4.2 反向传播模型(BP模型)
公式推导思想是：修正网络权值与阈值，使误差函数 沿梯度方向下降。 BP网络表示：输入结点xj，隐结点yi，输出结点Ol， 输入结点与隐结点间的网络权值为Wij，隐结点与输出 结点间的网络权值为Tli，输出结点的期望输出为tl。
i
4.4.2 反向传播模型(BP模型)
3. 输出结点的误差公式：
1
E 2
l
(tl
Ol )2
1 2
l
(tl f (
i
Tli yi l ))2
1
2
l
(tl f (
i
Tli f (
j
wij x j i ) l ))2
BP模型计算公式汇总
1. 输出结点输出Ol计算公式
（1）输入结点的输入xj