Modeler分类预测神经网络算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Modeler分类预测神经网络算法
11
•1/4/2021
感知机
• B-P反向传播网络是一种前馈式、多层、感知机网络
• 每个样本都会提供关于输入输出变量数量关系的信息, 应依次向每个样本学习,并根据误差调整网络权值
Modeler分类预测神经网络算法
12
•1/4/2021
感知机的训练步骤
• 第一,0时刻,初始化各个网络权值和输出结点的偏差
人工神经网络建立的一般步骤
• 网络权值的确定 • 第一,初始化网络权值:默认为来自均值为0,取值 范围在-0.5至0.5之间正态分布随机数 • 0附近、随机数、小区间 • 第二,计算各处理单元的加法器和激活函数值,得到 样本的分类预测值 • 第三,比较样本的预测值与实际值并计算误差,根据 误差值重新调整各网络权值 • 第四,返回到第二步
Modeler分类预测神经网络算法
2
•1/4/2021
人工神经网络算法概述
• 人工神经网络组成: • 由相互连接的神经元,也称处理单元(Processing Element)组成。处理单元也称结点(Node) • 处理单元之间的连接称为边,反映了各处理单元之间 的关联性 • 关联性的强弱体现在边的权值上
• 数据准备 • 数值型变量数据的标准化处理 [0,1] • 分类型变量
nlo2g (k1)
有4、5、6个类别的分类变量都只需要3个变量即可
• 网络结构的确定
• 隐层层数和各隐层中隐结点的个数决定复杂度
• 网络结构不一定在模型建立之前就完全确定
Modeler分类预测神经网络算法
10
•1/4/2021
结点3:U为:1×0.2+0.5×0.5=0.45,激活函数值为: y1=f(0.45)=0.61
结点4:U为:1×(-0.6)+0.5×(-1.0)=-1.1,激活函数值 为:y2=f(-1.1)=0.25
结点5:U为:0.61×1.0+0.25×(-0.5)=0.735,激活函数值 为:y3=f(0.735)=0.68
W i( jt) ej(t)X i(t)
delta规则
• 第六,判断是否满足迭代终止条件。如果没有满足,则重 新回到第二步
Modeler分类预测神经网络算法
14
•1/4/2021
Байду номын сангаас
设为1,为0.1,为0,激活函数f=U
W i( jt) ej(t)X i(t)
什么是人工神经网络
• 神经网络起源于生物神经元的研究,其研究的主要对象 是人脑 • 人脑是一个高度复杂的、非线性、并行处理系统,其 中大约有1011个称为神经元的微处理单元。这些神经 元之间互相连接,连接数目高达1015 • 人脑具有联想、推理、判断和决策的能力,对人脑的 活动机理的研究一直是一种挑战 • 人脑智能的核心在于其连接机制,即由于大量简单处 理单元(神经元)的巧妙连接,使得人脑成为一个高 度复杂的大规模非线性自适应系统
Modeler分类预测神经网络算法
13
•1/4/2021
感知机的训练步骤
• 第四,计算输出结点期望值与预测值的误差,t时刻:
ej(t)Y (t) Y'(t) 1jk
• 对于二分类输出变量,错判为0则为1,错判为1则为-1
• 第五,调整第i个输入结点和第j个输出结点之间的网络权
值和偏差
冲量
学习率
W ij(t1)W ij(t)ej(t)Xi(t) j(t1)j(t)ej(t)
• 各种激活函数:
f(Uj)10
(Uj 0) (Uj 0)
f(Uj)11
(Uj 0) (Uj 0)
1
f
(Uj
)
1eUj
1eUj f (Uj ) 1eUj
Modeler分类预测神经网络算法
7
•1/4/2021
人工神经网络中的结点和意义
3,4,5处理单元的偏差为0,激活函数为(0,1)型Sigmoid函数:
Modeler分类预测神经网络算法
3
•1/4/2021
人工神经网络算法概述
• 人工神经网络的种类:从拓扑结构角度划分: • 网络层数:两层神经网络、三层神经网络和多层神经 网络
结点的作用
结点的个数
Modeler分类预测神经网络算法
4
•1/4/2021
人工神经网络算法概述
• 人工神经网络的种类:从连接方式角度划分 : • 层间连接
Modeler分类预测神经网络算法
5
•1/4/2021
人工神经网络中的结点和意义
• 接收上层结点的输出作为本结点的输入,对输入进行计 算后给出本结点的输出
加法器: Uj n WijXi j
激活函数: Yj f(Uj)
i1
Modeler分类预测神经网络算法
6
•1/4/2021
人工神经网络中的结点和意义
Modeler分类预测神经网络算法
1
•1/4/2021
什么是人工神经网络
• 人工神经网络(Artificial Neural Network, ANN)是一种 人脑的抽象计算模型 • 通过计算机程序实现对人脑系统的模拟,形成类似于 生物神经元的处理单元,并希望通过这些处理单元的 有机连接,解决现实世界的模式识别、联想记忆、优 化计算等复杂问题 • 人工神经网络主要应用于分类预测和聚类方面
Modeler分类预测神经网络算法
8
•1/4/2021
人工神经网络中的结点和意义
• 在加法器和激活函数的共同作用下,结点起到了一个超 平面的作用 • 第一,如何定位一个超平面 • 第二,如果n维空间中的样本点线性不可分将会怎样
Modeler分类预测神经网络算法
9
•1/4/2021
人工神经网络建立的一般步骤
• 前馈式神经网络:连接是单向的,上层结点的输出 是下层结点的输入。B-P、Kohonen
• 反馈式神经网络 :除单向连接外,输出结点的输 出又作为输入结点的输入。Hopfield
• 层内连接方式是指神经网络同层结点之间相互连接, 如Kohonen网络
• 人工神经网络的种类:从学习方式角度划分: • 感知机:采用有指导的学习方法 • 认知机:采用无指导的学习方法
W ( 0 ) { W i( 0 j)1 i n ,1 j k }j( 0 ,)
当输出变量为数值型采用Sigmoid函数,为分类时一般采用 [0,1]阶跃函数
• 第二,输入训练样本,t时刻:X=(X1(t),X2(t),…Xn(t)) • 第三,计算输出结点的预测值,t时刻
n
Y'(t)f( Wij(t)Xi(t)j(t)) j1