《R语言数据挖掘(第2版)》教学课件—第六章R的人工神经网络：数据预测
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
感知机的学习过程 第一，开始时（即0时刻），初始化各个连接权重 和输出节点的偏差
感知机模型
第二，输入训练样本。t时刻，根据样本输入变量值
x=(x1(t),x2(t),…xp(t))和连接权重，计算输出节点的输出值为：
第三，t时刻，根据输出节点j的期望值yj(t)，计算输出节点j的期
望值与输Baidu Nhomakorabea值（或预测值）的误差
根据预测误差值重新调整各连接权重 重新返回到第二步，相应的计算和连接权重的调整将反
复进行，直到满足迭代终止条件为止。至此，一组相对 合理的连接权重便被确定下来，超平面或回归平面也被 确定下来
感知机模型
感知机模型：最基本的前馈式双层神经网络模型，仅 由输入层和输出层构成。输出节点只有一个只能实现 二分类的预测和单个被解释变量的回归预测
B-P反向传播算法
连接权值确定方法的特点：采用梯度下降法，每个时 刻都本着使损失函数减小最快的原则调整连接权重
t时刻输出节点j的误差函数：
损失函数L是参数W的平滑非线性复杂函数，没有 闭合形式的解。采用迭代方式，在误差函数L曲率 的局部信息引导下，搜索局部最小值
B-P反向传播算法
步骤： 初始化：为参数向量W选取初始值W0 第i次迭代，令： 重复上步直到损失函数达到局部最小值 多次重复启动，以避免局部而非全局最小
人工神经网络中的节点和意义
节点：完整的节点由加法器和激活函数组成
人工神经网络中的节点和意义
节点接收的输入用向量X表示，节点给出的输出用y表
示，节点与上层连接的连接权重用向量W表示，节点
的偏差用表示，则第j个节点的加法器定义为：
第j个节点的激活函数定义为：
人工神经网络中的节点和意义
计算示例
第六章 R的人工神经网络：数据预测
学习目标
• 理论方面，理解神经网络分类预测的基本原理，适用 性和方法特点。
• 实践方面，掌握R的神经网络实现、应用以及结果解 读，能够正确运用神经网络实现数据的分类预测
人工神经网络概述
人工神经网络（Artificial Neural Network, ANN） 是一种人脑的抽象计算模型，是一种模拟人脑思维 的计算机建模方式 人工神经网络的应用研究正从人工智能逐步跨入以 数据分析为核心的数据挖掘领域，并大量应用于数 据的分类和回归预测中。也可应用于聚类分析中 人工神经网络由相互连接的神经元，也称处理单元 组成。如果将人工神经网络看作一张图，则处理单 元也称为节点。节点之间的连接称为边，反映了各 节点之间的关联性，关联性的强弱体现在边的连接 权重上
第四，调整第i个输入节点和第j个输出节点之间的连接权重和 以及第j个输出节点的偏差： 权重调整策略遵从delta规则，
即权重的调整与误差及所连接 的输入成正比 第五，判断是否满足迭代终止条件。如果满足，则算法终止， 否则重新回到第二步，直到满足终止条件为止。
B-P反向传播网络
B-P（Back Propagation）反向传播网络是一种典型的人工神经 网络，是一种前馈式多层感知机模型
第二，网络结构的确定
隐层的层数和每层隐节点个数决定了网络的复杂程度 对于隐节点的个数，目前尚没有权威的确定准则
人工神经网络建立的一般步骤
建立人工神经网络的一般步骤 第三，确定连接权重
第一步，初始化连接权重向量W 第二步，计算各处理单元的加法器和激活函数值，得到
样本的预测值 第三步，比较样本的预测值与实际值并计算预测误差，
反向传播：B-P反向传播网络无法直接计算隐节点 的预测误差，它利用输出节点的预测误差来逐层估 计隐节点的误差，即将输出节点的预测误差反方向 逐层传播到上层隐节点，逐层调整连接权重，直至 输入节点和隐节点的权重全部得到调整为止，最终 使网络输出值越来越逼近实际值
B-P反向传播网络
B-P反向传播网络中的Sigmoid函数 Sigmoid函数使节点的输出被限制在0~1范围内。对 于回归问题，输出节点给出的是标准化处理后的预 测值，只需还原处理即可；对于分类问题，输出节 点给出的是预测类别的概率值 Sigmoid函数较好地体现了连接权重修正过程中模 型从近似线性到非线性的渐进转变进程 Sigmoid函数不但具有非线性、单调特点，还具有 无限次可微的特点，这使B-P反向传播网络能够采 用梯度下降法调整连接权重
节点的意义 对于分类问题，一个节点是一个分割两个类别的超 平面 对于回归问题，一个节点是一个回归平面
人工神经网络建立的一般步骤
建立人工神经网络的一般步骤 第一，数据准备
输入变量的取值范围通常要求在0至1之间，否则输入变 量的不同数量级别将直接影响权重的确定、加法器的计 算结果及最终的预测
B-P反向传播网络的主要特点： 包含隐层 反向传播 激活函数采用Sigmoid函数
B-P反向传播网络
B-P反向传播网络中隐层的作用 实现非线性样本的线性化转化
B-P反向传播网络
B-P反向传播网络中的反向传播：相对于正向传播
正向传播：样本信息从输入层开始，由上至下逐层经隐节 点计算处理，上层节点的输出为下层节点的输入，最终样 本信息被传播到输出层节点，得到预测结果。正向传播期 间所有连接权重保持不变
人工神经网络概述
人工神经网络的种类:拓扑结构角度划分 两层神经网络 三层神经网络和多层神经网络
神经网络的最底层称为输入层，最顶层称为输出层，中间 层称为隐层。神经网络的层数和每层的处理单元的数量， 决定了网络的复杂程度
人工神经网络概述
处理单元按层次分布于神经网络的输入层、隐层和输 出层中，分别称为输入节点、隐节点和输出节点 输入节点负责接收和处理训练样本集中各输入变量 值。输入节点的个数取决于输入变量的个数 隐节点负责实现非线性样本的线性变换，隐层的层 数和节点个数可自行指定 输出节点给出关于输出变量的分类预测结果，输出 节点个数依具体问题而定
人工神经网络概述
人工神经网络的种类:从连接方式角度划分 根据层间连接方式，神经网络可分为 前馈式神经网络：前馈式神经网络的节点连接 是单向的，上层节点的输出是下层节点的输入 反馈式神经网络：除单向连接外，输出节点的 输出又作为输入节点的输入 层内连接方式是指神经网络同层节点之间是否相互 连接
感知机模型
第二，输入训练样本。t时刻，根据样本输入变量值
x=(x1(t),x2(t),…xp(t))和连接权重，计算输出节点的输出值为：
第三，t时刻，根据输出节点j的期望值yj(t)，计算输出节点j的期
望值与输Baidu Nhomakorabea值（或预测值）的误差
根据预测误差值重新调整各连接权重 重新返回到第二步，相应的计算和连接权重的调整将反
复进行，直到满足迭代终止条件为止。至此，一组相对 合理的连接权重便被确定下来，超平面或回归平面也被 确定下来
感知机模型
感知机模型：最基本的前馈式双层神经网络模型，仅 由输入层和输出层构成。输出节点只有一个只能实现 二分类的预测和单个被解释变量的回归预测
B-P反向传播算法
连接权值确定方法的特点：采用梯度下降法，每个时 刻都本着使损失函数减小最快的原则调整连接权重
t时刻输出节点j的误差函数：
损失函数L是参数W的平滑非线性复杂函数，没有 闭合形式的解。采用迭代方式，在误差函数L曲率 的局部信息引导下，搜索局部最小值
B-P反向传播算法
步骤： 初始化：为参数向量W选取初始值W0 第i次迭代，令： 重复上步直到损失函数达到局部最小值 多次重复启动，以避免局部而非全局最小
人工神经网络中的节点和意义
节点：完整的节点由加法器和激活函数组成
人工神经网络中的节点和意义
节点接收的输入用向量X表示，节点给出的输出用y表
示，节点与上层连接的连接权重用向量W表示，节点
的偏差用表示，则第j个节点的加法器定义为：
第j个节点的激活函数定义为：
人工神经网络中的节点和意义
计算示例
第六章 R的人工神经网络：数据预测
学习目标
• 理论方面，理解神经网络分类预测的基本原理，适用 性和方法特点。
• 实践方面，掌握R的神经网络实现、应用以及结果解 读，能够正确运用神经网络实现数据的分类预测
人工神经网络概述
人工神经网络（Artificial Neural Network, ANN） 是一种人脑的抽象计算模型，是一种模拟人脑思维 的计算机建模方式 人工神经网络的应用研究正从人工智能逐步跨入以 数据分析为核心的数据挖掘领域，并大量应用于数 据的分类和回归预测中。也可应用于聚类分析中 人工神经网络由相互连接的神经元，也称处理单元 组成。如果将人工神经网络看作一张图，则处理单 元也称为节点。节点之间的连接称为边，反映了各 节点之间的关联性，关联性的强弱体现在边的连接 权重上
第四，调整第i个输入节点和第j个输出节点之间的连接权重和 以及第j个输出节点的偏差： 权重调整策略遵从delta规则，
即权重的调整与误差及所连接 的输入成正比 第五，判断是否满足迭代终止条件。如果满足，则算法终止， 否则重新回到第二步，直到满足终止条件为止。
B-P反向传播网络
B-P（Back Propagation）反向传播网络是一种典型的人工神经 网络，是一种前馈式多层感知机模型
第二，网络结构的确定
隐层的层数和每层隐节点个数决定了网络的复杂程度 对于隐节点的个数，目前尚没有权威的确定准则
人工神经网络建立的一般步骤
建立人工神经网络的一般步骤 第三，确定连接权重
第一步，初始化连接权重向量W 第二步，计算各处理单元的加法器和激活函数值，得到
样本的预测值 第三步，比较样本的预测值与实际值并计算预测误差，
反向传播：B-P反向传播网络无法直接计算隐节点 的预测误差，它利用输出节点的预测误差来逐层估 计隐节点的误差，即将输出节点的预测误差反方向 逐层传播到上层隐节点，逐层调整连接权重，直至 输入节点和隐节点的权重全部得到调整为止，最终 使网络输出值越来越逼近实际值
B-P反向传播网络
B-P反向传播网络中的Sigmoid函数 Sigmoid函数使节点的输出被限制在0~1范围内。对 于回归问题，输出节点给出的是标准化处理后的预 测值，只需还原处理即可；对于分类问题，输出节 点给出的是预测类别的概率值 Sigmoid函数较好地体现了连接权重修正过程中模 型从近似线性到非线性的渐进转变进程 Sigmoid函数不但具有非线性、单调特点，还具有 无限次可微的特点，这使B-P反向传播网络能够采 用梯度下降法调整连接权重
节点的意义 对于分类问题，一个节点是一个分割两个类别的超 平面 对于回归问题，一个节点是一个回归平面
人工神经网络建立的一般步骤
建立人工神经网络的一般步骤 第一，数据准备
输入变量的取值范围通常要求在0至1之间，否则输入变 量的不同数量级别将直接影响权重的确定、加法器的计 算结果及最终的预测
B-P反向传播网络的主要特点： 包含隐层 反向传播 激活函数采用Sigmoid函数
B-P反向传播网络
B-P反向传播网络中隐层的作用 实现非线性样本的线性化转化
B-P反向传播网络
B-P反向传播网络中的反向传播：相对于正向传播
正向传播：样本信息从输入层开始，由上至下逐层经隐节 点计算处理，上层节点的输出为下层节点的输入，最终样 本信息被传播到输出层节点，得到预测结果。正向传播期 间所有连接权重保持不变
人工神经网络概述
人工神经网络的种类:拓扑结构角度划分 两层神经网络 三层神经网络和多层神经网络
神经网络的最底层称为输入层，最顶层称为输出层，中间 层称为隐层。神经网络的层数和每层的处理单元的数量， 决定了网络的复杂程度
人工神经网络概述
处理单元按层次分布于神经网络的输入层、隐层和输 出层中，分别称为输入节点、隐节点和输出节点 输入节点负责接收和处理训练样本集中各输入变量 值。输入节点的个数取决于输入变量的个数 隐节点负责实现非线性样本的线性变换，隐层的层 数和节点个数可自行指定 输出节点给出关于输出变量的分类预测结果，输出 节点个数依具体问题而定
人工神经网络概述
人工神经网络的种类:从连接方式角度划分 根据层间连接方式，神经网络可分为 前馈式神经网络：前馈式神经网络的节点连接 是单向的，上层节点的输出是下层节点的输入 反馈式神经网络：除单向连接外，输出节点的 输出又作为输入节点的输入 层内连接方式是指神经网络同层节点之间是否相互 连接