SPSS Modeler数据挖掘操作之决策树C5.0建模
SPSS Modeler数据挖掘 第四讲
确定每一步特征空间划分标准时，都同时兼顾由此将 形成的两个区域，希望划分形成的两个区域所包含的 样本点尽可能同时“纯正”
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程 第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
P(u 2 | v1 ) P11 P21 P(u 2 | v2 ) P12 P22
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性 后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
分类预测：决策树（一）
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归 C5.0算法及应用 分类回归树及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
•根节点 •叶节点 •中间节点 •2叉树和多 叉树
决策树算法概述：特点
信息熵等于0，表示只存在唯一的信息发送可能， P(ui)=1，没有发送的不确定性； 如果信源的k个信号有相同的发送概率，P(ui)=1/k， 则信息发送的不确定性最大，信息熵达到最大 P(ui)差别小，信息熵大，平均不确定性大；反之
C5.0算法：信息增益
已知信号U的概率分布P(U)且收到信号V=vj，发出信 号的概率分布为P(U|vj)，信源的平均不确定性：
数据挖掘SPSSMODELER教程第二十课：回归与决策树增补
连续、分类、标志 、名义、有序
连续、分类、标志 、名义、有序
连续、分类、标志 、名义、有序
连续、分类、标志 、名义、有序
连续、分类、标 志、名义、有 序
分类、标志、名 义
连续、分类、标 志、名义、有 序
标志、名义、有 序
目标 数量
1
1
1
1
SPSS Modeler 数据挖掘项目
第二十课：回归与决策树增补回顾
回归分析
基本理解：常见分布、步进方法、交互效应、回归系数、标化、无量纲化、显著性、 置信水平、置信区间、修正R2、Z分数、T检验、F检验、条件数、VIF。。。。。。 迭代算法的理解（牛顿迭代、Fisher迭代、欧拉迭代、雅克比迭代。。。。）
代算法的理解；
标志、名义
、有序
COX
与时间相关；可以无输入，但必须选择一个时 连续、分类、
标志
1
间字段；
标志、名义
、有序
决策树
算法
特点
input output
C&R QUEST CHAID C5.0
二叉；离差；可先验；
二叉；卡方检验与方差检验；可 先验；
多叉；卡方检验；不可先验；
多叉；信息度量；不可先验；
模型 回归
特点 线性、变量独立、正态分布、方差齐性
input
连续
output
连续
目标 数量
1பைடு நூலகம்
Logistic 可作为建模基准； 线性 线性、变量独立、正态分布、方差齐性
连续、分类、 标志、名义
1
标志、名义
、有序
连续、分类、 连续
1
标志、名义
、有序
Genlin 灵活、适用性强；分布与链接函数的理解；迭 连续、分类、 连续、标志 1
clementine决策树c5.0算法
1.C5.0算法的优缺点输出类型：指定分析输出的内容。
指定希望最终生成的模型是决策树还是规则集。
组符号：如果选择该选项，C5.0会尝试将所有与输出字段格式相似的字符值合并（采用ChiMerge分箱法检查当前分组变量个各个类别能否合并，如果可以应先合并后再分支）。
如果没有选择该选项，C5.0会为用于拆分母节点的字符字段的每个值创建一个子节点。
使用推进：提高其精确率。
这种方法按序列建立多重模型。
第一个模型以通常的方式建立。
随后，建立第二个模型，聚焦于被第一个模型错误分类的记录。
以此类推，最后应用整个模型集对样本进行分类，使用加权投票过程把分散的预测合并成综合预测。
试验次数选项允许控制用于助推的模型数量。
交互验证：如果选择了该选项，C5.0将使用一组基于训练数据自己建立的模型，来估计基于全部数据建立的模型的精确度。
如果数据集过小，不能拆分成传统意义上的训练集和测试集，这将非常有用。
或用于交叉验证的模型数目。
模式：对于简单的训练，绝大多数C5.0参数是自动设置。
高级训练模式选项允许对训练参数更多的直接控制。
简单模式：偏好（支持）：选择“准确性”C5.0会生成尽可能精确的决策树，某些情况下，会导致过度拟合。
选择“普遍性”以使用不易受该问题影响的算法设置。
预期噪声（%）：指定训练集中的噪声或错误数据期望比率专家模式：修剪纯度：决定生成决策树或规则集被修剪的程度。
提高纯度值将获得更小，更简洁的决策树。
降低纯度值将获得更加精确的决策树。
子分支最小记录数：子群大小可以用于限制决策树任一分支的拆分数。
全局修剪：第一阶段：局部修剪；第二阶段：全局修剪。
辨别属性：如果选择了该选项，C5.0会在建立模型前检测预测字段的有用性。
被发现与分析无关的预测字段将不参与建模过程。
这一选项对许多预测字段元的模型非常有用，并且有助于避免过度拟合。
C5.0”成本”选项见“CHAID“成本”选项----误判成本值，调整误判C5.0的模型评价可通过Analysis节点实现。
基于SPSS Modeler的数据挖掘过程解析
基于SPSS Modeler的数据挖掘过程解析张治斌【摘要】数据挖掘技术已经具有非常广阔的应用领域和发展前景,今天数据挖掘技术广泛的应用在电子商务、电信、保险、医学、气象等各个领域,SPSS Modeler 软件已经成为诸多数据挖掘应用软件之首,备受关注,本文将以一个简单实例介绍数据挖掘的基本过程.【期刊名称】《数字技术与应用》【年(卷),期】2017(000)009【总页数】2页(P72-73)【关键词】SPSSModeler;数据挖掘;过程【作者】张治斌【作者单位】北京信息职业技术学院软件与信息工程学院,北京 100018【正文语种】中文【中图分类】TP39数据挖掘也叫做资料勘探或数据采矿,从宏观上定义为从海量的各类数据中通过某种算法探索隐匿的信息和知识的过程,数据挖掘通常作为数据库知识发现的一个步骤;从另一个层面,许多人把数据挖掘视为数据库知识发现(KDD)的同义词。
数据挖掘通常与传统的统计分析学、数学、计算机科学相关,通过统计、在线分析处理、机器学习和模式识别等诸多哦方法针对采集的数据进行分析挖掘。
知识发现过程主要包括以下几个步骤:(1)数据清理与集成:这一步骤可以作为在数据收集和提取之前完成,也可以在数据库中完成。
在这一阶段主要任务是将各种数据源加以集成到一起,并针对噪声和不一致数据加以删除,对数据进行合法性检查并清理含有错误的数据。
(2)数据选取与变换:本阶段针对定义的问题收集选取有关数据,汇总或聚集操作,把数据变换和统一成适合挖掘的形式,在这里可以利用数据仓库的查询功能已加快数据的提取速度,同时针对数据进行再加工,剔除冗余属性、对数据的表达方式进行转换以适用于学习算法。
(3)数据挖掘:在这一步骤主要的工作是根据业务需求和数据选择合适的数据挖掘算法,并确定如何将该算法应用于数据上,并进行对应数据挖掘算法进行模式提取,确定适用于描述和解释的表现形式。
(4)模式评估与表示:最后使用可视化和知识表示技术,向用户提供挖掘的知识,并通过模式评估对学习结果的新颖性和有效性进行评价。
SPSS Modeler数据挖掘操作之C5.0基本应用
具体操作-【模型】选项卡设置
4
模型选项卡-用于设置C5.0算法的主要参数，其中：
输出类型：指定分析结果。有两种选择——决策树和规则集 组符号：选中表示利用分箱法检查当前分组变量的各个类别能否合并，如果可以应该先
合并再分支，这种方式得到的树比较精确 使用boosting：表示采用交叉验证法建立模型 模式：指定决策树建模中的参数设置方式：【简单】表示自动调整参数；【专家】表示
分析
9
如果家长不鼓励（44个观测值），则不 参加社会公益活动，置信度为90%
如果家长鼓励（36个观测值），且在校 综合评价指数大于106的参加活动，置 信度为91.7%。
本例决策树分析的结果图形如下图所示
10
SPSS Modeler数据挖掘操作之 C5.0基本应用
数据说明
1
以学生参加某次社会公益活动的数据（Student.xls）为例。分析目标为： 利用C5.0算法，研究哪些因素显著影响学生是否参加社会活动。
其中，是否参加为输出变量，出编号意外的变量为输入变量。 使用【建模】选项卡中的【C5.0】节点完成分析
手工调整参数。
具体操作-【模型】选项卡设置
5Leabharlann 【模型】选项卡设置如图所示，红色框标 注参数设置重点
具体操作-【分析】选项卡设置
6
【分析】选项卡用于设置计算输入变量重要性的指标。
计算预测变量重要性：选中表示以图形的方式显示输入变量对建模的重要性 倾向得分：用于指定计算变量的倾向性得分的方法。
【计算原始的趋向得分】：基于训练样本集计算 【计算调整倾向得分】：基于测试样本集或验证样本集计算，应该在【基于】选项中指定样本集
具体操作-【分析】选项卡设置
7
决策树分析及SPSS实现
将决策树模型应用于实际业务场景，进行预 测或分类。
CHAPTER 05
案例分析：基于SPSS的决策 树应用
案例背景及数据介绍
案例背景
某电商公司希望通过分析用户行为数据，预测用户是否会在未来一周内购买商品，以便进行精准营销 。
数据介绍
数据集包含用户的浏览历史、购买历史、搜索关键词、点击率等信息，以及一个目标变量——用户是 否在未来一周内购买商品（是/否）。
等）。
优化方法
针对决策树模型可能出现的过拟合问题，可以采用一些优化方法进行改进。常用的优化 方法包括剪枝（如预剪枝和后剪枝）、调整模型参数（如最大深度、最小叶子节点样本 数等）以及集成学习方法（如随机森林、梯度提升决策树等）。这些方法可以降低模型
的复杂度，提高模型的泛化能力。
模型评估与验证方法
模型评估
使用训练好的决策树模型对测试数据集 进行预测，并计算相应的评估指标来评 价模型的性能。常用的评估指标包括准 确率、精确率、召回率、F1分数等。这 些指标可以帮助我们了解模型在未见过 的数据上的表现如何，以及模型是否存 在过拟合或欠拟合等问题。
VS
验证方法
为了确保模型评估结果的可靠性和稳定性 ，可以采用交叉验证等方法对模型进行评 估。交叉验证将原始数据集划分为多个子 集，每次使用其中一个子集作为测试集， 其余子集作为训练集进行模型训练和评估 。通过多次重复这个过程并计算平均评估 指标，可以得到更准确的模型性能估计。
02
数据清洗
对数据进行检查、筛选和处理， 以消除错误、异常值和重复数据
。
04
数据缩减
通过降维技术如主成分分析（ PCA）等方法简化数据结构，减
少变量数量。
CHAPTER 03
「数据挖掘入门系列」数据挖掘模型之分类与预测-决策树
「数据挖掘⼊门系列」数据挖掘模型之分类与预测-决策树决策树在分类、预测、规则提取等领域有着⼴泛的应⽤。
决策树是⼀种树状结果，它的每⼀个叶节点对应⼀个分类。
构造决策树的核⼼问题是：在每⼀步如何选择适当的属性对样本做拆分。
对于分类问题，从已知类标记的训练样本中学习并构造出决策树是⼀个⾃上⽽下，分⽽治之的过程。
常见的决策树算法如下：1. ID3算法2. C4.5算法3. CART算法其中ID3是最经典的决策树分类算法。
ID3算法ID3算法基于信息熵来选择最佳测试属性。
它选择当前样本集中具有最⼤信息增益值的属性作为测试属性。
总的信息熵计算⽅式如下：设S是s个数据样本的集合。
假定某个类别有m个不同的取值：Ci(i = 1, 2, …, m)。
设Si是某个类别Ci中的样本数。
对于⼀个给定样本，它总的信息熵为：其中，Pi是任意样本属于Ci的概率，⼀般可以⽤Si/s估计。
每个属性的信息熵计算⽅式如下：假设⼀个属性A具有k个不同的值{a1, a2, …, ak}，利⽤属性A将集合S划分为若⼲个⼦集 {S1, S2, …, Sk}，其中Sj包含了集合S中属性A取aj值的样本。
若选择属性A为测试属性，则这些⼦集就是从集合S的节点⽣长出来的新的叶⼦节点。
设Sij是⼦集Sj中类别为Ci的样本数，则根据属性A划分样本的信息熵值为：其中，，是⼦集Sj中类别为Ci的样本的概率。
最后，⽤属性A划分样本集S后所得的信息增益（Gain）为：Gain值越⼤，说明选择测试属性A对于分类提供的信息越⼤，选择A之后对于分类的不确定程度越⼩。
ID3算法具体流程1. 对当前样本集合，计算所有属性的信息增益（总的信息熵）2. 选择信息增益最⼤的属性作为测试属性，把测试属性取值相同的样本划分为同⼀个样本集3. 若⼦样本集的类别属性只含有单个属性，则分⽀为叶⼦节点，判断其属性值并标上相应的符号，然后返回调⽤出；否则对⼦样本集递归调⽤本算法决策树案例接下来通过⼀个案例来了解天⽓、是否周末、是否有促销对销量的影响。
SPSS Modeler数据挖掘 第二讲
以Students.xls为例，数据存在的问题： 家庭人均年收入变量，有部分样本取值 $null$，表示空缺；有一个样本取值为 999999。 是否无偿献血变量值，填写不规范。规范 值应为Yes和No，但有些样本却取1（表示 Yes）和0（表示No）
变量说明(Type节点)
重新实例化 有效变量值和无效值调整 有效变量值是变量正常取值范围内的值 无效值，通常指缺失值。Modeler中的缺失 值通常包括两类： 一类是系统缺值，用$null$表示，还包 括空串和空格等。 另一类是用户缺失值数型（Interger）：存储整型数 实数型（Real）：存储小数 字符串型（String）：存储字符串型数据 时间型（Time）：存储持续时间数据 日期型（Date）：存储日期数据 时间戳型（Time Stamp）：存储时间点数据
不同角度的变量类型之间是相关联的
数据集成
数据集成包括： 第一，两份或多份数据的纵向合并 第二，两份或多份数据的横向合并 数据的纵向合并( Append 节点)：Student.xls
数据集成
数据的横向合并(Merge节点) 以客户浏览网页数据（WebData.mdb）为例
数据集成
数据的横向合并的联接方式：内连接（inner join）、 全外连接（full outer join）、局部外连接 （partial outer join）和反连接（anti-join）
Modeler的数据读入和集成
主要内容
变量类型 Modeler数据的读入操作 Modeler数据的集成操作
变量类型
从数据挖掘角度看变量类型：数值型变量、分类型变 量（定类型、定序型），Modeler中的变量类型： 连续数值型（Range） •Modeler变量状态： 二分类型（Flag） •非实例化：变量的存储 多分类型（Set） 类型和取值均未知时 定序型（Ordered Sets） •半实例化：仅知道变量 的存储类型，但取值范 无类型（Typeless） 围未知 离散型（Discrete） •实例化：变量的存储类 缺省型（Default） 型和取值均已确定
数据挖掘决策树的建立
数据挖掘决策树的建立数据挖掘决策树的建立数据挖掘是从大规模的数据集中发现有用的模式和关系的过程。
决策树是一种常用的数据挖掘算法，可以用于分类和预测问题。
决策树是一种基于树结构的模型，通过一系列的决策规则来对数据进行分类或预测。
决策树的建立是一个迭代的过程，包括以下几个步骤：1. 数据准备：首先需要准备好用于建立决策树的数据集。
通常情况下，数据集包含多个特征和对应的类别或目标变量。
特征可以是离散型的或连续型的，而类别或目标变量可以是有限的类别或连续的数值。
2. 特征选择：特征选择是决策树建立过程中的一个重要步骤，它决定了决策树的结构和性能。
特征选择的目标是选择对目标变量具有最好分类能力的特征。
常用的特征选择算法包括信息增益、信息增益比和基尼指数等。
3. 决策树的建立：在特征选择确定后，就可以开始建立决策树。
决策树的建立是一个递归的过程，从根节点开始，递归地对每个子节点进行相同的操作，直到满足建立终止条件。
可以使用不同的算法来建立决策树，例如ID3、C4.5和CART等算法。
4. 决策树的剪枝：决策树的建立过程容易出现过拟合的问题，即对训练数据过于敏感而导致在未知数据上的预测性能较差。
为了解决过拟合问题，可以对决策树进行剪枝。
剪枝是指从完全生长的决策树中去掉一些子树或叶节点，以提高决策树的泛化能力。
5. 决策树的评估：在决策树建立完成后，需要对其进行评估。
评估决策树的性能可以采用交叉验证等方法。
常用的评估指标包括准确率、召回率和F1值等。
数据挖掘决策树的建立过程中，还需要考虑一些问题：1. 数据预处理：在建立决策树之前，需要对数据进行预处理。
预处理的目的是处理缺失值、异常值和重复值等问题，以提高建模的质量。
2. 数据划分：为了能够对决策树进行评估，需要将数据集划分为训练集和测试集。
通常情况下，可以使用70%的数据作为训练集，剩余的30%作为测试集。
3. 参数调优：决策树算法涉及到一些参数的设置，如特征选择的算法、决策树的深度和剪枝方式等。
基于决策树C5.0算法的4G终端换机模型
信息通信
INFORMATION & COMMUNICATIONS
2016 （Sum. No 166）
基于决策树 C5.0 算法的 4G 终端换机模型
陈天池，王 振，陈开恒 （中国电信股份有限公司安徽分公司 信息中心，安徽 合肥 230001）
摘要：文章针对用户升 4G 业务中最困难的用户换机问题进行研究，在传统数据资产基础上，丰富了用户互联网行为数
1 算法说明
决策树是一种常用的分类预测方法，它通过把实例从根 节点排列到某个叶子节点来分类实例，叶子节点即为实例所 属的分类。树上的每一个节点是对实例某个属性其属性值的 测试，该节点的每一个后继分支对应于该属性的一个可能值。 使用决策树的优点是对数据质量没有非常高的要求，当数据 中存在缺失值时依然可以建模，建模过程中会自动识别。
该算法比如下：
为用变量 V 分割样本后，样本的不确定度或者信息熵下 降多少。
其中
（2）用户终端信息：终端补贴剩余时间、终端价格、终端品 牌、终端使用时长等；
（3）用户流量信息：总流量使用、3G 流量使用、订购流量包 次数、流量饱和度等；
（4）用户价值信息：ARPU 均值、计费时长、上网费用等； （5）用户通话信息：通话时长、通话次数、本地通话、漫游 通话等； （6）用户交往圈信息:交往圈中 4G 用户占比、4G用户均值等； （7）用户软件应用信息：使用大数据 DPI 解析分析用户 APP 使用信息，如打车软件使用次数、视频播放次数、购物支付次 数等。 2.2.2 数据质量检查及数据清洗 建立好宽表后，将与目标分析相关的字段提取出来。得 到的数据，难免会有缺失值和极值，需要对数据进行质量检查。 结合业务经验，对年龄等有数据缺失的字段进行处理（因 算法的需要及据实际的情况，对缺失的字段仅识别，不做任何 处理）。离群值定义为数据与部分样本不符合的特征，这些样 本会影响建模。故需要对离群值做处理，本文对离群值进行 替换，极值丢弃处理。 2.3 变量筛选 数据挖掘中数据量非常庞大，特别是特征字段，需要对特 征进行提取，选取与目标变量最重要且变量之间相关性较弱 的变量。本文中与目标变量相关性或者重要性如下： 若自变量为分类变量。利用卡方检验方法或者似然比检验：
IBM SPSS Modeler 教程-(1)
IBM SPSS Modeler 说明数据挖掘和建模数据挖掘是一个深入您的业务数据，以发现隐藏的模式和关系的过程。
数据挖掘解决了一个常见的问题：您拥有的数据越多，就越难有效地分析并得出数据的意义，并且耗时也越长。
金矿无法开采，通常是由于缺乏人力、时间或专业技术。
数据挖掘使用清晰的业务流程和强大的分析技术，快速、彻底地探索大量的数据，抽取并为您提供有用且有价值的信息，这正是您所需要的“商务智能”。
尽管您数据中的这些以前未知的模式和关系本身很有趣，但一切并不止于此。
如果您可以使用这些过去行为的模式来预测未来可能发生的事情，那又会怎样？这就是建模的目标 - 模型，它包含一组从源数据中抽取的规则、公式或方程式，并允许您通过它们生成预测结果。
这正是预测分析的核心。
关于预测分析预测分析是一个业务流程，其中包含一组相关技术，通过从您的数据中总结出有关当前状况与未来事件的可靠结论，帮助制定有效的行动措施。
它是以下方面的组合：•高级分析•决策优化高级分析使用多种工具和技术，分析过去与现在的事件，并预测未来的结果。
决策优化确定您的哪些措施可以产生最好的可能结果，并确保这些建议措施能够最有效地融入到您的业务流程中。
有关预测分析如何工作的深入信息，请访问公司网站/predictive_analytics/work.htm。
建模技术建模技术基于对算法的使用，算法是解决特定问题的指令序列。
您可以使用特定算法创建相应类型的模型。
有三种主要的建模技术类别，IBM® SPSS® Modeler 为每种类别提供了一些示例：•Classification•关联•细分（有时称为“聚类”）分类模型使用一个或多个输入字段的值来预测一个或多个输出（或目标）字段的值。
这些技术的部分示例为：决策树（C&R 树、QUEST、CHAID 和 C5.0 算法）、回归（线性、logistic、广义线性和Cox 回归算法）、神经网络、Support Vector Machine (SVM) 和贝叶斯网络。
决策树算法中数据挖掘的流程
决策树算法中数据挖掘的流程1.引言1.1 概述决策树算法是数据挖掘领域中广泛应用的一种方法，它通过构建决策树模型来进行数据分类和预测。
数据挖掘是一种从大量数据中发现有用信息的技术，通过对数据进行分析、整理和提取，揭示隐藏在数据背后的规律和模式。
决策树算法的主要思想是将数据集根据属性值的不同划分为不同的子集，然后递归地对子集进行划分，直到达到某个终止条件。
在每次划分时，决策树算法会选择一个最佳的属性作为划分标准，以使得划分后的子集中的样本尽可能属于同一类别或具有相同的属性特征。
决策树算法在数据挖掘中具有一些优点。
首先，决策树模型易于理解和解释，能够提供清晰的决策规则。
其次，决策树算法能够处理各种类型的数据，包括分类型数据和数值型数据。
此外，决策树算法还能够处理缺失数据和异常数据。
决策树算法的数据挖掘流程主要包括以下几个步骤：数据收集、数据预处理、特征选择、决策树构建、模型评估和模型优化。
首先，需要收集相关的数据，并进行清洗和整理，确保数据的完整性和准确性。
然后，根据特征选择的原则，选择合适的属性作为决策树的节点。
接下来，通过算法递归地构建决策树模型，直到满足终止条件为止。
构建好决策树后，需要对模型进行评估，检验其对新样本的泛化能力。
最后，根据评估结果，对模型进行优化，提高其准确性和稳定性。
综上所述，决策树算法在数据挖掘中起着重要的作用。
通过对决策树算法的概述和数据挖掘流程的介绍，我们可以更好地理解和应用这一算法，从而实现对数据的有效分析和挖掘。
1.2 文章结构本文的目的是介绍决策树算法在数据挖掘中的流程。
本文将分为引言、正文和结论三部分，详细阐述决策树算法的概述和数据挖掘流程。
在引言部分，我们将对本文进行概述，介绍决策树算法在数据挖掘中的重要性和应用领域。
同时，我们将介绍本文的结构，包括正文内容和结论部分，以便读者能够清楚地了解本文的框架。
正文部分将详细介绍决策树算法的概述，包括其原理、特点和主要应用场景。
决策树原理与应用：C5.0
决策树原理与应用：C5.0分类预测指通过向现有数据的学习，使模型具备对未来新数据的预测能力。
对于分类预测有这样几个重要，一是此模型使用的方法是归纳和提炼，而不是演绎。
非数据挖掘类的软件的基本原理往往是演绎，软件能通过一系列的运算，用已知的公式对数据进行运算或统计。
分类预测的基本原理是归纳，是学习，是发现新知识和新规律；二是指导性学习。
所谓指导性学习，指数据中包含的变量不仅有预测性变量，还有目标变量；三是学习，模型通过归纳而不断学习。
事实上，预测包含目标变量为连续型变量的预测和目标变量为分在变量的分类预测。
两者虽然都是预测，但结合决策树算法和我们之前介绍过的时间序列算法知，二者还是有明显的差别的。
Clementine决策树的特点是数据分析能力出色，分析结果易于展示。
决策树算法是应用非常广泛的分类预测算法。
1.1决策树算法概述1.11什么是决策树决策树算法属于有指导的学习，即原数据必须包含预测变量和目标变量。
决策树之所以如此命名，是因为其分析结果以一棵倒置的树的形式呈现。
决策树由上到下依次为根节点、内部节点和叶节点。
一个节点对应于数据中的一个字段，即一个字段——即Question——对数据进行一次划分。
决策树分为分类决策树（目标变量为分类型数值）和回归决策树（目标变量为连续型变量）。
分类决策树叶节点所含样本中，其输出变量的众数就是分类结果；回归树的叶节点所含样本中，其输出变量的平均值就是预测结果。
这一点需要格外注意。
与其它分类预测算法不同的是，决策树基于逻辑比较（即布尔比较）。
可以简单描述为：If（条件1）Then（结果1）；If （条件2）Then（结果2）。
这样，每一个叶节点都对应于一条布尔比较的推理规则，对新数据的预测就正是依靠这些复杂的推理规则。
在实际应用中，一个数据产生的推理规则是极为庞大和复杂的，因此对推理规则的精简是需要关注的。
1.12决策树的几何理解将训练样本集（即操作中常说的Training Data）看做一个n维空间上的一个点，则上面我们提到的布尔比较后的推理规则就像是存在于这个n维空间中的“线”。
基于C5.0决策树进行分类预测
《数据挖掘》课程论文基于C5.0决策树进行分类预测任课教师姓名所在学院专业名称论文提交日期所在高等院校2012年06月01日1、引言随着高校招生规模的扩人和信息化程度的提高，社会调查机构以及高校管理机关搜集了大量数据，这些数据中蕴涵有人量有价值的规律，挖掘这些规律并应于招生，教育资源的合理利用方面，可促进教育事业的良好发展，使其科学化、合理化、系统化，将数据挖掘技术应用于高校等级划分排名上，可以客观的评价一所学校的竞争力，为高校自身提供了改进的参考，为国家对高等教育事业进行政策制定提供了可靠依据，同时为广大高考毕业生填报志愿提供了参考。
对高校自身的改革和发展的培养等方面具有重要的作用和意义。
国内已有部分研究者以C5.0决策树为数据处理模型面向高校综合等级排名信息开展了数据挖掘工作，应用于高等院校评价、高校管理决策、教学资源决策、毕业生就业指导、个性化人才培养等领域，向决策者、高校和同学提供信息支持，有利于推动学校资源的优化和建设的全面发展。
本文尝试将C5.0挖掘技术应用于高校评级，发现高校各种资源之间的相关性规律。
以发现的规律为依据，分析学校各种资源配置，提出有针对性的高校评级信息，以提高高校建设的预知性，为同学合理地选择报考学校、高校自身性建设提供了参考依据。
因评级预测信息具有很强的针对性，简单地应用C5.0挖掘技术难以解决问题。
为此，本文开展了以下工作：提出了一种基于C5.0决策树的预测评级模型，以系统地进行评级预警分析，以现实数据为数据源，开展实验研究。
验证所提出的模型和方法的有效性。
2．C5.0 决策树算法（1）决策树是一种类似于流程图的树结构，其结构是一棵倒置的树，它主要围绕生长和剪枝两大核心问题展开.决策树获取的知识用树的形式表示出来，其中包括分类树和回归树，分类或预测的结果均体现在决策树的叶节点上.分类树叶节点所含样本中，其输出变量的众数类别就是分类结果；回归树叶节点所含样本中，其输出变量的平均值就是预测结果.决策树直观易懂且其归纳学习和分类步骤简单快速，并且具有很好的准确率.（2）C5.0算法最为典型的决策树学习算法是 ID3，它采用自顶向下不回溯策略，能保证找到一个简单的树.C4.5 是改进后的原始决策树分析 ID3 算法，而C5.0 与 C4.5不同之处在于 C5.0 可以处理多种数据类型，包括了日期(date)、时间(times)、时间戳(timestamps)、序列(discrete attributes)等等.除了处理数据部分丢失的问题，C5.0 还可以将部分属性标记为不适合，以使得分析时仍能保持资料的完整性.C5.0可用来处理数值型或分类型的资料，它的分类预测是基于逻辑的，即通过对输入变量取值的布尔比较实现对输出变量的分类预测，在众多的输出变量中选择一个当前最佳的分组变量，并从分组变量的众多取值中找到一个最佳的分割点.且为了清楚的表示分析结果，可用决策树(decision trees)或是 if- then 的关系显示.C5.0 基本算法可以描述如下，设R 是非标称属性集；C 是标称属性；S 是训练集；()trees 是决策树生成的函数：),,(S C R trees // 函数返回值类型为决策树{/ ***************** 相关定义 *********************{}m j d j ,,2,1| =为属性D 的值;*}{m j S j ,,2,1| =为S 的子集，分别包含属性D 的不同值d ;******************************************************/ if (S 为空) then 返回单一失败节点;if (R 包含的记录的标称属性值均相同) then 返回具有该标称属性值的单一节点;if (R 为空) then 返回用S 的最常见值赋值的单一节点;/* 此时为出 错，记录没有被适当分类 */在R 中找寻具有最大信息增益的属性D ;;生成一棵以D 为根的树，分支为m d d d ,,,21 ;递归调用函数 });,},{(,);,},{();,},{(21m S C D R trees S C D R trees S C D R trees ---3．基于C5.0算法的决策树构造3.1数据预处理本文原始数据为2011年全国师范类大学的综合各项的测评分数，对其综合资源、成果、学生情况、教师资源、物资资源进行统计分析，观察是否有缺失值，观察后发现在数据中，发现资源和成果两项缺失值过多，所以不对着两项进行处理..将处理后的数据记录到一个EXCEL文件中，作为分析数据源.3.2 建立决策树并分析本文利用这些数据，来建立综合、学生情况、声誉、教师资源、物资资源和学校等级的关系决策树模型，从而对决策树模型的建立与挖掘工程进行详细的分析.挖掘过程采用SPSS Clementine作为工具，在Clementine中建立的挖掘模型，如图1所示.图一数据挖掘模型由于经过决策树分析的数据是历史数据，因此，需要检验这些决策是否能套用在参加考研的分析中，所以所建立的模型分为训练数据和测试数据，训练数据是在产生决策规则的过程中，用于进行训练决策规则的数据，训练错误率指的是在决策规则产生后，将这些训练数据放到决策规则中发生错误的比率（及实际资料的分类与按决策规则进行分类的结果不同）；测试数据是已经产生决策规则后，用来进行测试新决策规则属于原本的训练数据集，测试错误率则是指使用测试数据后产生的错误比率.这两种错误率将会在决策规则验证时作为各种不同分析的比较指标..在该模型中将训练数据、测试数据分别占50%，则训练样本个数大约为40个，测试样本个数大约为40个，数据分区如图2所示：图二C5.0结果分析图三C5.0挖掘分析结果4.基于C5.0算法分析结果C5.0算法的分析结果如图二所示，从图中可以明显得出C5.0算法的训练分析错误率为15%和测试分析错误率为12.5%，算法错误率不算高，综合排名决定了其等级的排名情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模型预测精度的评价
11
在节点工具箱的【输出】选项卡中选择【分析】节点，与模型结果节点相连。
模型预测精度的评价
12
执行【分析】节点，所生成的结果如图所 示；可以看到，所建模的正确预测精度达 到了92%，模型比较理想
在【字段选项】中选择【类型】节点，添加到数据流中，设置参数指定变量 角色，如图所示
建立决策树模型
8
在【建模】选项卡中选择【C5.0】节点，添加到数据流中。执行C5.0节点生 成模型，模型名列在流管理窗口的【模型】选项卡中，模型结果节点自动连 接数据流中
运行模型
9
选择流管理窗口中的【模型】选项卡，右击鼠标，选择弹出菜单中的【浏览】 选项，浏览模型结果，如图所示
SPSS Modeler数据挖掘操作之 决策树C5.0建模
案例数据
1
从DRUG.txt文件的数据为以往有大批患有同种疾病的不同病人，服用五种药物中的 一种（drugA, drugB, drugC, drugX, drugY ）之后取得了同样的治疗效果。案例 数据是随机选择挑选的部分病人服用药物前的基本临床检查数据，包括：血压（BP, 分为高血压HIGH，正常NORMAL,低血压LOW）、胆固醇（ol 分为正常 NORMAL和高胆固醇HIGH）、唾液中钠元素（Na）和钾元素（K）含量、病人年龄 （Age）、性别（Sex，包括男M和女F）等。
结果分析
10
可以看出，Na/K比值是选择药物时首先考虑的因素，其次是血压和胆固醇水 平。当病人的Na/K值高于14.642时，应选择drugY，无须考虑其他因素。当 病人的Na/K值低于14.642时，对于高血压病人，更适合选用drugA；对于低 血压病人和血压正常的病人，可选择drugX。性别对选择药物没有影响。
现在要利用数据挖掘发现以往药物处方试用的规律，给出不同临床特征病人更适合 服用那种药物的建议，为未来医生开具处方提供参考。
具体分析步骤
2
将数据读入Modeler中，在 【源】选项卡选择【可变文 件】节点，之节点参数，从 【文件】选项中指定从文件 DRUG.txt中读入数据
直方图显示
3
在【字段选项】选项卡中选择【导出】节点， 添加导数据流，设置节点参数指定生成新变量 名为Na/K,计算公式为Na/K，执行【导出】节点。
4
在【图形】选项卡中选择【网络】节点，添加到数据流中。设置节点参数指 定绘制关于Drug与BP的网状【网络】图
如下图所示
网状图运行结果如下
5
执行【网络】节点，生成图形文件
可以看到drugY与BP的三条连线，线条的粗细 程度差别不大，标明drugY对病人的血压没有 特殊限定，更具有普遍服用性。无论血压状况 如何，都可以服用drugY；在不考虑drugY时， 血压高的病人可服用drugA或drugB，血压低的 病人则应在drugX和drugC中选择。
数据过滤
6
建模时不考虑采用K和Na变量，而采用Na/K，应先将Na和K筛掉。
在【字段选项】选项卡中选择【过滤】节点，添加到数据流中。设置参数， 在K和Na变量上打叉，如图所示
数据角色定义
7
指定建立模型过程中各个变量的作用。其中Age，Sex，BP，Cholesterol， Na/K为解释变量，称为模型的输入变量，Drug为被解释变量，称为模型的目 标变量。