基于clementine的数据挖掘算法决策树

列出指标
确定培训目标
模型 应用 步骤5
将数据挖掘结果形 成报告
落实培训成果
落实培训成果 模型评估
是否符合商业目的 选择算法 建立模型
设计培训方案
数据清洗 指标筛选
评估数据质量
商业目的 模型输出 模型定义
确定培训需求
数据准备—重要性分析
变量重要性分析，是去除变量冗余，是对变量的浓缩和提炼，保留对输出变量的预测有重要贡献的 变量和样本，剔除不重要的变量和样本。
组间方差/ 组内方差
学历
得分 27 93 60 28 90 56 87 32 58
组内 均值
组内 方差
组间 方差
组间方差/ 组内方差
29
14
60
2178
58
8
1862
46.55
中学生
2 3 1
58
1928
2
0.00036
90
18
大学生
2 3
59
1514
可以看出学历对做数学题的影响显著 但对做智力题的影响不明显
E

A

j 1
j
v
E( A ) s s
1 j
v
s1 j s2 j smj
s smj
j 1
2 j
s
I
p
m
s 1 i 1j , s2
ij
log2 pij
j
,
, smj

s1 j s2 j smj s 其中， 是第j个子集的权， s
则属性变量A带来的信息增益为
信息熵在C5.0算法中的应用
设S是s个数据样本的集合。目标变量C有m个不同值Ci（i＝1，2，…，m）。设si中S属于Ci类的样本数,则 集合S的信息熵定义为：
I ( S ) pi log2 ( pi )
i 1
m
其中
pi
si
是任意样本属于 Ci的概率。 s
设属性A具有v个不同值｛a1，a2，…，av｝。可以用属性A将S划分为v个子集｛S1，S2，…，SV｝；其中， 设 sij 是子集 Sj 中类 Ci 的样本数。根据由A划分成子集的熵为：
• 决策树(Decision Tree)模型，也称规则推理模型 – 通过对训练样本的学习，建立分类规则 – 依据分类规则，实现对新样本的分类 – 属于有指导(监督)式的学习方法，有两类变 量： • 目标变量(输出变量) • 属性变量(输入变量)
常用的算法有CHAID、CART、 Quest 和C5.0。 对每个决策都要求分成的组之间的“差异”最大。各 种决策树算法之间的主要区别就是对这个“差异”衡 量方式的区别。
核心问题
决策树的生长 决策树的减枝 树剪枝的原因：完整的决策树对训练样本特征的 捕捉“过于精确”--- 过拟和 常用的修剪技术： 预修剪：用来限制决策树的充分生长。

利用训练样本集完成决策树的建立
过程 分枝准则的确定涉及：
•第一，如何从众多的输入变量中
选择一个当前最佳的分组变量 •第二，如何从分组变量的众多取 值中找到一个最佳的分割点
s＝14，目标变量“是否流失”有两个不同值，
类C1对应于“是”，类C2对应于“否”。 则s1＝9，s2＝5，p1＝9/14，p2=5/14。 1、计算对给定样本分类所需的期望信息：
2 3
4 5 6 7 8 9 10 11 12 13 14
<=30 31…40
>40 >40 >40 31…40 <=30 <=30 >40 <=30 31…40 31…40 >40
s1 j s2

smj
pij
是 Sj 中的样本属于类 Ci 的概率。
sij sj
Gain( A) I ( S ) E ( A)
Gain A I
s1 , s2 ,
, sm
E A
C5.0算法应用场景
场景：利用决策树算法分析具有哪些特点的用户最可能流失：
用户 1 年龄 <=30 出账收入 智能机 信用等级 高 否 一般 类别：是否流失 否
(176 184) 2 (82 74) 2 (146 146) 2 (59 59) 2 184 74 146 59 2 2 2 (213 182) (42 73) (132 154) (84 62) 2 182 73 154 62 30.86
i
1 P(ui ) log2 P(ui ) P(ui ) i

信息熵等于0，表示只存在唯一的信息发送可能，P(ui)=1，没有发送的不确定性； 如果信源的k个信号有相同的发送概率，P(ui)=1/k，则信息发送的不确定性最大，信息熵达

到最大

P(ui)差别小，信息熵大，平均不确定性大；反之，差别大，信息熵小，平均不确定性小。
fe
RT CT CT * RT * *n n n n
RT指定单元格所在行的观测频数合计，CT指定单元格所在列的观测频数合计，n为观测频数总计。 3、确定临界值 显著性水平A，一般为0.05或0.01 卡方观测值大于卡方临界值，拒绝零假设，变量间不独立 卡方观测值小于卡方临界值，接受零假设，变量间独立
卡方检验
卡方检验的一般流程：
1、提出基本的无效假设：
行分类变量与列分类变量无关联 2、Pearson卡方统计量
r c
卡方检验两个分类变量的 关联性，其根本思想就是 在于比较理论频数和实际 频数的吻合程度

2 i 1 j 1
( f ij0 f ije ) 2 f ije
f0
其中r为列联表的行数，c为列联表的列数， 为观察频数，fe为期望频数。 其中，
由于 “年龄” 属性具有最高信息增益，它被选作测试属性。创建一个节点，用“年龄”标记，
并对每个属性值引出一个分支
C5.0算法应用场景
年龄
<=30 30…40 表1 出账收入 智能机信用等级 高 否 一般 高 否 良好 中等 否 一般 低 是 一般 中等 是 良好
>40
是否流失 否 否 否 是 是
出账收入 中等 低 低 中等 中等
基于clementine的数据挖掘算法
目录
1
数据挖掘概述
章 节 安 排
2
决策树C5.0算法
3
算法
数据挖掘方法论
CRISP-DM数据挖掘实施方法论帮助企业把注 意力集中在解决业务问题上，它包括了六个步 骤，涵盖了数据挖掘的整个过程。 模型 步骤5 评价 建立 步骤4 模型 数据 步骤3 准备 数据 步骤2 理解 业务 步骤1 理解
高 高
中等 低 低 低 中等 低 中等 中等 中等 高 中等
否 否
否 是 是 是 否 是 是 是 否 是 否
良好
一般 一般 一般 良好 良好 一般 一般 一般 良好 良好 一般 良好
否
是 是 是 否 是 否 是 是 是 是 是 否
9 9 5 5 I ( s1 , s2 ) log 2 log 2 0.94 14 14 14 14
标的同一水平（值）内部随机误差对结果的影响，如果某指标对目标总体结果没有影响则组内方差与组间方
差近似相等，而如果指标对目标总体结果有显著影响，则组间方差大于组内方差，当组间方差与组内方差的 比值达到一定程度，或着说达到某个临界点时就可做出待选指标对结果影响显著的判断。
F 组间方差 组内方差
ij
x 组内方差
方差分析
背景 方差分析（Analysis of Variance）是利用样本数据检验两个或两个以上的总体均值间是否有差异的一种方法。 在研究一个变量时，它能够解决多个总体的均值是否相等的检验问题；在研究多个变量对不同总体的影响时， 它也是分析各个自变量对因变量影响程度的方法。 原理与方法 方差分析主要是通过方差比较的方式来对不同总体参数进行假设检验。由于目标总体差异的产生来自两个方 面，一方面由总体组间方差造成即指标的不同水平（值）对结果的影响，另一方面由总；
组内离差平方和除以自由度 ni -1
2
2
xi ：表示第i组的均值；
ni 1
ni ：表示第i组数据个数；
x ：表示全体的均值；
xi x 组间方差 n 1
组内离差平方和除以自由度n-1
n ：表示全体分组个数；
方差分析应用场景
2、计算每个属性的熵。
（1）先计算属性“年龄”的熵。 • 对于年龄＝“<=30”：s11＝2，s21＝3，p11=2/5，p21=3/5， 对于年龄＝“31…40”：s12=4，s22=0，p12=4/4=1，p22=0， 对于年龄＝“>40”：s13=3，s23=2，p13=3/5，p23=2/5， •
从变量自身 考察
变量重要性分析方法
变量与输出变量
、变量间的相关 程度
变量值中缺失值所占比例 分类变量中，类别个数占样本比例 数值变量的变异系数 数值型变量的标准差
输入、输出变量均为数值型：做两个变量的相
关性分析
输入变量为数值型、输出变量为分类型：方差 分析（输出变量为控制变量、输入变量为观测变 量） 输入变量为分类型、输出为数值型：方差分析 （输入变量为控制变量、输出变量为观测变量） 输入、输出变量均为分类型：卡方检验
C5.0算法应用场景
如果样本按“年龄”划分，对一个给定的样本分类所需的期望信息为：
E (年龄 )
5 4 5 I (s11 , s21 ) I (s12 , s22 ) I (s13 , s23 ) 0.694 14 14 14
因此，这种划分的信息增益是 Gain(年龄)=I(s1,s2) - E(年龄)=0.246 （2）以相同方法计算其他属性的增益得到 Gain(出账收入)=I(s1,s2) - E(收入)=0.940-0.911＝0.029 Gain(智能机)=I(s1,s2) - E(学生)=0.940-0.789＝0.151 Gain(信用等级)=I(s1,s2) - E(信用等级)=0.940-0.892＝0.048 3、得到较优的分类变量