决策树模型ppt课件

类
பைடு நூலகம்
节
买
点
不买
买
不买
信息论中的一个度量标准 熵(Entropy)：刻画任意样例集合的纯度或 者是刻画系统的混乱程度，熵越大，系统越混乱。 1、熵的计算：给定一个样例集合的S，P为类别占S的比例。 两类：Entropy(S)=-P⊕log2P⊕ - P_log2P_ 多类：Entropy(S)=-∑Pi×log2Pi 例：设S有个样例集，其中九个正类，五个负类即[9+，5-] Entropy(S)=-9/14log2(9/14)- 5/14_log2(5/14)=0.940 2、信息增益(information gain)：衡量一个属性分类实例的能力。 Gain(S,A)=Entropy(S)-∑|Sv|/|S|×Entropy(Sv) (Sv是属性A可能的取值)
名校研究生入学时导师需要根据一些列因素确定是否招收一个学生
S=[9+,7-]
Entropy(S)=0.98869
1、调剂：调、不调
S调：[6+,3-] S不调：[3+，4-]
Entropy(S调)=0.91829 Entropy(S不调)=0.985226 Gain(S,调剂)=0.0411 2、本科学历：好、不好 S好：[3+，5-] S不好：[6+,2-] Entropy(S好)=095442 Entropy(S不好)=08112 Gain(S,本科学历)=0.1059 3、计算得Gain(S,是否本校)=0.269 4、计算得Gain(S,入学成绩)=0。03589
模型具体的应用： 决策树模型在客户关系管理系统中的应用(客户 分类) 例：某公司某年客户数据资料350条作为实验数 据，并选取记录中的5个属性(年龄、月收入、 住址、销售网点距离、性别、购买行为周期性) 作为决策属性。最终生成的决策树模型示意图 如下： 利用剩下的50条数据记录对该决策树的分类准 确率做分析，于是可以得到混淆矩阵如下：
分类准确度为(30+16)/50=92％。 可以通过优化决策树模型，和使用更大规模训练 数据的使用，可以进一步得到更令人满意、更高 准确度的决策树模型。
销售网点距离
<5km
5km-10km >10km
购买行为周期性
...
....
>0
<0
年龄 >60
15-30 15-60
1
0
性别
男女 0
月输入
>5000 <=5000
决策树模型()
决策树模型是一种以决策树这种 数据结构为基础的分类、预测模(一 个类似于流程图的树结构)
目的： 分类(布尔型)、预测 定义：一种逼近离散值目标函 数的方法
客户分类 决策树
根节点
年龄
15到30
35到60
大于60
属
性别
性
节 点
男
女
买 月收入
性别
不买
男女
月收入
不买
大于5000 小于等于5000 大于5000 小于等于5000
由于属性是否本校 的信息增益均是大 于其他属性的信息 增益，故而选择其 作为根节点属性。
是 【6,7,8,9,11,15】
?
是否本校
不知 yes
否 【2,3,4,10,14,16】
?
Entropy(S是)=0.91829 Gain(S是,调剂)=0.918292/6×1-4/6×0.8112=0.044 Gain(S是,本科学历)=0.91829 Gain(S是,入学成绩)=0.459 (S是中本科学历)相对于其他属 性信息增益更大 Entropy(S否)=1 Gain(S是,调剂)=1 Gain(S是,本科学历)=0 Gain(S是,入学成绩)=0 (S否中调剂)相对于其他属性信 息增益更大
是 【6,7,8,9,11,15】
? 本科学历
好
不好
no yes
是否本校
不知
否
【2,3,4,10,14,16】
yes
? 调剂
调 yes
不调 no
构建决策树模型的过程： 1、哪一个属性放在根节点测试？ 2、根据根节点属性可能的所有值产生对应 的分支。 3、把训练样例排列到属性之下的分支节点。 4、重复整个过程，直到构造出的决策树能 完美的分类样例或所有属性已被使用。
0
0
年龄 >60
15-35 35-60
性别 男女
性别 男
0 女
1
月收入
月收入 0
>5000 <=5000 >5000
0
0
0
<=5000 0
其他应用： 决策树模型的商业银行基金客户分类研究 决策树模型在突发公卫卫生事件风险评估中的应用 决策树在油田公司项目决策中的应用
谢 谢
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！