《机器学习》章节学习报告——决策树学习

程序附录..............................................................................................................................17
2 / 17
一、决策树原理分析
决策树(Decision Tree)是一种根据提供的不同特征，以树型结构表示分类 或决策集合，从而产生规则和发现发展规律的机器学习方法。决策树起源于概念 学习系统 CLS(Concept Learning System)，其大体框架都是采用贪心方法以自 顶向下递归的方式构造决策树， 思路是找出最有分辨能力的属性把数据库划分为 多个子集(对应树的一个分枝)，构成一个分枝过程，然后对每一个子集递归调用 分枝过程，直到所有子集包含同一类型的数据,最后得到的决策树能对新的例子 进行分类。根据分类准则的不同，目前决策树算法可以分为两类：基于信息论的 方法和最小 GINI 指数方法。其中基于信息论的方法又包括 ID 系列算法、C4.5 算法等，最小 GINI 指数方法包括 CART、SLIQ 和 SPRINT 算法。为更好地学习， 本文在算法上分别介绍了 ID3 算法、C4.5 算法和 CART 算法以进行比较分析，而 在具体实例分析和程序演示部分，将以 CART 算法作为本文的重点介绍对象。
Baidu Nhomakorabea
三、实战演练 ...................................................................................................................10
1．数据集来源 ....................................................................................................................10 2．数据集解释 ....................................................................................................................11 3．程序演示 ........................................................................................................................12
二、优秀论文研究分析 .................................................................................................8
1．参考文献简介 ..................................................................................................................8 2．论文的研究背景及意义 ..................................................................................................8 3．CART 算法在电信业潜在客户识别模型的实证分析 ....................................................9
《机器学习》课程章节学习报告 1
——决策树学习
姓 名： 学 号： 专 业： 教 师： 2014 应用统计
2014 年 11 月 12 日
目 录
一、决策树原理分析 .......................................................................................................3 1．ID3 算法 ...........................................................................................................................3 2．C4.5 算法 .........................................................................................................................4 3．CART 算法 ........................................................................................................................5 CART 树的分支过程 .........................................................................................................5 CART 树的剪枝过程 .........................................................................................................6 最优 CART 树的选择 .......................................................................................................7 CART 算法的优缺点 ..........................................................................................................8