基于决策树的分类方法研究

南京师范大学

硕士学位论文

基于决策树的分类方法研究

姓名：戴南

申请学位级别：硕士

专业：计算数学（计算机应用方向）

指导教师：朱玉龙

2003.5.1

摘要

厂

｛数掘挖掘，又称数据库中的知识发现，是指从大型数据库或数据仓库中提取

具有潜在应用价值的知识或模式。模式按其作用可分为两类：描述型模式和预测型模式。分类模式是一种重要的预测型模式。挖掘分娄模式的方法有多种，如决

策树方法、贝叶斯网络、遗传算法、基于关联的分类方法、羊Ｈ糙集和ｋ一最临近方、／

法等等。，／驴

Ｉ

本文研究如何用决策树方法进行分类模式挖掘。文中详细阐述了几种极具代表性的决策树算法：包括使用信息熵原理分割样本集的ＩＤ３算法；可以处理连续属性和属性值空缺样本的Ｃ４．５算法；依据ＧＩＮＩ系数寻找最佳分割并生成二叉决策树的ＣＡＲＴ算法；将树剪枝融入到建树过程中的ＰＵＢＬＩＣ算法：在决策树生成过程中加入人工智能和人为干预的基于人机交互的决策树生成方法；以及突破主存容量限制，具有良好的伸缩性和并行性的ＳＩ，ｌＱ和ＳＰＲＩＮＴ算法。对这些算法的特点作了详细的分析和比较，指出了它们各自的优势和不足。文中对分布式环境下的决策树分类方法进行了描述，提出了分布式ＩＤ３算法。该算法在传统的ＩＤ３算法的基础上引进了新的数掘结构：属性按类别分稚表，使得算法具有可伸缩性和并行性。最后着重介绍了作者独立完成的一个决策树分类器。它使用的核心算法为可伸缩的ＩＤ３算法，分类器使用ＭｉｃｒｏｓｏｆｔＶｉｓｕａｌｃ＋＋６．０开发。实验结果表明作者开发的分类器可以有效地生成决策树，建树时间随样本集个数呈线性增长，具有可伸缩性。。

，，荡囊

关键字：数据挖掘１分类规则，决策树，分布式数据挖掘

Ａｂｓｔｒａｃｔ

Ｄａｔａｍｉｎｉｎｇ，ｒｅｆｅｒｒｅｄｔｏａｓｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙｉｎｄａｔａｂａｓｅｓ，ｉｓｔｈｅｅｘｔｒａｃｔｉｏｎｏｆｐａＲｅｍｓｒｅｐｒｅｓｅｎｔｉｎｇｖａｌｕａｂｌｅｋｎｏｗｌｅｄｇｅｉｍｐｌｉｃｉｔｌｙｓｔｏｒｅｄｉｎｌａｒｇｅｄａｔａｂａｓｅｓｏｒｄａｔａｗａｒｅｈｏｕｓｅｓ．ＣｌａｓｓｉｆｉｃａｔｉｏｎｉｓａｆｏｒｍｏｆｄａｔａａｎａｌｙｓｉｓｔｈａｔＣａｌｌｂｅｕｓｅｄｔｏｅｘｔｒａｃｔｍｏｄｅｌｓｄｅｓｃｒｉｂｉｎｇｉｍｐｏｒｔａｎｔｄａｔａｃｌａｓｓｅｓ．Ｔｈｅｒｅａｒｅｍａｎｙｔｅｃｈｎｉｑｕｅｓｆｏｒｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎｓｕｃｈａｓｄｅｃｉｓｉｏｎｔｒｅｅｉｎｄｕｃｔｉｏｎ，ＢａｙｅｓｉａｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄＢａｙｅｓｉａｎｂｅｌｉｅｆｎｅｔｗｏｒｋｓ，ａｓｓｏｃｉａｔｉｏｎ·ｂａｓｅｄｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｓ，ｒｏｕｇｈｓｅｔｓ，ａｎｄｋ—ｎｅａｒｅｓｔｎｅｉｉｇｈｂｏｒｃｌａｓｓｉｆｉｅｒｓ．

Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅｄｅｃｉｓｉｏｎｔｒｅｅｍｅｔｈｏｄｆｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｆｉｒｓｔｌｙ＇ｓｏｍｅｂａｓｉｃａｌｇｏｒｉｔｈｍｓｆｏｒｉｎｄｕｃｉｎｇｄｅｃｉｓｉｏｎｔｒｅｅａｒｅｄｉｓｃｕｓｓｅｄ，ｉｎｃｌｕｄｉｎｇＩＤ３，ｗｈｉｃｈｕｓｅｓｉｎｆｏｒｍａｔｉｏｎｇａｉｎｔｏｓｅｌｅｃｔａｓｐｌｉｔｔｉｎｇａｔｔｒｉｂｕｔｅｗｈｅｎｐａｒｔｉｔｉｏｎｉｎｇａｔｒａｉｎｉｎｇｓｅｔ；Ｃ４．５，ｗｈｉｃｈＣａｎｄｅａｌｗｉｔｈｎｕｍｅｒｉｃａｔｔｒｉｂｕｔｅｓ；ＣＡＲＴ，ｗｈｉｃｈＢｓｅｓＧ］ＮＩｒｕｌｅｉｎａｔｔｒｉｂｕｔｅｓｅｌｅｃｔｉｏｎａｎｄｉｎｄｕｃｅｓａｂｉｎａｒｙｔｒｅｅ；ＰＵＢＬＩＣ，ｗｈｉｃｈｐｕｔｓｔｒｅｅｐｒｕｎｉｎｇｉｎｔｈｅｔｒｅｅｂｕｉｌｄｉｎｇｐｈａｓｅ；Ｉｎｔｅｒａｃｔｉｖｅｍｅｔｈｏｄ，ｗｈｉｃｈｐｕｔｓＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄｈｕｍａｎ·ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｉｎｔｏｔｈｅｐｒｏｃｅｄｕｒｅｏｆｄｅｃｉｓｉｏｎｔｒｅｅｉｎｄｕｃｔｉｏｎ；ａｓｗｅｌｌａｓＳＬＩＱａｎｄＳＰＲＩＮＴｗｈｉｃｈａｒｅｓｃａｌａｂｌｅａｎｄｃａｎｂｅｅａｓｉｌｙｐａｒａｌｌｅｌｉｚｅｄ．Ａｄｖａｎｔａｇｅｓａｎｄｄｉｓａｄｖａｎｔａｇｅｓｏｆｔｈｅｓｅａｌｇｏｒｉｔｈｍｓａｒｅａｌｓｏｐｒｅｓｅｎｔｅｄ．ＭｅｔｈｏｄｓｆｏｒｉｎｄｕｃｉｎｇｄｅｃｉｓｉｏｎｔｒｅｅｉｎｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅｓｙｓｔｅｍａｒｅｄｅｓｃｒｉｂｅｄａｎｄａｄｉｓｔｒｉｂｕｔｅｄａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎＩＤ３ｉｓｐｒｏｐｏｓｅｄ．ＵｓｉｎｇａｎｅｗｄａｔａｓｔｒｕｃｔｕｒｅｃａｌｌｅｄａｔｔｒｉｂｕｔｅｓｄｉｓｔｒｉｂｕｔｉｏｎｌｉｓｔｔｈｉｓａｌｇｏｒｉｔｈｍＣａｎｂｅｓｃａｌａｂｌｅａｎｄｐａｒａｌｌｅｌｉｚｅｄ．Ａｄｅｃｉｓｉｏｎｔｒｅｅｃｌａｓｓｉｆｉｅｒｕｓｉｎｇａｓｃａｌａｂｌｅ１Ｄ３ａｌｇｏｒｉｔｈｍｉｓｄｅｖｅｌｏｐｅｄｂｙＭｉｃｒｏｓｏＲＶｉｓｕａｌＣ＋＋６．０．Ｓｏｍｅａｃｔｕａｌｔｒａｉｎｉｎｇｓｅｔｈａｓｂｅｅｎｐｕｔｔｏｔｅｓｔｔｈｅｃｌａｓｓｉｆｉｅｒａｎｄｔｈｅｅｘｐｅｒｉｍｅｎｔｓｈｏｗｓｔｈａｔｔｈｅｃｌａｓｓｉｆｉｅｒｃａｎｓｕｃｃｅｓｓｆｕｌｌｙｂｕｉｌｄｄｅｃｉｓｉｏｎｔｒｅｅｓａｎｄｈａｓｇｏｏｄｓｃａｌａｂｉｌｉｔｙ．

Ｋｅｙｗｏｒｄｓ：ｄａｔａｍｉｎｉｎｇ，ｃｌａｓｓｉｆｉｃａｔｉｏｎｒｕｌｅｓ，ｄｅｃｉｓｉｏｎｔｒｅｅ，ｄｉｓｔｒｉｂｕｔｅｄｄｅｃｉｓｉｏｎ

ｌＩ

南京师范大学２００３年硕士研究生毕业论文

声明

本人郑重声明：

１、坚持以“求实、创新”的科学精神从事研究工作。

２、本论文是我个人在导师指导下进行的研究工作和取得的研究成果．

３、本论文中除引文外，所有实验、数据和有关材料均是真实的．

４、本论文中除引文和致谢的内容外，不包含其他人或其它机构已经发表或撰写过的研究成果．

５、其他同志对本研究所做的贡献均已在论文中作了声明并表示了谢意．

作者签名：煎堑

日期：鲨２：生：１２