CART决策树的两种改进及应用

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ａｂｓｔｒａｃｔ．ＦａｙｙａｄｂｏｕｎｄａｒｙｐｏｉｎｔｄｅｔｅｒｍｉｎａｔｉｏｎｐｒｉｎｃｉｐｌｅｗａｓｕｓｅｄｔＯｉｍｐｒｏｖｅｔｈｅｍｅｔｈｏｄｏｆｃｈｏｏｓｉｎｇｃｏｎｔｉｎｕｏｕ￣ｖａｌｕｅｄａｔｔｒｉ－ｂｕｔｅｓ ’ｓｅｇｍｅｎｔａｔｉｏｎｔｈｒｅｓｈｏｌｄｉｎＣＡＲＴｄｅｃｉｓｉｏｎｔｒｅｅ．ＴｈｒｏｕｇｈＦａｙｙａｄｂｏｕｎｄａｒｙｐｏｉｎｔｄｅｔｅｒｍｉｎａｔｉｏｎｐｒｉｎｃｉｐｌｅ，ｉｎｔｈｅｐｒｏｃｅｓｓｏｆ
ｓｅｓｗｅｒｅｃｈｅｃｋｅｄ，ｉｎｓｔｅａｄｏｆｇｅｔｔｉｎｇｅｖｅｒｙｓｐｌｉｔｐｏｉｎｔｃｈｅｃｋｅｄ．Ａｎｄｔｈｅｋｅｙｄｅｃｉｓｉｏｎｆａｃｔｏｒｗａｓｕｓｅｄｔｏｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｗｈｅｎｔｈｅｍａｉｎｃｌａｓｓｅｓｏｆｓａｍｐｌｅｓｅｔｄｉｓｔｒｉｂｕｔｅｄｉｍｂａｌａｎｃｅｄ．ＣＲＴＡｃｌａｓｓｉｆｉｅｒｗａｓｃｏｎｓｔｒｕｃｔｅｄｂａｓｅｄｏｎｔｈｅｓｅｍｅｔｈｏｄｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｓｔｈａｔＦａｙｙａｄｂｏｕｎｄａｒｙｐｏｉｎｔｄｅｔｅｍｉｒｎａｔｉｏｎｐｒｉｎｃｉｐｌｅｉｓａｐｐｒｏｐｒｉａｔｅｆｏｒＣＲＴＡａｌｇｏｒｉｔｈｍ，ｔｈｅｅｆｆｉ — ｃｉｅｎｃｙｏｆｂｕｉｌｄｉｎｇｄｅｃｉｓｉｏｎｔｒｅｅｉｓｉｍｐｒｏｖｅｄｂｙａｂｏｕｔ４５ｐｅｒｃｅｎｔ，ａｎｄｗｈｅｎｔｈｅｍａｉｎｃｌａｓｓｅｓｏｆｓａｍｐｌｅｓｅｔｄｉｓｔｒｉｂｕｔｅｉｍｂａｌａｎｃｅｄ，ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｏｆｔｈｅｉｍｐｒｏｖｅｄａｌｇｏｒｉｔｈｍｉｓｈｉｇｈｅｒｔｈａｎｔｈａｔｏｆｔｈｅｏｒｉｇｉｎａｌｏｎｅ．Ｋｅｙｗｏｒｄｓ：ｄｅｃｉｓｉｏｎｔｒｅｅ；ＣＲＡｓｉｏｎｆａｃｔｏｒＴａｌｇｏｒｉｔｈｍ；ｓｅｇｍｅｎｔａｔｉｏｎｔｈｒｅｓｈｏｌｄ；Ｆａｙｙａｄｂｏｕｎｄａｒｙｐｏｉｎｔｄｅｔｅｍｉｒｎａｔｉｏｎｐｒｉｎｃｉｐｌｅ；ｋｅｙｄｅｃｉ－
ＺＨＡＮＧＬｉａｎｇ，ＮＩＮＧＱｉａｎ
（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ６１００６５，Ｃｈｉｎａ）
ｄｏｉ：１０．１６２０８／ｊ．ｉｓｓｎｌ０００ — ７０２４．２０１５．０５．０１８
ＴｗｏｉｍｐｒｏｖｅｍｅｎｔｓｏｎＣＡＲＴｄｅｃｉｓｉｏｎｔｒｅｅａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎ
ｓｅｌｅｃｔｉｎｇｃｏｎｔｉｎｕｏｕｓ — ｖａｌｕｅｄａｔｔｒｉｂｕｔｅｓ ’ｓｅｇｍｅｎｔａｔｉｏｎｔｈｒｅｓｈｏｌｄ，ａｄｊａｃｅｎｔｂｏｕｎｄａｒｙｐｏｉｎｔｓｗｈｉｃｈｗｅｒｅｓｏｒｔｅｄａｎｄｉｎｄｉｆｆｅｒｅｎｔｃｌａｓ —
２０１５年５月
计算机工程与设计
Ｃ０ＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮ
Ｍａｙ２０１５
第３６卷
第５期
Ｖｏ１．３６ＮＯ．５
ＣＡＲＴ决策树的两种改进及应用
张亮，宁芊（四川大学电子信息学院，四川成都６１００６５）
ＣＡＲＴ算法，利用改进后的ＣＲＴ算法生成决策树的效率提高了近４Ａ５，在样本集主类类属分布不平衡的情况下，分类准
确率也略有提高。关键词：决策树；ＣＡＲＴ算法；分割阈值；Ｆａｙｙａｄ边界点判定定理；关键度度量中图法分类号：ＴＰ３０１．６文献标识号：Ａ文章编号：１０００ — ７０２４（２０１５）０５－１２０９ — ０５
摘
Fra Baidu bibliotek
・
要：利用Ｆａｙｙａｄ边界点判定原理对ＣＡＲＴ决策树选取连续属性的分割阈值的方法进行改进，由Ｆａｙｙａｄ边界点判定原
理可知，建树过程中选取连续属性的分割阈值时，不需要检查每一个分割点，只要检查样本排序后，该属性相邻不同类别的分界点即可；针对样本集主类类属分布不平衡时，样本量占相对少数的小类属样本不能很好地对分类进行表决的情况，采用关键度度量的方法进行改进。基于这两点改进构建ＣＲＴ分类器。实验结果表明，ＦＡａｙｙａｄ边界点判定原理适用于