基于关联分析的文本分类特征选择算法

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

词组，而这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃。在Ｒｔｓ１７、２Ｎｗｇｏｐｕｒ５８０ｅｓｒｅ２ｕ文本数据集上进行实验，将算法与广泛应用的特征选择算法（信息增益、ＣＩ进行对比、分析。实验结果表明该方法是一种有特点，Ｈ等）有
［ｓｒｃ］Ｔｉｐｐｒｒｐｓｓｔｏ，ｈｃｏｓｅｓｈｌｔｎｈｐｂｔｅｎｔｏｄａｕｅｓｌｔｎＴｅｒｌｔｎｈｐｂｔｅＡｂｔａｔｈｓａｅｏｏｅｍｅｄｗｉｈｃｎｉｒｅｒａｏｓｉｅｗｅｗｒｓｎｆｔｒｅｅｉ．ｈａｉｓｉｅｗｅｎｔｐａｈｄｔｅｉｗｏｉｅｃｏｅｏｗｏ
ＤＬ）Ｘ（ｌｉＫＪＩ＝∑尸）ｇ）’ （ＩＰＱｏ２ｘＬ）￣
２ＡｎｕｒｖｎｅｙａｏａｒｒｏｕｉｇａｄＣｏ．ｈｉｏｉｃｂｒｔｙｆｍｐｔｎｍｍｕｉａｏｏｔｒ，ｆｉ３０７ＣｉａＰＫｅＬｏｏＣｎｎｃｔｎＳｆｉｗａｅＨｅｅ２０２，ｈｎ）
ｗｏｄｉｈｈｖｉｎｆａｔｉａｔｏｌｓｉｃｔｏｓｍｉｅ，ｎｗｏｗｏｄｓｔｒｏｎｕ．ｏｅｗｏｄｎｔｅｅｓｔｍａｅｄｓａｄｄｄｅｔｒｓｗｈｃａｅｓｇｉｃｎｍｐｃｎｃａｓｆａｉｎｉｎｄａｄｔ－ｒ — ｅｓａｅｆｕｄｏｔＳｍｒｓｉｓｅｓｉｉｈｙｂｉｃｒｅｕｏ
１概述
在进行自动文本分类时，由于维数过高带来的维灾难，
给传统的分类器造成了困难，不仅会降低分类的准确度，而且还大大增加了空间、时间复杂度。因此，特征空间的降维操作成为了提高文本分类准确率和效率的关键。好的降维不仅可以提高机器学习任务的效率，而且还能改善分类性能和节省大量的存储空间。在进行维数约简时，实际是将高维空
第３卷第２期６２
Ｖ１ｏ．３６
・
计
算
机
工
程
２１００年１月１
Ｎｏｅｂｒ２１ｖｍｅ００
Ｎｏ２２．
ＣｏｍｐｕｔｒＥｎｇｎｅｒｎｅｉｅｉｇ
人工智能及识别技术・
文章编号：０３２（１）＿０８＿文献标识码：１ｏ＿４８ｏｏ２＿４ｏ２２＿ｌ — ３Ａ
ｌｗｃｒｓａｈｅｅｈｏｇｔｅｃｎｅｔｏａｅｔｒｅｅｔｏｏｓｏｅｃｉｖｄｔｒｕｈｈｏｖｎｉｎｌｆａｕｅｓｌｃｉｎｍｅｏｓｈｔｄ．Ｔｈｌｏｉｍｓｃｍｐｅｔｔｅｏｖｎｉｎｌｆａｕｅｓｌｃｉｎｅａｇｒｔｈｉｏ￣ｄｗｉｏｈｒｃｎｅｔａｅｔｒｅｅｔｏｈｏ
ａｐｏｃｅ：ｎｏｍａｏａｎＩ）Ｃ，ｔ．ｘｅｉｎａｒｓｌｎＲｔｒ２５８ｄｔｓｔｎ０ｗｓｒｕａｓｔｒｖａｅｐｏｏｅｔｏｐｒａｈｓＩｆｒｔｎＧｉ（Ｇ，ＨＩｅｃＥｐｒｉｍｅｔｌｅｕｔｏｕｅｓ１７ａａｅｄ２Ｎｅｇｏｐｄｔｅｐｏｅｔｔｒｐｓｄｍｅｄｓａａｈｔｈｈ
中田分类Ｐ９号ｚ３１Ｔ
基于关联分析的文本分类特征选择算法
张彪，刘贵全
（．中国科学技术大学计算机科学与技术学院，合肥２０２；２１３０７．安徽省计算与通讯软ห้องสมุดไป่ตู้ 重点实验室，合肥２０２）３０７
摘
要：出一种在选取特征时考虑特征与特征之间联系的算法。对特征词之间的关联关系进行挖掘，找出那些对类另有重要影响的特征提
ｉｆｅｔｅｔｔｅｓｓｅｆｃｉｖｏｏｒ．ｈ
［ｙｗｏｄ］ｆａｕｅｓｌｃｉｎｃｏｓｅｔｐ；ｅｔｌｓｉｃｔｎａｓｃａｏｎｎＫｅｒｓｅｔｒｅｔ；ｒｓ—ｎｒｙｔｘａｓａｉ；ｓｏｉｉｎｅｏｏｃｉｆｏｔｍｉｉｇ
ＺＨＡＮＧａ．Ｕｉｕｎ，Ｂｉｏ，ＬＩＧｕ．ａ一ｑ
（．ｃｏｆｍｐｕｅｃｅｃｎｅｈｏｏｙＵｎｖｒｉｆＳｉｎｅａｄＴｃｎｌｇｆＣｈｎａＨｅｅ３０２Ｃｈｎ；１ＳｈｏｌＣｏｏｔｒＳｉｎｅａｄＴｃｎｌｇ，ｉｅｓｔｏｃｅｃｎｅｈｏｏｙｏｙｉ，ｆｉ２０７，ｉａ
效的特征选择方法。
关健词：特征选择；交叉熵；文本分类；关联挖掘
ＦｅｔｒｅｅｔｏｅｈｄＢａｅｎＡｓｏｉｔｏａｙｉ０ａｕｅＳｌｃｉｎＭｔｏｓｄ０ｓｃａｉｎＡｎｌｓｓｆｒ
ＴｅｔＣｌｓｉｃｔｏｘａｓｆａｉｎｉ