基于Python的中文文本分类的实现

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

文本分词可以采用结巴分词（ｊｉｅｂａ）实现。Ｊｉｅｂａ．ｃｕｔ方法可以实现文本的分词，该方法需要两个输入参数，第一个参数是
权重，便于区分不同特征对于文档的重要程度。在文本处理领域中，使用最广泛的权重计算方法是ＴＦＩＤＦ（ＴｅｍｒＦｒｅｑｕｅｎ —
＃ … … … 一计算特征权重一 … 一一ｔｉｆｄｌｆｒａｎｓｆｏｍｅｒｒ＝ＴｉｆｄｆＴｒａｎｓｆｏｍｅｒｒ（）
ｔｒａｉｎｘ＝ｔｉｄｆｆｔｒａｎｓｆｏｍｅｒｒ．ｉｔｔｆｒａｎｓｆｏｒｍ（ｔｒａｉｎｘ）
第ｊ方庠，以及良好的嵌入扩展与“ 胶水 ” 能力，使得文本分类的需求得以顺利实现［２１。本文基于Ｐｙｔｈｏｎ语言，结合第三方库ｊｉｅｂａ和ｓｋｌｅａｍ库，实现中文文本的自动分类。２文本分类文本分类过程…般包括文本预处理、特征选择、特征权重计算、训练和分类。下面按照文本分类的过程介绍基于Ｐｙｔｈｏｎ的中文文本分类的实现。２．１文本预处理
【关键词】Ｐｙｔｈｏｎ；中文；文本分类；实现
１引言
ｐａｔｈ＝” ｓｔｏｐｗｏｒｄｓ．ｔｘｔ ”
随着网络和信息技术的迅猛发展，网络上出现的文档越来
越多，数量越来越大，如何对网络上的大量文档进行自动分类，成为了一个重要的研究方向。
箍… 一缝一 … 鸭， … 碴～ … ，一 …… ，
ＵＪｌＡＣ０ＰｊＴ鞲鞴
一一
ＤＯＩ：１０．１６７０７￣．ｃｎｋｉ．ｆｊｐｃ．２０１６．１２．００３
基于Ｐｙｔｈｏｎ的中文文本分类的实现
ｔｒａｉｎｓｐａｃｅ＝ｖｅｃｔｏｒｉｚｅｒ．ｉｔｔｆｒａｎｓｆｏｒｍ（ｔｒａｉｎ）
＿
Ｐｙｔｈｏｎ语言是一种简单但功能强大的编程语言，其自带的函数非常适合处理语言数据＿】ｌ。Ｐｙｔｈｏｎ具有许多特点，使得该语言在文本分类等计算领域有广泛应用。Ｐｙｔｈｏｎ语言具有良好的可读性，内置常用的数据结构与算法，丰富和强大的标准库和
ｔｅｓｔｓｐａｃｅ：ｖｅｃｔｏｒｉｚｅｒｔｅｓｔ．ｉｔｔｆｒａｎｓｆｏｍ（ｒｔｅｓｔ）
＿
ｔｅｓｔｓｐａｃｅ．ｖｏｃａｂｕｌａｙ＝ｒｔｒａｉｎｓｐａｙ＊ＩｎｖｅｌｓｅＤｏｃｕｍｅｎｔＦｒｅｑｕｅｎｃｙ）权重方法。ｓｋｌｅａｒｎ库提供了Ｔｉｆｄｆｒｒａｎｓｆｏｒｍｅｒ类，可以很方便实现特征权重的计算，下面是实现代码。
ｔｒａｉｎｓｐａｃｅ．ｖｏｃａｂｕｌａｒｙ＝ｖｅｃｔｏｒｉｚｅｒ．ｖｏｃａｂｕｌａｒｙ
—
—
＃ … … 一ｉ贝０试样本特征向量表示… 一 …
ｖｅｃｔｏｒｉｚｅｒｔｅｓｔ＝ＣｏｕｎｔＶｅｃｔｏｒｉｚｅｒ（ｖｏｃａｂｕｌａｙ＝ｒｔｒａｉｎｓｐａｃｅ．ｖｏｃａｂｕ — ｌａｙ）ｒ
＿
ｔｅｓｔｘ＝ｃｈ２．ｔｒａｎｓｆｏｒｍ（ｔｅｓｔｓｐａｅｅ）２．４特征权重在对文本进行特征选择后，需要对选取的特征赋予一定的
进行文本分类之前，首先要对文本进行预处理，对于中文文本分类来说，主要是分词、去停用词。
｝｝一 … … 选择Ｋ个最好的特征，返回选择特征后的数
据… … …
ｃｈ２＝Ｓｅ１ｅｃｔＫＢｅｓｔ（ｃｈｉ２．ｋ＝５０００）
ｔｒａｉｎｘ＝ｃｈ２．ｉｆｔｔｒａｎｓｆｏｍ（ｒｔｒａｉｎｓｐａｃｅ，ｔｒａｉｎ．１ａｂｅ１）
ｓｔｐｗｒｄｌｓｔ＝ｒｅａｄｓｔｏｐｌｉｓｔ（ｐａｔｈ）ｖｅｃｔｏｒｉｚｅｒ＝ＣｏｕｎｔＶｅｃｔｏｒｉｚｅｒ（ｓｔｏｐ — ｗｏｒｄｓ＝ｓｔｐｗｒｄｌｓｔ）
廖一星，严素蓉
（浙江财经大学东方学院浙江海宁３１４４０８）
【摘要】随着网络技术的迅猛发展，中文文本的自动分类成为了一个重要的课题。文章基于Ｐｙｔｈｏｎ实现了中文文
本的自动分类，实现过程比较简单，分类效果良好。