文本学习在机器学习的自动分类

文本学习在机器学习的自动分类
具有重要用途的研究课题。

而在这些数据中，文本数据又是数量最大的一类。

“文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程”（达观数据科技联合创始人，张健）。

文本分类有着广泛的应用场景，例如：
新闻网站涵盖大量报导文章，基于文章内容，须要将这些文章按题材展开自动分类（比如自动分割成政治、经济、军事、体育、娱乐等。

在电子商务网站，用户进行了交易行为后对商品进行评价分类，商家需要对用户的评价划分为正面评价和负面评价，来获取各个商品的用户反馈统计情况。

电子邮箱频密发送至垃圾广告信息，通过文本分类技术从众多的邮件中辨识垃圾邮件并过滤器，提升了邮箱用户的采用效率。

媒体每日有大量投稿，依靠文本分类技术能够对文章进行自动审核，标记投稿中的色情、暴力、政治、垃圾广告等违规内容。

20世纪90年代以前，占到主导地位的文本分类方法一直就是基于科学知识工程的方法：利用专业人员的协助，为每个类别定义大量的推理小说规则，如果一篇文档能够满足用户这些推理小说规则，则可以认定属该类别。

但是这种方法存有显著的缺点：分类的质量依赖规则的优劣；须要大量的专业人员展开规则的制订；不具备可以推广性，相同的领域须要构筑全然相同的分类系统，导致开发资源和资金资源的非常大浪费。

而机器学习技术能够很好地解决上述问题，以统计数据理论为基础，利用算法使机器具备相似人类般的自动“自学”能力――对未知的训练数据搞统计分析从而赢得规律，再运用规律对未明数据搞预测分析。

机器学习方法运用在文本分类上的基本过程就是：标示――利用人工对一批文档展开了精确分类，以做为训练集（展开机器学习的材料）；训练――计算机从这些文档中挖掘出一些能有效率分类的规则，分解成分类器（总结出来的规则子集）；分类――将分解成的分类器应用领域在尚待分类的文档子集中，以获取文档的分类结果。

由于机器学习方法在文本分类领域有著较好的实际整体表现，已经沦为了该领域的主流。

达观数据团队在处理海量数据方面具有丰富的经验，在文本分类技术方面有深入的实践，并将文本分类技术成功运用到了线上服务中，取得了良好的效果。

本文整理了文本分类的基本方法和处理流程，进行了综述性介绍。

（一）：文本预处理1.文本分类流程
文本分类的流程例如图1右图，包含训练、特征提取、训练模型、分类预测等几个主要环节。

图1文本分类流程图2.文本预处理2.1文档建模
机器学习方法使计算机自己回去自学已经分类不好的训练集，然而计算机就是很难按
人类认知文章那样去自学文章，因此，必须并使计算机能高效率地处置真实文本，就必须
找出一种理想的公理化则表示方法，这个过程就是文档建模。

文档建模一方面必须能真实
地充分反映文档的内容，另一方面又必须对相同文档具备区分能力。

文档建模比较通用型
的方法包含布尔模型、向量空间模型（vsm）和概率模型。

其中最为广为采用的就是向量
空间模型。

经典的向量空间模型(vsm：vectorspacemodel)由salton等人于60年代提出，并成
功地应用于著名的smart文本检索系统。

vsm概念非常直观――把对文
本内容的处置精简为向量空间中的向量运算，并且它以空间上的相近度抒发语义的相
近度，直观易懂。

当文档被则表示为文档空间的向量时，就可以通过排序向量之间的相似
性去度量文档间的相似性。

文本处理中最常用的相似性度量方式就是余弦距离。

文本发掘
系统使用向量空间模型，用特征词条(t1，t2，?tn)及其权值wi代表目标信息，在展开信
息相匹配时，采用这些特征项评价未明文本与目标样本的有关程度。

特征词条及其权值的
挑选出称作目标样本的特征提取，特征提取算法的好坏将直接影响至系统的运转效果。

设d为一个包含m个文档的文档集合di为第i个文档的特征向量，则有d={d1，
d2，?，dm}，di=(di1di2?dij)，i=12，?，mj=1，2，?，n。

其中dij(i=1，2，?，m；j=1，2，?，n)为文档di中第j个词条tj的权值它一般被定义为tj在di中出现的频率tij的
函数，例如采用tf-idf函数，即dij=tij*log(n/nj)。

其中n是文档数据库中文档总数，
nj是文档数据库含有词条tj的文档数目。

假设用户给定的文档向量为d2，未知的文档向
量为q，两者的相似程度可用两向量的夹角余弦来度量，夹角越小说明相似度越高。

相似
度的计算公式如下
图2向量空间模型
通过上述的向量空间模型，文本数据就转换成了计算机可以处理的结构化数据，两个
文档之间的相似性问题转变成了两个向量之间的相似性问题。

2.2中文分词技术
在采用向量模型表示文档时，首先必须对文档展开词汇化处置。

对于英语或者法语等
语言来说，将文档转化成词的子集比较简单，但是对于汉语来说，不像是英文文本的单词
那样存有空格去区分，这个处理过程必须依赖分词技术。

从直观的密词典的方法，至后来
的基于统计数据语言模型的分词方法，中文分词的技术已趋向明朗。

但是，尽管现在分词
软件的准确率已经比较低了，它对专业术语（称作未登入词辨识）的识别率还不是较好。

比如“源自星星的你”，分词可以顺利乌分成“源自\\星星\\的\\你”，但是怎样把“源
自星星的你”做为一个完备的专有名词（电视剧名称）辨识出，除了很多技术必须化解。

为了进一步提高关键词提取的准确率，通常须要在词库中嵌入专名词表去确保分词的质量。

在完成分词之后，我们对词语的位置信息做进一步的发掘，需要确定记录位置信息的
方式以及各个位置的词在反映主题时的相对重要性。

标题、摘要和结论、正文等文章各个
部分的位置权重是各不相同的，当软件逐词扫描统计词频时，记录每个词的位置信息。

在排序文档的特征向量的值时，还须要对文本集展开一些处置，过滤器掉无知的信息。

滤掉这些没促进作用的词语可以增加文本特征向量的维数，增加不必要的运算。

常用作法
包含：
去掉一些低频词，比如某些单词只在一两个文本中出现过，这样词留在集合中会导致
大部分文本样本的该属性值为0。

去掉停止词，一般这种词几乎不携带任何信息。

例如：“的”、“地”、“得”之类的助词，以及像“然而”、“因此”等只能反映句子语法结
构的词语，它们不但不能反映文献的主题，而且还会对关键词的抽取造成干扰，有必要将
其滤除。

应该去掉的停止词为所有虚词以及标点符号。

换成一些标记信息，这主要针对网页文本或其他的标记语言文本。

（二）：特征抽取1.文本特征抽取
目前大多数中文文本分类系统都使用词做为特征项，做为特征项的词称为特征词。

这
些特征词做为文档的中间则表示形式，用以同时实现文档与文档、文档与用户目标之间的
相近度排序。

如果把所有的词都做为特征项，那么特征向量的维数将过分非常大，可以对
分类系统的运算性能导致很大的压力。

在这样的情况下，必须顺利完成文本分类几乎就是
不可能将的。

谋求一种有效率的特征降维方法，不仅能够减少运算复杂度，还能够提升分
类的效率和精度，就是文本自动分类中一项关键技术。

特征抽取的主要功能就是在不损伤核心信息的情况下降低向量空间维数，简化计算，
提高文本处理的速度和效率。

相对于其他分类问题，文本特征抽取的方式常见的有4种：
用映射或变换的方法把原始特征变换为较少的新特征；从原始特征中挑选出一些最具
代表性的特征；根据专家的知识挑选最有影响的特征；
基于数学方法展开挑选出，找到最具有分类信息的特征。

其中基于数学方法进行特征选择比较精确，人为因素干扰少，尤其适合于文本应用。

这种方法通过构造评估函数，对特征集合中的每个特征进行评估，并对每个特征打分，这
样每个词语都获得一个评估值，又称为权值，然后将所有特征按权值大小排序，提取预定
数目的最优特征作为提取结果的特征子集。

2.评估函数
Cubzac数学方法展开特征选择的算法，同意文本特征提取效果的主要因素就是评估函数的质量，常用评估函数包含：(1)tf-idf
单词权重最为有效的实现方法就是tf-idf它是由salton在1988年提出的。

其中tf
称为词频，用于计算该词描述文档内容的能力。

idf称为反文档频率，用于计算该词区分
文档的能力。

tf*idf的指导思想建立在这样一条基本假设之上：在一个文本中出现很多次的单词，在另一个同类文本中出现次数也会很多，反之亦然。

所以如果特征空间坐标系取
tf词频作为测度，就可以体现同类文本的特点。

另外还要考虑单词区别不同类别的能力，
tf*idf法认为一个单词出现的文本频率越小，它区别不同类别的能力就越大，所以引入了逆文本频度idf的概念：以tf和idf的乘积作为特征空间坐标系的取值测度。

tf-idf法
是以特征词在文档d中出现的次数与包含该特征词的文档数之比作为该词的权重，即其中，wi表示第i个特征词的权重，tfi(t，d)表示词t在文档d中的出现频率，n表示总的文
档数，df(t)表示包含t的文档数。

用tf-idf算法来计算特征词的权重值是表示当一个词
在这篇文档中出现的频率越高，同时在其他文档中出现的次数越少，则表明该词对于表示
这篇文档的区分能力越强，所以其权重值就应该越大。

将所有词的权值排序，根据需要可
以有两种选择方式：
选择权值最大的某一固定数n个关键词选择权值大于某一阈值的关键词
恬淡数据的实践经验就是，计算机挑选的关键词数量在10∽15个，人工挑选的关键
词数量在4∽6个比较最合适，通常具备最出色的覆盖度和专指度。

tfidf算法就是创建在这样一个假设之上的：对区别文档最存有意义的词语必须就是那些在文档中发生频率低，
而在整个文档子集的其他文档中发生频率太少的词语，所以如果特征空间坐标系挑tf词
频做为测度，就可以彰显同类文本的特点。

另外考虑到单词区别相同类别的能力，tfidf
法指出一个单词发生的文本频数越大，它区别相同类。