—种新的中文层次化文本分类规则设计

电信技术研究RESEARCH ON TELECOMMUNICATION TECHNOLOGY2019年第1期总第405期—种新的中文层次化文本分类规则设计张伟唐军胡宇摘要：在信息爆炸时代，其中存在大量的中文文本，并且文本之间存在层次关系，为了从中及时的获取有用的信息，需要进行有效的组织和管理。

本文通过文本分类的方法，设计了“全路径+自底向上”的层次化分类规则，可以缓解自顶向下分类的阻塞，同时兼顾解决多标签和中间节点分类问题。

首先使用BR方法即二元关系法把多标签转化为单标签统一处理，为除根节点外的每个节点构建一个二元分类器，使得可以在中间节点和叶子节点进行分类，然后利用节点及其祖先节点的关系从底向上对分类结果进行筛选过滤，以减少错分现象。

实验表明采用该方法比常规自顶向下的方法在宏平均F1和微平均F1有3%到6%的提升。

关键词：文本分类；层次结构1引言近年来，信息出现爆炸式增长，其中存在大量的中文文本，而且这些文本之间具有层次关系。

面对海量的数据资源，却很难快速有效的找到有用的信息，这就需要利用有效的方法把这些数据组织和管理起来，实际上就是进行层次化的中文文本分类。

文献［1］全面总结了层次化的分类算法及其在不同领域的应用。

在现实的层次化文本分类中，存在常规自顶向下层次化处理时阻塞以及多标签处理和中间节点可分类的问题，本文设计了一种分类规则来处理这些问题。

2层次化结构问题研究2.1平面化法平面化分类方法的思想是忽略标签之间的层次结构关系，使用一个全局分类器，在分类时把文本分到一个或多个类别中去。

由于只使责任编辑：田筱用了一个分类器，如果层次结构里部分结构发生了变化，则要使用样本对系统重新进行训练，代价较高，而且在样本具有多标签时，在分类时可能会得到与实际标签集相差过大的结果。

2.2自顶向下法自顶向下的分类方法利用了层次结构关系,逐层递推进行分类。

样本首先在第一层开始分类，如果文本被分到该层的类别中，再从这个类别节点的子节点进行分类，以此类推，直到分到叶节点为止。

由于对所有节点都构建了分类器，所以当部分的样本或结构发生改变时，只需要重新训练发生变化的部分对应的分类器,但是在从上往下推进的时候，如果祖先节点的分类器误判，则它就会停止继续向下推进，从而造成阻塞。

2.3类别层次优化法该方法的思想是通过优化类别层次关系来减少分类的复杂度。

先忽略层次结构关系，使用聚类的方法对所有样本进行聚类，生成一个新的层次结构并建立新旧类别的映射关系，然・16・科技论文：一种新的中文层次化文本分类型世辻后利用这个新的类别层次结构进行分类，最后根据与原类别的映射关系把样本分到原类别中。

该方法每次聚类完成后都需要评估新的类别层次结构的分类效果，一般需要经过多次迭代后才能形成一个优化的类别层次结构。

当类别的数量很大时，进行类别层次结构的优化的时间开销会很大，可能无法进行控制。

2.4搜索分类法该方法的思想是通过减少类别层次关系来降低分类的复杂度和提高分类精度。

首先计算测试样本与训练集样本的近似度，然后选出近似度较高的样本，获得这些样本对应的类别标签，最后在被选出的类别标签对应的层次结构中进行分类。

由于每个测试样本都需要计算与训练样本集所有样本的近似度，所以运算时间开销很大，并且如何选择一个最优的近似度的阈值也是一个复杂的问题。

3多标签问题研究根据文献［8］的研究，多标签的处理方法分为两类：一是将多标签问题转化为单标签分类问题；二是改进已有的算法来支持多标签的分类。

3.1问题转化方法3.1JLP方法LP(Label Powerset)方法的思想是把样本的多标签集合作为一个新的单标签，实现多标签向单标签的转换。

设标签集合L=U，J,I’, /4｝,样本a的标签为｛厶，/4｝,样本b的标签为｛/‘，厶｝,样本c的标签为｛厶｝，样本d的标签为｛厶，12,1｝｝,则按该方法转化后样本a 的标签为｛&｝，样本b的标签为｛〈｝，样本d 的标签为｛厶｝，最后形成新的单标签集合为厶=｛/,,/2,1｝,14,/5,16,/7｝，该方法主要缺点是无法识别新的类别组合。

3.1.2BR方法BR(Binary Relevance)方法即二元关系法的思想是为每个单标签训练一个二元分类器，训练时样本数据分别分配到它对应标签的分类器上训练，测试时需要对每个分类器都进行分类，最后统计所有分类结果来确定标签组合。

同样设标签集合£=｛/.,12./3，系统需要训练四个二元分类分类器｛q,C2,C3,q｝,假如训练样本a的标签为｛厶，1｝｝，则该样本作为正例同时参与C2和°的训练，当测试数据来临时，把该测试数据分别放入四个分类器进行测试，最后统计所有分类器的结果，取出判为正例的标签即为该数据的标签集合。

该方法容易实现，不过没考虑标签之间的关系，对不均衡数据集敏感。

3.2算法转化方法该方法通过改进现有的分类方法，使得能够适合直接学习多标签数据集合。

例如在决策树C4.5中，对嫡的计算公式进行如下的改进，使得多标签数据在叶子节点能够存储，该方法在训练集中可以得到有意义的多标签分类准则。

Entropy=-V丿=1'P©)logp(£)'log(1)式中，p(2y)—2,的相关频率，讥右)一等于1-P(久丿4层次化中文文本分类规则设计根据前述研究，类别层次优化法和搜索分类法都涉及很大的运算时间开销，且复杂度和不确定性较高，而平面化法和自顶向下法虽然处理简单，但分别有训练代价大和可能发生阻塞的缺点。

所以利用平面化法和自顶向下法相结合的方式，同时根据在中间节点可分类的要求，设计了“全路径+自底向上”的分类规则。

・17・电信技术研究RESEARCH ON TELECOMMUNICATION TECHNOLOGY总第405期2019年第1期全路径是指通过层次结构形成的从根节点到叶子节点的所有路径进行组织，除根节点外，每个节点按"one-against-rest"的策略生成样本集来构建二元分类器，样本在每条路径上的节点都进行分类，得到初始分类结果。

自底向上是指根据组织好的每条路径，利用样本被正确判为某个节点的正例时也应该被判为它的祖先节点的正例的这个关系来考察样本从该节点向上的连续n个祖先节点的分类情况，以此作为置信度来判断样本在该节点的分类是否可信。

但是自底向上时不使用该节点的全部祖先节点进行考察，否则会退化为自顶向下的方式。

通过这种分类规则，既可以保证样本尽量分到可能所属的类别，包括中间节点和叶子节点，同时又利用约束条件来进行二次筛选，尽量的减少错分，具体描述如下所示。

第一步：考虑到现实数据中既有多标签样本又有单标签样本的情况，使用BR方法把多标签转化为单标签以简化处理。

第二步：结合多标签转单标签处理的方法，为层次化结构中除根节点外的每个节点训练一个二元分类器，以达到可以在中间节点和叶子节点同时进行分类的效果，并且按路径保存训练模型。

根据"one-against-rest"方法，每个分类器的训练样本集构建为正例样本为该节点对应的标签及其子节点对应的标签所包含的样本,而反例样本为总训练样本减去正例样本后剩下的样本。

第三步：由于此时各个分类器之间是相互独立的，所以通过并行方式来减少大量分类器的训练带来的时间开销。

第四步：由于在实际分类时层次结构可能较深，很难保证样本在每条路径下的所有节点对应的分类器中都能被正确判断，所以采用自底向上的方法来替代自顶向下的过于严格的判断方式，对全路径分类结果进行筛选过滤。

首先利用训练模型和验证样本进行分类，得到每个样本在所有分类器上的初始分类结果,并按路径保存。

然后依次获取每个样本的分类结果，查看是否被判为某个节点的正例，如果是则取岀对应的标签，记录该样本所有被判为正例的标签作为分类标签集合。

接着获取层次结构最大深度为H,依次设阈值变量t从0到H循环读取每个样本的分类标签集合里的标签。

在当前阈值t下，依次根据标签对应的路径从底向上搜索，考察从该标签对应的节点向上直到根节点为止对该样本的分类结果。

如果该节点之上连续n个节点的分类器都把该样本分到这些节点的正例里，并且若n大于等于t,则取出该节点对应的标签；如果n小于t,若此时n+1对应根节点，则仍然取出该节点对应的标签。

如果在同一条路径上有多组满足上述条件中的任一种，则取最靠近叶子节点的那组的起始节点对应的标签，除此之外其它情况都不需要取出标签。

最后统计每个t值下的整体的宏平均F1和微平均F1,取出宏平均F1和微平均F1最大时对应的t值并保存。

自底向上筛选过滤示意图如图1所示，考察样本从C1...J到Cl...i一共j-i个节点是否判为正例且j-i大于等于t,同时考察样本从Cl...k到C1,如果有多组满足条件，则取离叶子节点Cl...n最近的那组。

1第一组C11第二组C】...j Cl...n Cl...m图1自底向上筛选示意图・18・科技论文：一种新的中文层次化文本分类规醴计第五步：根据测试数据和训练模型进行分类，得到每个样本在所有分类器上的初始分类结果，然后根据第四步保存的t值，按照自底向上筛选流程对初始分类结果进行筛选过滤，得到最终测试标签集。

5实验结果及分析5.1系统运行环境5.1.1计算机平台型号：联想R2000T；操作系统：Windows764位专业版：CPU：Intel(R)Core(TM)i7-3555LE 2.50GHz；内存：8.00GB-5.1.2软件测试环境开发软件：Eclipse-jee-Luna-SR2-x86_64, JDK-1.7.08064bit；辅助工具：Microsoft Visio2010o5.2评价方式本系统中既有多标签也有单标签数据，通过把多标签转换为单标签进行统一处理，所以整体分类结果使用传统的查全率Recall(以下简称7?)、查准率Precision(以下简称P)、宏平均MacroFX和微平均MicroF\对实验进行评价，具体描述如下。

类别C,的查全率：Ri=TPJQT、+FN)(2)式中，巧一正确判断类别C,的文本数，FN-本来为类别C,却没有识别到的文本数。

类别C,的查准率：P、=TPJiTR+FP)(3)式中，巧一正确判断类别C,的文本数，FP-误判为类别C,的文本数。

类别C,的F1值：Fl,=2xRxg(R+弓)(4)式中，4一类别C,的查全率，好一类别C,的查准率。

宏平均F1值：MacroFX=丄工C(5)77式中，F1,—类别C,的F1值，n—类别数量。

微平均F1值：.,…2x MicroR x MicroP_、MicroFI=-----------------(6)MicroR+MicroP式中，MicroR—+工FN), MicroP—^TP,/+乞码)。