基于类别区分度和关联性分析的综合特征选择

合集下载

基于相关性的文本分类特征选择算法

图 1 M BAF算法
M BAF算法执行过程中，其最为关键的操作就是选择有
效的特征，将无效的、冗余的多余特征过滤掉，这样就可以实现算法数据的特征过滤气本文的操作中，第 7 行到第 1 6 行
就可以描述算法过滤多余冗余特征的操作步骤。假设系统中存在 N 个平均特征，则可以将其分配到m 个队列中 ™。因此,
信息在特征选择过程中存在许多的缺点，比如需要计算任意
两个特征之间的关联程度，这样就会造成类别之间的特征存
在不同的区域，为了能够提高互信息的操作程度，可以采用近
似 Markov Blanket算法改进互信息，利用 Markov Blanket提
CH I相比，文中算法是有效的且能够提高分类的精确率。
关键词 :特征选择 ;相关性 ;文本分类；冗余
中图分类号:TP391
文献标识码:A
文章编号：1673-1131(2017)03-0073-02
1 特征选择算法及分析
互信息作为一种先进的数据挖掘和特征类选择算法，互
如果不存在相关的冗余特征，则时间复杂度可以设置为
0(([;«/m]-l)x [n/m]x »n/2), 即
;如果算法进行特征选择
时，数据信息集中仅仅存在一个特征，此时数据集中所有的特征都被剔除了，这种情况下,M BAF的时间复杂度就可以设置
i= g e tN e x tQ u e u c (k ,f): /呢得队列 k 中特征 f 的下一个特征-

基于类别和改进的CHI相结合的特征选择方法

引言
微博是一种通过关注机制分享简短实时信息的广播式社交平台，用户可以通过网页、移动终端等客户端，发表最多１４０字的信息并实现与他人共享。微博自问世以来，吸引了大量用户在微博上记录生活、讨论热点话题、表达和分享观点，已成为挖掘人们观点与情感的重要资源［１］，为用户满意度调查、舆情监测、社会学研究等应用提供有效的数据支持。情感分析技术能够自动将文本中表达的情感进行分类。在进行分类前，微博文本需要用特征向量来描述，向量维数过高会提高分类时间代价，降低分类精度，因此特征降维是分类预处理过程中的关键步骤。
在特征选择方面，美国卡内基梅隆大学的Ｙａｎｇ等人［２］针对文本分类问题，对ＩＧ、ＤＦ、ＭＩ和ＣＨＩ等特征选择方法进行了比较，得出ＩＧ和ＣＨＩ方法分类效果相对较好的结论。熊忠阳等人［３］分析了ＣＨＩ统计方法的不足，将频度、集中度和分散度指标应用到ＣＨＩ统计方法上，对ＣＨＩ统计进行改进；肖婷等人［４］通过引入文档内频度和类内正确度指标对ＣＨＩ统计进行改进；刘海峰等人［５］通过特征项的类内分布、类间分布以及类
ＦｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｃｏｍｂｉｎａｔｉｏｎｏｆｃａｔｅｇｏｒｙａｎｄｉｍｐｒｏｖｅｄＣＨＩ
ＧａｏＢａｏｌｉｎ，ＺｈｏｕＺｈｉｇｕｏ，ＹａｎｇＷｅｎｗｅｉ，ＸｉａｏＺｅｌｉ
（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＮｏｒｔｈｅａｓｔＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ１３０１１７，Ｃｈｉｎａ）
第３５卷第６期２０１８年６月
计算机应用研究ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３５Ｎｏ６Ｊｕｎ．２０１８

台风灾害时空特征分析与评估模型构建

台风灾害时空特征分析与评估模型构建随着全球气候变化趋势的加剧，台风灾害对人类社会和自然环境造成的影响日益显著。

为了更好地应对台风灾害，需要深入了解台风灾害的时空特征，并构建科学有效的评估模型。

本文将对台风灾害的时空特征进行分析，并基于此提出评估模型的构建思路。

一、台风灾害的时空特征分析1. 台风季节分布特征台风主要活跃于夏秋季节，且在不同区域表现出不同的季节分布特征。

例如，在西北太平洋地区，台风主要活动于7月到10月，而在北大西洋地区，台风则主要集中在8月到10月。

这种季节分布特征的了解对预测台风灾害的发生具有重要意义。

2. 台风路径偏向性分析通过分析历史台风路径数据，可以发现在一定范围内，不同区域的台风路径表现出一定的偏向性。

例如，在西太平洋地区，台风路径相对较为规则，多呈东北或西南方向，而在北大西洋地区，台风路径则相对无规律。

这种偏向性分析有助于评估不同区域台风灾害的风险程度。

3. 台风灾害损失评估台风灾害对人类社会和自然环境造成的损失巨大。

通过对过往台风灾害事件的统计和分析，可以评估不同等级的台风灾害对经济、农业、生态环境等方面的影响程度，为未来的灾害管理和预警提供科学依据。

二、评估模型构建思路1. 数据收集与预处理首先，需要收集并整理历史台风灾害事件的数据，包括台风路径数据、灾害损失数据等。

对于路径数据，可以利用卫星遥感技术获取，并结合地理信息系统分析。

对于损失数据，可以利用相关统计数据和调查问卷等方式获取。

然后，对收集到的数据进行预处理，包括数据清洗、去噪等，以确保数据的准确性和完整性。

2. 特征提取与选择在数据预处理的基础上，需要进行特征提取与选择。

可以利用统计分析和机器学习等方法，提取与台风灾害相关的特征变量，如台风路径长度、路径偏向性指数、平均风速等。

然后，根据特征的相关性和重要性，进行特征选择，筛选出最具代表性和区分度的特征变量。

3. 模型构建与评估基于经过特征选择的数据集，可以利用机器学习、神经网络等方法构建评估模型。

基于的大数据分析在仓储管理中的应用案例

基于的大数据分析在仓储管理中的应用案例第一章绪论 (2)1.1 研究背景 (2)1.2 研究目的与意义 (3)1.2.1 研究目的 (3)1.2.2 研究意义 (3)第二章与大数据分析技术在仓储管理中的概述 (3)2.1 与大数据分析技术简介 (3)2.2 仓储管理概述 (4)2.3 与大数据分析技术在仓储管理中的应用现状 (4)第三章数据采集与预处理 (5)3.1 数据来源与类型 (5)3.1.1 数据来源 (5)3.1.2 数据类型 (5)3.2 数据清洗与整合 (5)3.2.1 数据清洗 (5)3.2.2 数据整合 (5)3.3 数据预处理方法 (5)3.3.1 数据预处理流程 (6)3.3.2 数据预处理方法 (6)第四章仓储管理中的数据挖掘与分析 (6)4.1 聚类分析 (6)4.2 关联规则挖掘 (6)4.3 时间序列分析 (7)第五章库存优化与预测 (7)5.1 库存优化策略 (7)5.2 库存预测方法 (8)5.3 预测结果评估 (8)第六章仓储作业效率分析 (8)6.1 作业效率评价指标 (8)6.1.1 作业效率比率 (9)6.1.2 作业效率指数 (9)6.1.3 库存周转率 (9)6.1.4 作业差错率 (9)6.2 作业效率优化方法 (9)6.2.1 优化作业流程 (9)6.2.2 引入自动化设备 (9)6.2.3 信息化管理 (9)6.2.4 培训员工 (9)6.3 实例分析 (9)第七章仓储安全与风险管理 (10)7.1 安全风险识别 (10)7.2 风险评估与预警 (11)7.3 安全管理措施 (11)第八章仓储物流网络优化 (11)8.1 物流网络设计 (11)8.1.1 物流网络设计原则 (12)8.1.2 物流网络设计方法 (12)8.2 路线优化算法 (12)8.2.1 启发式算法 (12)8.2.2 蚁群算法 (12)8.2.3 遗传算法 (12)8.3 网络优化实例 (12)8.3.1 物流网络现状分析 (13)8.3.2 物流网络优化方案 (13)8.3.3 优化结果分析 (13)第九章人工智能在仓储管理中的应用 (13)9.1 智能问答系统 (13)9.1.1 概述 (13)9.1.2 应用案例 (13)9.2 语音识别与合成 (14)9.2.1 概述 (14)9.2.2 应用案例 (14)9.3 巡检 (14)9.3.1 概述 (14)9.3.2 应用案例 (14)第十章总结与展望 (15)10.1 研究成果总结 (15)10.2 不足与挑战 (15)10.3 未来发展趋势 (15)第一章绪论1.1 研究背景信息技术的飞速发展，人工智能（）和大数据分析技术逐渐成为企业提高竞争力的重要手段。

基于类间分散度和类内集中度的文本特征选择

基于类间分散度和类内集中度的文本特征选择随着机器学习和自然语言处理技术的发展，文本特征选择在文本分类和信息检索中扮演着至关重要的角色。

对于大规模的文本数据，如何高效地从中选择有助于分类和检索的特征是一个热门的研究方向。

本文将介绍一种基于类间分散度和类内集中度的文本特征选择方法。

1. 数据预处理在进行文本特征选择之前，需要对原始文本数据进行预处理。

预处理包括去除停用词、词干提取、词频统计等步骤。

处理后，每个文本都被表示为一个向量，向量的每个维度表示一个单词的出现次数或特征词的出现情况。

2. 计算类间分散度类间分散度表示不同类别之间的差异程度，它是衡量一个特征对于分类的重要性的指标。

计算类间分散度需要先对数据进行分类，然后对每个特征计算其在不同类别中的出现频率，并计算其方差或协方差矩阵。

通常采用F统计量或卡方检验等方法来衡量类间分散度。

较大的F 统计量或卡方值表示该特征在分类任务中具有更高的辨别能力。

3. 计算类内集中度类内集中度表示同一类别内部的相似程度，即同一类别中样本之间的相似程度。

计算类内集中度需要先对数据进行分类，然后对每个特征计算其在同一类别中的出现频率，并计算其方差或协方差矩阵。

同样，采用F统计量或卡方检验等方法来衡量类内集中度。

较小的F统计量或卡方值表示该特征在分类任务中具有更高的区分度和辨别能力。

4. 特征选择特征选择的目的是从原始特征中选取一部分对分类或检索任务有利的特征，减少计算复杂度和降低过拟合等问题。

通过类间分散度和类内集中度的计算，我们可以得到每个特征的F统计量或卡方值，根据一个阈值来筛选特征。

通常采用顶部n个或占比p的特征作为最终的特征集合。

同时，可以采用交叉验证或其他评价指标来评估特征选择方法的性能。

总之，基于类间分散度和类内集中度的文本特征选择方法是一种有效的特征选择方法，可以提高文本分类和信息检索的精度和效率。

在实际应用中，需要根据具体情况选择合适的特征选择方法和参数。

无监督特征选择算法的分析与总结

无监督特征选择算法的分析与总结
无监督特征选择算法是指在没有标签或类别信息的情况下，对数据集中的特征进行筛选，并选出最具有代表性、重要性的特征集，以提高机器学习算法的性能。

目前，常用的无监督特征选择算法主要包括：基于方差的特征选择算法、基于相关性的特征选择算法、基于PCA的特征选择算法、基于ICA的特征选择算法、基于因子分析的特征选择算法和基于非负矩阵分解的特征选择算法等。

其中，基于方差的特征选择算法是指选取方差较大的特征作为重要特征，这些特征的方差较大，说明它们的取值范围比较广，具有较高的区分度和代表性。

基于相关性的特征选择算法是指选取与目标变量相关性较高的特征作为重要特征，这些特征与目标变量之间存在较强的线性或非线性相关性，能够更好地描述目标变量的特性。

基于PCA的特征选择算法是利用主成分分析技术将原始数据转化为新的特征空间，通过对主成分的分析，选取具有较高权重的主成分作为重要特征。

基于ICA的特征选择算法是利用独立成分分析技术在不同的特征空间中分离独立成分，选取与目标变量相关性较高的成分作为重要特征。

总的来说，无监督特征选择算法具有以下优点：可以应用于没有标签信息的数据集，不需要额外的标记数据；能够提高机器学习算法的性能，减少特征维度；可以帮助发现数据集中的隐藏结构和模式。

然而，无监督特征选择算法也存在着一些缺点：无法保证选取的特征与目标变量存在强关联；会忽略数据集中涉及到多个特征的关系；可能会损失一些有用的信息。

总之，无监督特征选择算法是机器学习领域中重要的数据预处理技术之一，通过选择具有代表性、重要性的特征集，可以提高机器学习算法的性能和效率。

但是需要根据具体的数据集和任务需求灵活选择合适的算法，以达到最优的性能。

基于特征选择的Bagging分类算法研究

量的数据中发现内在的、隐藏的有价值的知识和信息。
它主要采用机器学习算法或统计方法进行知识学习，数据分类是数据挖掘领域的一个重要分支，主要通过
鲁棒性。Ｂａｇｇｉｎｇ是采用集成学习思想组合多个弱分类器的算法，通过对多个弱分类器的融合，有效提高最
・
ｌ０４・
计算机技术与发展
第２４卷
择方法和传统的特征选择方法都存在单一的考虑特征自身特点或特征间的冗余程度。依然无法将训练误差
最小化。
另一类是封装式的方法，这种方法在特征选择时依赖于具体的机器学习算法，根据分类器的预测性能来评
姚明海，赵连朋，刘维学
（渤海大学信息科学与技术学院，辽宁锦州１２１０１３）
摘
一
要：为了提高数据的分类性能，提出了一种基于特征选择的Ｂａｇｇｉｎｇ分类算法。通过Ｆｉｓｈｅｒ准则和互信息的方法给定
ｉ
Ｉ融合
１Ｌ上
习领域集成学习成为了研究的热点问题。目前集成学习的思想主要体现在三个方面：一是基于样本的随机采样策略；二是基于多分类器的集成策略；三是基于样本特征空间的集成策略。Ｂａｇｇｉｎｇ算法是较为常用的
中图分类号：ＴＰ３０１．６文献标识码：Ａ文章编号：１６７３ — ６２９Ｘ（２０１４）４－００１０３－４０
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３ — ６２９Ｘ．２０１４．０４．０２６

文本分类中的特征选择方法评估比较

文本分类中的特征选择方法评估比较特征选择是文本分类中的一个重要步骤，它对于改善分类模型的性能和降低计算成本具有关键作用。

在文本分类领域，有许多不同的特征选择方法可供选择。

本文将评估和比较几种常用的特征选择方法，以帮助研究者和从业者选择适合自己任务的方法。

1. 互信息（MI）：互信息是一种常用的特征选择方法，它用来度量特征与类别之间的相关性。

互信息越大，表示特征与类别之间的相关性越强。

互信息具有简单直观的计算方式，但它没有考虑特征与其他特征之间的相关性。

2. 卡方检验（CHI）：卡方检验也是一种常见的特征选择方法，它用来度量特征与类别之间的独立性。

卡方值越大，表示特征与类别之间的独立性越低，即特征更有用。

卡方检验能够考虑特征与其他特征之间的相关性，但它对特征出现次数较少的情况较为敏感。

3. 信息增益（IG）：信息增益是一种基于信息熵的特征选择方法，它用来度量特征对类别的分类能力。

信息增益越大，表示特征对类别的分类能力越强。

信息增益能够有效地考虑特征与类别之间的相关性，但它对特征的取值个数较敏感。

4. 方差选择（VAR）：方差选择是一种基于方差的特征选择方法，它用来度量特征在样本集中的变化程度。

方差越大，表示特征的取值在样本集中的变化越大，即特征更有用。

方差选择方法简单易用，但它忽略了特征与类别之间的相关性。

以上是几种常用的特征选择方法，它们各自有着不同的特点和适用场景。

在实际应用中，我们需要根据任务的具体需求和数据的特点选择合适的特征选择方法。

对于互信息、卡方检验和信息增益这三种方法，它们都可以用于评估特征与类别之间的相关性。

在使用这些方法时，我们需要注意特征与类别之间的关联关系。

如果特征与类别之间的关联关系较强，那么这些方法会给出较高的评估分数，反之则会给出较低的评估分数。

因此，在选择特征选择方法时，我们需要综合考虑特征与类别之间的相关性以及任务的具体需求。

方差选择方法适用于对特征的变异程度较为敏感的任务。

基于关联分析的文本分类特征选择算法

词组，而这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃。在Ｒｔｓ１７、２Ｎｗｇｏｐｕｒ５８０ｅｓｒｅ２ｕ文本数据集上进行实验，将算法与广泛应用的特征选择算法（信息增益、ＣＩ进行对比、分析。实验结果表明该方法是一种有特点，Ｈ等）有
［ｓｒｃ］Ｔｉｐｐｒｒｐｓｓｔｏ，ｈｃｏｓｅｓｈｌｔｎｈｐｂｔｅｎｔｏｄａｕｅｓｌｔｎＴｅｒｌｔｎｈｐｂｔｅＡｂｔａｔｈｓａｅｏｏｅｍｅｄｗｉｈｃｎｉｒｅｒａｏｓｉｅｗｅｗｒｓｎｆｔｒｅｅｉ．ｈａｉｓｉｅｗｅｎｔｐａｈｄｔｅｉｗｏｉｅｃｏｅｏｗｏ
ＤＬ）Ｘ（ｌｉＫＪＩ＝∑尸）ｇ）’ （ＩＰＱｏ２ｘＬ）￣
２ＡｎｕｒｖｎｅｙａｏａｒｒｏｕｉｇａｄＣｏ．ｈｉｏｉｃｂｒｔｙｆｍｐｔｎｍｍｕｉａｏｏｔｒ，ｆｉ３０７ＣｉａＰＫｅＬｏｏＣｎｎｃｔｎＳｆｉｗａｅＨｅｅ２０２，ｈｎ）
ｗｏｄｉｈｈｖｉｎｆａｔｉａｔｏｌｓｉｃｔｏｓｍｉｅ，ｎｗｏｗｏｄｓｔｒｏｎｕ．ｏｅｗｏｄｎｔｅｅｓｔｍａｅｄｓａｄｄｄｅｔｒｓｗｈｃａｅｓｇｉｃｎｍｐｃｎｃａｓｆａｉｎｉｎｄａｄｔ－ｒ — ｅｓａｅｆｕｄｏｔＳｍｒｓｉｓｅｓｉｉｈｙｂｉｃｒｅｕｏ
１概述

基于类别区分度的文本特征选择算法研究

一
上提高了分类效果，但是由于ＩＤＦ的局限性，很容易产生一些不合理的低频度高权重的特征。针对
收稿日期：２０１３ — ０３ — １５第一作者：男，１９７２年生，教授
Ｅ — ｍａｉｌ：ｙｉｊｋ＠ｍａｉｌ．ｂｕｃｔ．ｅｄｕ．ｃａ
域一。
１ＴＦＩＤＦ算法及改进
１．１ＴＦＩＤＦ算法
ＴＦＩＤＦ算法是一种经典的特征选择算法。特征
选择就是依据某个准则在原始特征集合的基础上选
Ｓａｈｏｎ等提出了一种自然语言处理的常用模型即向量空间模型（ＶＳＭ），现已应用于文本分类。
Ｖｏ１．４０，Ｓｕｐｐｌ
２０１３
基于类别区分度的文本特征选择算法研究
易军凯田立康
（北京化工大学信息科学与技术学院，北京１０００２９）
摘
要：针对词频反文档频率（ＴＦＩＤＦ）算法的缺陷，引人类别区分度理论改进传统的ＴＦＩＤＦ算法。通过比较改进
ＴＦＩＤＦ算法与其他几种常用特征选择算法的分类效果，证明了改进ＴＦＩＤＦ算法用于中文文本分类时，准确率和召回率要优于其他算法，改进ＴＦＩＤＦ算法具有较好的特征选择效果。关键词：文本分类；特征选择；词频反文档频率算法；类别区分度

基于分类区分度和相关性的手形特征选择方法

ｔｉｏｎａｌｇｏｒｉｔｈｍｉｓａｄｏｐｔｅｄｔｏｇｅｎｅｒａｔｅｓｕｂｓｅｔｓ，ａｎｄｔｈｅｒｅｃｏｇｎｉｔｉｏｎｒａｔｅｉｓｔａｋｅｎａｓｅｖａｌｕａｔｉｏｎｆｕｎｃｔｉｏｎｔｏｄｅｔｅｍｉｒｎｅｔｈｅ
Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｉｎｈａｎｄ— ｓｈａｐｅｆｅａｔｕｒｅｒｅｃｏｇｎｉｔｉｏｎｔｈａｔｔｈｅｈｉｇｈｃｏｒｒｅｌａｔｉｏｎａｍｏｎｇｔｈｅｆｅａｔｕｒｅｓｃａｕ — ｓｅｓｒｅｄｕｎｄａｎｃｙａｎｄｔｈｅｉｄｅｎｔｉｉｆｃａｔｉｏｎｐｅｆｏｒｒｍａｎｃｅｄｅｃｒｅａｓｅｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄ，ｗｈｉｃｈｕｓｅｓｔｈｅｉｎｆｏｍａｒｔｉｏｎｇａｉｎａｎｄｃｏｒｅｌａｔｉｏｎｃｏｅｆｉｃｆｉｅｎｔｔｏｅｖａｌｕａｔｅｔｈｅｃｌａｓｓｄｉｓｔｉｎｃｔｉｖｅｄｅｇｒｅｅａｎｄｃｏｒｅｌａｔｉｏｎｏｆｔｈｅｆｅａ — ｔｕｒｅｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ；ａｎｄｔｈｒｏｕｇｈｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙａｎａｌｙｚｉｎｇ，ｔｈｅｈａｎｄ－ｓｈａｐｅｆｅａｔｕｒｅｓａｒｅｓｅｌｅｃｔｅｄｏｐｔｉｍａｌｌｙ．Ｔｈｅｍｅｔｈ－ｏｄｃａｎｒｅｓｅｒｖｅｔｈｅｆｅａｔｕｒｅｓｔｈａｔｐｌａｙａｋｅｙｒｏｌｅｉｎｃｌａｓｓｉｉｃｆａｔｉｏｎａｎｄｒｅｍｏｖｅｔｈｅｒｅｄｕｎｄａｎｔｆｅａｔｕｒｅｓｗｉｔｈｈｉｇｈｃｏｒｅｌａ－ｔｉｏｎａｔｔｈｅｓａｍｅｔｉｍｅ．Ｉｎｏｒｄｅｒｔｏｐｒｏｖｅｔｈｅｖａｌｉｄｉｔｙａｎｄａｃｃｕｒａｃｙｏｆｔｈｅｍｅｔｈｏｄ，ｔｈｅｓｅｑｕｅｎｔｉａｌｆｏｒｗａｒｄｌｏｆａｔｉｎｇｓｅｌｅｃ－

基于类别概念的特征选择方法

基于类别概念的特征选择方法第14卷第2期V o1.14No.2北京电子科技学院JournalofBeiJingElectronicScienceandTechnologyInstitute2006年6月Jun.2006引言基于类别概念的特征选择方法★王琳t陈伟萍封化民方勇t,杨鼎才(1.北京邮电大学电信工程学院,北京100876;2.燕山大学,秦皇岛066004;3.北京电子科技学院信息安全与保密重点实验室.北京100070)摘要:基于中文文本分类的定义和向量空间模型,本文分析了正确分类文本的关键所在.通过对传统的特征选择方法的分析.提出了新的特征选择方法.通过支撑向量机对中等规模语料库的实验,验证了此方法的有效性.关键词:文本分类;向量空间模型;知网;类别概念中图分类号:TP301.6文献标识码:A文章编号:1672-464X(2006)02--0010--05网络技术的发展和Internet的开放性使网络信息逐步成为一个全方位的资源宝库,但其复杂的结构使人们很难从中准确找到需要的信息.文本分类是信息检索中的重要课题.传统的文本分类是基于人工方式的,如过去Y ahoo的做法就是将网页放在一个巨大的层次分类结构中,通过人工组装维护这些类别.达到帮助人们方便快速查找信息的目的.这种方式缺点很多.如周期长,费用高,效率低,需要大量专业人员以及分类结果的一致性低等. 20世纪90年代以后,基于机器学习的文本自动分类方法越来越成为主流.通过学习的方式使分类器获得分类知识,直至具备判别新文本所属类别的能力.相比于人工方式.它具有周期短,效率高,节省人力资源,分类结果一致性高等优点.但作为自然语言处理,人工智能,模式识别等多领域的交叉学科,它受到多方面的限制,分类准确率一直不能达到令人满意的效果.在Internet信息急剧膨胀的今天,为文本分类提供了广阔的发展空间.文本自动分类面临前所未有的机遇和挑战,如何提高分类准确率成为研究热点.本文从文本分类的基本问题出发.分析了文本分类的基本模型,特征选择等内容.全文结构安排如下:第一节介绍文本分类定义及向量空间模型;第二节简要介绍了典型的传统特征选择方法;第三节是本文重点,提出了基于类别概念的特征选择方法;第四节描述了实验设计的系统框架结构;第五节给出了实验结果及其分析;第六节得出结论,并对未来研究予以展望1文本分类及向量空间模型1.1文本分类定义文本分类(TextCategorization)是指依据文本的内容.由计算机根据某种自动分类算法,把文本判分为预先定义好的类别.1.2向量空间模型向量空间模型(VSM,rI?SpaceMode1)是最常用的文本分类模型之一.它以特征项作为向量空间的坐标,将文本看作向量空间中的点.特征项可以是字,词,短语,句子等意义单位.一般取词作为特征项.即是说,集合所有的特征项确定一个特征空间,假定为/7,维空间V a={TL,……,},每一篇文本D就可以用的一个向量表示D.={埘埘,……,埘},其中埘表示在D中的权重.其中,为词或短语,对应每个,通常用埘权重来表示在文本中的出现情况,以区别其文本.VSM解决文本分类问题的前提有两个,一是所有特征项都正交,即,,……,两两正交;二是向量D.=,埘……,埘}能够完全表征文本D.然而,自然语言中同义,近义词以及词语歧义性的存在,使这两个前提往往难以满足,甚至相差甚远.这是影响VSM模型分类正确率的关键所在.2传统特征选择方法介绍在中文文本分类中,特征项通常是这样提取的:先对语料分词,去除没有意义的特征项(如助词),再选择一种算法,对收稿日期:2006一O1—10基金项目:国家自然科学基金资助项目(项目编号:60472082)第14卷王琳陈伟萍封化民方勇杨鼎才:基于类别概念的特征选择方法.II.剩余的每一个特征计算统计度量值,然后设定一个阈值,将小于阈值的特征项过滤掉,剩下的即认为是有效特征项.一般的统计度量值都取作词频的函数,比较有代表性的有文档频率(DF,DocumentFrequency)[n,信息增益(IG,InformationGain)J31,互信息(MI,MutualInformation)J41,CHIl",期望交叉熵[21和文本证据权【2I等.为便于描述,先对如下符号约定::在第i篇文本中出现的次数;:在所有文本中出现的次数;厶:在第s类文本中出现的次数;n:在第s类文本中出现的文本总数;n:出现的文本总数;Ⅳ:语料库文本总数.2.1文档频率词条的文档频率是指训练语料中出现该词条的文档数.大量实验表明,出现频率越高的词条携带越多的分类信息.它是最基本的特征选择方法,很容易被用于大规模语料统计学习中.以词条为例,它的归一化DF值为DF(Tk)=(1),』VDF简单实用,但它忽略了低频词的作用,高估了高频词的贡献.如果DF()不高,但集中出现于某一类,那么它就携带了丰富的类别信息,然而,有时DF选择方法可能会将其过滤掉;反之,如果普遍出现于很多类中,那么DF()会较大,而实际上,却对分类效果没有作用.因此,对DF选择方法应予以折衷考虑.2.2信息增益信息增益在机器学习领域被广泛应用.对每个词条,通过综合考虑每一类中出现与不出现该词条的文档数来衡量该词条的信息增益.计算公式(2)所示,,G()一ZP(C)logP(C)+P()P(c|l)l.gP(c|l)+P()P(c|l)l.gP(c|l)(2)t~-ee,P(c|)表示任一篇文本属于第s类的概率;P()表示特征项在文本集中出现的概率;P()表示除外的特征项在文本集中出现的概率;P(c|I)表示任一篇包含的文本属于第s类的概率;P(c|l)表示任一篇不包含的文本属于第s类的概率.2.3互倍息互信息在统计语言模型中被广泛应用.对特定的词条和类别c|,和之间的互信息由(3)式计算MI(T~,):l.g(3)词条的互信息量度值为MI(T~)=m(c|)(4)其中,A表示包含词条且属于类别c的文档频数,B为包含词条且不属于类别c的文档频数,c为不包含词条但属于类别的文档频数,Ⅳ表示语料库中文档总数,m表示分类体系中的类别数.3基于类别概念的特征选择根据VSM分类对特征项的要求,我们提出了基于类别概念的特征选择方法.它以词语所表达的概念作为特征项.更准确地理解了文本的语义;并且不同于传统方法中完全基于词频统计确定全局意义上的特征项的方法,它在类别层次上分析确定对分类最有贡献的特征项.3.1特征项的要求根据前文所述的VSM正确解决文本分类问题的前提,不难发现传统的特征选择方法的局限性.首先是没有一种根本的措施去降低特征项之间的相关性;其次每一种选择算法都有自己的偏好,比如DF认为出现特征项的文档频数越高,重要性越大;IG,MI等方法偏爱一些低频词,认为一部分低频词对类别区分有重要作用,不应将其去掉.总之,文本分类的向量空间模型对特征项有以下要求:.12.北京电子科技学院2006~(1)特征项之间应该是正交的.这一点很难证明,我们通过削弱特征项的相关性来尽量满足正交的要求,具体做法见3.2.(2)要使文本向量D={.,,……,)能在整个特征向量空间中更好地区分其类别,特征项应当是那些具有比较强的单类别指示意义昀的词语;并且,应当能体现在整个文本集中地位的权重;即是说,特征项是类别意义上的,但权重应定位于全局意义上.这是被其他大多数文本分类算法所忽视的一点,本文的做法在3-3和3.4中有详细介绍.3.2知网知网(英文名称为HowNet)t~是一个以汉语和英语的词语所代表的概念为描述对象,以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库.知识词典是知网的最基本的数据库.在这个文件中每一个词语的概念及其描述形成一个记录.每一种语言的每一个记录主要包含4项内容.其中每一项由两部分组成,中间以"="分隔.每一个"="的左侧是数据的域名,右侧是数据的值.它们排列如下:W—X=词语E—x=词语例子G_x=词语词性DEF=概念定义对文本分词后,我们得到的是一个词序列,传统文本分类中的特征空间就是这个词序列的一个子集.同义,近义词的存在使特征空间难以达到正交的要求,且维数高.为此,我们通过组织知网数据,对词语进行概念映射,即以词语所表达的概念作为特征项.这不仅大大缩小了特征空间维数,而且降低了特征项之间的相关性.3.3类别概念根据上述分析,可以选用类别概念作为特征项.定义如下:概念类别度概念属于类别的概念类别度记作,可由(5)式计算.:{P(I)一JI=f[e(cl)]1nks(5)sL_.J一,其中,P(I)表示出现特征项,文本属于第s类的概率.~Bayes后验概率公式,有P(c|I)= P():任意一篇文本属于第s类的概率;P():在文本集中出现的概率,P()=;iP(IC):在第s类文本中出现的概率,P(Ic|)=.另外,在实验中,我们对P(I):作了一点改动,NNe(r,lc,):可0.5xf,,xf,,.这是因为,中文文本分类存在着向量si空间维数过高的问题,过高的特征维数使,=彳艮大,而单个特征项的有限性使比较小,这就导至差别较大的特征项的P(I)差距甚微,致使不能通过后验概率体现的类别指示意义.类舅■念对一1.1,若.,那么称作在.水平上属于的类别概念.那么,给定合理的阈值.,选出.水平上的类别概念,就可确定我们期望的特征项. 3.4特征加权为将文本表示成向量形式,选择特征项后,应该对特征项加权,即计算D.={.,,……,).前文所述传统特征选择方法中计算特征统计度量值的算法都可以作为特征加权算法,另外还有TFIDF等特征加权方法.目的就是确定在整个文本集中的作用,以及它在D中的贡献,使w……,)能够合理地表征文本D.从类别概念的定义可以看出.特征项出现的频率越高,它的贡献越大.这与DF的思想是一致的4系统框架结构系统框架结构如图1所示.第l4卷王琳陈伟萍到化民方勇杨鼎才:基于类别概念的特征选择方法.13.训练文本所有文本测试文本图1分类模型结构图Fig1.StructureofCategorizationModel类别系统包括分词,概念映射,计算概念类别度,确定特征空间,文本向量表示,训练器和分类器等模块.其中,分词模块采用海量分词软件(海量分词研究版);概念映射模块通过重新组织知网数据151,用SQL编程实现;训练器和分类器采用支撑向量机(SVM,Suppo~VectorMachine)算法.5实验与结果分析我们采用复旦大学的中文文本分类语料库,其中共有艺术,计算机,经济,教育,环境,体育,医药,军事,政治和交通等l0个类别.每类取200篇文本,160篇用于训练,40篇用于测试.测试方法为封闭测试.为便于比较.我们对相同的数据分别采用传统的DF方法和本文提出的方法做了实验.在DF方法中,特征选择的阈值取0.015,特征空间维数是2914;基于类别概念的特征选择中,%取0.6,特征空间维数是2305.实验结果分别见表1,表2和图2.表1文本分类测试结果(传统DF方法)Table1.TheTestResdtofTextCategorization(DD类别艺术计算机经济教育环境体育医药军事政治交通召回率O.90.9750.8250.825O.5750.90.80.80.8250.925准确率0.9730.8860.6230.9l70.920.9470.970.80.6ll0.925F1值0.9350.9290.7l0.8680.7080.9230.8770.80.9250.925表2文本分类测试结果(基于类别概念)Table2.TheTestResuhofTextCategorization(BasedonCategoryConcept)类别艺术计算机经济教育环境体育医药军事政治交通召回率0.9750.9750.9250.9O.7251.00.90.7550.9250.925准确率0.9750.9750.7551.01.0O.9761.00.940.6380.974F1值0.9750.9750.g230.947O.841O.987O.9470.8490.7550.949图2各类别F,比较parisonofF1in10Categories14?北京电子科技学院2006征不难看出,基于类别概念的特征选择方法大大提高了文本分类正确率.认真分析实验数据.对同样的400篇测试文本.传统DF方法正确分类334篇,平均正确率为83.5%;而本文提出的方法正确分类361篇,平均正确率为90.25%.从图2中可以看出,对每一个类别,基于类别概念的特征选择方法都优于传统DF选择方法. 从图2中还可以直观看出,艺术,计算机,体育,交通的F】很高,而经济,环境两类的F】值较低.这是因为.属于经济,环境的类别概念在其他类别中的概念类别度也比较高,而艺术,计算机等类的类别概念在其他类中出现很少.因此能够得到较高的分类准确率.6总结及未来研究本文针对文本自动分类中传统特征选择的缺陷,提出了基于类别概念的特征选择方法.我们通过实验.证明了本文提出的方法是有效的,无论在运算复杂度还是分类准确率上,都比传统的文本分类方法有很大提高,能够较好地筛选出携带分类信息的有效特征集,提高文本分类准确率.下一步工作中,我们将重点完善概念映射模块,结合上下文语境进行歧义分析.更准确地理解文本的语义概念.7致谢本研究得到国家自然科学基金【项目编号:60472082】及北京电子科技学院重点实验室基金项目【项目编号:YZDJ0427]的支持.参考文献:…1史忠植.知识发现【M】.北京:清华大学出版社,2002..【2】Y angYiming,Pede~onJO.AComparativeStudyonFeatureSelectioninTextCategorization [A].Nashville:MaorganKaufmann,pages412-420.【3】TomMitchel1.MachineLearning[M].McCrawHill,1996.【4】KennethWardChurchandPatricKHanks.Wordassociationnorms,mutualinformationandl exicography【A].ProceedingsofACL27[C].V ancouver,Canada,1989.pages76-83.【5】董振东,董强.知网简介,.[6]周茜,赵明生等.中文文本分类中的特征选择研究【J】.中文信息,2004.【7】http-J//作者简介:王琳(19一),男,山东人,北京邮电大学硕士研究生,主要研究方向为文本分类. FeatureSelectionMethodBasedonCategoryConceptW ANCuCl玎ENWei-xlt~,l曰硒珥_lIIilGYmC',Y^NGDi-c(1.SchoolofTelecommunicationEngineering,BeiiingUniversilyofPostandTelecommuni cations,Bei[ing100876China;2.SchoolofInformationEngineering,Y anShanUniversily,Oinhuangdao066004Ch ina;3.KeyLaboratoryforSecurilyandSecrecyofInformation,BeiiingElectronicScienceandTechnologyInstitute ,Beiiing100070ChinalAbstract:BasedonthedefinitionoftextcategorizationandVSM(V ectorSpaceMode1),thisp aperanalyzesthekeypointsofcorrecdycategorizingtexts.Afteranalyzingtheconventionalfeatureselectionmethods,ane wfeatureselectionmethodWasproposed.Experimentresultonamid-sizecorpusWithSupportV ectorMachineshowstheeff ectivenessofthemethod.Keywords:TextCategorization;VSMmodel;HowNet;CategoryConcept.。

一种基于F-Score的特征选择方法

一种基于F-Score的特征选择方法秦彩杰;管强【摘要】原始数据中的冗余特征和不相关特征会使得构建的学习模型复杂度提高,并对模型的性能有负面的影响.对此,提出一种基于Filter和Wrapper特征选择方法的两阶段式特征选择方法.首先以原始数据中特征的F-Score统计值为先验知识,然后结合序列前向搜索策略搜索优化的特征子集,搜索过程中依据分类算法的性能评价所选择的特征组合.采用十折交叉验证进行测试,并分别采用SVM、Logistic Regression、Adaboost分类模型进行对比实验,结果表明,算法能够有效地降低特征维数,并进一步提升算法的性能.【期刊名称】《宜宾学院学报》【年(卷),期】2018(018)006【总页数】5页(P4-8)【关键词】特征选择;F-Score;十折交叉验证【作者】秦彩杰;管强【作者单位】三明学院信息工程学院,福建三明365004;三明学院信息工程学院,福建三明365004【正文语种】中文【中图分类】TP181机器学习的目的是通过利用已有的数据，赋予机器类似于人类的学习和认知能力，从而对未知的输出做出尽可能准确的预测[1].机器学习已经广泛应用在医疗、金融、语音、图像等多个领域.特征选择（Feature Selection,FS）作为机器学习的一项关键技术，能够从原始数据中筛选出有价值的特征子集，降低特征空间维数以及提高学习效果.特征选择方法大致分为过滤式（Filter）特征选择[2]、封装式（Wrap⁃per）特征选择[3]、嵌入式（Embedded）特征选择[4]等.Filter特征选择方法直接利用原始数据集的统计特性对特征进行计量，并根据统计学计量值排序后进行选择.Somasundaram等[5]利用Minkowski距离对特征进行评估，采用穷举搜索法搜索最优特征子集，并结合多类别支持向量机实现入侵检测分类.验证结果表明该方法能够提高入侵检测分类的准确率，并降低错误预警率.Sulaiman等[6]提出了基于互信息的评价准则，并结合前馈贪心搜索策略的特征选择方法.实验结果表明该特征选择方法提高了分类算法的准确率，减少了算法的运行时间.Hegde等[7]采用Fisher比值对12个MFCC（MelFrequency⁃Cepstral Coefficient）系数进行选择，并结合隐马尔可夫模型进行分类.相较于传统方法，该方法在8个MFCC系数时获得最高精确率.Wrapper特征选择方法使用算法的性能作为所选择特征的评价准则，往往可以获得较好的准确度，但是也牺牲了一定的计算效率.Chyzhyk等[8]提出了基于遗传算法的进化式Filter特征选择方法.在遗传算法的搜索过程中，利用十折交叉验证的平均分类精度作为遗传算法的适应度函数，并结合极限学习机模型，基于脑部的MRI图像进行阿尔兹海默症预测分类，获得不错的分类效果.Ahmad等[9]将人工神经网络参数融合在遗传算法中进行特征选择，提高了乳腺癌的检出率.Em⁃bedded特征选择方法将特征选择过程嵌入到分类模型的建立过程中，具有Wrapper特征选择方法的精度，并兼具Filter特征选择方法的效率.BO等[10]提出了基于嵌入式特征选择方法的多层感知器模型，该模型将特征选择集成到模型的训练过程中.基于癌症数据集上，文中所描述的方法与FDR（Fisher dis⁃criminant ratio）+多层感知器以及SVM REF（Recur⁃sive feature elimination）方法相比，具有更好的分类效果与普适性.闫鹏等[11]提出了一种基于Cosine Similarity的Embedded特征选择方法，并将该消极分类方法应用于垃圾邮件过滤.实验结果表明该算法能够降低运算开销，并提高算法的性能.本文提出了一种基于F-Score的特征选择方法.首先，采用Filter选择方法，即利用F-Score对特征进行评价，并以此作为后续搜索的先验知识；接着利用Wrapper特征选择模式，采用序列前向搜索寻找最优特征子集，在搜索过程中直接采用分类效果评价所选的特征子集.算法中采用了支持向量机（Support Vector Machine,SVM）、逻辑回归（Logistic Regression）和Adaboost（Adaptive Boosting）分类模型进行对比实验，并使用十折交叉进行算法验证.1 方法原始数据集中存在的无关特征和冗余特征，不仅会增加算法的复杂度，还会导致算法的精度和运行效率大大降低.特征选择能够识别和移除原始数据集中的冗余特征和不相关特征，减少特征空间维数，降低计算复杂度.评价准则和搜索策略是特征选择的两个研究重点.1.1 基于F-Score的特征评价准则F-Score是度量特征在不同类别间的区分度的一种指标，F-Score值越大，代表该特征在不同类别之间的区分度越强.假设xk代表数据集中的样本（k=1,2,…,N）.n+为正类样本的数量，n-为负类样本的数量，则数据集中第i个特征的F-Score可由计算得到.式中：xˉi表示该特征在整个样本集上的平均值，和表示该特征在正类样本上的平均值，表示该特征在负类样本上的平均值.表示第k个正类样本在第i个特征上的值，表示第k个负类样本在第i个特征上的值.1.2 序列前向搜索序列前向搜索（SFS）是一种常用的启发式搜索方法，其搜索过程简单高效.特征子集S从空集开始，依据某种评价函数，每次迭代都从备选特征集中选择一个使评价值最大的特征，加入特征子集S中.SFS是一种简单的贪心算法.1.3 分类方法本文采用支持向量机（SVM）、逻辑回归（Logis⁃tic Regression）和Adaboost 三种常用的机器学习分类模型.（1）支持向量机：SVM是一种适用于高维以及小样本数据集的分类方法，该方法通过将线性不可分的问题映射到高维空间中，从而转换成线性可分的问题进行求解.SVM的一个重要优势是引入了核函数，因此解决了高维空间中的内积运算问题.本文通过对比，采用径向基函数（Radial Basis Func⁃tion,RBF）作为SVM的核函数.（2）逻辑回归：逻辑回归是一种经典的机器学习方法，算法简单高效，因此在实际中应用非常广泛.利用Sigmoid函数可以将逻辑回归模型转化成二分类模型.假设{X,Y}表示样本的特征向量以及标签，Y的取值为0或者1，表示正类或者负类，X 是m维的样本特征向量.那么样本X属于正类，也就是Y=1的“概率”可以由以下逻辑函数表示：其中：θ代表模型的参数向量，即回归系数，σ表示Sigmoid函数.（3）Adaboost：Adaboost方法的核心思想是通过训练不同的弱分类器，并按照一定的途径将这些弱分类器结合起来，构造一个更强的分类器.在算法每次迭代的过程中，根据每次训练集中样本的分类是否正确，重新调整每个样本的权值，从而改变数据的分布.将权重更新过后的样本集喂给下一个分类器进行训练.多次迭代后得到的弱分类器会按照一定的权重进行融合：加大错误率小的弱分类器的权重，使其在最终的加权投票环节起到较大的决定作用，而降低错误率大的弱分类器的权重，使其在最终的加权投票环节起到较弱的决定作用，最终组合成强分类器.1.4 十折交叉验证交叉验证是一种用于验证机器学习算法有效性及泛化能力的常用方法，其典型模式是k折交叉验证[12].k折交叉验证方法将样本集分成k份，每次选择其中1份用来测试模型的性能，剩下的k-1份用来训练模型.交叉验证重复k次，并将k次的平均交叉验证结果作为最终对模型精度的估计.文中采用了10折交叉验证方法，另外，为了保证最后的测试数据是训练过程中未使用过的，因此在涉及到参数调整的环节，分出1折的验证集用来进行参数调整.1.5 算法性能的评价指标准确率（Accuracy）、召回率（Recall Rate）是信息检索和统计学分类领域中常用的两个度量指标，F1值（F1-Measure）能够综合考虑这两个指标.因此本文采用以上三个指标来度量算法的性能，计算方法如以下公式所示：其中TP代表正确分类为正样本的样本数量，TN代表正确分类为负样本的样本数量，FP代表错误分类为正样本的样本数量，FN代表错误分类为负样本的样本数量.1.6 算法描述假设样本数据集为D=(x1,x2,…,xN)，原始特征集合为F=(f1,f2,…,fd)，本文提出的基于F-Score的特征选择方法具体描述如下：输入：样本数据集D=(x1,x2,…,xN)，其中x i=(x1i,x2i,…,xdi)，特征集合为F=(f1,f2,…,fd).输出：最优特征子集S.Step1：初始化：F←“包含所有特征的初始集合”；已选特征子集S←ϕ.Step2：特征初始评估：对于每一个特征f∈F,基于FScore统计特性对其进行评价，然后根据每个特征的评价值进行降序排序，构成的特征集合记做F′.Step3：第一个特征的选择：找到评价值排序最靠前的特征 fmax，令F′=F′-{fmax}，S=S+{fmax}.Step4：取F′中的下一个特征，如果为空，则算法停止，否则执行下一步.Step5：以分类器的分类效果为判据J，从候选集合F′中以评价值排序为基准选择特征.假设当前已选特征子集St，当前的判据值为Jt，依序从候选集合F′选中特征fi加入St，即St+1=St+{fi}，加入之后所得判据值为Jt+1.若Jt+1＜Jt，则从St+1中删除 fi，并返回上一步.否则，保持加入fi后的特征子集，并更新判据值，返回上一步.Step6：最终所选的特征集合S即为最优特征子集.2 实验结果实验采用Python工具实现，实验过程中选择支持向量机（SVM）、逻辑回归（LR）、Adaboost算法为分类模型，采用十折交叉验证方法验证算法的性能，以分类准确率、召回率以及F1值作为分类算法的评价指标.2.1 数据说明研究所采用的Z-Alizadeh Sani冠心病数据集[13-14]，包含健康者与冠心病患者共303例样本.每例样本包含54个特征指标，包括：病史、体检指标、生化指标、心电图提取特征、超声指标，参照Braun⁃wald[15]在心脏病学一书中提供的对相关特征进行离散化的范围，对数据集特征进行离散化，并进行了数据清洗和规范化等操作.2.2 算法的分类效果对比实验对比性实验以常用的分类模型（SVM、Logistic Regression、Adaboost）为基础，对比了基于原始特征集的分类效果与本文所采用算法的分类效果，结果如图1、2、3所示.从图1、2、3的实验结果可以看出，与原始数据集的分类结果相比，基于同一种分类模型（SVM、Lo⁃gistic Regression、Adaboost）经过特征选择之后，算法的分类性能得到明显提高.以SVM模型为例，在全特征集上的分类准确率、召回率和F1-Measure分别为85.00%、93.66%、89.12%，使用了基于F-Score的特征选择方法之后，分类效果分别提高了4.74%、3.15%、4.02%；以Logistic Regression分类模型为例，使用基于F-Score的特征选择方法之后，分类效果分别提高了2.84%、3.29%、3.18%；以Adaboost分类模型为例，使用基于F-Score的特征选择方法之后，分类效果分别提高了2.20%、3.92%、3.14%.对比结果如表1所示.图1 分类准确度对比结果图2 回归率对比结果图3 F1-Measure对比结果表1 分类性能对比结果—SVM Logistic Regression Adaboost Accuracy85.00%87.33%88.00%Recall 93.66%92.54%91.59%F1-measure89.12%89.73%89.63%Accuracy 89.74%90.17%90.20%F-Score Recall96.81%95.83%95.51%F1-measure 93.14%92.91%92.77%2.3 特征维数约减实验特征选择能够从原始数据中挖掘出有用的特征，从而达到降低模型复杂度，提高模型精确度的目的.表2列出了基于F-Score的特征选择方法在特征维数约减上的表现结果.原始特征维数为54维，经过特征选择之后，所选择的最优特征子集维数明显降低，这对于减少分类模型的参数，降低计算复杂度都有很大的帮助.表2 特征维数约减结果Feature Dimension 54 15 27 28 Feature Selection method—F-Score＋SVM F-Score＋Logistic Regression F-Score＋Adaboost另外，以特征的F-Score为先验知识，刻画了特征子集维数与分类效果之间的对应关系，如图4所示.从实验结果可以看出，特征子集维数达到12时，算法的F1-Measure达到最大值.当特征子集维数再增加时，分类效果反而有所下降，这也从另外一个方面说明了特征选择的重要性.3 总结图4 特征维数与算法性能对应关系本文提出了一种基于Filter和Wrapper特征选择方法的两阶段式特征选择方法.首先采用原始数据集中的F-Score统计特性对特征进行评价，以此作为先验知识，并结合序列前向搜索策略寻找最优特征子集，在搜索过程中采用分类性能评价所选择的特征子集.所提出的算法采用十折交叉验证，分别在SVM、Logistic Regression和Adaboost模型上验证了它的有效性.该特征选择方法能够选择出优化的特征子集，降低数据维数和计算复杂度，进一步提高分类器的性能.参考文献：【相关文献】[1]KOTSIANTIS S B,ZAHARAKIS I D,PINTELAS P E.Ma⁃chine learning:a review of classification and combining tech⁃niques[J].Artificial Intelligence Review,2006,26(3):159-190.[2] LEE H G,NOH K Y,RYU K H.A data mining approach for coronary heart disease prediction using HRV features and ca⁃rotid arterial wall thickness[C].International Conference on Biomedical Engineering and Informatics.2008:200-206.[3] GARG G,SINGH V,GUPTA J R P,et al.Wrapper based wave⁃let feature optimization for EEG signals[J].Biomedical Engi⁃neering Letters,2012,2(1):24-37.[4] GUYON I,ELISSEEFF A.An introduction to variable and fea⁃ture selection[J].Journal of Machine Learning Research,2003,3(6):1157-1182.[5]SOMASUNDARAM R,LAKSHMANAN K,SHUNMUGANAA⁃THAN V K.Minkowski distancebased feature selection algo⁃rithm for effective intrusion detection[J].International Journal of Modern Engineering Research,2014,4(2):46-50.[6] SULAIMAN MA,LABADING J.Feature selection based on mutualInformation[C].International Conference on IT in Asia.2015:1-6.[7] HEGDE S,ACHARY K K,SHETTY S.Feature selection using Fisher's ratio technique for automatic speech recognition[J].In⁃ternational Journal onCybernetics&Informatics,2015,4(2):45-52.[8]CHYZHYK D,SAVIO A,GRAÑA M.Evolutionary ELM wrap⁃per feature selection for Alzheimer's disease CAD on anatomi⁃cal brain MRI[J].Neurocomputing,2014,128(27):73-80.[9] AHMAD F,ISA N A M,HUSSAIN Z,et al.A GA-based fea⁃ture selection and parameter optimization of an ANN in diag⁃nosing breast cancer[J].Pattern Analysis& Applications,2015,18(4):861-870.[10]BO L F,WANG L,JIAO L C.Multi-layer perceptrons with em⁃bedded feature selection with application in cancer classifica⁃tion[J].Chinese Journal of Electronics,2008,15(4):832-835.[11]闫鹏,郑雪峰,朱建勇,等.一种基于嵌入式特征选择的垃圾邮件过滤模型[J].小型微型计算机系统,2009,30(8):1616-1620.[12]SACCENTI E,CAMACHO J.On the use of the observationwise k-fold operation in PCA cross-validation[J].Journal of Chemometrics,2015,29(8):467-478.[13]ALIZADEHSANI R,HABIBI J,HOSSEINI M J,et al.A data mining approach for diagnosis of coronary artery disease[J].Computer Methods&Programs in Biomedicine,2013,111(1):52-61.[14]ALIZADEHSANI R,ZANGOOEI M H,HOSSEINI M J,et al.Coronary artery disease detection using computational intelli⁃gence methods[J].Knowledge-BasedSystems,2016,109(C):187-197.[15]MANN D L,ZIPES D P,LIBBY P,et al.Braunwald's heart dis⁃ease:a textbook of cardiovascular medicine[J].Heart Disease A Textbook of CardiovascularMedicine,2008,294(3):481-511.。

基于类间分散度和类内集中度的文本特征选择。

ＡｂｔａｔＦｅｔｒｅｅｔｎｉｎｆｔｅｋｙｓｅｎｔｘａｅｏｉａｉｎ，ｓｌｃｅｅｔｒｕｓｔｄｒｃｌｌｅｃｓｒｓｌｓｏｅｔｃｔ — ｓｒｃａｕｅｓｌｃｉｓｏｅｏｈｅｔｐｓｉｅｔｃｔｇｒｚｔｏｏｅｅｔｄｆａｕｅｓｂｅｉｅｔｙｉｕｎｅｅｕｔｆｔｘａｅｎｆ
１引言
在文本自动分类过程中，般用空间向量模型来表示一文档并根据其内容以及其属性将其自动地分配到一个或多
使得选择的特征具有较高的代表性，能较好地提高分类系
统的性能。
２相关基础定义
ｇｒｚｔｎＦｉｓｌｏｉａｉ．ｒｔｙ．ｔｉｄｆｆａｕｅｉｆｕｎｃｅｒｅｗｅｅｄｆｄ：ｏｓｔｅｄｓｒｉｎｄｇｅｍｏｇｔｃｔｇｒｅ，ｔｅｉｌｅｃｅｏｗｏｋｎｓｏｅｔｒｎｌｅｅｄｇｅｒｅｉｎｅｎｅｗａｈｉｐｅｓｏｅｒｅａｎｓａｅｏｉｓｈｎｆｕｎｅｄ — ｇｅｈｔｗａａｇｒｗａｅｔｒｒｅｔａｓｌｒｅｓｂｔｅ．Ａｎｈｅｓｔｅｃｎｅｔａｉｎｄｇｅｉａｅｏｙｈｆｕｅｃｅｅｈｔｗａａｇｒｗａｔｅ．Ａｎｈｎ，ｏｔｒｗａｈｏｃｎｒｔｏｅｒｃｔｇｒ，ｔｅｉｌｎｅｄｇｒｅｔａｓｌｒｅｓｂｅｔｒｎｎｄｔｅｔｅｔｉｄｓｏｌｅｃｇｅｒｎｅａｅｒａｃｌｙａｄａｎｗｅｔｒｅｅｔｏｔｏｓｄｓｇｄＴｈｔｏａｎｓｅｔｓｈｗｏｋｎｆｉｕｎｅｄｅｒｅｗｅｅｉｔｇｒｔｄｏｇｎｉａｌｎｅｆａｕｅｓｌｃｉｎｍｅｈｄｗａｅｉｎｅ．ｎｆｅｍｅｈｄｃｎｉｐｃｅ１ｃｅｅｔｅｓｎｈｔａｌＯｔａｈｅｔｒｅｈｔｉｒｅｒｓｎａｉｅｉｏｔｉｅ．Ｓｉｌｔｏｘｅｉｅｔｈｗｈｔｏａｃｒａｎｅ — ｅｔｄｆａｕｒｙｔｅｉｌｙＳｈｔｔｅｆａｕｅｓｔｔａＳｍｏｅｒｐｅｅｔｔｖＳｂａｎｄｃｍｕａｉｎｅｐｒｍｎｓｓｏｔａ，ｔｅｔｉｘｔｎ，ｔｅｆａｕｒｅｅｔｎｍｅｈｏｓａｌｏｉｒｖｅｆｍａｃｆｔｘａｅｏｉａｉｎｅｔｈｅｔｅｓｌｃｉｔｄｉｂｅｔｍｐｏｅｐｒｏｒｎｅｏｅｔｃｔｇｒｚｔ．ｏｏＫｅｏｄｆａｕｅｓｌｃｉｎ，ｔｘａｅｏｉａｉｎ，ｄｓｅｓｏｅｒｅｏｃｎｒｔｏｅｒｅｙＷｒｓｅｔｒｅｅｔｏｅｔｃｔｇｒｚｔｏｉｐｒｉｎｄｇｅ，ｃｎｅｔａｉｎｄｇｅＣｌｓａｓＮｕｍｂｅＴＰ３】ｒ９

基于分类算法的特征选择策略研究

基于分类算法的特征选择策略研究随着机器学习在各个领域的广泛应用，特征选择在机器学习中具有重要的地位。

特征选择是指从原始数据中选择出最具有代表性的特征，并且这些特征能够对目标变量产生较大的影响。

在实际应用中，过多重复或无用的特征不仅会增加机器学习模型的训练时间，在对新数据进行预测时也会影响模型的准确性。

因此，正确选择特征对于建立高效的机器学习模型至关重要。

本文将着重介绍基于分类算法的特征选择策略，并分析其在实际应用中的优缺点。

一、特征选择的基本原则在进行特征选择时，主要依据以下几个原则：1. 特征与目标变量相关性：特征选择的目的是找出与目标变量相关性最高的特征，因此应选择与目标变量相关性较高的特征。

2. 特征之间的相关性：特征之间的相关性越小，说明它们所表示的信息越独立，选择其中一个特征即可代表其余相关特征。

3. 特征的重要性：某些特征所携带的信息量相对较大，对于模型的训练与预测具有重要意义。

基于以上原则，常用的特征选择方法主要包括：过滤式、包裹式和嵌入式方法。

其中，过滤式方法将特征选择视为一个独立的预处理步骤，在模型训练之前就提前进行特征选择；包裹式方法将特征选择视为模型的一部分，在每个模型的训练及预测过程中都进行特征选择；嵌入式方法则将特征选择嵌入到模型训练之中，共同进行学习。

二、基于分类算法的特征选择策略基于分类算法的特征选择方法是通过一系列的分类算法对原始数据集进行分类和特征选择。

该方法主要依据特征分类后对分类结果影响的大小进行特征选择。

分类算法常用的有朴素贝叶斯算法、决策树算法、支持向量机等。

对于朴素贝叶斯算法，其特征选择主要依据条件概率来计算各特征对于分类的贡献，再按其贡献大小进行特征选择。

对于决策树算法，其特征选择主要是计算各特征的信息熵和信息增益，选择信息熵与信息增益较大的特征。

对于支持向量机算法，其特征选择主要是优化模型中的超参数，依据特征的权重信息进行特征选择。

三、基于分类算法的特征选择策略的优缺点基于分类算法的特征选择策略具有以下优点：1. 筛选出相关性更高的特征，有利于提高模型的预测准确率。

基于类别区分度和关联性分析的综合特征选择

基于类别区分度和关联性分析的综合特征选择陈建华;王治和;蒋芸【期刊名称】《计算机工程》【年(卷),期】2012(038)009【摘要】This paper proposes a syntaxic feature selection algorithm based on category discrimination degree and correlation analysis. The algorithm uses discrimination degree to extract the features that reveal larger differences among categories to reduce the sparsity of feature spaces, and emploies correlation analysis of features to measure relativity between features and categories and redundancy among features, so it can acquire the feature subsets which are more representative and have no redundancy between each other. Experimental results show that the proposed algorithm can improve the performance of the classifier effectively.%提出一种基于类别区分度和关联性分析的综合特征选择算法.利用类别区分度提取具有较强类别区分能力的特征词,降低特征空间的稀疏性,通过特征的关联性分析衡量特征与类别的相关性及特征之间的冗余度,选出具有类别代表性且相互之间不存在冗余的特征词.实验结果表明,该算法能有效提高分类器性能.【总页数】4页(P186-188,192)【作者】陈建华;王治和;蒋芸【作者单位】西北师范大学数学与信息科学学院,兰州730070;西北师范大学数学与信息科学学院,兰州730070;西北师范大学数学与信息科学学院,兰州730070【正文语种】中文【中图分类】TP391【相关文献】1.基于类别区分度的文本特征选择算法研究 [J], 易军凯;田立康2.用于中文文本分类的基于类别区分词的特征选择方法 [J], 周奇年;张振浩;徐登彩3.基于区分类别能力的高性能特征选择方法 [J], 徐燕;李锦涛;王斌;孙春明4.一种改进的类别区分词特征选择算法 [J], 李富星;蒙祖强5.基于改进特征子集区分度的行为识别特征选择方法 [J], 王瑞杰;李军怀;王侃;王怀军;商珣超;徒鹏佳因版权原因，仅展示原文概要，查看原文内容请购买。

基于类别一致性的层次特征选择算法

基于类别一致性的层次特征选择算法
张智慧;林耀进;张小清;吕彦
【期刊名称】《闽南师范大学学报:自然科学版》
【年(卷),期】2022(35)4
【摘要】随着数据量的增加,分类问题的规模越来越大,导致层次分类产生特征空间高维性和类别空间不一致性问题.基于此,提出一种基于类别一致性的层次特征选择算法.首先,该算法使用递归正则化,为层次类别的每个内部类学习共同特征.其次,充分利用分层结构,将类别相似性约束在输出标签,分析类别间的输出一致性.最后,对样本特征进行稀疏性学习去除无关特征.该算法可以同时处理具有树结构和有向无环图结构的数据.实验结果表明,与5种层次特征选择算法相比,所提算法在线性支持向量机(LSVM)分类器上的评价指标中都取得较好的结果,有效提高分类性能,验证了算法的有效性.
【总页数】9页(P41-49)
【作者】张智慧;林耀进;张小清;吕彦
【作者单位】闽南师范大学计算机学院;数据科学与智能应用福建省高等学校重点实验室
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于类别区分度的文本特征选择算法研究
2.一种基于类别分布的增量特征选择算法
3.基于K近邻一致性的特征匹配内点选择算法
4.基于类别的特征选择算法的文本分类系统
5.基于层次类别邻域粗糙集的在线流特征选择算法
因版权原因，仅展示原文概要，查看原文内容请购买。

基于关联分析的文本分类特征选择算法

基于关联分析的文本分类特征选择算法
张彪;刘贵全
【期刊名称】《计算机工程》
【年(卷),期】2010(036)022
【摘要】提出一种在选取特征时考虑特征与特征之间联系的算法.对特征词之间的关联关系进行挖掘,找出那些对类别有重要影响的特征词组,而这些特征词组中的每个单词在传统单独打分策略的特征选择算法中很可能会因分值过低而被丢弃.在Ruters21578、20Newsgroup文本数据集上进行实验,将算法与广泛应用的特征选择算法(信息增益、CHI 等)进行对比、分析.实验结果表明该方法是一种有特点、有效的特征选择方法.
【总页数】3页(P184-186)
【作者】张彪;刘贵全
【作者单位】中国科学技术大学计算机科学与技术学院,合肥230027;安徽省计算与通讯软件重点实验室,合肥,230027;中国科学技术大学计算机科学与技术学院,合肥230027;安徽省计算与通讯软件重点实验室,合肥,230027
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于词频信息改进的IG特征选择算法在文本分类中的应用研究 [J], 牛玉霞;
2.基于相关性的文本分类特征选择算法 [J], 刘胜军;刘贵全;陈志华
3.基于交互作用的文本分类特征选择算法 [J], 唐小川;邱曦伟;罗亮
4.基于词频信息改进的IG特征选择算法在文本分类中的应用研究 [J], 牛玉霞
5.基于文本分类的Fisher Score快速多标记特征选择算法 [J], 汪正凯;沈东升;王晨曦
因版权原因，仅展示原文概要，查看原文内容请购买。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第３８卷
Ｖｏ．８１３
・
第９期
Ｎｏ．９
．
计
算
机
工
程
２１０２年５月
Ｍａ０１ｙ２２
ＣｏｍｐｕｅｇｉｅｉｔｒＥｎｎｅｒｎｇ
人工智能及识别技术・
文章编号：ｏ＿４８０２争－１６文献标１０．２（１０＿８－３３２）０．识码：Ａ
ａｄｅｌｉｓｃｒｅａｉｎａｌｓｓｏａｕｅｏｍｅｓｒｅａｉｔｅｗｅｎｆａｕｅｎｄｃｔｇｏｉｓａｄｒｄｎａｃｍｏｇｆａｕｅ，ＯｉｃｎａｑｉｎｍｐｏｅｏｒｌｔｏｎａｙｉｆｆｔｒｓｔａｕｅｒｌｔｙｂｔｅｅｔｒｓａａｅｒｅｎｅｕｄｎｙａｎｅｔｒｓＳｔａｃｕｒｅｖｉｅｔｅｆａｕｅｓｂｅｓｈｅｔｒｕｓｔｗｈｃａｅｍｏｅｒｐｅｅｔｔｅａｄｈｖｏｒｄｎａｃｂｔｅｅｃｔｅ．Ｅｘｅｉｅｔｌｒｓｌｈｗｈｔｔｅｐｏｏｅｉｈｒｒｅｒｓｎａｉｎａｅｎｅｕｄｎｙｅｗｅｎａｈｏｈｒｖｐｒｍｎａｅｕｔｓｏｔａｈｒｐｓｄｓ
ＤＯＩ１．９９．ｓ．０．４８２１．９０６：０３６／ｉｎ１０３２．０２０．５ｊｓ０
ｌ概述
文本自动分类是指在预先给定的类别标记集合下，根据待分类文本的内容对其类别归属进行判定的过程。文本特征向量的高维性及数据的稀疏性是文本分类的瓶颈，文本特征降维技术是文本自动分类的核心技术。目前常用的特征降维方法有特征选择和特征抽取。特征选择指的是在不同数据质
量要求下选取那些符合要求且彼此之间相关联程度较小的最
征而导致的性能下降问题。
本文提出一种综合的特征选择算法。首先利用类别区分
度提取出有强类别区分能力的特征词，再通过特征的关联性
分析、衡量特征词与类别之间的相关性，即先保证已选特征
与类别的关联性最强，然后计算其他特征与已选特征之间的关联性，当某个特征与已选特征有很高的相关度，即使该特征与类别具有很强的关联性，本文算法也不会将其选入特征
ａｇｒｔｍａｍｐｏｅｔｅｐｒｏａｃｆｔｅｃａｓｆｅｆｅｔｅｙｌｏｉｈｃｎｉｒｖｅｆｒｎｅｏｈｌｓｉｒｅｃｉｌ．ｈｍｉｖ
［ｙｗｒｓｅｔａｅｏｉａｏ；ｅｔｒｅｅｔｎｃｒｌｔｎａａｙｉｃｔｏｉｒｎｔｎｄｇｅ；ｅｅａｔｎｅｅｄｎｅｅｒｅＫｅｏｄ］ｔｘｔｇｒｔｎｆａｕｅｓｌｃｉ；ｏｅａｉｎｌｓ；ａｅｒｄｓｉａｉｅｒｅｒｌｖｎｄｐｎｅｃｇｅｃｚｉｏｏｓｇｙｃｍｉｏｉｄ
（ｏｌｇｆｔｅｔｓｎｆｒｔｎＳｉｃ，ｒｗｅｔｒａＵｉｅｓｙＬｎｈｕ７０７，ｉａＣｌｅｈｍａｉｄＩｏｍａｉｃｅｅＮｏｔｓＮｏｌｎｖｒｉ，ａｚｏ３００Ｃｈｎ）ｅｏＭａｃａｎｏｎｈｍｔ
［ｂｔｃ］ＴｉｐｐｒｒｐｓｓｙｔｉｆｔｒｓｌｔｎａｏｉｍｂｓｎｃｅｏｙｄｃｉｉｔｎｄｇｅａｄｃｒｌｉｎｌｉＴｅＡｓａｔｈａｅｐｏｅａｓｎｘａｅｅｃｏｌｒｈａｄｏａｇｒｉｒｎｉｅｒｎｏｒａｏａａｓ．ｈｒｓｏａｃｅｕｅｉｇｔｅｔｓｍａｏｅｅｔｎｙｓ
中圈分类Ｔ３１号：Ｐ９
基于类别区分度和关联性分析的综合特征选择
陈建华，王治和，蒋芸
（北师范大学数学与信息科学学院，兰州７０７）西３００
摘
要：出一种基于类别区分度和关联性分析的综合特征选择算法。利用类别区分度提取具有较强类别区分能力的特征词，降低特征空提
间的稀疏性，通过特征的关联性分析衡量特征与类别的相关性及特征之问的冗余度，出具有类别代表性且相互之问不存在冗余的特征词。选
实验结果表明，该算法能有效提高分类器性能。
关健诃：文本分类；特征选择；Байду номын сангаас联性分析；类别区分度；相关独立度
ＳｔｘｃＦｅｔｅＳｅｅｔｏｓｄ０ｙｎａｉａｕｒｌｃｉｎＢａｅｎ
ＣａｅｏｙＤｉｃｉｎｔｏｇｅｎｒｅａｉｎＡｎｌｓｓｔｇｒｓｒｍｉａｉｎＤｅｒｅａｄＣｏｒｌｔｏａｙｉ
ＣＨＥＮａｎ．ＪｉｈｕａＷＡＮＧ．ＺｈｉｈｅＪＡＮＧ．。ＩＹｕｎ
ａｇｒｔｍｓｓｄｓｒｍｉａｉｎｄｇｅｏｅｔａｔｔｅｆａｕｅｈｔｅｅｌａｇｒｄｆｅｅｃｓａｎａｅｏｉｓｔｅｕｅｔｅｓａｓｔｆｆａｕｅｓａｅ，ｌｏｉｈｕｅｉｃｉｎｔｅｒｅｔｘｒｃｈｅｔｒｓｔａｖａｒｅｉｒｎｅｍｏｇｃｔｇｒｅｏｒｄｃｈｐｒｉｏｅｔｒｐｃｓｏｒｌｙ