基于信息熵的改进TFIDF特征选择算法

周炎涛 ， 唐剑波 ， 王家琴 ： 基于信息熵的改进 ＴＦＩＤＦ 特征选择算法 Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用 差 ， 对 分 类 贡 献 越 小 ， 所 以 在 传 统 的 ＴＦＩＤＦ 特 征 选 择 方 法 中 ， 词条的权值与词条频率成正比 ， 与文档频率成反比。 这个方法存在着明显的不足之处： 它受训练集的影响较 大， 对于文档频率， 只考虑了包含某个词条文档数绝对量的多 少 ， 并没有考虑这些文档在每个类中的分布情况。这样就会将 文档数量稍多但基本都在同一个类中的一些重要词条忽略 ， 而 将文档数量虽少但在各类中分布均匀的词条当作特征词条 ， 这 例如 ： 在 类词条通常区分度是较低的 ， 对分类的贡献应该不大。 某个训练集中有财经、 科技、 军 事 三 个 类 ， 文 档 总 数 是 ３０ ， 其 中 ： 股市、 军舰、 启动、 指数四个词条的分布如表 １ 所示 ：
而分母是不能等于零的， 所以继续改进这个函数， 在分母上加 上一个极小值 ０．０１ 。这样又出现另一个问题 ， 假如计算出的信 息熵小于 ０．０１ ， 甚至比 ０．０１ 的数量级更小 ， 那 么 起 主 要 影 响 的 不是信息熵 ， 而是 ０．０１ 。所以加上一个固定的极小值是不可取 的 ， 必须修改这个方法。可以先根据词条文档的数量计算出词 条信息熵的次小值， 然后在分母上加上这个次小值， 因为除了 信息熵的最小值 ０ 以外， 对于词条的任何其它分布， 信息熵都 是小于这个值的 ， 所以能避免以上情况的发生。 由上述词条信息熵的定义， 假设包含词条 ｋ 的文本数为
ｎｋ， 而 分 类 系 统 中 的 类 别 数 为 ｃ ， 则 对 于 词 条 ｋ 的 所 有 分 布 ， 当
所有的文本分布在同一个类中 ， 信息熵取最小值为零 ； 当所有的 文本平均分布在所有类中时 ， 信息熵取最大值为－
从计算的权值结果可以看出 ： 即使股市在文本中出现的次 数是指数出现次数的 １０ 倍 ， 其权值还是小于指数的权值 ， 但从 词条的分布情况看， 包含股市这个词条的文本很可能是属于 财经类的， 而包含词条指数的文本根本就无法区分应该属于 那个类， 因此在计算特征词条的权重时， 应改将词条文档在 分类系统中的分布考虑进去， 这才符合实际情况， 传统的方 法 没 有 考 虑这一点 ， 那 么 通 过 这 种 方 法 进 行 的 特 征 选 择 会 造 成分 类 不 精 确 。 基 于 上 述 原 因 ， 本 文 对 传 统 ＴＦＩＤＦ 方 法 进 行 了 改 进。
。特征选择的精确性对文本分类的训练时间、 分
类准确性有着重要的影响 ， 因此特征选择是文本分类准确率和 效率的关键。 在文本分类中使用较多的特征选择方法包括文档 频率 （ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ） 、 互信 息 （ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ） 、 信息
基金项目 ： 国家自然科学基金 （ ｔｈｅ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ ｕｎｄｅｒ Ｇｒａｎｔ Ｎｏ．５０６７７０６９） 。 作者简介 ： 周炎涛 （ １９６３－ ） ， 男 ， 教授 ， 博士 ， 主要研究方向为计算机应用、 数据挖掘、 网络安全等领域 ； 唐剑波 （ １９８０－ ） ， 男 ， 硕士 ， 主要研究方向为数 据挖掘、 网络安全 ； 王家琴 （ １９８１－ ） ， 女 ， 硕士研究生 ， 主要研究方向为语义网。
单词频度分布表
启动 军舰 指数
１３ １ ０
８ ７ ７
０ ０ ３
１ １ １
４
即：
改进 ＴＦＩＤＦ 方法
本 文 在 传 统 ＴＦＩＤＦ 函 数 的 基 础 上 乘 上 一 个 信 息 熵 因 子 ， （ ｄ） ＝ｆ （ ｔｆ（ （ ｄｆ （ ｄ） ） × （ Ｉ（ # Ｗｉｋ ｇ ｋ ｄ） ） × ｋ ｐ） ）
１． 湖南大学 电气与信息工程学院 ， 长沙 ４１００８２ ２． 海军工程大学 信息与电气学院 ， 武汉 ４３００３３ １．Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｃｈａｎｇｓｈａ ４１００８２ ， Ｃｈｉｎａ ２．Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ， Ｎａｖａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｈａｎ ４３００３３ ， Ｃｈｉｎａ Ｅ－ ｍａｉｌ： ｙａｎｔａｏ＿ｚ＠ｈｎｕ．ｃｎ ＺＨＯＵ Ｙａｎ － ｔａｏ ， ＴＡＮＧ Ｊ ｉａｎ － ｂｏ ， ＷＡＮＧ Ｊ ｉａ － ｑｉｎ．Ｉｍｐｒ ｏｖｅｄ ＴＦＩＤＦ ｆｅａｔｕｒ ｅ ｓｅｌｅｃｔｉｏｎ ａｌｇｏｒ ｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｎｆｏｒ ｍａｔｉｏｎ ｅｎ－ （ ３５） ： １５６－ １５８． ｔｒ ｏｐｙ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒ ｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００７ ， ４３ Ａｂｓｔｒ ａｃｔ ： Ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ｔｅｘｔ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｆｆｅｃｔｓ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｇｒｅａｔｌｙ． Ｄｕｅ ｔｏ ｔｈｅ ｄｅｆｉｃｉｅｎｃｙ ｏｆ ｔｒａｄｉ－ ｔｉｏｎａｌ ＴＦＩＤＦ ｗｉｔｈｏｕｔ ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｆｅａｔｕｒｅ ｗｏｒｄｓ ａｍｏｎｇ ｃｌａｓｓｅｓ， ｔｈｅ ｐａｐｅｒ ａｎａｌｙｚｅｄ ｔｈｅ ＴＦＩＤＦ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ， ａｎｄ ｐｒｏｐｏｓｅｄ ａ ｎｅｗ ＴＦＩＤＦ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ｃｏｎｃｅｐｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｒｏｐｙ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｍｅｔｈｏｄ ｉｓ ｖａｌｉｄ ｉｎ ｉｍｐｒｏｖｉｎｇ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ． Ｋｅｙ Ｗｏｒ ｄｓ： ｗｏｒｄｓ ｉｎｆｏｒｍａｔｉｏｎ ｅｎｔｒｏｐｙ； ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ； ＴＦＩＤＦ； ｄａｔａ ｍｉｎｉｎｇ
１
源自文库
引言
文本分类是指在给定的分类体系下 ， 根据文本的内容自动
确定文本类别的过程 ， 它是文本挖掘的重要组成部分。随着网 络技术的高速发展， 网页的数量成几何速度增长， 如何有效的 处理和高效的搜索这些信息是一个越来越重要的课题 ， 这就给 文本分类提供了新的发展平台 。 文本分类的方法较多 ， 其中普 遍使用的是向量空间模型 （ ＶＳＭ ） ， 用向量 （ !１， !２， … ， !ｎ） 来 表 示文本 ［２］。 文本分类大致可以分为以下四个步骤 ： 文本的预处理 ， 文 本的向量空间模型表示 ， 文本特征选择和分类器的训练。数量 巨大的训练样本和过高的向量维数是文本分类的两大特点 ， 而 这些高维的特征集对分类学习不全是重要和有效的 ， 同时这些 高维的特征集会加重计算的负担。 所以需要对文本信息进行预 处理， 过滤一些无关的属性， 以降低文本向量空间的维数并减 少无关信息对文本信息处理过程的干扰 ， 使文本信息处理的精 度得到提高
［３， ４］ ［１］
Ｆｒｅｑｕｅｎｃｙ） 等 ［５－ ８］。本文对传统的 ＴＦＩＤＦ 特征选择算法进行了分
析 ， 利用词 条 信 息 熵 对 ＴＦＩＤＦ 方 法 进 行 改 进 ， 提 出 了 一 种 新 的 基于 ＴＦＩＤＦ 的 特 征 选 择 算 法 。 实 验 结 果 表 明 ， 使 用 修 改 后 的
表１
股市 财经 科技 军事
２００７ ， ４３ （ ３５ ）
１５７
分 布 为 Ｐ， 则 词 条 δ 的分布熵就是 Ｉ （ Ｐ） ， 其 中 Ｐ＝ （ ｄ１ ／ｎ ， ｄ２ ／ｎ ， … ， ｄｋ ／ｎ ， ） 。 例如： 在表 １ 中， 词条 “股市” 的分布熵为 Ｉ （ Ｐ） ＝Ｉ （ １３／１４ ， １／ “指数” 的分布熵等于 Ｉ （ Ｐ） ＝Ｉ （ １／４ ， ２／４ ， １／４） ＝ １４ ， ０） ＝０．３８９ ， 词 条
１５６
２００７ ， ４３ （ ３５ ）
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用
基于信息熵的改进 ＴＦＩＤＦ 特征选择算法
周炎涛 １， ２， 唐剑波 １， 王家琴 １
ＺＨＯＵ Ｙａｎ－ ｔａｏ１， ２， ＴＡＮＧ Ｊｉａｎ－ ｂｏ１， ＷＡＮＧ Ｊｉａ－ ｑｉｎ１
ＴＦＩＤＦ 特征选择方法后 ， 分类的效果比使用传统的 ＴＦＩＤＦ 特征
选择方法要好， 大多数类的精确度和召回率都有不同程度的 提 高。
２
ＴＦＩＤＦ 特征选择
ＴＦＩＤＦ 是 向 量 空 间 模 型 中 经 典 的 特 征 权 值 函 数 ， 目 前
ＴＦＩＤＦ 的变种公式较多 ， 但基本上都可以表示成词条频率与文
假定某被测文档 ｄ 中股市和指数两个词条出现的次数都 为 ２ ， 根据常用的 ＴＦＩＤＦ 公式 ［９］： （ ｔｆｉｋ（ ｄ） ｌｏｇ （ ｄ） ＝ Ｗｉｋ
ｎ
Ｎ ＋０．０１） ｎｋ Ｎ ＋０．０１） ｎｋ
其 中 Ｉ（ （ Ｉ（ ｋ ｐ） 表 示 词 条 ｋ 的 信 息 熵 ， # ｋ ｐ） ） 是 信 息 熵 因 子 ， 根 据 上面的分析 ， 词条分布越均匀 ， 分类的不确定性越大 ， 则熵也越 （ Ｉ（ 大， 该词条的特征值就应该越小， 所以首先设 # ｋ ｐ） ） 为 信 息 熵的倒数 ， 即 # （ Ｉ（ ｋ ｐ） ） ＝
摘 要 ： 特征的选择对文本分类的精确性有着非常重要的影响。针对传统的 ＴＦＩＤＦ 没有考虑特征词条在各个类之间的分布的不
足 ， 对 ＴＦＩＤＦ 特征选择算法进行了深入的分析 ， 并结合信息熵的概念提出了一种新的 ＴＦＩＤＦ 特征选择算法。实验结果表明 ， 改进 后的算法可以有效地提高文本分类的精确度。 关键词 ： 词条信息熵 ； 特征选择 ； ＴＦＩＤＦ； 数据挖掘 （ ２００７） ３５－ ０１５６－ ０３ 文章编号 ： １００２－ ８３３１ 文献标识码 ： Ａ 中图分类号 ： ＴＰ３０１．６ （ Ｉｎｆｏｒｍａｔｉｏｎ Ｇａｉｎ） 、 （ ＣＨＩ） 、 期望交叉熵 （ Ｃｒｏｓｓ Ｅｎ－ 增益 ｘ： 统 计 文本证据权 （ Ｔｈｅ Ｗｅｉｇｈｔ Ｏｆ Ｅｖｉｄｅｎｃｅ Ｆｏｒ Ｔｅｘｔ） 、 优势 ｔｒｏｐｙ） 、 率（ Ｏｄｄｓ Ｒａｔｉｏ） 和 ＴＦＩＤＦ （ Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ
１．５ 。
从以上定义及其计算可以得出一个结论 ： 包含某个词条的 文档分布越均匀 ， 其熵越大 ， 越不能表达文本的真实内容 ， 对分 类贡献也越小 ， 越不能作为特征值。既然词条分布熵反映了词 条文档 在 各 类 之 间 的 分 布 均 匀 程 度 ， 而 ＴＦＩＤＦ 方 法 又 受 词 条 文档在训练集中各类之间的分布的影响较大 ， 没有考虑到词条 分布情 况 ， 所 以 词 条 信 息 熵 可 以 很 好 地 弥 补 ＴＦＩＤＦ 函 数 的 不 足。可以把两者结合起来加以考虑。
由于在同一文档中， 分母的值是相等的， 设其为 β （ β ＞０） ， 则 计 算的权值如下 ： 股市 ： Ｗ 股 市 （ ｄ） ＝ 指数 ： Ｗ 指 数 （ ｄ） ＝
"
（ !
ｋ＝１
２ ｔｆｉｋ（ ｄ） ） × ｌｏｇ（
２
１ 。 但是由于信息熵最小可以取零 ， Ｉ（ ｋ ｐ）
０．１６６ ! １．７５ !
档频率的函数 ， 即 ： （ ｄ） ＝ｆ （ ｔｆ （ ｄ） ） × （ ｄｆ （ ｄ） ） Ｗ ｇ 其中 ｔｆ （ ｄ） 指词条频率 ， 表示词条 ｄ 在文本中出现的次数。 （ ｄ） ｄｆ 指文档频率， 表示词条 ｄ 在整个文档集中出现的文档数， 通常 词条在文中出现的次数越多， 则表明词条越能表达文档的内 容； 另外词条在文档集出现的文档数越多， 则词条的区分度越