文本分类中特征提取方法的比较改进

第 ４步 ： 利用凝聚的层次法聚类算法对每个模
式进 行 聚类 （ 一 行表 示 一个 模 式 ） ． 将 欧 氏距 离 小 于 一定 阈值 的模式 进行 聚类 ． 第 ５步 ： 重 新计 算 每个 特征 项 的 Ｃ Ｈ Ｉ 值， 根 据 Ｃ ＨＩ 值 大小选 择前 Ｌ 个特 征项 ．
第１ 步： 利用公式 （ １ ） 计算 每个类别中的所有
特征的 Ｃ Ｈ Ｉ 值．
文档频 率 ； Ｄ为 不 包 含 于类 别 ｃ 也 不 具 有 特 征项 ｔ
的文档 频 ； Ⅳ为 训练 文本 中文 档 总数量 ．
第 ２步 ： 按 Ｃ Ｈ Ｉ的值 将 特 征 进 行 由高 到 底 的 排序 ， 选 取其 中前 个特 征 ， 这 样会 得 到有 Ｍ 个 模
２ ． ２ 仿 真实验
全局统计量 ， 并设定一个 阈值 ， 选取高于阈值的词
条作 为 特征项 ．
２ 改 进 的 文 本 特 征 提 取 方 法 及 其 仿
真 分 析
在 统 计 法 中 ， 特 征 和类 别 的相 关 性 是 有 正 负两 种情 况 ： 当Ａ Ｄ —Ｃ Ｂ ＞０ ， 特 征 和类 别 正 相 关 ；
负相 关性 的方 法 ， 即 相关 系数 法 ： 认 为 选 取 与类 别 正相关 的特征项 可 以得 到较好 的分 类结果 ． 但 是这 个 作 用对 分类效 果 的影 响并不 明显 ， 于是 就得 到 了
统计 法 的改进形 式 ．
＝ｓ ｉ ｇ ｎ （ Ａ Ｄ —Ｃ Ｂ）＋
Ｄ Ｆ （ Ｄ ｏ ｃ ｕ ｍ ｅ ｎ ｔ Ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ） 文档频率 ， 是 指含 有 该特 征 的文本 在训 练集 中出现次 数 的总 和． 文 本包 含特 征有 两个 方 面的含 义 ， 一是 特征 在该 文本 中出 现， 二 是 出现 的次 数 被 忽 略 ． 这 该 方 法 中选 取 Ｄ Ｆ
式 的特 征矩 阵．
利 用 统计 法在 进 行特 征提 取 时对 于 任意类 别 中出现 的词频 高 的特征 ， 认 为对类 别 的判 断都 有
第 ３步 ： 首先 利 用公 式 Ａ ＝ ／ （ ｍ ａ ｘ—ｍ ｉ ｎ ） 将 各个模 式 的 改进 统 计 量 进 行 处 理 ， 使 该 统 计 量处 在 ［一１ ， １ ］ 之间， 然 后 根据 这 个 值 比较 每 个模 式对 各个 分类 的影 响 比例是 否一致 ．
ｐ ｏ ｒ ｔ Ｖ ｅ ｃ ｔ ｏ ｒ Ｍａ ｃ ｈ ｉ ｎ ｅ ， Ｓ Ｖ Ｍ） Ｊ ． 文 本 分 类 性 能 的评
Ｉ Ｇ （ ｔ ）＝ 一∑ｐ （ ｃ ） ｌ ｏ ｇ ｐ （ Ｃ ｉ ）＋ ｐ （ ） ∑（ ｃ Ｉ
ｔ ） ｌ ｏ ｇ ｐ （ ｃ Ｉ ｔ ） ＋ ｐ （ ） ∑ ｃ ｆ Ｉ ｔ ） ｌ ｏ ｇ ｐ （ ｃ ） ． （ １ ）
评 估结 果提 取适合 的特征 ． 目前在 特征 提取 中常用 的方法 有 ： Ｉ Ｇ（ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｇ ａ ｉ ｎ ） 信息增益 ， ＭＩ （ Ｍ ｕ —
收 稿 日期 ： ２ ０ １ ３ － ０ ３ － ２ ８
Ｍ Ｉ 方法把 相关性 高 的特征 也就 是 互 信息 值较
中， 利用式 （ ３ ） 计算 统计值 时， 分子 Ｎ Ｘ（ Ａ Ｄ—
ｃ ） 使 得特 征 与类别 的 正相关 能 力与 负相 关 能力 被 同 等对 待 ， 但 在 实 际分 类 中特 征 与 类 别 的正 、 负 相 关 能力 对分 类结果 的影 响是 不 同 的 ． 在 文献 ［ ３ ］
ｒ
、
将 基 于改进 统计 量 和模式 聚合 方 法 的文 本 特 征提 取方 法基 本步骤 描述 如下 ．
式 中， Ａ为 包含 于 类 别 ｃ同 时具 有 特 征 项 ｔ 的 文档频 率 ； Ｂ为具 有 特 征 项 ｔ 但 不 包含 于类 别 ｃ的
文档频 率 ； Ｃ为包 含 于类 别 ｃ 但 不 具 有特 征 项 ｔ 的
贡献． 当ｔ 与ｃ 相互独立时 ， ＝ ０ ； 若 的值越大， 说明特征 ｔ 与类别 ｃ 的相关程度越高． 文本类别受
特征 ｔ 的影 响越 大 ； 反之 ， 文本 类 别受 特征 ｔ 的影 响 越小 ． 为了将 该方 法 推 广 到 所 有 类 别 时 ， 一 般 取 每 个类 别对 应 词条 的 统计 量 的最 大 值 作 为 该 词 条 的
摘要 ： 介绍 了Ｉ Ｇ（ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｇ ａ ｉ ｎ ） 信 息增 益 ， ＭＩ （ Ｍｕ ｔ ｕ ａ ｌ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ） ｇ － ４ ￥息值 ， Ｃ Ｈ Ｉ （ 统计 法） 、
Ｄ Ｆ （ Ｄ ｏ ｃ ｕ ｍｅ ｎ ｔ ￣ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ） 文档 频 率 ４种 常用 的文本特 征提 取 方 法 ， 然后 针 对 Ｃ Ｈ Ｉ 方 法提 出 了改进 方法， 并对 改进 的方 法进 行 了实验 分析 ， 结果表 明改进的 方法提 高 了文本 分类的 正确 率．
Ｉ Ｇ（ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｇ ａ ｉ ｎ ） 信 息 增 益 通 过 统 计 每 个 类别 中特 征 出现 的 次数 来 表 示 训 练集 上 该 特 征 的
分布情况． 其计算公式如下
特征提取所做的工作就是分析待分类文本中的词 ，
找 出有用 的作 为特 征 词 ， 剔 除 那 些无 用 的词 和 “ 噪 声” 词， 以提 高 分 类 的效 率 和 分 类 的精 度 ． 常 用 的 文本 分类 算 法 有 ： 朴 素 贝 叶斯 算 法 ＿ ２ Ｊ 、 Ｋ近邻 （ Ｋ Ｎ ｅ ａ ｒ ｅ ｓ ｔ Ｎ ｅ ｉ ｇ ｈ ｂ ｏ ｒ ， Ｋ Ｎ Ｎ） 以及支 持 向量机 （ Ｓ ｕ ｐ ．
验使用 １ ９ ９ ６ 年到 ２ ０ ０ １ 年 的文本作为具体 的研究
对象 ， 其中９ １ ３ １ １ ８个 文 本 作 为训 练 样 本 ， １ ８ １ ８ ６ ３ 个文 本作 为测试 样本 ． 在 实验 中 ， 从 中抽 取 关 于 社 会、 娱乐 、 经济 、 国内体育 和 国际体 育 的文章 进行 分 析， 如 表 １所示 ． 本文设 计 了 ３个 实 验 ， 实 验 １是对
当Ａ Ｄ —Ｃ Ｂ＜０ ， 特 征 和类 别 负 相 关 ． 而在 １ ． ４节
在实 验 中 ， 选取 了《 读 者 新 闻》 数 据 库 作 为
研究 对象． 《 读 者新 闻》 数据库含有从 １ ９ ８ ７年 到
２ ０ ０ １ 年 的读 者新 闻 ， 总共 ２ １ ９ ０ ５ ２ １篇 文 章 ． 本 实
（ ， ｃ ） ＝
Ｃ Ｈ Ｉ ｉ ＝ｍ ａ ｘ ｛ ｌ ｊ Ｊ ， Ｉ 壶Ｊ ， …， Ｊ Ｉ ｝ ．
２ ． １ 基于 改进 统 计 量 和 模 式聚 合 方 法 的 文本 特 征 降维方 法
（ 二 旦 ） ：
（ ＋Ｃ ） （ Ｂ＋Ｄ） （ Ａ＋ ） （ Ｃ＋ Ｄ ） 。
值高的特征 ， 这样可以保证选取的特征具有这样的
特点 ： 在训 练集 上 出现 的次 数较 多并 且有 一定 的影
响力 ．
（ Ａ ＋Ｃ ）×（ Ｂ＋Ｄ）Ｘ（ Ａ ＋Ｂ）×（ Ｃ ＋Ｄ）‘ （ ４ ）
一
Ⅳ ×ｆ ＡＤ — Ｃ Ｂ）
般特 征 的 Ｃ Ｈ Ｉ 值 为该 特 征 对所 有 类 别 的
１ ． ２ Ｍｌ （ Ｍｕ ｔ ｕ ａ ｌ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ） 互信 息值
估是 由准确率和召回率这两个指标来决定的， 文中
对 特征提 取方 法 中 的 统 计 法 进 行 了改进 ， 有 效 提 高 了分 类 的准确率 ．
１ 特征 提 取
在 进行 特征提 取 时 ， 首先 利用 向量 空间模 型将
中指 出 ： 特 征 的重要 性主 要 由特征 与类 别 的正 相关
ＭＩ （ Ｍ ｕ ｔ ｕ ａ ｌ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ） 互 信息 值 ， 它 提取 特 征 的方法是 计算 特征 ｔ 和类 别 ｃ之 间 的相关 性 ， 相关
性高的特征 比较重要． 其计算公式如下
ＭＩ （ Ｃ ｉ ｌ ｏ ｇ ． （ ２ ）
文本从样本空间映射到特征空间 ， 然后在特征空间 利用特征评估 函数对每个特征进行评估 ， 最后根据
１ ． １ Ｉ Ｇ（ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｇ ａ ｉ ｎ ） 信 息增 益
分类过 程 主要 由 ５个 方 面 的 内容 组成 ， 分别是 ： 文 本 预处 理 、 文本表示 、 文 本特 征选取 、 文本 分类 算法 和文 本分 类 性 能 评 估 ¨ Ｊ ． 文 本 预 处 理 是 指 在 文 本 分类 过程 中除 去待 分 类 文本 中和 分类 任 务 无 关 内 容 的过程 ． 目前 在文 本表示 中应 用 比较 广泛 的模 型 是 向量空 间模 型 （ Ｖ ｅ ｃ ｔ ｏ ｒ Ｓ ｐ ａ ｃ ｅ Ｍｏ ｄ ｅ ｌ ， Ｖ Ｓ Ｍ） ． 文本
关 键词 ： 文 本分 类 ； 特征提 取 ， 统 计量
中 图分 类号 ： Ｔ Ｐ ３ ９ １
文献标 志码 ： Ａ
分 类是 对信息 利用 的前 提条件 ， 因此 文本 分类
方法 的研究 便成 为现在 的一 个重要 研究 方 向． 文本
ｔ ｕ ａ ｌ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ） 互信 息值 ， Ｃ Ｈ Ｉ （ 统 计法 ） 、 Ｄ Ｆ （ Ｄ ｏ ｃ ｕ ｍｅ ｎ ｔ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ） 文档频率 ， 下 面对 这 ４种 方 法 分别进 行介 绍 ．
１ ． ４ Ｃ ＨＩ （ 统计 法 ）
统计量的平均值或最大值． 在改进 的 统计量上 ，
规 定词 条 的 Ｃ Ｈ Ｉ 值 为
统计法通过衡量特征 ｔ 和类别 Ｃ 之间 的相
关程度 来 说 明特征 的重 要程度 ． 其 前 提条件 是 假定
ｔ 和ｃ 之 间 的关 系满足 一 阶 自由度 的 分布 ， 即
第２ ０卷 第 ５期 ２ ０ １ ３年 １ ０月
文章编号 ： １ ０ ０ ９— ２ ２ ６ ９ （ ２ ０ １ ３ ） ０ ５— ０ ０ ２ ２— ０ ３
兰州 工 业 学 院学 报
Ｊ ｏ ｕ ｎａ ｒ ｌ ｏ ｆ Ｌ ａ ｎ ｚ ｈ ｏ ｕ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
wk.baidu.com
Ｖｏ ｌ ＿ ２０ Ｎｏ ． ５
０ ｃ ｔ ． ２ ０ １ ３
文 本 分 类 中特 征提 取 方 法 的 比较 改 进
王 娟
（ １ ． 兰州理工 大学 计算机 与通信学 院， 甘肃 兰卅Ｉ ７ ３ ０ ０ ５ ０ ； ２ ． 兰州工业学 院 软件工程学 院， 甘肃 兰州 ７ ３ ０ ０ ５ ０ ）
该值的大小说明 了特征 的分布情况 ， 值越 大，
分 布越均 匀 ， 该 特 征 越 有 可 能 出现 在 较 多 的类 别
中， 在训练 集上 的分 布也就 越集 中 ， 反 之则相 反 ． 由 于分 布集 中 的特 征 比较重 要 ， 所以 Ｉ Ｇ方 法 提取 Ｉ Ｇ 值较 高 的特征 ．
大 的文本作 为特 征文本 ．
作者简 介 ： 王
娟（ １ ９ ８ １ － ） ， 女， 甘肃景泰人 ， 讲师 ， 硕士生
第 ５期
王
娟： 文本分 类中特征提取方法的 比较改进
・２ ３・
１ ． ３ ＤＦ （ Ｄ ｏ ｃ ｕ ｍｅ ｎ ｔ Ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ） 文档频 率