基于LSI和SVM的文本分类研究

Ｌ Ｉ ｏ ｉｅ ｎ ａ ｅｔ ｅｇ ｂ ｒ（ Ｓ ｍｂｎ ｄＫ— ｅ ｒｓ ｎ ｉｈ ｏ ＫＮＮ） ｂ ｔ ｒｐ ｒ ｒ ｎ ｅｉ ａ ｈ ｉ ｅ ． ｔ ｈ ｗｓ ａ ｈ ｌ ｔ ｅｎ ｍｂ ｒ ｆ ａｅ ｏ ｅ ｌ ａ ｄｔ ｅｃ ｔ ｏ ｅ ｃ ， ｅｔ ｅ ｏ ｍａ ｃ ｃ ｅｖ ｄ Ｉ ｓ ｏ ｔ ｉ ｕ ｅ ｔｇ ｒ ｓｉ ｓ ｌｎ ａｅ ｒ ｓ ｅ ｆ ｓ ｈ ｔ ｗ ｅｈ ｏ ｃ ｉ ｓ ｍａ ， ｈ ｇｉ
ｐ ｐ ｒ ｒ ｐ ｓ ｓ ａ ｔｎ ｍａ ｔ ｄ ｘｎ Ｌ Ｉ ｉ ｕ ｅ ｒ ｅ ｔｒ ｘｒｃ ｏ ｄｄ ｍｅ ｓ ｎ ｉ ｄ ｃ ｏ ， ｕ ｐ ｒ ｖ ｃｏ ｃ ｉｅ Ｓ ａ ｅ ｏ ｏ ｅ ｔ ａ ｔ ｅ ｎ ｉ ｉ ｅ ｉｇ（ Ｓ ） ｓ ｓｄｆ ａｕｅｅ ｔ ｔ ｎａ ｉ ｎ ｉ ａ ｔ ｒ ｕ ｔ ｎ ｓ ｐ ｏ ｔ ｅｔ ｒ ｐ ｈ ｔ ｌｅ ｓ ｃｎ ｏｆ ａｉ ｎ ｏｉ ｙ ｅ ｉ ｍａ ｈｎ （ ＶＭ） ｓ ｓ ｄ ｉｕｅ
ｏ ｅ ｔｃａ ｓｆ ａｉ ｆｒｔｘ ｌｓｉ ｃ ｔ ． ｅｒ ｓ ｌ ｓ ｏ ａ ｏ ａｅ ｔ ｅｃａ ｓｆｅ ｓ ｎｖ ｃｏ ｐ ｃ ｄ ｌ ｏ ｉｅ ＶＭ ｎ ｅｃａ ｓｆｅ ａ ｅ ｎ ｉ ｏｎ Ｔ ｅ ｕｔ ｈ ｗｓｔ ｔｃ ｍｐ ｄ ｗｉ ｔ ｌｓｉ ｒｂａｅ ｏ ｅ ｔ ｒｓ ａ ｅ ｍｏ ｅ ｍｂｎ ｄ Ｓ ｈ ｈ ｒ ｈｈ ｉ ｄ ｃ ａ ｄ ｔ ｌｓｉ ｒｂ ｓ ｏ ｈ ｉ ｄ
清晰 的情况下可 以达到实 用效 果。 关健诃 ：特征提取 ；潜在 语义 索引 ；支持向量机
Ｒｅ ｅ ｒ ｈ ｏ ｅ ｔ ａ ｓｆｃ ｔｏ ｓ ｄ ｏ Ｉａ ｄ Ｓ ｓ ａ ｃ ｎ Ｔ ｘ ｓｉ ａ ｉ ｎ Ｂａ ｅ ｎ ＬＳ ｎ ＶＭ Ｃｌ ｉ
ＬＩ Ｍ ｅ － ｕ Ｕ ｉｒ （ ｔｆ ｏ ｏ ｏ ｕｅ， ｒ ｉ ｉ ｙＴ ｃ ｎｃ ｌ ｏｌｇ ， ｒｂｎ １ ０ ８ ） Ｓ ａ Ｒｏ ｍ ｆ ｍｐ ｔ Ｈａｂ ｎ Ｃ ｒ Ｒａｌ ｅ ｈ ｉａ Ｃ ｌ ｅ Ｈａ ｉ ５ ０ ６ ｗａ ｅ
） 方法相 比，取得 了更好 的效 果 ， 文本类别数较少、类别划分 比较 在
文本分类 中两个最关键 的技术 ，该文提出了利用潜在语义索 引进行特征提取 和降维 ，并结合支持向量机（Ｖ 算法进行多类分类 ，实验结 ｓ Ｍ）
果显示与向量空 间模型（ ｓ 结合 Ｓ Ｍ 方法 和 Ｌ Ｉ Ｖ Ｍ） Ｖ Ｓ 结合 Ｋ近邻（
文 ■ ０ 一 ４ （ ０ １＿ ２ — ３ 文 标识 ｔ 章 号ｔ ０ ３ ８ ０ ） 一 １ １ ｏ ２ ２ ７５ ｏ ７ 献 码 Ａ
中 分类 ｔＰ９ 啊 号 Ｔ３ １
基 于 Ｌ Ｉ和 Ｓ Ｓ ＶＭ 的 文 本 分 类研 究
刘美茹
（ 哈尔滨铁道职业技术学院计 算机教 研室 ，哈尔滨 １０８ ） ５０６ 摘 要 ：文本分类技术是文本数据挖掘 的基础 和核 心，是基于 自然语言处 理技术 和机 器学 习算法的一个具体应 用。特征选择和分类算法是
ｒ ｉ ｉ ｅ ｉ ｔ ｃ ｌ ｔ ｔ ｄ Ｃ ｂ ｓ ｄ ｆ ｒ ｃｉ ａ ｐｌ ｔｏ ａ ｅｄ ｖ ｄ ｄ ｄ ｓ ｎ ｔ ， ｅ ｍｅ ｏ ａ ｅ ｕ ｅ ｒｐ ａ ｔｃ ｌ ｐ ｉ ａ ｉ ｎ． ｉ ｙｈ ｈ ｎ ｏ ａ ｃ
［ ｙｗｏ ｄ ］ｆａｕｅｅｔ ｃｉｎ ｌｔｎ ｅ ｎ ｔ ｄ ｘＬ Ｉ；ｕ ｐ ｒｖ ｃ ｒ ｃ ｉｅＳ Ｋｅ ｒ ｓ ｅｔｒ ｘ ａ ｔ ；ａ ｔ ｍａ ｉ ｉ ｅ （ Ｓ）ｓｐ ｏ ｅｔ ｈｎ （ＶＭ） ｒ ｏ ｅ ｓ ｃｎ ｔ ｏ ｍａ
［ ｂ ｔａ ｔ ｅｔ ｌｓｉｃｔ ｎｉ ｅｆｕ ｄｔ ｎａｄｃｕ ｉｌ ｒｂｅ ｏ ｘ ａ ｎｎ ，ｔｓ ｎａｐｉａ ｏ ａｅ ｎｔｅｔｃｎ ｌｇ ｆｎｔｒｌ Ａ ｓｒｃ］Ｔ ｘ ａｓ ａ ｏ ｓｔ ｏ ｎ ａｉ ｎ ｒｃａ ｏ ｌ ｆｔ ｔ ｔ ｍｉｉｇ ｉｉ ａ ｐ ｌ ｔ ｎｂ ｓｄｏ ｈ ｏｏ ｙｏ ａ ａ ｃ ｆ ｉ ｉ ｈ ｏ ｐ ｍ ｅ ｄ ａ ｃｉ ｈ ｅ ｕ
维普资讯 http://www.cqvip.com
第 ３ 卷 第 １ 期 ３ ５
Ｖ Ｌ３ ｏ ３
・
wenku.baidu.com
计
算
机
工
程
２ ０ 年 ８月 ０７
Ａｕ ｕ ｔ２ ０ ｇ ｓ ０ ７
Ｎｏ ｌ Ｓ
Ｃｏ ｐ ｔ ｒ ｇ ｎ ｅ ｉ ｇ ｍ ｕ ｅ Ｅｎ ｉ ｅ ｒ ｎ
人工智能及识别技术 ・
ｌ ｇ ａ ｅｐ ｏ ｅ ｓｎ ｎ ｃ ｉ ｅｌａｎｎ ． ａｕ ｅｅ ｔａ ｔ ｎ ａ ｄ ｃ ｔｇ ｒｚ ｔ ｎ ａｇ ｉ ｈ ａ ｅｔｅｍｏｓ ｒ ｃａ ｅ ｈ ｏｏ ｉｓｆｒｔｉ ｒ ｂ ｅ ． ｉ ｎ ａ ｕ ｇ ｒｃ ｓｉｇ ａ ｄ ｍａ ｈ ｎ ｅ ｒ ｉｇ Ｆｅ ｔｒ ｘｒｃｉ ｎ ａｅ ｏ ａ ｏ ｌｏｒ ｍ ｒ ｏ ｉ ｉ ｔ ｈ ｔｃ ｉｌｔｃ ｎ ｌｇ ｅ ｏ ｓｐｏ ｌｍ Ｔｈｓ ｕ ｈ
在 因特 网上大多数 的信息表现形 式是文 本形式 ，而其中
的文本数据缺乏结构化、组织 化的规整性 ，大大降低了 网络
文本在预处理后 ，分类器根据 训练过程 中得 到的特征 信息将 新文本表示成 向量 ，然 后进行 分类 ，并输 出结果 。 １ 文本顶处理 ． １ 文本 内容是 自 然语言表示 的，计算机难 以理 解其语义 。 文本信息源 的这些特殊性使得现 有的数 据挖 掘技 术不能直 接 应用于其上 ，需要先对文 本进行预 处理 和特征表 示。在中文 文本分类 中，预处理主要指 中文 的分词 。将原文 本通 过分词 表示成词的序列 ，将所有 的词作为候选 的特征项 ，也 有些 学 者提出对文本进行按定长切词 ，选用 １４个字长 的相邻字段 － 作为特征项 。有实验表明 ，在很多情况下 ，采 用两个字长 的 字段 比单纯采 用词作 为特征项效果 要好 ｕ。本文依然采 用分 Ｊ 词技 术对 文本进行预处理 。 １ 特征提 取 ． ２ 目前中文文本分类主要还是选择词作为特征项 ，这就产 生了一个特征 空间维数过高的问题 ，如何解决维数过高和数 据稀疏 问题 ，如何 筛选出最有效的特征项是 目前研究文本分 类最 大的特点和难点之一。经常使用的特征提取 的评价函数 有文本频率（ｏｕ ｅｔｒ ｕｎｙＤ ） ｃｉｑａ （Ｈ） 信息 ｄｃｍ ｎｆ ｑｅｃ， Ｆ、 ｈ ｓｕｒ Ｃ Ｉ ｅ － ｅ 、 增益（ ｆｒ ｔ ｎｇ ｉ，Ｇ 、互信息（ ｔａｉｆｒ ｔ ｎ ＭＩ ｉ ｏｍａ ｏ ａ Ｉ ） ｎ ｉ ｎ ｍｕｕ ｌｎｏｍａｉ ， ） ｏ 、 ｔ ｍｓｅｇ （Ｓ、Ｇ Ｓ ｏｆｃ ｎ ｄｓａｏ Ｊ ａｇ ｅ ｒ ｔ Ｔ ） Ｓ ｅ ｉｅｔ ｄ ｒｉ 等 。Ｙｎ 等 ｒ ｔｎ ｈ Ｃ ｉ 、ｏ ｔ 在 Ｒ ｕ ｒ １７ ｅｔ ｓ ５８语料 库上试验 了前面 ５ 方法 ，认 为 Ｄ 、 ｅ２ 种 Ｆ Ｃ ＩＩ Ｈ 、 Ｇ更为有效 ４ ｌ。国内的有些学者则认为 ＭＩＤ ＞Ｇ【。 Ｊ ＞ Ｆ Ｉ ５ 】