中文文本分类中一种基于语义的特征降维方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
胡 刘怀 涛 亮
（ 西安电子科技大学经济管理学院，陕西 西安 ７０７） １ １ ０
［ 摘 要】文本提 出了一种基 于语义的特征 降雏方法。通过依存 关系抽取 实现 一次降维；通过计算 类别和依存 关法进行特征选择 实现二次降雏。对 中文文本分类的 实验结果表 明，提 出的特征 降维方法具有较好
的分 类 效 果 。
［ 关键词】文本分类 ；特征 降雏；互信息；依存关 系；语 义
Ｄ ： ０．９ ９／．ｓｎ．０ ８一ｏ ２ ．０ １ １ ． １ ＯＩ１ ３ ６ ｉｉｓ １ ０ ８ １２ １ ．１０ １
［ 中图分类号］Ｔ ３１ ［ Ｐ９ 文献标识码 ）Ａ （ 文章编号］１ ８ ０２ ２１）１一 Ｏ６ ０ ０ — ８１（ １ １ Ｏ４ — ５ ０ ０
（ｃｏｌ ｆ ｎｇｍ ｎ，Ｘｄａ ｎ ｅｓｙ ｉｎ７０ ７ ，Ｃ ｉ ） Ｓｈｏ ａｅ ｅｔ ｉｉ Ｕ ｉ ｒｔ，Ｘ ’ １０ １ ｈ ａ ｏ Ｍａ ｎ ｖ ｉ ａ ｎ
［ ｂ嘣 ］Ｔ ｉｐｐｒ ｎ ｏｕｅ ｅ ａｔ Ａｓ ｈ ａｅ ｔ ｄｃｄａｓ ｎｃ—ｂｓｄｆ ｔ ｅｄ ｅｓ ｎｒ ｕｔｎｍ ｔｏ ．Ｄ ｐｎｅｃ ｓｅｔ ｃ ｄｂ ｉ ｓ ｉｒ ｍ ｉ ａｅ ａｕ ｉ ｎｉ ｄ ｃｏ ｅ ｄ ｅｅｄｎｉ ｘａｔ ｙｄ ｅ ｒ ｍ ｏ ｅ ｉ ｈ ｅ ｒ ｅ ．
２１ 年 １ 月 ０１ １ 第 ３ 卷第 ｌ 期 １ １
・
现 代 情 报
Ｊｕｎｌｏ ｄｍ ｎｏｍ ｔ ｎ ｏ ｒａ ｆＭｏ ｅ Ｉｆｒ ａ ｏ ｉ
Ｎｏ ． ２ ｖ． ０１１
Ｖ １３ Ｎ ． １ ｏ． １ ｏ １
理 论 探 索 ・
中文文本分 类中一种基于语义的特征降维方法
１ 文 本特征 降 维常用 的方 法
特征选择和特征抽取是文本特征降维 中的主要方法。 特征选 择是指依 据某个准则从 众多原 始特征 中选 择部
［
ｗ ｒ ］ｔｔｌｓ ｃｉ ； ｉｅｓｎ ｅｕ ｏ；ｍ ｌ—ｎ ｒａｏ；ｄｐ ｄｎ ｌｉ ；ｓ ａｔ ｏｄ ｅ ａ ｉ ａｏ ｄ ｎｏ ｄｃ ｎ ｕｉ ｉｏ ｔｎ ｅ ｎｅｃ ｒａｏ ｅ ｎｃ ｓ ｘ ｃｓｆ ｔｎ ｍ ｉ ｒ ｔ ｉ ｉ ｔ ｆｍ ｉ ｅ ｙ ｅｔｎ ｍ ｉ
分最能反映类别统计特性 的相关特征 ，即要 找到对 文本 内 容 的标引能力最强的特征 子集 ，本 质上是 对特征集 合 的约
缩 。常用的特征选 择方 法有 文 档频 度 、特 征熵 、互信 息 、
定文本类别 的过程…。该技术在 自然语言 处理 、信息组 织 １ 与管理、内容信 息过 滤等 领域都有着广泛的应用。 文本分类中 ，主要 采用 向量 空间模 型来表示 文本。向
量空间模型的优点在于将 非结 构化 的文本表示为向量形式 ， 方便运 用各 种数学方法 处理。在 向量 空间模型下 ，文 本特
考量而对文本特征集 的一 种压缩 。特征抽 取侧重 于特征 之
的主要 瓶颈。寻找合 理 的特征 降维方法成 为进一步 提高文 本分类效率的关键。
间、特征与文本之间的语义信 息 ，是从变换 的角度 对特 征
进行压缩 ，但存在高维矩 阵分 解的 困难 。常用 的特 征抽 取 方法有 主成分分析 、潜在语 义标引 、非 负矩 阵分解 等。这 些方法从不 同的角度度量 特征对文本 分类所起 的作 用 ，但
随着信 息技 术的高速发 展 ，互联 网上 的信息呈海量 特 征， 人们对 文本 挖掘技术提 出了更高 的要 求。作为文本 挖
掘的一个重要组 成部分 ，文本 分类成 为研 究的热 点。文 本 分类是 指在 预先给定的类别 体系下 ，根据 文本 内容 自动确
简。特征选择注重特 征与文本之 间的分布信 息而很 少利 用 特征之 间的语义信息 ，是从统计 的角度对 特征维数 进行 压
征的高维性 和文本向量数据 的稀 疏性是影 响文本分类 效率
信息增益、 统计量、特征权、期望交叉熵、几率 比等。
这些模型 由于构造相对简单 、易于理解而得到广泛应用 。 特征抽取就是基 于特征项 之间的语义 相关 性、类别 特
征集对类 内文本聚合程度 、类 间离散程度 的影 响力 等方 面
ｍｅ ｓ ｎ ｌｙ ｒ ｄ ｃｉ ｎ ｉ ａｉ ｅ ｕ ｔ ｎ； ｂ ａｃ ｌ ｔ ｇｔ ｅ ｓｍａ ｔ ｉ ｌｒ ｙ ｏ ａｅ ｏ ｉ ｎ ｅ ｅ ｄ ｎ ｉｓ ｃ ｍｂｎ ｄ ｗ ｔ ｅ ｍｕｔ— ｉ ｏｍａ ｏ ｔ ｏ ｙ ｃ ｌ ａ ｎ ｅ ｎ ｉ ｓ ａ ｉ ｆｃ ｔｇ ｒ ｓ ａ ｄ ｄ ｐ ｎ ｅ ｃｅ ， ｏ ｉｅ ｉ ｔ ｌ ｕ ｉ ｈ ｃ ｍｉ ｔ ｅ ｈ ｈ ｉ ｎ ｒ － ｆ
Ｍ ｅｈ ｄ ｏ ｅ ｔ ｒ ｄ ｃｉｎ ｉ ｉ ｅ ｅＴｅ ｔＣｌｓｉ ｃ ｔ ｎ Ｂａ ｅ ｎ Ｓ ｍａ ｔ ｓ ｔ ｏ ｆＦ ａ ｕ ｅ Ｒｅ ｕ ｔ Ｃｈｎ ｓ ｘ ａ ｓｆ ａｉ ｓ ｄ ｏ ｅ ｎ ｉ ｏ ｎ ｉ ｏ ｃ
Ｈｕ Ｔａ Ｌｕ Ｈｕ ｉ ａ ｇ ｏ ｉ ａｌ ｎ ｉ
ｉ ｔ ｅ ｓ ｌ ｉ ｔ ｄ ｆ ｅ ｏ ｄ ｄｍｅ ｓｏ ｒｄ ｃｉ ． ｘ ｅｉ ｔ ｎ Ｃ ｉ ｅｅ ｔｘ ｌ ｓ ａ ｏ ｈ ｗ ｄ ｔ ｔｔｅ ｐ ｏ ｆ ｎ ｆａ ｒ ｅｅ ｔ ｎ ｍｅ ｏ ｒｔｅ ｓ ｃ ｎ ｉ ｎ ｉ ｅ ｕ ｔ ｎ Ｅ ｐ ｒ ｎｓ ｉ ｈｎ ｓ ｅ ｔｃ ｓ ｉｃ ｔ ｎ ｓ ｏ ｅ ａ ｈ ｒ－ ｏ ｅｕ ｃｏ ｈ ｏ ｈ ｎ ｏ ｍｅ ａ ｆ ｉ ｉ ｈ ｐ ｓ ｄ ｆ ｔｒ ｉ￣ ｓｏ ｄ ｃｉｎ ｍｅｈ ｄ ｈ ｓｂ ｔ ｒｃ ｓ ｉｃ ｔ ｎ ｒｓ ｌ ． ０ｅ ａｕ ｅｄｌ ｎ ｉｎ ｒ ｕ ｔ ｔｏ ａ ｅｔ ｌ ｓ ａ ｏ ｕｔ ｅ ｌ ｅ ｏ ｅ ａ ｆ ｉ ｉ ｅ ｓ
（ 西安电子科技大学经济管理学院，陕西 西安 ７０７） １ １ ０
［ 摘 要】文本提 出了一种基 于语义的特征 降雏方法。通过依存 关系抽取 实现 一次降维；通过计算 类别和依存 关法进行特征选择 实现二次降雏。对 中文文本分类的 实验结果表 明，提 出的特征 降维方法具有较好
的分 类 效 果 。
［ 关键词】文本分类 ；特征 降雏；互信息；依存关 系；语 义
Ｄ ： ０．９ ９／．ｓｎ．０ ８一ｏ ２ ．０ １ １ ． １ ＯＩ１ ３ ６ ｉｉｓ １ ０ ８ １２ １ ．１０ １
［ 中图分类号］Ｔ ３１ ［ Ｐ９ 文献标识码 ）Ａ （ 文章编号］１ ８ ０２ ２１）１一 Ｏ６ ０ ０ — ８１（ １ １ Ｏ４ — ５ ０ ０
（ｃｏｌ ｆ ｎｇｍ ｎ，Ｘｄａ ｎ ｅｓｙ ｉｎ７０ ７ ，Ｃ ｉ ） Ｓｈｏ ａｅ ｅｔ ｉｉ Ｕ ｉ ｒｔ，Ｘ ’ １０ １ ｈ ａ ｏ Ｍａ ｎ ｖ ｉ ａ ｎ
［ ｂ嘣 ］Ｔ ｉｐｐｒ ｎ ｏｕｅ ｅ ａｔ Ａｓ ｈ ａｅ ｔ ｄｃｄａｓ ｎｃ—ｂｓｄｆ ｔ ｅｄ ｅｓ ｎｒ ｕｔｎｍ ｔｏ ．Ｄ ｐｎｅｃ ｓｅｔ ｃ ｄｂ ｉ ｓ ｉｒ ｍ ｉ ａｅ ａｕ ｉ ｎｉ ｄ ｃｏ ｅ ｄ ｅｅｄｎｉ ｘａｔ ｙｄ ｅ ｒ ｍ ｏ ｅ ｉ ｈ ｅ ｒ ｅ ．
２１ 年 １ 月 ０１ １ 第 ３ 卷第 ｌ 期 １ １
・
现 代 情 报
Ｊｕｎｌｏ ｄｍ ｎｏｍ ｔ ｎ ｏ ｒａ ｆＭｏ ｅ Ｉｆｒ ａ ｏ ｉ
Ｎｏ ． ２ ｖ． ０１１
Ｖ １３ Ｎ ． １ ｏ． １ ｏ １
理 论 探 索 ・
中文文本分 类中一种基于语义的特征降维方法
１ 文 本特征 降 维常用 的方 法
特征选择和特征抽取是文本特征降维 中的主要方法。 特征选 择是指依 据某个准则从 众多原 始特征 中选 择部
［
ｗ ｒ ］ｔｔｌｓ ｃｉ ； ｉｅｓｎ ｅｕ ｏ；ｍ ｌ—ｎ ｒａｏ；ｄｐ ｄｎ ｌｉ ；ｓ ａｔ ｏｄ ｅ ａ ｉ ａｏ ｄ ｎｏ ｄｃ ｎ ｕｉ ｉｏ ｔｎ ｅ ｎｅｃ ｒａｏ ｅ ｎｃ ｓ ｘ ｃｓｆ ｔｎ ｍ ｉ ｒ ｔ ｉ ｉ ｔ ｆｍ ｉ ｅ ｙ ｅｔｎ ｍ ｉ
分最能反映类别统计特性 的相关特征 ，即要 找到对 文本 内 容 的标引能力最强的特征 子集 ，本 质上是 对特征集 合 的约
缩 。常用的特征选 择方 法有 文 档频 度 、特 征熵 、互信 息 、
定文本类别 的过程…。该技术在 自然语言 处理 、信息组 织 １ 与管理、内容信 息过 滤等 领域都有着广泛的应用。 文本分类中 ，主要 采用 向量 空间模 型来表示 文本。向
量空间模型的优点在于将 非结 构化 的文本表示为向量形式 ， 方便运 用各 种数学方法 处理。在 向量 空间模型下 ，文 本特
考量而对文本特征集 的一 种压缩 。特征抽 取侧重 于特征 之
的主要 瓶颈。寻找合 理 的特征 降维方法成 为进一步 提高文 本分类效率的关键。
间、特征与文本之间的语义信 息 ，是从变换 的角度 对特 征
进行压缩 ，但存在高维矩 阵分 解的 困难 。常用 的特 征抽 取 方法有 主成分分析 、潜在语 义标引 、非 负矩 阵分解 等。这 些方法从不 同的角度度量 特征对文本 分类所起 的作 用 ，但
随着信 息技 术的高速发 展 ，互联 网上 的信息呈海量 特 征， 人们对 文本 挖掘技术提 出了更高 的要 求。作为文本 挖
掘的一个重要组 成部分 ，文本 分类成 为研 究的热 点。文 本 分类是 指在 预先给定的类别 体系下 ，根据 文本 内容 自动确
简。特征选择注重特 征与文本之 间的分布信 息而很 少利 用 特征之 间的语义信息 ，是从统计 的角度对 特征维数 进行 压
征的高维性 和文本向量数据 的稀 疏性是影 响文本分类 效率
信息增益、 统计量、特征权、期望交叉熵、几率 比等。
这些模型 由于构造相对简单 、易于理解而得到广泛应用 。 特征抽取就是基 于特征项 之间的语义 相关 性、类别 特
征集对类 内文本聚合程度 、类 间离散程度 的影 响力 等方 面
ｍｅ ｓ ｎ ｌｙ ｒ ｄ ｃｉ ｎ ｉ ａｉ ｅ ｕ ｔ ｎ； ｂ ａｃ ｌ ｔ ｇｔ ｅ ｓｍａ ｔ ｉ ｌｒ ｙ ｏ ａｅ ｏ ｉ ｎ ｅ ｅ ｄ ｎ ｉｓ ｃ ｍｂｎ ｄ ｗ ｔ ｅ ｍｕｔ— ｉ ｏｍａ ｏ ｔ ｏ ｙ ｃ ｌ ａ ｎ ｅ ｎ ｉ ｓ ａ ｉ ｆｃ ｔｇ ｒ ｓ ａ ｄ ｄ ｐ ｎ ｅ ｃｅ ， ｏ ｉｅ ｉ ｔ ｌ ｕ ｉ ｈ ｃ ｍｉ ｔ ｅ ｈ ｈ ｉ ｎ ｒ － ｆ
Ｍ ｅｈ ｄ ｏ ｅ ｔ ｒ ｄ ｃｉｎ ｉ ｉ ｅ ｅＴｅ ｔＣｌｓｉ ｃ ｔ ｎ Ｂａ ｅ ｎ Ｓ ｍａ ｔ ｓ ｔ ｏ ｆＦ ａ ｕ ｅ Ｒｅ ｕ ｔ Ｃｈｎ ｓ ｘ ａ ｓｆ ａｉ ｓ ｄ ｏ ｅ ｎ ｉ ｏ ｎ ｉ ｏ ｃ
Ｈｕ Ｔａ Ｌｕ Ｈｕ ｉ ａ ｇ ｏ ｉ ａｌ ｎ ｉ
ｉ ｔ ｅ ｓ ｌ ｉ ｔ ｄ ｆ ｅ ｏ ｄ ｄｍｅ ｓｏ ｒｄ ｃｉ ． ｘ ｅｉ ｔ ｎ Ｃ ｉ ｅｅ ｔｘ ｌ ｓ ａ ｏ ｈ ｗ ｄ ｔ ｔｔｅ ｐ ｏ ｆ ｎ ｆａ ｒ ｅｅ ｔ ｎ ｍｅ ｏ ｒｔｅ ｓ ｃ ｎ ｉ ｎ ｉ ｅ ｕ ｔ ｎ Ｅ ｐ ｒ ｎｓ ｉ ｈｎ ｓ ｅ ｔｃ ｓ ｉｃ ｔ ｎ ｓ ｏ ｅ ａ ｈ ｒ－ ｏ ｅｕ ｃｏ ｈ ｏ ｈ ｎ ｏ ｍｅ ａ ｆ ｉ ｉ ｈ ｐ ｓ ｄ ｆ ｔｒ ｉ￣ ｓｏ ｄ ｃｉｎ ｍｅｈ ｄ ｈ ｓｂ ｔ ｒｃ ｓ ｉｃ ｔ ｎ ｒｓ ｌ ． ０ｅ ａｕ ｅｄｌ ｎ ｉｎ ｒ ｕ ｔ ｔｏ ａ ｅｔ ｌ ｓ ａ ｏ ｕｔ ｅ ｌ ｅ ｏ ｅ ａ ｆ ｉ ｉ ｅ ｓ