基于量化同义词关系的改进特征词提取方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｎｅ ｍｅ ｈｏ ｍｐｒ ｖ ｓ ｔ ｅ ａ ｃ ａ ｙ ｏ ｅ ｔ ｅ ｅ ｔ ａ ｔｏ ｗ ｔ ｄ ｉ ｏ ｅ ｈ ｃ ｕｒ ｃ ｆｆ ａ ｕｒ ｘ ｒ ｃ ｉ ｎ． Ｋｅ ｒ ｓ：ｅ ｔ ｅ ｅ ｒ ｃ ｉｎ； ｙ ｗｏ ｄ ｆ ａ ｕｒ ｘｔａ ｔｏ ＴＦ— ＤＦ；ｓ ｏｎ Ｉ ｙｎ ｙｍｏ ｕｓ；ｈｏ ｅ ；Ｃ — ｃ ｒ ｅ ｃ ｗｎ ｔ Ｏ ｏｃ ｕ ｒ ｎ ｅ
Ａｂ ｔ ａ ｔ Ａ ｅ ｈ ｄ ｏ ｍ ｐ ｏ ｅ ｅ ｔ ｒ ｘ ｒ ｃ ｉ ｎ ｂ ｓ ｄ ｏ ｙ ｏ ｙ ｕ ｓ ｐ ｏ ｏ ｅ ． Ｔｈ ｔ ｏ ｓ ｒ ｃ ： ｍ ｔ ｏ ｆ ｉ ｒ ｖ ｄ ｆ ａ ｕ ｅ ｅ ｔ ａ ｔｏ ａ ｅ ｎ ｓ ｎ ｎ ｍｏ ｓ ｗａ ｒ ｐ ｓ ｄ ｅ ｍｅ ｈ ｄ
的 同义词及 其相 关词进 行 了有效 处理 ， 高 了文 本特征 词提 取 的准确性 ． 提
关 键词 ： 特征提 取 ； Ｆ Ｉ Ｆ； Ｔ —Ｄ 同义 词 ； 网 ； 知 同现概 率
中图分 类号 ： ９ ＴＰ ３ １ 文 献标 志码 ： Ａ 文章 编号 ：０ ０ ５ ５ ２ １ ） １ ０ ７ ５ １ ０ —１ ６ （０ ０ ０ —０ ９ —０
（ ． ｏ ｌｇ ｆＭ ａｈ ｍａｉｓａ ｄ Ｃｏ ｕ ｅ ｃｅ ｃ ，Ｈｅ ｅ Ｕｎ ｖ ｒ ｉｙ １ Ｃ ｌ ｅｏ ｔ ｅ ｔ ｎ ｍｐ ｔ ｒＳ ｉｎ ｅ ｅ ｃ ｂｉ ｉｅ ｓｔ ，Ｂ ｏ ｉｇ ０ １ ０ ａ ｄ ｎ ７ ０ ２，Ｃｈｎ ； ｉａ ２ Ｃｅ ｔｒｏ ｅ ｉ ｐ ｒ ｅ ｔ ｌ ａ ｈｎ ． ｎ ｅ ｆＭ ｄａＥｘ ｅ ｉ ｎ ａ ｍ Ｔｅ ｃ ｉ ｇ，Ｈ ｅ ｅ ｎｖ ｒｉｙ，Ｂａ ｄｎ ７ ０ ２ ｂｉ Ｕ ｉｅ ｓｔ ｏ ｉ ｇ０ ０ ，Ｃｈ ｎ ） １ ｉ ａ
摘 要 ： 出一种基 于量 化 同义词 关 系的改进 的 Ｔ —Ｄ 提 Ｆ Ｉ Ｆ文本特 征 词提 取 方 法． 方 法将在 同一 文本 中 该
出现 的某个 词的 同义词做 为 一 个集合 ， 在传 统 Ｔ － Ｆ 方法 计算 的 词语 权 重 的基 础 上 对 同义词 集 合 中的词 ＦＩ Ｄ 语及其 相 关词进行 权 重调整 ， 通过 相似 度 对 同义 词集合 中的词语 进行 了合 并加权 ． 实验证 明该 方 法对文本 中
特征 词提 取是 文本 检索 、 文本 自动分 类 等信息 领域 的基础 问题 ． 征词 提取 主要 是提取 出那 些能 够代 表 特
文 本特征 的词 语 ， 不影 响文 本分类 情况 下排 除 与文本 主题无 关 或关联 性不 大 的词语 ， 高文本 检索 和文 本 在 提 分 类 的效 率。 特征词 提取 有很 多优 秀 的方法 ｌ ， — Ｆ（ ｒ ｒｑ ｅ ｃ — ｖ ｒｅ ｏ ｕ ｎ ｒｑ ｅ ｃ ） 】 ＴＦｌ Ｔｅｍ Ｆ ｅ ｕ ｎ ｙＩ ｅｓ ｃ ｍｅ ｔ ｅ ｕ ｎ ｙ 方 ｊ Ｄ ｎ Ｄ Ｆ
第３ ０卷 第 １期 ２１ ０ ０年 １月
河北大 学 学 报 （ 自然科 学版 ）
Ｊ ｕ ｎ ｌ ｆＨｅ ｅ Ｕｎｖ ｒ ｉ （ ｔ ｒｌＳ ｉｎ ｅＥｄｔｏ ） ｏ ｒ ａ ｂ ｉ ｉ ｅ ｓｔ Ｎａ ｕ ａ ｃｅ ｃ ｉｉｎ ｏ ｙ
Ｖｏ ＿ Ｏ ＮＯ ｌ ３ ．１
Ｉ ｐ ｏ ｅ ａ ｕ ｅ Ｓ ｌ ｃ ｉ ｎ Ｍ ｅ ｈ ｄ Ｂａ ｅ ｎ ｍ ｒ ｖ ｄ Ｆｅ ｔ ｒ ｅ ｅ ｔｏ ｔ ｏ ｓｄ ｏ
Ｓ ｍ ｉａ ｉｙ ｏ ｙ ｏ ｙ ｏ ｓ ｉ ｌ ｒｔ ｆＳ ｎ ｎ ｍ ｕ
Ｘ ｉ － ｎ ，Ｉ ｎ —ａ ｇ ， ＵＴｎ —ｉ Ｄ Ｉ ｕ Ｕ Ｊ ｎｍｉ ＬＵＱｉ ｊ ｎ Ｆ ｉ ｔ ｇ ， Ａ ａ ｇｉ ｇ ｎ Ｘ
Ｊ ｎ ２ １ ａ ．００
基 于量 化 同义 词 关 系 的改进 特征 词 提 取 方 法
徐建 民 ， 清 江 付婷 婷 戴 旭 刘 ， ，
（． １ 河北 大 学 数 学 与 计算 机 学 院 ， 北 保 定 河 ０ １ ０ ；． 北 大 学 传 媒 实 验 教 学 中心 ， 北 保 定 ７０２２河 河 ０ １０ ） ７ ０ ２
需 要改进 的地 方． 语 中文字 表达灵 活 ， 汉 一个 词语 往往 还有 很 多 同义 的词 可 以表 达 ． 同义 词虽 然 丰 富 了文 本
的表达但 对 于某些 基于 统计词 频 的特征 词提 取方 法来说 无 疑是 降低 了在文 本 中使 用ቤተ መጻሕፍቲ ባይዱ了过 多 同义词 的特征 词 的权重 ， 因此在 文本 分类 中使 用 同义 词 有 助 于提 高 查 全 率但 不 会 降 低 查 准率 。 ． 本 对 同 义词 进 行 了合 。文 ］
ｂ ｓ ｄ ｏ — ＤＦ， ｎ ｏ ｂ ｎ ｄ ｓ ｎ ｎ ｍｓｔ ｒ ｕ ｈ ｔ ｅ ｓｍ ｉ ｒｔ ． ｅ ｅ ｐ ｒｍｅ ｔ ｌ ｅ ｕ ｔ ｉｐ ａ ｈ ｔｔ ｅ ａ ｅ ｎ ＴＦ Ｉ ａ ｄ ｃ ｍ ｉ ｅ ｙ ｏ ｙ ｈ ｏ ｇ ｈ ｉ ｌ ｉ Ｔｈ ｘ ｅ ｉ ｎ ａ ｓ ｌｓ ｄ ｓ ｌ ｙ ｔ ａ ｈ ａ ｙ ｒ
ｃ ｌ ｃｅ ｙ ｏ ｙ ｎ ｔ ｅ ｔｘ ｓａｓ ｔ ｄ ｓｍｅ ｔｔ ｅｗｅｇ ｔ ｆｓ ｎ ｎ ｍｓｉ ｈ ｅ ｎ ｅａｅ ｒ ｓ ｏｌ ｔ ｄｓ ｎ ｎ ｍｓｉ ｈ ｅ ｔａ ｅ ，ａ ｊ ｔ ｎ ｈ ｉｈ ｓｏ ｙ ｏ ｙ ｎ ｔ ｅ ｓ ｔａ ｄ ｒ ｌｔ ｄ ｗｏ ｄ ｅ ｕ
法 是其 中应用最 多 的一种 方法 ． 这种 方法 是 建立在 特征 独 立 的假设 基 础上 ， 然 能 有效 降 低 计算 时 间 ， 是 虽 但 词 语 间的 内在 联系 使得 这种 假设很 难成 立 ， 可避 免地 带来 提取 准确度 的降低 ， 以｛ Ｆ Ｉ Ｆ方法 仍 有许 多 不 所。 Ｔ —Ｄ
Ａｂ ｔ ａ ｔ Ａ ｅ ｈ ｄ ｏ ｍ ｐ ｏ ｅ ｅ ｔ ｒ ｘ ｒ ｃ ｉ ｎ ｂ ｓ ｄ ｏ ｙ ｏ ｙ ｕ ｓ ｐ ｏ ｏ ｅ ． Ｔｈ ｔ ｏ ｓ ｒ ｃ ： ｍ ｔ ｏ ｆ ｉ ｒ ｖ ｄ ｆ ａ ｕ ｅ ｅ ｔ ａ ｔｏ ａ ｅ ｎ ｓ ｎ ｎ ｍｏ ｓ ｗａ ｒ ｐ ｓ ｄ ｅ ｍｅ ｈ ｄ
的 同义词及 其相 关词进 行 了有效 处理 ， 高 了文 本特征 词提 取 的准确性 ． 提
关 键词 ： 特征提 取 ； Ｆ Ｉ Ｆ； Ｔ —Ｄ 同义 词 ； 网 ； 知 同现概 率
中图分 类号 ： ９ ＴＰ ３ １ 文 献标 志码 ： Ａ 文章 编号 ：０ ０ ５ ５ ２ １ ） １ ０ ７ ５ １ ０ —１ ６ （０ ０ ０ —０ ９ —０
（ ． ｏ ｌｇ ｆＭ ａｈ ｍａｉｓａ ｄ Ｃｏ ｕ ｅ ｃｅ ｃ ，Ｈｅ ｅ Ｕｎ ｖ ｒ ｉｙ １ Ｃ ｌ ｅｏ ｔ ｅ ｔ ｎ ｍｐ ｔ ｒＳ ｉｎ ｅ ｅ ｃ ｂｉ ｉｅ ｓｔ ，Ｂ ｏ ｉｇ ０ １ ０ ａ ｄ ｎ ７ ０ ２，Ｃｈｎ ； ｉａ ２ Ｃｅ ｔｒｏ ｅ ｉ ｐ ｒ ｅ ｔ ｌ ａ ｈｎ ． ｎ ｅ ｆＭ ｄａＥｘ ｅ ｉ ｎ ａ ｍ Ｔｅ ｃ ｉ ｇ，Ｈ ｅ ｅ ｎｖ ｒｉｙ，Ｂａ ｄｎ ７ ０ ２ ｂｉ Ｕ ｉｅ ｓｔ ｏ ｉ ｇ０ ０ ，Ｃｈ ｎ ） １ ｉ ａ
摘 要 ： 出一种基 于量 化 同义词 关 系的改进 的 Ｔ —Ｄ 提 Ｆ Ｉ Ｆ文本特 征 词提 取 方 法． 方 法将在 同一 文本 中 该
出现 的某个 词的 同义词做 为 一 个集合 ， 在传 统 Ｔ － Ｆ 方法 计算 的 词语 权 重 的基 础 上 对 同义词 集 合 中的词 ＦＩ Ｄ 语及其 相 关词进行 权 重调整 ， 通过 相似 度 对 同义 词集合 中的词语 进行 了合 并加权 ． 实验证 明该 方 法对文本 中
特征 词提 取是 文本 检索 、 文本 自动分 类 等信息 领域 的基础 问题 ． 征词 提取 主要 是提取 出那 些能 够代 表 特
文 本特征 的词 语 ， 不影 响文 本分类 情况 下排 除 与文本 主题无 关 或关联 性不 大 的词语 ， 高文本 检索 和文 本 在 提 分 类 的效 率。 特征词 提取 有很 多优 秀 的方法 ｌ ， — Ｆ（ ｒ ｒｑ ｅ ｃ — ｖ ｒｅ ｏ ｕ ｎ ｒｑ ｅ ｃ ） 】 ＴＦｌ Ｔｅｍ Ｆ ｅ ｕ ｎ ｙＩ ｅｓ ｃ ｍｅ ｔ ｅ ｕ ｎ ｙ 方 ｊ Ｄ ｎ Ｄ Ｆ
第３ ０卷 第 １期 ２１ ０ ０年 １月
河北大 学 学 报 （ 自然科 学版 ）
Ｊ ｕ ｎ ｌ ｆＨｅ ｅ Ｕｎｖ ｒ ｉ （ ｔ ｒｌＳ ｉｎ ｅＥｄｔｏ ） ｏ ｒ ａ ｂ ｉ ｉ ｅ ｓｔ Ｎａ ｕ ａ ｃｅ ｃ ｉｉｎ ｏ ｙ
Ｖｏ ＿ Ｏ ＮＯ ｌ ３ ．１
Ｉ ｐ ｏ ｅ ａ ｕ ｅ Ｓ ｌ ｃ ｉ ｎ Ｍ ｅ ｈ ｄ Ｂａ ｅ ｎ ｍ ｒ ｖ ｄ Ｆｅ ｔ ｒ ｅ ｅ ｔｏ ｔ ｏ ｓｄ ｏ
Ｓ ｍ ｉａ ｉｙ ｏ ｙ ｏ ｙ ｏ ｓ ｉ ｌ ｒｔ ｆＳ ｎ ｎ ｍ ｕ
Ｘ ｉ － ｎ ，Ｉ ｎ —ａ ｇ ， ＵＴｎ —ｉ Ｄ Ｉ ｕ Ｕ Ｊ ｎｍｉ ＬＵＱｉ ｊ ｎ Ｆ ｉ ｔ ｇ ， Ａ ａ ｇｉ ｇ ｎ Ｘ
Ｊ ｎ ２ １ ａ ．００
基 于量 化 同义 词 关 系 的改进 特征 词 提 取 方 法
徐建 民 ， 清 江 付婷 婷 戴 旭 刘 ， ，
（． １ 河北 大 学 数 学 与 计算 机 学 院 ， 北 保 定 河 ０ １ ０ ；． 北 大 学 传 媒 实 验 教 学 中心 ， 北 保 定 ７０２２河 河 ０ １０ ） ７ ０ ２
需 要改进 的地 方． 语 中文字 表达灵 活 ， 汉 一个 词语 往往 还有 很 多 同义 的词 可 以表 达 ． 同义 词虽 然 丰 富 了文 本
的表达但 对 于某些 基于 统计词 频 的特征 词提 取方 法来说 无 疑是 降低 了在文 本 中使 用ቤተ መጻሕፍቲ ባይዱ了过 多 同义词 的特征 词 的权重 ， 因此在 文本 分类 中使 用 同义 词 有 助 于提 高 查 全 率但 不 会 降 低 查 准率 。 ． 本 对 同 义词 进 行 了合 。文 ］
ｂ ｓ ｄ ｏ — ＤＦ， ｎ ｏ ｂ ｎ ｄ ｓ ｎ ｎ ｍｓｔ ｒ ｕ ｈ ｔ ｅ ｓｍ ｉ ｒｔ ． ｅ ｅ ｐ ｒｍｅ ｔ ｌ ｅ ｕ ｔ ｉｐ ａ ｈ ｔｔ ｅ ａ ｅ ｎ ＴＦ Ｉ ａ ｄ ｃ ｍ ｉ ｅ ｙ ｏ ｙ ｈ ｏ ｇ ｈ ｉ ｌ ｉ Ｔｈ ｘ ｅ ｉ ｎ ａ ｓ ｌｓ ｄ ｓ ｌ ｙ ｔ ａ ｈ ａ ｙ ｒ
ｃ ｌ ｃｅ ｙ ｏ ｙ ｎ ｔ ｅ ｔｘ ｓａｓ ｔ ｄ ｓｍｅ ｔｔ ｅｗｅｇ ｔ ｆｓ ｎ ｎ ｍｓｉ ｈ ｅ ｎ ｅａｅ ｒ ｓ ｏｌ ｔ ｄｓ ｎ ｎ ｍｓｉ ｈ ｅ ｔａ ｅ ，ａ ｊ ｔ ｎ ｈ ｉｈ ｓｏ ｙ ｏ ｙ ｎ ｔ ｅ ｓ ｔａ ｄ ｒ ｌｔ ｄ ｗｏ ｄ ｅ ｕ
法 是其 中应用最 多 的一种 方法 ． 这种 方法 是 建立在 特征 独 立 的假设 基 础上 ， 然 能 有效 降 低 计算 时 间 ， 是 虽 但 词 语 间的 内在 联系 使得 这种 假设很 难成 立 ， 可避 免地 带来 提取 准确度 的降低 ， 以｛ Ｆ Ｉ Ｆ方法 仍 有许 多 不 所。 Ｔ —Ｄ