基于CBC聚类方法对特定领域术语的自动获取
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
利 用 已经 构造 好 的 术语 抽 取器 对 特定 领 域 的语 料 逐类 进
２ 基 于ＣＢ 聚 类 的领 域 术 语 获 取 Ｃ
２１ 术 语 的 预 处 理 ．
通过 在第 ３ 分 提 出的词语 之 间相 似度 的计 算方 法 ，计算 部 得 到每个 词语 的最 相 似的 个词 语 。在 实验 中 ， 取Ｋ＝ ０ 选 ２。 计算 词语 Ｗ的最相 似 的 词语 ， 首先 利 用他 们 的互 信 息挑 选 的特 征 ．这里 计 算 出加与具 有 最高 互信 息 的词 语 的成 对相 似 度 ． 到一 个相 似 度数 据 库． 用 来存 放 待选 词 语Ｗ与它 最相 似 得 ｓ ，
１ 词 语 相似 性 的 计 算
用特征 向量 来表 示每个 词 语 。对 每个 词语 ． 依靠 它 在特 定 领 域 的文本 出现 的频 率 以及 与 共现 词语 的频 次来 计 算 它与 其 它词 语 的互 信息 。用Ｃ 表示 特定 领域 的文 本 ， Ｗ为特 定领 域 出现
第２ 步是 选 取 最 有 领 域特 征 的词 语 作 为 种 子 术 语 。利 用
（ ）
ｍ ｃ
∑ （） ∑Ｅ ） ｔ ｃ ， ｑ
—
＿ ‘—————～ ￥ —Ｊ ————一
Ｎ
Ｎ
产生， 传统 的手工 对于 领域 术语 词典 的扩 充 已经不 能满 足术语 标 准化工 作 的实际需 求 。 用计 算机 等先 进 的信息 技术 手段 已 利
经 成 为 术 语 标 准 化 工 作 的 一 个 必 然 趋 势 ． 是 现 在 研 究 的 热 点 也
似空间 里的 紧凑类 ，Ｐ ｏ ｍｉｅ 。 ￣ ｅｍ ｔ ｅ 在每 次递 归 的步骤 里 ， ｔ 算法 寻
找 一系列 的 紧凑类 ， 且识 别那 些不被 任何 ｃｍｍｉｅ包 括 的剩 并 ｏ ｔｅ ｔ
余 元素 。
２２ 寻 找 ｃ ｍｍｉ ｅ ｓ ． ｏ ｔ ｅ ｔ
Ｃ Ｃ 类 方法 的最 大 的特 点 就 是 ．能 够 自动确 定 类 的 个 Ｂ 聚 数 ，Ｐ ｏ ｉｅ 的个 数 ， 是它 优于 其他 聚类 算法 的显 著特 点 。 ￣ ｃｍｍ ｔ ｅ ｔ 这 第 ｌ 建立 一个 数据 库Ｓ 用来存 放从 领 域语 料 中抽 取 出来 步 ， 的词语 ，并 统计 计算 它在 领域 语料 中最 为相 似 的２ 个 词语 。 Ｏ 作 为 相似 度数 据Ｖ可Ｓ 为 以后 进行 词语 的评 分做 准备 。 ，
ａｅａ ｅ ｌ ｋ 类 方 法 对 术 语 进 行 评 分 ： ｖｒｇ —ｉ 聚 ｎ
①计算词语ｅ 与最相似的２ 个词语（ １２ …２ ） ０ ｉ ，， ０ 的平均相 ＝
基 金 项 目 ： 家教 育 部 重 点 研 究 基 地 重 大 项 目（ ７Ｊ ４ ０ ； 北 省 科 技 攻 关 项 目（ ０ ７ 国 ０ ＪＤ７ ０ ６） 湖 ２ ０ ＡＡ１ １ ４ ） ０ Ｃ ９
作者 简介 ： 芳（ ９ １ ） 女 ， 士 ， 谢 １８ 一 ， 硕 湖北 工业 大 学计 算机 学 院助教 ， 究方 向为 数据 库和 数据 挖 掘 ； 研 胡泉 （ ９ ０ ） 男 ， 北 武汉人 ， 士 ， 中师 范 １８ － ， 湖 硕 华
第７ 第 ９ 卷 期 ２ ０ 年 ９月 ｏ８
软 件 导 刊
Ｓｏｔ ｒ ｉ ｅ ｆｗａ ｅＧｕ ｄ
ＶＯ ． ． １７ＮＯ９
Ｓｅ ２０ ８ ｐ． ０
基于ＣＢ 聚类方法对特定领域 术语 的 自动获取 Ｃ
谢 芳 胡 泉 ．
（． 北工业 大 学 计算 机 学院 ， 北 武 汉 ４ ０ ６ ；． 中师 范大 学 物理 科 学与技 术 学 院 ， 北 武汉 ４ ０ ７ ） １湖 湖 ３ ０ ８ ２华 湖 ３０９
之一 。
这里，＿ ∑ （表 ＾∑ ｒ 『 示词语出 ） 现的总 频次， 所 词 即 有的
ｉ
语 在左右 的文本 中 出现 的总次 数 。
在 本文 中 ． 我们 首先利 用 现有 的术 语抽取 器对 分 类 的特定 领域 无标 注 语料 库 （ 料 可 以是 最新 的各 领域 的文 章 ） 别进 语 分 行抽 取 ， 每 个特 定 领域 得 到一 个词 和短语 的文 本集 ， 后利 对 然 用Ｃ Ｃ 类方法 对 这些 文本 集 中 的词语 进行 聚类 ， 到筛 选特 Ｂ聚 达 定领域 术语 的效 果 。
模块 。
关键 词 ： 术语 ； 域 术语 ； Ｂ 聚 类 ； 领 ＣＣ 中文信 息处理 中图分类 号 ：Ｐ １ ．２ Ｔ ３１ ５ 文 献标 识码 ： Ａ 文章编 号 ：６ ２ ７ ０ （０ ８ ０ — ０ ３ ０ １７ — ８ ０ ２ ０ ）９ ０ ２ — ２
的一 个术 语 ，ｃ ｗ） 词语Ｗ Ｃ 出现 的频次 。那 么词 语Ｗ Ｆ（ 为 在 中 与Ｃ
的２个 词语 之 间的信 息 。 ０
行抽取 ，采 用聚类 算法 是利 用领 域术 语构 件性 和强 相似 性 ， 进 行分 区域 的划分 ． 寻求 领域 术语 的质 心 ． 除 非本 领域 术语 。 来 剔 本 文提 到 的Ｃ Ｃ Ｂ 聚类 方 法 ， 它使 用 递归 的方 法 在分 布 在相
０ 引 言
获 得特 定领 域 的术 语 词典 在 自然 语 言 处理 的 很 多 问题 中 都 会 涉及 到 ， 比如 ， 特定 领 域 本 体 模 型 的 构建 ， 名 实 体 的发 命 现， 未登 录词 的 自动 识别 等 ， 特定 领 域 的新 术语 又 在不 公式 如 下 ：
摘
要 ： 出并 建 立 了一种基 ｆＣ Ｃ 类方 法 的领 域术 语 自动 获取 模 型 ， 提 －Ｂ 聚 该模 型 避免 了单纯 以领 域相 减 或统 计 方法
获取 领域 术语 的局 限性 。并 引入修 正 的余 弦公式 来进 行术 语 间相似 度 的计算 ． 实现领域 术语 自动获取 系统的核 心 来
２ 基 于ＣＢ 聚 类 的领 域 术 语 获 取 Ｃ
２１ 术 语 的 预 处 理 ．
通过 在第 ３ 分 提 出的词语 之 间相 似度 的计 算方 法 ，计算 部 得 到每个 词语 的最 相 似的 个词 语 。在 实验 中 ， 取Ｋ＝ ０ 选 ２。 计算 词语 Ｗ的最相 似 的 词语 ， 首先 利 用他 们 的互 信 息挑 选 的特 征 ．这里 计 算 出加与具 有 最高 互信 息 的词 语 的成 对相 似 度 ． 到一 个相 似 度数 据 库． 用 来存 放 待选 词 语Ｗ与它 最相 似 得 ｓ ，
１ 词 语 相似 性 的 计 算
用特征 向量 来表 示每个 词 语 。对 每个 词语 ． 依靠 它 在特 定 领 域 的文本 出现 的频 率 以及 与 共现 词语 的频 次来 计 算 它与 其 它词 语 的互 信息 。用Ｃ 表示 特定 领域 的文 本 ， Ｗ为特 定领 域 出现
第２ 步是 选 取 最 有 领 域特 征 的词 语 作 为 种 子 术 语 。利 用
（ ）
ｍ ｃ
∑ （） ∑Ｅ ） ｔ ｃ ， ｑ
—
＿ ‘—————～ ￥ —Ｊ ————一
Ｎ
Ｎ
产生， 传统 的手工 对于 领域 术语 词典 的扩 充 已经不 能满 足术语 标 准化工 作 的实际需 求 。 用计 算机 等先 进 的信息 技术 手段 已 利
经 成 为 术 语 标 准 化 工 作 的 一 个 必 然 趋 势 ． 是 现 在 研 究 的 热 点 也
似空间 里的 紧凑类 ，Ｐ ｏ ｍｉｅ 。 ￣ ｅｍ ｔ ｅ 在每 次递 归 的步骤 里 ， ｔ 算法 寻
找 一系列 的 紧凑类 ， 且识 别那 些不被 任何 ｃｍｍｉｅ包 括 的剩 并 ｏ ｔｅ ｔ
余 元素 。
２２ 寻 找 ｃ ｍｍｉ ｅ ｓ ． ｏ ｔ ｅ ｔ
Ｃ Ｃ 类 方法 的最 大 的特 点 就 是 ．能 够 自动确 定 类 的 个 Ｂ 聚 数 ，Ｐ ｏ ｉｅ 的个 数 ， 是它 优于 其他 聚类 算法 的显 著特 点 。 ￣ ｃｍｍ ｔ ｅ ｔ 这 第 ｌ 建立 一个 数据 库Ｓ 用来存 放从 领 域语 料 中抽 取 出来 步 ， 的词语 ，并 统计 计算 它在 领域 语料 中最 为相 似 的２ 个 词语 。 Ｏ 作 为 相似 度数 据Ｖ可Ｓ 为 以后 进行 词语 的评 分做 准备 。 ，
ａｅａ ｅ ｌ ｋ 类 方 法 对 术 语 进 行 评 分 ： ｖｒｇ —ｉ 聚 ｎ
①计算词语ｅ 与最相似的２ 个词语（ １２ …２ ） ０ ｉ ，， ０ 的平均相 ＝
基 金 项 目 ： 家教 育 部 重 点 研 究 基 地 重 大 项 目（ ７Ｊ ４ ０ ； 北 省 科 技 攻 关 项 目（ ０ ７ 国 ０ ＪＤ７ ０ ６） 湖 ２ ０ ＡＡ１ １ ４ ） ０ Ｃ ９
作者 简介 ： 芳（ ９ １ ） 女 ， 士 ， 谢 １８ 一 ， 硕 湖北 工业 大 学计 算机 学 院助教 ， 究方 向为 数据 库和 数据 挖 掘 ； 研 胡泉 （ ９ ０ ） 男 ， 北 武汉人 ， 士 ， 中师 范 １８ － ， 湖 硕 华
第７ 第 ９ 卷 期 ２ ０ 年 ９月 ｏ８
软 件 导 刊
Ｓｏｔ ｒ ｉ ｅ ｆｗａ ｅＧｕ ｄ
ＶＯ ． ． １７ＮＯ９
Ｓｅ ２０ ８ ｐ． ０
基于ＣＢ 聚类方法对特定领域 术语 的 自动获取 Ｃ
谢 芳 胡 泉 ．
（． 北工业 大 学 计算 机 学院 ， 北 武 汉 ４ ０ ６ ；． 中师 范大 学 物理 科 学与技 术 学 院 ， 北 武汉 ４ ０ ７ ） １湖 湖 ３ ０ ８ ２华 湖 ３０９
之一 。
这里，＿ ∑ （表 ＾∑ ｒ 『 示词语出 ） 现的总 频次， 所 词 即 有的
ｉ
语 在左右 的文本 中 出现 的总次 数 。
在 本文 中 ． 我们 首先利 用 现有 的术 语抽取 器对 分 类 的特定 领域 无标 注 语料 库 （ 料 可 以是 最新 的各 领域 的文 章 ） 别进 语 分 行抽 取 ， 每 个特 定 领域 得 到一 个词 和短语 的文 本集 ， 后利 对 然 用Ｃ Ｃ 类方法 对 这些 文本 集 中 的词语 进行 聚类 ， 到筛 选特 Ｂ聚 达 定领域 术语 的效 果 。
模块 。
关键 词 ： 术语 ； 域 术语 ； Ｂ 聚 类 ； 领 ＣＣ 中文信 息处理 中图分类 号 ：Ｐ １ ．２ Ｔ ３１ ５ 文 献标 识码 ： Ａ 文章编 号 ：６ ２ ７ ０ （０ ８ ０ — ０ ３ ０ １７ — ８ ０ ２ ０ ）９ ０ ２ — ２
的一 个术 语 ，ｃ ｗ） 词语Ｗ Ｃ 出现 的频次 。那 么词 语Ｗ Ｆ（ 为 在 中 与Ｃ
的２个 词语 之 间的信 息 。 ０
行抽取 ，采 用聚类 算法 是利 用领 域术 语构 件性 和强 相似 性 ， 进 行分 区域 的划分 ． 寻求 领域 术语 的质 心 ． 除 非本 领域 术语 。 来 剔 本 文提 到 的Ｃ Ｃ Ｂ 聚类 方 法 ， 它使 用 递归 的方 法 在分 布 在相
０ 引 言
获 得特 定领 域 的术 语 词典 在 自然 语 言 处理 的 很 多 问题 中 都 会 涉及 到 ， 比如 ， 特定 领 域 本 体 模 型 的 构建 ， 名 实 体 的发 命 现， 未登 录词 的 自动 识别 等 ， 特定 领 域 的新 术语 又 在不 公式 如 下 ：
摘
要 ： 出并 建 立 了一种基 ｆＣ Ｃ 类方 法 的领 域术 语 自动 获取 模 型 ， 提 －Ｂ 聚 该模 型 避免 了单纯 以领 域相 减 或统 计 方法
获取 领域 术语 的局 限性 。并 引入修 正 的余 弦公式 来进 行术 语 间相似 度 的计算 ． 实现领域 术语 自动获取 系统的核 心 来