中文文本分割模式获取及其优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 ３ 卷第 ６ ５ 期 ２１ 年 ｌ ０１ ２月
南 昌 大 学学 报 （ 理科 版 ）
Ｊ ｕ ｎ ｌ ｆＮａ ｅ ａ ｇ Ｕｎｖ ｒ ｉ （ ｔｒ ｌ ｃｅ ｃ ） ｏ ｒ ａ ｏ ｎ ｈ ｎ ｉｅ ｓｔ Ｎａ ｕ ａ ｉｎ ｅ ｙ Ｓ
Ｖｏ ５ Ｎｏ ６ Ｌ３ ．
３ 江 西省 图 书馆 ， ． 江西 南 昌 ３ ０ ４ ） ３０ ６
摘 要 ： 本 分 割 是 非 结 构 化 文 本 处 理 的一 个 重 要 预 处 理 步 骤 ， 自然 语 言 处 理 中 的 许 多 任 务 如 自动 摘 要 、 文 对 自动 问
答和信息检索等 的处理效果具 有重要的影响 。针对文本分割算法要解决 的最根本 问题 ： 主题相关性度 量和边界划
Ｓ ｇ ｃｒ（ 。 ｅ Ｓ ｏ ｅ ｂ）
定 义 １ 假 定 Ｄ是一个 由句子 序列 （ Ｓ ， ， Ｓ ， …
Ｓ ） 成 的文 本 ， 中的 每个 句 子 Ｓ 可 以是 简单 句 组 其
假 定 每 两个 潜 在分 割 点 ｂ、， 间对 应 的的 文 ６ 之 本 块 记 为 Ｓ ｇ ， 文 本 块 内 部 的 紧 凑 度 记 为 ｅ Ｃ ｈ ｓ ｎ Ｓ ｇ 相 邻 文 本 块 之 间 的 相 关 度 记 为 ｏ ｅｉ （ ｅ ¨ ｏ Ｒ（ ｅ ， ｅ￣ ， 间 隔点 ｂ 的分 隔值可 以用 （ ）式 Ｓ ｇ Ｓｇ ）则 ｋ １
子 的句 首起 始位 置 ， 最后 一个 句子 的句 尾位 置 ， ｂ为
Ａ
因此 ， 本 分 割 的本 质就 是 要 找 到一 个分 割 模 文
Ａ
．
．
Ａ
ｆ ＰＩ ｒ 一１
因此 ｂ 。和 ｂ 是 固有 的分 割 点 ） 每个 潜 在 分 割点 ｂ ， 也 称 为句子 Ｓ 与句 子 Ｓ 。 间 的一个 间 隔点 。 汁之 定义
关键词 ： 文本 分 割 ； 式 获 取 ； 式 优 化 模 模 中图 分 类 号 ： Ｐ ９ Ｔ ３１ 文 献标 志码 ： Ａ
１ 文本 分 割模 式 获 取 及 其优 化
本 文关 于文 本 分 割 任务 的基 本 思 路 是 ： 先 利 首
文 本 Ｄ 的一个 分 割模式 Ｐ ｃ 即 Ｐ＝ （ Ｐ ， ， Ｂ， Ｐ ， … Ｐ ） ， 中 Ｐ ∈ Ｂ。 为 其
分策略 ， 利用 “ 割 单 元 ” 部 具 有 最 大 的主 题 相 关 性 而 “ 割 单 元 ” 间 具 有 最 小 的 主 题 相 关 性 的思 想 ， 上 下 文 分 内 分 之 以
相关性分析计算为基础 ， 构建面 向中文文本 的文本分 割模 型框架和分割模式的优化方 法 。通过三组选 白国家汉语 语料库的测试结果表 明 ， 该方法识别分割边界 的平均错误 率和最低 值均好于现有的其他 中文文本分割方法。
示 ， 本 在 Ｄ 初 始 状 态 下 ， Ｂ 一 ｛。ｂ ， … ， 文 有 ｂ， ｂ，
Ｃｏ ｅ ｓｏ （ ｅ ｊ）一 Ｒ（ ｅ ， ｅ ｊ） ｈ ｎ ｉｎ Ｓ ｇ＾ Ｓ ｇ Ｓ ｇｋ
（） １
６ 。 ｂ｝ ， ， 等 ＋ １ 潜在 分 割点 （ 中 ｂ 为第 一个 句 ｒ 个 其 。
用 词语 之间 的语 义相 关关 系计 算上 下文 句 子之 间的 语 义相关 性 ， 然后 利 用 “ 割 单 元 ” 部具 有 最 大 的 分 内
主题 相关 性 而“ 分割单 元” 间具有 最小 的 主题相 关 之 性 的思想 ， 建潜 在分 隔 点 的分 割值 计算 模 型 ， 后 构 最
文本 Ｄ的一个分割模式 Ｐ中， 每两个相邻 的分割
点 Ｐ，斗 Ｐ ∈ Ｂ之 间对应 的文 本块 （ 由句 子序 列子 集 （ ， ， ） ５ … 组成 ） 都构成 了一个分 割单元 （ｅｍｅ ｔ Ｓｇ ｎ
Ｕｎ ， 称 Ｓ ， ｉ简 ｔ Ｕ） 因此一个 分割模 式 Ｐ将 文本 Ｄ分 割
式 Ｐ， 得 Ｐ— ａｇ ｉ ｛ ｘ Ｓ ｇ ｃ ｒ（ ￡） 即 Ｐ 使 ｒ ｒ ｎ ｍａ ｅ Ｓ ｏｅ ｐ） ， ａ
进 行 计算 。
Ｓ ｇ ｃ ｒ （ ￣ ＝ Ｃｏ ｅ ｓｏ （ ｅ ｌ ｅ Ｓ ｏ ｅ ｂ） ｈ ｎ ｉｎ Ｓ Ｊ ｇ ）＋
ห้องสมุดไป่ตู้
Ｓ ， 可 以是 复 杂 句 Ｃ 因此 定 义 文本 Ｄ 兰 Ｅｓ ｌ Ｓ也 Ｓ， ｓ
ｃ ］ ｛（ ｓ ｃ Ｊ ） ｓ＋ Ｅ ｓ』 ｓ ） 。 定 义 ２ 对 于文 本 Ｄ， 假定 存 在 于 每 两个 完 整 句 子之 间 的句 号 “ ” 问 号 “ ”或 感 叹 号 “ ”等分 割 。、 ？ ！ 标记 位 置上 都有 可能 成 为潜在 分 割点 ｂ 则 如 图 １ ， 所
成 为
Ｓ （Ｓ ＿’￡） Ｓ （Ｓ ”， ，） … ， Ｕ１ ＜ ．Ｓ ） ， ＜ 汁 Ｓ），
用 间隔 点深 度计 算方 法 ， 实现 分 割模式 的求解 ， 来 并 用语 言 特征 分析 结果 对分 割模 式进 行优 化 。下 面介
绍 具体 的实 现方 法 。
１ １ 文本 分割 问题描 述 ．
Ｄｅ ． ０１Ｉ ｃ２
文 章 编 号 ：０ ６Ｏ ６ （Ｏ １Ｏ —５ ７０ １０ 一４ ４ ２ ｌ） ６０ ９ —５
中文 文本 分 割模 式 获 取 及 其优 化 方 法
邹 箭 钟 茂 生 孟 荔。 ， ，
（． 西 司法 警 官 职 业 学 院 图 书馆 ， 西 南 昌 ３ ０ １ ；． 东交 通 大 学 信 息 工 程 学 院 ， 西 南 昌 ３ ０ １ ； １江 江 ３０ ３ ２ 华 江 ３ ０ ３
Ｓ ０ （ 抖 ．＇ ＞ 等 ｍ 一 １ 分割单元 。 【 （Ｓ ． ） 个
定 义 ３ 对 于 间 隔点 ∈ Ｂ， 够按 主题 相 关 能
性 原则 将其 对应 的上 下文 分割成 不 同单 元块 的能 力 的 量 化 值 称 为 该 间 隔 点 的 分 隔 值 ， 记 为
南 昌 大 学学 报 （ 理科 版 ）
Ｊ ｕ ｎ ｌ ｆＮａ ｅ ａ ｇ Ｕｎｖ ｒ ｉ （ ｔｒ ｌ ｃｅ ｃ ） ｏ ｒ ａ ｏ ｎ ｈ ｎ ｉｅ ｓｔ Ｎａ ｕ ａ ｉｎ ｅ ｙ Ｓ
Ｖｏ ５ Ｎｏ ６ Ｌ３ ．
３ 江 西省 图 书馆 ， ． 江西 南 昌 ３ ０ ４ ） ３０ ６
摘 要 ： 本 分 割 是 非 结 构 化 文 本 处 理 的一 个 重 要 预 处 理 步 骤 ， 自然 语 言 处 理 中 的 许 多 任 务 如 自动 摘 要 、 文 对 自动 问
答和信息检索等 的处理效果具 有重要的影响 。针对文本分割算法要解决 的最根本 问题 ： 主题相关性度 量和边界划
Ｓ ｇ ｃｒ（ 。 ｅ Ｓ ｏ ｅ ｂ）
定 义 １ 假 定 Ｄ是一个 由句子 序列 （ Ｓ ， ， Ｓ ， …
Ｓ ） 成 的文 本 ， 中的 每个 句 子 Ｓ 可 以是 简单 句 组 其
假 定 每 两个 潜 在分 割 点 ｂ、， 间对 应 的的 文 ６ 之 本 块 记 为 Ｓ ｇ ， 文 本 块 内 部 的 紧 凑 度 记 为 ｅ Ｃ ｈ ｓ ｎ Ｓ ｇ 相 邻 文 本 块 之 间 的 相 关 度 记 为 ｏ ｅｉ （ ｅ ¨ ｏ Ｒ（ ｅ ， ｅ￣ ， 间 隔点 ｂ 的分 隔值可 以用 （ ）式 Ｓ ｇ Ｓｇ ）则 ｋ １
子 的句 首起 始位 置 ， 最后 一个 句子 的句 尾位 置 ， ｂ为
Ａ
因此 ， 本 分 割 的本 质就 是 要 找 到一 个分 割 模 文
Ａ
．
．
Ａ
ｆ ＰＩ ｒ 一１
因此 ｂ 。和 ｂ 是 固有 的分 割 点 ） 每个 潜 在 分 割点 ｂ ， 也 称 为句子 Ｓ 与句 子 Ｓ 。 间 的一个 间 隔点 。 汁之 定义
关键词 ： 文本 分 割 ； 式 获 取 ； 式 优 化 模 模 中图 分 类 号 ： Ｐ ９ Ｔ ３１ 文 献标 志码 ： Ａ
１ 文本 分 割模 式 获 取 及 其优 化
本 文关 于文 本 分 割 任务 的基 本 思 路 是 ： 先 利 首
文 本 Ｄ 的一个 分 割模式 Ｐ ｃ 即 Ｐ＝ （ Ｐ ， ， Ｂ， Ｐ ， … Ｐ ） ， 中 Ｐ ∈ Ｂ。 为 其
分策略 ， 利用 “ 割 单 元 ” 部 具 有 最 大 的主 题 相 关 性 而 “ 割 单 元 ” 间 具 有 最 小 的 主 题 相 关 性 的思 想 ， 上 下 文 分 内 分 之 以
相关性分析计算为基础 ， 构建面 向中文文本 的文本分 割模 型框架和分割模式的优化方 法 。通过三组选 白国家汉语 语料库的测试结果表 明 ， 该方法识别分割边界 的平均错误 率和最低 值均好于现有的其他 中文文本分割方法。
示 ， 本 在 Ｄ 初 始 状 态 下 ， Ｂ 一 ｛。ｂ ， … ， 文 有 ｂ， ｂ，
Ｃｏ ｅ ｓｏ （ ｅ ｊ）一 Ｒ（ ｅ ， ｅ ｊ） ｈ ｎ ｉｎ Ｓ ｇ＾ Ｓ ｇ Ｓ ｇｋ
（） １
６ 。 ｂ｝ ， ， 等 ＋ １ 潜在 分 割点 （ 中 ｂ 为第 一个 句 ｒ 个 其 。
用 词语 之间 的语 义相 关关 系计 算上 下文 句 子之 间的 语 义相关 性 ， 然后 利 用 “ 割 单 元 ” 部具 有 最 大 的 分 内
主题 相关 性 而“ 分割单 元” 间具有 最小 的 主题相 关 之 性 的思想 ， 建潜 在分 隔 点 的分 割值 计算 模 型 ， 后 构 最
文本 Ｄ的一个分割模式 Ｐ中， 每两个相邻 的分割
点 Ｐ，斗 Ｐ ∈ Ｂ之 间对应 的文 本块 （ 由句 子序 列子 集 （ ， ， ） ５ … 组成 ） 都构成 了一个分 割单元 （ｅｍｅ ｔ Ｓｇ ｎ
Ｕｎ ， 称 Ｓ ， ｉ简 ｔ Ｕ） 因此一个 分割模 式 Ｐ将 文本 Ｄ分 割
式 Ｐ， 得 Ｐ— ａｇ ｉ ｛ ｘ Ｓ ｇ ｃ ｒ（ ￡） 即 Ｐ 使 ｒ ｒ ｎ ｍａ ｅ Ｓ ｏｅ ｐ） ， ａ
进 行 计算 。
Ｓ ｇ ｃ ｒ （ ￣ ＝ Ｃｏ ｅ ｓｏ （ ｅ ｌ ｅ Ｓ ｏ ｅ ｂ） ｈ ｎ ｉｎ Ｓ Ｊ ｇ ）＋
ห้องสมุดไป่ตู้
Ｓ ， 可 以是 复 杂 句 Ｃ 因此 定 义 文本 Ｄ 兰 Ｅｓ ｌ Ｓ也 Ｓ， ｓ
ｃ ］ ｛（ ｓ ｃ Ｊ ） ｓ＋ Ｅ ｓ』 ｓ ） 。 定 义 ２ 对 于文 本 Ｄ， 假定 存 在 于 每 两个 完 整 句 子之 间 的句 号 “ ” 问 号 “ ”或 感 叹 号 “ ”等分 割 。、 ？ ！ 标记 位 置上 都有 可能 成 为潜在 分 割点 ｂ 则 如 图 １ ， 所
成 为
Ｓ （Ｓ ＿’￡） Ｓ （Ｓ ”， ，） … ， Ｕ１ ＜ ．Ｓ ） ， ＜ 汁 Ｓ），
用 间隔 点深 度计 算方 法 ， 实现 分 割模式 的求解 ， 来 并 用语 言 特征 分析 结果 对分 割模 式进 行优 化 。下 面介
绍 具体 的实 现方 法 。
１ １ 文本 分割 问题描 述 ．
Ｄｅ ． ０１Ｉ ｃ２
文 章 编 号 ：０ ６Ｏ ６ （Ｏ １Ｏ —５ ７０ １０ 一４ ４ ２ ｌ） ６０ ９ —５
中文 文本 分 割模 式 获 取 及 其优 化 方 法
邹 箭 钟 茂 生 孟 荔。 ， ，
（． 西 司法 警 官 职 业 学 院 图 书馆 ， 西 南 昌 ３ ０ １ ；． 东交 通 大 学 信 息 工 程 学 院 ， 西 南 昌 ３ ０ １ ； １江 江 ３０ ３ ２ 华 江 ３ ０ ３
Ｓ ０ （ 抖 ．＇ ＞ 等 ｍ 一 １ 分割单元 。 【 （Ｓ ． ） 个
定 义 ３ 对 于 间 隔点 ∈ Ｂ， 够按 主题 相 关 能
性 原则 将其 对应 的上 下文 分割成 不 同单 元块 的能 力 的 量 化 值 称 为 该 间 隔 点 的 分 隔 值 ， 记 为