自然语言的自动分析与生成简介
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ａ ｉｆ Ｉ ｒ ｕｃ ｉ ｎ ｔ ｔ ａ Ｌａ ｕａ ｅ Ｕｎｄ ｒ ｔ ｎｄｉ ａ Ｂｒ ｅ ｎｔ ｏｄ ｔｏ ｏ Ｎａ ｕｒ ｌ ｎｇ ｇ ｅ ｓａ ｎｇ ｎｄ ｎｅ ａ ｉ ｎ Ｇｅ ｒ ｔｏ Ｚ ＨＡＮ Ｗ ｅ ｄ ｎ ｉ ｏ ｇ
Ａ ｂ ｔ ａ ｔ Ａｓ ｓ ｆｅｄ ｆ Ａｒｉ ｃａ Ｉ ｅｌｇ ｎｃ ｓｒ ｃ ： ａ ｕｂ ｌ ｏ ｔｆ ｉ ｌ ｎｔｌｉ ｅ ｅ， ｔ ａ ｍ ｏ Ｎａ ｕ ａ Ｌａ ｇ ｇ Ｐｒ ｃ ｓ ｉ ｇ ｓ ｉ ｉ ｈｅ ｉ ｆ ｔｒｌ ｎ ｕａ ｅ ｏ ｅ ｓｎ ｉ
行 自然 语 言生成 的训 练 。一 般 人往 往会 觉 得 阅读
理解 相对 容 易 ， 文练 习则 相对 困难 一些 。 作 而有 过
能力 。 对应 于交 际过程 中的理解 和生成 ， 计算 机 的
・
计算语 言学 ・
《 术语标准化与信息￣
２ １ 年第 ４ ０ｏ 期
自然语 言的 自动分析 与生成简介 六
◇詹卫东（ 北京大学中文系 北京大学汉语语言学研究中心
北京 大学 计算 语言 学教 育 部重 点实 验室 ）
摘 要 ： 自然语 言 的 自动 分析 （ 解 ） 生 成构 成 了 自然语 言处理研 究的 全部 内容 。 这 两个 直 理 和 但
ｔ ｃ ｍｍｕ ｃ ｔ ｂｅｗｅ ｎ ｏ ｕｔｒ ａ ｈ ｍａ ｂ ｎ ｔ ａ ｌ ｎ ｕａ ｅ Ｉ ｏ ｄ ｒ ｏ ｅ ｌｚｎ ｉ， ｏ ｏ ｎｉａ ｅ ｔ ｅ ｃ ｍｐ ｅ ｓ ｎｄ ｕ ｎ ｙ ａｕｒ ｌ ａ ｇ ｇ ． ｎ ｒ ｅ ｔ ｒ ａｉｉ ｇ ｔ ｃ ｍｐ ｔ ｒ ｓ ｏ ｌ ｂ ａ ｌ ｔ ｕｎ ｒ ｔ ｎ ｎａｕｒ ｌ ｌ ｎ ｕ ｇ ａ ｄ ｇ ｎｅ ａｅ ｎ ｔ ａ ｌ ｎ ｕａ ｅ ｏ ｕ ｅｓ ｈ ｕｄ ｅ ｂｅ ｏ ｄｅ ｓａ ｄ ｔ ａ ａ ｇ ａ ｅ ｎ ｅ ｒ ｔ ａｕｒ ｌ ａ ｇ ｇ ａ ｔ ｍａ ｉａ ｌ ａ ｗｅ １ Ｔｈ ｓ ｕ ｏ ｔｃ ｌｙ ｓ ｌ． ｉ ｐａ ｅ ｇｖ ｓ ｖ ｒ ｂ ｉｆ ｎ ｒ ｄ ｔｏ ｏ ｔ ｂ ｓｃ ｒａ ｗｏ ｋ ｆ ｐ ｒ ｉｅ ａ ｅ ｙ ｒｅ ｉ ｔｏ ｕｃｉ ｎ ｎ ｈｅ ａ ｉ ｆ ｍｅ ｒ ｏ ＮＬＵ ａ ｄ ＮＬＧ ｒ ｓ ｅ ｔｖ ｌ ｎ ｅ ｐ ｃ ｉｅ ｙ， ｉ ｃ ｕ ｉ ｇ ｔ ｅ ｔｓ ， ｃ ｌｅ ｇ ｓ ａ ｄ ａ ｃ ｔｃ ｕ ｅ ｏ ｔ ｔ ｆｅ ｄ ． ｎ ｌ ｄ ｎ ｈ ａ ｋｓ ｈａｌ ｎ ｅ ｎ ｒ ｈｉｅ ｔ ｒ ｓ ｆ ｈｅ ｗｏ ｉ ｌ ｓ Ｉ ｔ ｉｉ ｅｙ， ｔ ｅ ｎ ｕ ｔｖ ｌ ｈ ＮＬＧ ｃ ｎ ａ ｂｅ ｉｗｅ ａ ｔ ｅ ｎｖ ｒｅ ｒ ｃ ｓ ｏ ＮＬ ｒ ｅ ｏ ｍｅ ， ｈ ｗｅ ｅ ， ｈ ｓ ｖｅ ｄ ｓ ｈ ｉ ｅ ｓ ｐ ｏ ｅ ｓ ｆ Ｕ． ｈ ｆ ｒ ｒ ｏ ｖｒ ａ ｒ ｃ ｉ ｅ ｍｕ ｈ ｅ ｓ ｔｅ ｉｎ ｎｄ ｅ ｅ ｒ ｈ ｅ ｅｖ ｄ ｃ ｌ ｓ ａ ｔｎｔｏ ａ ｒ ｓ ａ ｃ ｗｏ ｋ ｈａ ｔ ｅ ａｔ ｒ Ｗ ｈｉ ｔ ｒ ａ ｅ ｒ ｔ ｎ ｈ ｌｔｅ ． ｌ ｈｅ ｅ ｒ ｍａ ｙ ｅ ｓ ｎｓ ｅ ｎ ｒ ａ ｏ ｗｈ ｃ ｈ ｖ ｂ ｅ ｍｅ ｉｎｅ ｔ ｅ ｐ ａ ｎ ｉｈ ａ ｅ ｅ ｎ ｎｔ ｏ ｄ ｏ ｘ ｌ ｉ ｗｈｙ ｈ ｓ ｔ ｉ ｍｉｈ ｂｅ ｏ， ｔ ｉ ｐ ｐ ｒ ｉｇ ｅ ｏ ｔ ｎ ｗ ｉ ｇ ｇｔ Ｓ ｈ ｓ ａ ｅ ｆ ｕｒ ｓ ｕ ａ ｅ ｍａ ｅ ｔ ｉｌ ｓｒ ｔ ｔ ｅ ｅａ ｉｎ ｅ ｗｅ ｎ ｈ ｍ ｗｈ ｃ ｉ ｓ ｍｅ ａ ｄ ｆｅ ｅ ｔ ｆｏ ｏ ｌｕ ｔａｅ ｈ ｒ ｌ ｔｏ ｂ ｔ ｅ ｔ ｅ ｉ ｈ ｓ ｏ ｗｈ ｔ ｉｆ ｒ ｎ ｍ ｔ ｅ ｒ ｈ ｐａ ｔ ｖ ｅ ｏ ｎ ｓ ｓ ｉ ｗｐ ｉ ｔ．
Ｋ ｅ ｗｏｒ ： Ｎａｕ ａ Ｌａ ｕ ｇ Ｐ ｏ ｅ ｓｎ ｙ ｄｓ ｔｒｌ ｎｇ ａ ｅ ｒ ｃ ｓ ｉ ｇ； Ｓｙ ａ ｔｃ ｎｔｃ ｉ Ｐａ ｓｎ ｒ ｉ ｇ； Ｎａ ｕ ａ Ｌａ ｇ ａ ｅ ｔｒｌ ｎ ｕ ｇ Ｇｅ ｅ ａ ｉｎ ｎ ｒ ｔｏ
一
、
引 言
分 ቤተ መጻሕፍቲ ባይዱ 和生成 语 言 的能力 ，可 以说在 我 们 的 日
觉上对称的任务在 实际 中却并没有平等的地位 ， 前者受到更多的关注和讨论 ， 者的研究则相对薄 后
弱 。本 文 对 自然语 言 自动 分析 和 生成 各 自的 目标 、 临的 问题 ， 采 用 的基 本 方 法等做 了概要 的介 面 所
绍， 并对 如何认 识 二者之 间的 关 系做 了初 步 的讨论 。 关键词 ： 自然语 言 处理 ； 句法分析 ； 自然语 言 生成
自然语 言 （ ａｕａ Ｌｎｕｇ） 人 与人 之 间相 Ｎ ｔｒｌ ａｇａｅ是
互 交 际 的最 主要工 具 。无 论是 自然 口语 还是 书 面
语 的交 际 ，都 包 括 理 解 （ ｎ ｅｓ ｎ ｉｇ ｕ ｄ ｒ ａ ｄｎ ）和 生 成 ｔ
（ｅ ｅａｉ ） ｇｎ ｒｔ ｎ 这两 个相 反 的过 程 。在 电子 计算 机 出 ｏ 现 之后 ，人 们 希望 计算 机 能够 模 拟人 的语 言 交 际
常 生活 中无 处不 在 ， 且人 们 在学 习语 文课 程 中 ， 而
这 两方 面的能力 也 都是 最 主要 的训 练 内容 ： 比如 阅读 理解 （ ｅ ｄｎ ｏ ｒｈ ｎｉｎ 就 是 在进 行 自 Ｒ ａ ｉｇ Ｃ ｍｐｅ ｅ ｓ ） ｏ 然 语 言 分析 的训 练 ； 文 练 习 （ ｉｎ ） １ 在 进 作 Ｗｒ ｉｇ ￣ 是 ｔ ］
Ａ ｂ ｔ ａ ｔ Ａｓ ｓ ｆｅｄ ｆ Ａｒｉ ｃａ Ｉ ｅｌｇ ｎｃ ｓｒ ｃ ： ａ ｕｂ ｌ ｏ ｔｆ ｉ ｌ ｎｔｌｉ ｅ ｅ， ｔ ａ ｍ ｏ Ｎａ ｕ ａ Ｌａ ｇ ｇ Ｐｒ ｃ ｓ ｉ ｇ ｓ ｉ ｉ ｈｅ ｉ ｆ ｔｒｌ ｎ ｕａ ｅ ｏ ｅ ｓｎ ｉ
行 自然 语 言生成 的训 练 。一 般 人往 往会 觉 得 阅读
理解 相对 容 易 ， 文练 习则 相对 困难 一些 。 作 而有 过
能力 。 对应 于交 际过程 中的理解 和生成 ， 计算 机 的
・
计算语 言学 ・
《 术语标准化与信息￣
２ １ 年第 ４ ０ｏ 期
自然语 言的 自动分析 与生成简介 六
◇詹卫东（ 北京大学中文系 北京大学汉语语言学研究中心
北京 大学 计算 语言 学教 育 部重 点实 验室 ）
摘 要 ： 自然语 言 的 自动 分析 （ 解 ） 生 成构 成 了 自然语 言处理研 究的 全部 内容 。 这 两个 直 理 和 但
ｔ ｃ ｍｍｕ ｃ ｔ ｂｅｗｅ ｎ ｏ ｕｔｒ ａ ｈ ｍａ ｂ ｎ ｔ ａ ｌ ｎ ｕａ ｅ Ｉ ｏ ｄ ｒ ｏ ｅ ｌｚｎ ｉ， ｏ ｏ ｎｉａ ｅ ｔ ｅ ｃ ｍｐ ｅ ｓ ｎｄ ｕ ｎ ｙ ａｕｒ ｌ ａ ｇ ｇ ． ｎ ｒ ｅ ｔ ｒ ａｉｉ ｇ ｔ ｃ ｍｐ ｔ ｒ ｓ ｏ ｌ ｂ ａ ｌ ｔ ｕｎ ｒ ｔ ｎ ｎａｕｒ ｌ ｌ ｎ ｕ ｇ ａ ｄ ｇ ｎｅ ａｅ ｎ ｔ ａ ｌ ｎ ｕａ ｅ ｏ ｕ ｅｓ ｈ ｕｄ ｅ ｂｅ ｏ ｄｅ ｓａ ｄ ｔ ａ ａ ｇ ａ ｅ ｎ ｅ ｒ ｔ ａｕｒ ｌ ａ ｇ ｇ ａ ｔ ｍａ ｉａ ｌ ａ ｗｅ １ Ｔｈ ｓ ｕ ｏ ｔｃ ｌｙ ｓ ｌ． ｉ ｐａ ｅ ｇｖ ｓ ｖ ｒ ｂ ｉｆ ｎ ｒ ｄ ｔｏ ｏ ｔ ｂ ｓｃ ｒａ ｗｏ ｋ ｆ ｐ ｒ ｉｅ ａ ｅ ｙ ｒｅ ｉ ｔｏ ｕｃｉ ｎ ｎ ｈｅ ａ ｉ ｆ ｍｅ ｒ ｏ ＮＬＵ ａ ｄ ＮＬＧ ｒ ｓ ｅ ｔｖ ｌ ｎ ｅ ｐ ｃ ｉｅ ｙ， ｉ ｃ ｕ ｉ ｇ ｔ ｅ ｔｓ ， ｃ ｌｅ ｇ ｓ ａ ｄ ａ ｃ ｔｃ ｕ ｅ ｏ ｔ ｔ ｆｅ ｄ ． ｎ ｌ ｄ ｎ ｈ ａ ｋｓ ｈａｌ ｎ ｅ ｎ ｒ ｈｉｅ ｔ ｒ ｓ ｆ ｈｅ ｗｏ ｉ ｌ ｓ Ｉ ｔ ｉｉ ｅｙ， ｔ ｅ ｎ ｕ ｔｖ ｌ ｈ ＮＬＧ ｃ ｎ ａ ｂｅ ｉｗｅ ａ ｔ ｅ ｎｖ ｒｅ ｒ ｃ ｓ ｏ ＮＬ ｒ ｅ ｏ ｍｅ ， ｈ ｗｅ ｅ ， ｈ ｓ ｖｅ ｄ ｓ ｈ ｉ ｅ ｓ ｐ ｏ ｅ ｓ ｆ Ｕ． ｈ ｆ ｒ ｒ ｏ ｖｒ ａ ｒ ｃ ｉ ｅ ｍｕ ｈ ｅ ｓ ｔｅ ｉｎ ｎｄ ｅ ｅ ｒ ｈ ｅ ｅｖ ｄ ｃ ｌ ｓ ａ ｔｎｔｏ ａ ｒ ｓ ａ ｃ ｗｏ ｋ ｈａ ｔ ｅ ａｔ ｒ Ｗ ｈｉ ｔ ｒ ａ ｅ ｒ ｔ ｎ ｈ ｌｔｅ ． ｌ ｈｅ ｅ ｒ ｍａ ｙ ｅ ｓ ｎｓ ｅ ｎ ｒ ａ ｏ ｗｈ ｃ ｈ ｖ ｂ ｅ ｍｅ ｉｎｅ ｔ ｅ ｐ ａ ｎ ｉｈ ａ ｅ ｅ ｎ ｎｔ ｏ ｄ ｏ ｘ ｌ ｉ ｗｈｙ ｈ ｓ ｔ ｉ ｍｉｈ ｂｅ ｏ， ｔ ｉ ｐ ｐ ｒ ｉｇ ｅ ｏ ｔ ｎ ｗ ｉ ｇ ｇｔ Ｓ ｈ ｓ ａ ｅ ｆ ｕｒ ｓ ｕ ａ ｅ ｍａ ｅ ｔ ｉｌ ｓｒ ｔ ｔ ｅ ｅａ ｉｎ ｅ ｗｅ ｎ ｈ ｍ ｗｈ ｃ ｉ ｓ ｍｅ ａ ｄ ｆｅ ｅ ｔ ｆｏ ｏ ｌｕ ｔａｅ ｈ ｒ ｌ ｔｏ ｂ ｔ ｅ ｔ ｅ ｉ ｈ ｓ ｏ ｗｈ ｔ ｉｆ ｒ ｎ ｍ ｔ ｅ ｒ ｈ ｐａ ｔ ｖ ｅ ｏ ｎ ｓ ｓ ｉ ｗｐ ｉ ｔ．
Ｋ ｅ ｗｏｒ ： Ｎａｕ ａ Ｌａ ｕ ｇ Ｐ ｏ ｅ ｓｎ ｙ ｄｓ ｔｒｌ ｎｇ ａ ｅ ｒ ｃ ｓ ｉ ｇ； Ｓｙ ａ ｔｃ ｎｔｃ ｉ Ｐａ ｓｎ ｒ ｉ ｇ； Ｎａ ｕ ａ Ｌａ ｇ ａ ｅ ｔｒｌ ｎ ｕ ｇ Ｇｅ ｅ ａ ｉｎ ｎ ｒ ｔｏ
一
、
引 言
分 ቤተ መጻሕፍቲ ባይዱ 和生成 语 言 的能力 ，可 以说在 我 们 的 日
觉上对称的任务在 实际 中却并没有平等的地位 ， 前者受到更多的关注和讨论 ， 者的研究则相对薄 后
弱 。本 文 对 自然语 言 自动 分析 和 生成 各 自的 目标 、 临的 问题 ， 采 用 的基 本 方 法等做 了概要 的介 面 所
绍， 并对 如何认 识 二者之 间的 关 系做 了初 步 的讨论 。 关键词 ： 自然语 言 处理 ； 句法分析 ； 自然语 言 生成
自然语 言 （ ａｕａ Ｌｎｕｇ） 人 与人 之 间相 Ｎ ｔｒｌ ａｇａｅ是
互 交 际 的最 主要工 具 。无 论是 自然 口语 还是 书 面
语 的交 际 ，都 包 括 理 解 （ ｎ ｅｓ ｎ ｉｇ ｕ ｄ ｒ ａ ｄｎ ）和 生 成 ｔ
（ｅ ｅａｉ ） ｇｎ ｒｔ ｎ 这两 个相 反 的过 程 。在 电子 计算 机 出 ｏ 现 之后 ，人 们 希望 计算 机 能够 模 拟人 的语 言 交 际
常 生活 中无 处不 在 ， 且人 们 在学 习语 文课 程 中 ， 而
这 两方 面的能力 也 都是 最 主要 的训 练 内容 ： 比如 阅读 理解 （ ｅ ｄｎ ｏ ｒｈ ｎｉｎ 就 是 在进 行 自 Ｒ ａ ｉｇ Ｃ ｍｐｅ ｅ ｓ ） ｏ 然 语 言 分析 的训 练 ； 文 练 习 （ ｉｎ ） １ 在 进 作 Ｗｒ ｉｇ ￣ 是 ｔ ］