Transformer-CRF词切分方法在蒙汉机器翻译中的应用

收 稿日期：２０１９－０４－１６ 定稿日期：２０１９－０６－０３ 基金项目：国家自然科学基金（６１３６３０５２，６１９６６０２８）；内 蒙 古 自 治 区 自 然 科 学 基 金 （２０１６ＭＳ０６０５）；内 蒙 古 自 治 区 民 族 事 务 委员会基金（ＭＷ－２０１７－ＭＧＹＷＸＸＨ－０３）
０ 引 言
由于 人 工 翻 译 成 本 较 高，随 着 科 学 和 信 息 技 术 的 发 展 进 步，机 器 翻 译 已 经 逐 渐 取 代 人 工 翻 译。 １９５４年 １ 月 ７ 日，在 ＩＢＭ 纽 约 总 部，Ｇｅｏｒｇｅｔｏｗｎ－ ＩＢＭ 实验启动，ＩＢＭ 的 ７０１ 型 计 算 机 将 ６０ 个 俄 语 句子自动翻译成英 语，这 是 历 史 上 首 次 实 现 的 机 器 翻译。经过六十多 年 的 发 展，机 器 翻 译 技 术 日 趋 成
苏依拉，张 振，仁庆道尔吉，牛向华，高 芬，赵亚平
（内蒙古工业大学 信息工程学院，内蒙古 呼和浩特 ０１００８０）
摘 要：基 于编码—解码（端到端）结构的机器翻译逐渐成为自 然 语 言 处 理 之 机 器 翻 译 的 主 流 方 法 ，其 翻 译 质 量 较 高且流畅度较好，但依然存在词汇受 限、上 下 文 语 义 信 息 丢 失 严 重 等 问 题。 该 文 首 先 进 行 语 料 预 处 理，给 出 一 种 Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ算法来进行蒙古语词素和汉语分词的预处理方法。然后构 建 了 基 于 Ｔｅｎｓｏｒ２Ｔｅｎｓｏｒ的 编 码—解 码模型，为了从蒙古语语料中学习更多的语法和语义 知 识，该 文 给 出 了 一 种 基 于 词 素 四 元 组 编 码 的 词 向 量 作 为 编 码器输入，解码阶段。为了进一步缓解神经网络训练 时 出 现 的 词 汇 受 限 问 题，该 文 将 专 有 名 词 词 典 引 入 翻 译 模 型 来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验 对 比，表 明 模 型 在 处 理 长 时 依 赖 问 题上翻译性能得到提高。 关 键 词 ：蒙 汉 翻 译 ；Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ 分 词 算 法 ；蒙 古 语 词 素 中 图 分 类 号 ：ＴＰ３９１ 文 献 标 识 码 ：Ａ
熟。目前，基于深度 学 习 的 神 经 机 器 翻 译 和 统 计 机 器翻译成为机器翻译的主要研究方向和主流技术。
Ｃｈｏ Ｋ 等 提 ［１］ 出基于深度学习的神经网络端到 端框架，它 还 有 另 一 个 名 称，即 编 码 器—解 码 器 框 架 ，编 码 器 和 解 码 器 分 别 是 两 个 神 经 网 络 结 构 ，编 码 器实现源语言的统 一 编 码，解 码 器 把 编 码 器 输 出 的 隐层状态解码成对 应 的 目 标 语 言，实 现 双 语 的 近 似 同义转 换。Ｃｈｏ Ｋ 的 实 验 使 用 循 环 神 经 网 络 （ｒｅ－ ｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＲＮＮ），ＲＮＮ 神 经 网 络 不
Ａｂｓｔｒａｃｔ：Ｆｏｃｕｓｅｄ ｏｎ Ｍｏｎｇｏｌｉａｎ－Ｃｈｉｎｅｓｅ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ，ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ ａｌｇｏｒｉｔｈｍ ｔｏ ｐｅｒｆｏｒｍ ｃｏｒｐｕｓ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｆｏｒ Ｍｏｎｇｏｌｉａｎ ｍｏｒｐｈｅｍｅｓ ａｎｄ Ｃｈｉｎｅｓｅ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ．Ｔｈｅｎ ｔｈｅ ｅｎｃｏｄｉｎｇ－ｄｅｃｏ－ ｄｉｎｇ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ Ｔｅｎｓｏｒ２Ｔｅｎｓｏｒ ｉｓ ｃｏｎｓｔｒｕｃｔｅｄ．Ｉｎ ｏｒｄｅｒ ｔｏ ｌｅａｒｎ ｍｏｒｅ ｇｒａｍｍａｒ ａｎｄ ｓｅｍａｎｔｉｃ ｋｎｏｗｌｅｄｇｅ ｆｒｏｍ Ｍｏｎｇｏｌｉａｎ ｃｏｒｐｕｓ，ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａ ｍｏｒｐｈｅｍｅ ｑｕａｄ－ｅｎｃｏｄｅｄ ｗｏｒｄ ｖｅｃｔｏｒ ａｓ ｔｈｅ ｅｎｃｏｄｅｒ ｉｎｐｕｔ．Ｉｎ ｏｒｄｅｒ ｔｏ ｆｕｒ－ ｔｈｅｒ ａｌｌｅｖｉａｔｅ ｔｈｅ ｖｏｃａｂｕｌａｒｙ ｌｉｍｉｔａｔｉｏｎ ｐｒｏｂｌｅｍ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｔｒａｉｎｉｎｇ，ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓ ａ ｐｒｏｐｅｒ ｎｏｕｎ ｄｉｃ－ ｔｉｏｎａｒｙ ｉｎｔｏ ｔｈｅ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｅ ｍｏｄｅｌ ｈａｓ ｉｍｐｒｏｖｅｄ ｔｒａｎｓｌａｔｉｏｎ ｑｕａｌｉｔｙ ｉｎ ｄｅａｌｉｎｇ ｗｉｔｈ ｌｏｎｇ－ｔｅｒｍ ｄｅｐｅｎｄｅｎｃｅ． Ｋｅｙｗｏｒｄｓ：Ｍｏｎｇｏｌｉａｎ－Ｃｈｉｎｅｓｅ ｔｒａｎｓｌａｔｉｏｎ；Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ；Ｍｏｎｇｏｌｉａｎ ｍｏｒｐｈｅｍｅ
第 ３３ 卷 第 １０ 期 ２０１９ 年 １０ 月
中文信息学报 ＪＯＵＲＮＡＬ ＯＦ ＣＨＩＮＥＳＥ ＩＮＦＯＲＭＡＴＩＯＮ ＰＲＯＣＥＳＳＩＮＧ
文 章 编 号 ：１００３－００７７（２０１９）１０－００３８－０９
Ｖｏｌ．３３，Ｎｏ．１０ Ｏｃｔ．，２０１９
Baidu Nhomakorabea
Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ 词 切 分 方 法 在 蒙 汉 机 器 翻 译 中 的 应 用
Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｔｒａｎｓｆｏｒｍｅｒ－ＣＲＦ Ｗｏｒｄ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ ｉｎ Ｍｏｎｇｏｌｉａｎ－Ｃｈｉｎｅｓｅ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ
ＳＵ Ｙｉｌａ，ＺＨＡＮＧ Ｚｈｅｎ，ＲＥＮＱＩＮＧ Ｄａｏｅｒｊｉ，ＮＩＵ Ｘｉａｎｇｈｕａ，ＧＡＯ Ｆｅｎ，ＺＨＡＯ Ｙａｐｉｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｉｎｎｅｒ Ｍｏｎｇｏｌｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｈｏｈｈｏｔ，Ｉｎｎｅｒ Ｍｏｎｇｏｌｉａ ０１００８０，Ｃｈｉｎａ）