基于短语的阿拉伯语到中文的机器翻译系统

２畅２ 词语对齐
本模块的主要目标就是实现训练语料库中的句子自动词 语对齐。
其基本思想是利用 ＧＩＺＡ ＋＋进行汉语到阿拉伯语、阿拉
伯语到汉语两个方向的训练，再对两个方向的对齐结果按照 Ｏｃｈ 等人［１４］ 提出的 Ｈｅｕｒｉｓｔｉｃ 的思路进行优化。 ＧＩＺＡ ＋＋实现 了 ＩＢＭ 统计翻译模型，但得到的对齐结果忽略了多对多及多 对一的情况。 为了解决 ＧＩＺＡ ＋＋词语对齐的问题，通常利用 双向对齐的结果进行优化。 优化的方法采用了以两个方向对 齐结果的交集为中心点，检查其上下左右（ ｇｒｏｗ） 及对角（ ｄｉａｇ） 相邻的八个点，若在并集中，则作为扩展的对齐点加入对齐序 列中。 具体实现伪代码如下：
自然语言处理在国内已经得到了充分的发展，尤其是在中 文处理方面已经达到了相对较高的水平；同时在机器翻译方 面，也取得了长足的进步，但主要研究还是在中文与英文的互 翻译上，对于一些相对较小的语种来说，国内的研究还比较少， 如在阿拉伯语与中文的翻译方面，还处于起步阶段。 本文采用 国际上流行的基于短语（ｂａｓｅ ｐｈｒａｓｅ）的统计机器翻译思想，借 鉴了国际上阿拉伯语到英语［１］ 、英语到中文［２，３］ 的机器翻译处 理方法，利用国内外现有的开源工具，建立了一个简易的阿拉 伯语到中文的翻译系统。
方法（ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｔｒａｉｎｉｎｇ） ［８］ ，其训练的优化准则为
λ＾１Ｍ
Ｓ
＝ａｒｇ ｍａｘ｛ ∑ ｌｏｇ
λ１Ｍ
ｓ ＝１
ｐλ１ｍ （ ｅｓ
｜ｆｓ ） ｝
（４）
这个判定准则是凸的，并存在全局最优。
收稿日期： ２００８唱１０唱０８； 修回日期： ２００８唱１１唱２７ 基金项目： 新疆自治区科技攻关（ 含重大专项） 和重点资助项目（２００７３２１４３唱１） 作者简介：李凯（１９８２唱） ，男， 硕士研究生，主要研究方向为自然语言处理、电子政务（ ｚｈｏｎｇｈｕａｔａｉｓｈａｎ＠ｇｍａｉｌ．ｃｏｍ） ；郑洁（１９８５唱） ，女，硕士研究 生，主要研究方向为电子政务、搜索引擎；蒋同海（１９６３唱） ，男，研究员，硕导，主要研究方向为多语种信息处理技术．
第 ２６ 卷第 ６ 期 ２００９ 年 ６ 月
计算机应用研究 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ
Ｖｏｌ．２６ Ｎｏ．６ Ｊｕｎ．２００９
基于短语的阿拉伯语到中文的机器翻译系统 倡
李 凯， 郑 洁， 蒋同海
（ 中国科学院 新疆理化技术研究所 多语种信息技术实验室， 乌鲁木齐 ８３００１１）
对于已经进行了词对齐的语料，直接估计最大似然词汇化 翻译表，用于短语对的词汇化概率计算。 如果直接用 ＧＩＺＡ ＋＋ 产生的翻译表计算，由于有的词条在 ＧＩＺＡ ＋＋词典中没有出 现，导致会有一些短语对的词汇化概率为 ０，而且 ＧＩＺＡ ＋＋词 典中没有 ｗ（ ａ ｜ＮＵＬＬ） 和 ｗ（ ｃ ｜ＮＵＬＬ） 这两个概率值。 直接估 计的方法就是直接抽取对齐的词对，如果某个词没有与之对齐 的翻译词，就认为它与 ＮＵＬＬ 对齐；然后计算同现次数，按照式 （５）（６）分别计算出 ｗ（ｃ ｜ｆ）和 ｗ（ｆ ｜ｃ），从而直接生成词汇化的 翻译表。
摘 要： 使用基于短语的统计翻译方法，搭建了一个简易的阿拉伯语到中文的翻译系统。 核心的解码器采用了 ｌｏｇ唱ｌｉｎｅａｒ 直接翻译模型进行开发，在系统中使用了大量的开源软件进行语料库的预处理，并讨论了该方向上尚 未解决的问题和未来的发展趋势。 关键词： 短语； 统计翻译； 阿拉伯语； ｌｏｇ唱ｌｉｎｅａｒ； 解码 中图分类号： ＴＰ３９１．４３ 文献标志码： Ａ 文章编号： １００１唱３６９５（２００９）００唱２３０６唱０４ ｄｏｉ：１０．３９６９ ／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０９３
２畅３ 短语抽取
目标：从词对齐的语料库中自动学习阿拉伯语短语到汉语 短语的翻译。
实现原理：很多基于短语的统计机器翻译系统的短语抽取 方法都很相似，根据这些方法，本模块实现了从词对齐中自动 抽取双语短语的算法。 基本思想就是首先根据词对齐生成最 大似然词汇化辞典；然后进行短语抽取；最后对每一个短语对 计算四个翻译概率。 ２畅３畅１ 生成最大似然词汇化翻译表
第６ 期
李 凯，等：基于短语的阿拉伯语到中文的机器翻译系统
· ２３ ０７ ·
笔者引入以下六个特征，并将其整合到 ｌｏｇ唱ｌｉｎｅａｒ 模型中： 短语翻译概率为 ｐ（ ｃ～｜ａ～）；逆向短语翻译概率为 ｐ（ ａ～｜ｃ～）；词汇 化的短语翻译概率为 ｌｅｘ（ ｃ～｜ａ～） ；逆向词汇化的短语翻译概率 为 ｌｅｘ（ ａ～｜ｃ～） ；中文语言模型为 ｌｍ（ ｃ１Ｉ ）；中文句子长度为 Ｉ。
ＡＮＤ 橙ｆ ｊ ∈ｆ：（ ｃｉ ， ｆｊ ） ∈Ｗ→ｃｉ ∈ｃ
（７）
其中：Ｗ 表示词语对齐的矩阵。 抽取方法就是提取对齐矩阵
中所有以对齐点为顶点的矩形，条件是与矩形所在行范围内的
词源对齐的目标词都在这个矩形的列范围内，反之亦然，如图
６ 所示。
ｗ（ ｃ ｜ｆ） ＝ｃｏｕｎｔ（ ｃ， ｆ） ／ｃｏｕｎｔｃ （ ｃ， ｆ）
（５）
ｗ（ ｆ ｜ｃ） ＝ｃｏｕｎｔ（ ｃ， ｆ） ／ｃｏｕｎｔｆ （ ｃ， ｆ）
（６）
２畅３畅２ 短语抽取
从词语对齐的语料库中抽取双语短语，要求短语对必须与
词对齐相容。 定义如下：
（ ｃ， ｆ） ∈ＢＰ骋橙ｃｉ ∈ｃ：（ ｃｉ， ｆｉ ） ∈Ｗ→ｆｉ ∈ｆ
（１）
对于直接翻译概率 Ｐｒ（ ｃ１Ｉ ｜ｆ １Ｊ ） ，系统采用了 ｌｏｇ唱ｌｉｎｅａｒ 直接
翻译模型［８］ 进行模拟：
Ｍ
Ｐｒ（ ｃ１Ｉ
｜ｆ１Ｊ ）
＝ｅｘｐ（
∑
ｍ ＝１
λｍ
ｈ
ｍ
（
ｃ１Ｉ
，ｆ１Ｊ
）
）
／
∑ｅｘｐ（
ｃ′１Ｉ′
Ｍ
∑
ｍ ＝１
λｍ
ｈ
ｍ
（ｃ１′Ｉ′，Fra bibliotekｆ１Ｊ ） ）
（２）
在式（２）中的分母（语言模型） 因为仅与源语言句子 ｆ１Ｊ 有 关，所以在搜索的过程中能够省略分母，然后得出了一个对翻
翻译系统的整个流程图如图 ２ 所示。 整个系统由以下模块构成：训练语料库预处理模块、中文 分词工具 （ 利 用 开 源 工 具 Ｓｔａｎｆｏｒｄ ＮＬＰ 提 供 的 中 文 分 词 工 具［１０］ ） 、阿拉伯语词形分析工具（利用开源工具 Ｅｎｃｏｄｅ唱Ａｒａｂｉｃ唱 １．８ 版［１１］ 和 ＡＭＩＲＡ１．０ 版［１２］ ） 、词语对齐模块（ 利用开源工具 ＧＩＺＡ ＋＋获得初始对齐，然后对结果进行再处理）、短语抽取 模块、语言模型训练模块（ 利用开源工具 ＳＲＩ）、语言模型应用 工具（利用开源工具 ＳＲＩ）、输入预处理模块、解码模块、输出后 处理模块。 每个模块都是一个可独立执行的文件，可以运行在 Ｌｉｎｕｘ 平台上。 模块之间以文件作为接口，这些文件包括训练语料 库、规范的训练语料库（采用 ＧＩＺＡ ＋＋定义）、分词的训练语料 库（采用 ＧＩＺＡ ＋＋定义）、词语对齐的语料库、短语翻译概率 表、语言模型（采用 ＳＲＩ 定义）、输入文本、输出文本。
１ 系统描述
１畅１ 基于短语的统计机器翻译模型
基于短语的统计机器翻译［４ ～６］ 以短语作为翻译的基本单 位。 对于一个阿拉伯语句子，翻译系统将其划分为多个连续的 词语串［７］ （ 即所谓的 ｐｈｒａｓｅ）；然后将每一个阿拉伯语短语翻 译为汉语短语；最后将产生的汉语短语进行顺序调整，并输出 译文，如图 １ 所示。
Ｐｈｒａｓｅ唱ｂａｓｅｄ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ ｓｙｓｔｅｍ ｆｒｏｍ Ａｒａｂｉｃ ｔｏ Ｃｈｉｎｅｓｅ
ＬＩ Ｋａｉ， ＺＨＥＮＧ Ｊｉｅ， ＪＩＡＮＧ Ｔｏｎｇ唱ｈａｉ
（ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｍｕｌｔｉｌｉｎｇｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｘｉｎｊｉａｎｇ Ｔｅｃｈｎｉｃａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ ＆ Ｃｈｅｍｉｓｔｒｙ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｕｒｕｍｑｉ ８３００１１， Ｃｈｉｎａ）
２ 预处理和规范化工具
一个训练语料的流程图如图 ３ 所示。
2
3
２畅１ 训练语料的预处理
训练语料都是中文和阿拉伯文句子对齐的语料，在进行 ＧＩＺＡ ＋＋训练前，需要对这些语料进行加工处理。 对语料进行 预处理的主要工作就是进行中文分词和阿拉伯语的词形分析。 实现原理如下：
ａ） 中文分词 系统中使用 Ｓｔａｎｆｏｒｄ ＮＬＰ 自然语言处理小组开发的中文 分词开源工具［１３］ 对文档进行处理，分词后的文件保持原文件 名（ｆｉｌｅｎａｍｅ．ｔｘｔ），同时产生原文件的备份文件（ ｆｉｌｅｎａｍｅ．ｃｌａ． ｂａｋ）。 举例如图 ４ 所示。 ｂ） 阿拉伯语的词形分析 系统中使用了 Ｄｉａｂ 开发的 ＡＭＩＲＡ１．０ 进行阿拉伯语词形 分析，但是在处理前，首先要利用软件 Ｅｎｃｏｄｅ唱Ａｒａｂｉｃ 将阿拉伯 语的句子转换为 Ｂｕｃｋｗａｌｔｅｒ 编码的格式；然后再将经过编码转 换的句子输入到 ＡＭＩＲＡ，依次进行词法分析、词性标注和短语 划分。 举例如图 ５ 所示。
译模型起决定作用的公式：
ｃ＾１Ｉ＾＝ａｒｇＩ，ｃｍ１Ｉ ａｘ｛
Ｍ
ｍ∑＝１ λｍ
ｈ
ｍ
（
ｃ１Ｉ
，
ｆ
Ｊ １
）
｝
（３）
这个方法是 ｔｈｅ ｓｏｕｒｃｅ ｃｈａｎｎｅｌ ａｐｐｒｏａｃｈ［９］ 的一个泛化。 其
优点是能够很容易地把辅助模型 ｈ（· ） 整合到整个系统之中。 这个模型的比例因子 λ１Ｍ 能够被训练，通过一种区别性的学习
１畅２ 基准的统计机器翻译系统
在统计机器翻译中，假定一个源语言句子 ｆ１Ｊ ＝ｆ１ …ｆｊ …ｆＪ ， 要被翻译成目标语言句子为 ｃ１Ｉ ＝ｃ１ …ｃｉ …ｃＩ 。 在所有可能的目 标翻译句子中，选择出概率最高的句子作为最终的目标翻译 句子。