机器翻译评测大纲

机器翻译评测大纲

一、评测对象

本次评测的对象包括：汉－英、英－汉、汉－日、日－汉机器翻译系统中的核心技术。

二、评测内容

本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。

本次评测的评测指标包括译文质量和翻译速度。

三、评测方法

1. 评测方式

本次评测为现场评测。采用的是以人工评测为主，人工评测和自动评测相结合的方式。

人工评测方式是：由评测组织单位将各个评测单位提交的评测结果汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行人工评测。将专家评测的结果汇总，用计算机还原成原来的排列顺序，分别计算出各个评测单位的总得分。

2.评测步骤

∙在评测单位统一提供的评测环境上安装被测系统

∙评测单位给出评测数据

∙被测单位运行系统，提交评测结果

∙评测单位运行自动评测程序，得出自动评测结果

∙评测单位事后进行人工评测

∙公布评测结果

3.评测标准

（1）自动评测标准

机器翻译的自动评测目前比较成熟的标准有BLEU标准、NIST标准等。本次评测采用NIST标准。具体评测标准见附件。

（2）人工评测标准

本次评测按0 - 6个等级层次打分，最后采用百分制换算评测结果。

总的可理解率=（T1*20%+T2*40%+T3*60%+T4*80%+T5*90%+T6*100%）/ 总句数

其中：Ti为被评为第i等级的句数。

（3）翻译速度评测标准

由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。

4. 输入输出文件格式

下面以汉英机器翻译为例，说明输入输出文件格式。其中p标签为段落标记，s标签为句子标记。输入文件中每个s标签内部为一个句子。输出文件中每个s 标签与输入文件中的s标签一一对应。由于一个源语言句子可能翻译成一个或多个目标语言句子，所以输出文件中每个s标签内部可以有不只一个句子。Lang 为语言代码，汉语用“zh”表示，英语用“en”表示，日语用“ja”表示。汉语、英语、日语的输入和输出文件统一采用GBK编码。

（1）输入文件格式：

玻利维亚举行总统与国会选举

(法新社玻利维亚拉巴斯电)玻利维亚今天举行总统与国会选举，投票率

比预期更高，选民希望选出的新领导阶层能够振兴经济，改善人民的生活水准，抑制这个南美洲最贫穷国家的劳工骚动。

投票所于下午四时(台北时间七月一日清晨四时)关闭，选务人员说，选

举结果将于两小时之后开始发布。

稍早，玻利维亚总统与参与选举的候选人援引巴西赢得世足赛冠军为

例，鼓励民众踊跃投票，虽然联邦法律规定，凡达投票年龄的玻利维亚人都必须

投票。

任期即将届满的玻利维亚总统吉洛卡说：「巴西队在横滨以二比０击败德国队，我们玻利维亚人必须击败那些不出来投票的人。」

全国执勤的三万名军人与警察奉命投票日必须禁止卖酒，也禁止群众聚会，但随着邻国巴西赢得第五次世足赛冠军的消息上午传抵此间，玻利维亚人同样欣喜若狂，集体狂欢，军警根本无法执行上述禁令。

美洲国家组织派遣五十名观察员监督玻利维亚恢复民主统治以来的第五次大选。

政府官员说，边界已经关闭以防止选举舞弊。

（2）输出文件格式：

Bolivia Holds Presidential and Parliament Elections

(AFP, La Paz, Bolivia) Bolivia held its presidential and parliament elections today. With a higher than expected turn-out rate, voters hope the newly elected leadership can revitalize the economy, improve the people's living standards and control the labor unrest in this poorest country in South America.

The polling stations closed at 4 p.m. (4 a.m. on July 1, Taipei time). The polling staff said that the results of the elections will be released within two hours.