神经网络、机器翻译、情感分类和自动评论等研究方向的5篇论文

神经网络、机器翻译、情感分类和自动评论等研究方向的5篇论文第56 届计算语言学协会年会ACL 2018 将于当地时间7月15-20日在澳大利亚墨尔本举办。腾讯AI Lab 今年共有 5 篇论文入选，涉及到神经机器翻译、情感分类和自动评论等研究方向。下面将介绍这5 篇论文的研究内容。

1、通往鲁棒的神经网络机器翻译指路（Towards Robust Neural MachineTranslation）

论文地址：https://arxiv/abs/1805.06130

在神经机器翻译（NMT）中，由于引入了循环神经网络（RNN）和注意机制，上下文中的每个词都可能影响模型的全局输出结果，这有些类似于“蝴蝶效应”。也就是说，NMT 对输入中的微小扰动极其敏感，比如将输入中某个词替换成其近义词就可能导致输出结果发生极大变化，甚至修改翻译结果的极性。针对这一问题，研究者在本论文中提出使用对抗性稳定训练来同时增强神经机器翻译的编码器与解码器的鲁棒性。

上图给出了该方法的架构示意，其工作过程为：给定一个输入句子x，首先生成与其对应的扰动输入x，接着采用对抗训练鼓励编码器对于x 和x 生成相似的中间表示，同时要求解码器端输出相同的目标句子y。这样能使得输入中的微小扰动不会导致目标输出产生较大差异。

研究者在论文中提出了两种构造扰动输入的方法。第一种是在特征级别（词向量）中加入高斯噪声；第二种是在词级别中用近义词来替换原词。

研究表明，该框架可以扩展应用于各种不同的噪声扰动并且不依赖于特定的NMT 架构。实验结果表明该方法能够同时增强神经机器翻译模型的鲁棒性和翻译质量，下表给出了在NIST 汉语-英语翻译任务上的大小写不敏感BLEU 分数。

可以看到，研究者使用极大似然估计（MLE）训练的NMT 系统优于其它最好模型大约3 BLEU。

2、hyperdoc2vec：超文本文档的分布式表示（hyperdoc2vec:Distributed Representations of