为大家介绍三个NLP领域的热门词汇

为大家介绍三个NLP领域的热门词汇

编者按：在过去的一段时间，自然语言处理领域取得了许多重要的进展，Transformer、BERT、无监督机器翻译，这些词汇仿佛在一夜之间就进入了人们的视野。你知道它们具体都是什么意思吗？今天，我们就将为大家介绍三个NLP领域的热门词汇。Transformer

Transformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意力（Self-attention）机制，在任务表现、并行能力和易于训练性方面都有大幅的提高。

在Transformer 出现之前，基于神经网络的机器翻译模型多数都采用了RNN的模型架构，它们依靠循环功能进行有序的序列操作。虽然RNN 架构有较强的序列建模能力，但是存在训练速度慢，训练质量低等问题。

与基于RNN 的方法不同，Transformer 模型中没有循环结构，而是把序列中的所有单词或者符号并行处理，同时借助自注意力机制对句子中所有单词之间的关系直接进行建模，而无需考虑各自的位置。具体而言，如果要计算给定单词的下一个表征，Transformer 会将该单词与句子中的其它单词一一对比，并得出这些单词的注意力分数。注意力分数决定其它单词对给定词汇的语义影响。之后，注意力分数用作所有单词表征的平均权重，这些表征输入全连接网络，生成新表征。

由于Transformer 并行处理所有的词，以及每个单词都可以在多个处理步骤内与其它单词之间产生联系，它的训练速度比RNN 模型更快，在翻译任务中的表现也比RNN 模型更好。除了计算性能和更高的准确度，Transformer 另一个亮点是可以对网络关注的句子部分进行可视化，尤其是在处理或翻译一个给定词时，因此可以深入了解信息是如何通过网络传播的。

之后，Google的研究人员们又对标准的Transformer 模型进行了拓展，采用了一种新型的、注重效率的时间并行循环结构，让它具有通用计算能力，并在更多任务中取得了更好的结