预训练语言模型分类

预训练语言模型分类
预训练语言模型是指在大规模的语料库上进行无监督训练，学习到语言的统计规律和语义信息后，可以用于各种自然语言处理任务的模型。

预训练语言模型主要可以分为以下几种分类：
1. 自回归语言模型（Autoregressive Language Models）：这种
模型通过将每个词的生成依赖于前面的词，来预测下一个词的概率分布。

典型的例子是循环神经网络语言模型（RNN Language Models）和变换器语言模型（Transformer Language Models，如GPT）。

2. 掩码语言模型（Masked Language Models）：这种模型在预
训练阶段将输入序列中一部分词随机掩码（用特殊标记替换），然后通过模型预测这些掩码位置上的词。

BERT就是一种典型
的掩码语言模型。

3. 预测下一个句子（Next Sentence Prediction）：这种模型通
过预测给定两个句子是否是相邻的，来学习句子之间的关系和语义信息。

例如，BERT中的任务是预测一个句子对是否是连
续的。

4. 基于知识图谱的语言模型（Knowledge Graph Language Models）：这种模型在预训练过程中将知识图谱的结构信息引入模型，以更好地理解实体之间的关系。

例如，KG-BERT和ERNIE等模型。

不同的预训练语言模型在设计上有所不同，适用于不同的自然语言处理任务。

其中，BERT和GPT是目前应用最广泛的两种预训练语言模型。