cbow 和 skip-gram计算公式

cbow 和 skip-gram计算公式
一、模型简介
CBW（Convolutional Bottleneck）和Skip-Gram（Skip-Gramm）模型是深度学习领域中的两种常见隐含层生成模型，主要用于自然语言处理任务，如文本分类、情感分析、语言生成等。

这两种模型通过学习上下文信息之间的关系，进而预测当前词的标签。

二、计算公式
1. CBW模型
CBW模型的基本思想是在输入词的上下文中提取特征，并通过卷积神经网络（Convolutional Neural Network，CNN）进行特征提取。

其计算公式如下：
y_t = σ(W_1*[x_t-1, x_t, x_t+1] + b_1)
h_t = σ(W_2*y_t + b_2)
其中，y_t表示当前词的预测值，x_t表示当前词的上下文特征，σ为激活函数，W_1和W_2为权重矩阵，b_1和b_2为偏置项。

通过这种方式，模型能够学习到上下文信息之间的关联，进而预测当前词的标签。

2. Skip-Gram模型
Skip-Gram模型的基本思想是直接从上下文中预测当前词的标签。

其计算公式如下：
y = σ(W*[x_t-1, x_t, x_t+1] + b)
其中，y表示当前词的标签预测值，x_t表示当前词的上下文特征，W和b为权重矩阵和偏置项，σ为激活函数。

模型通过学习上下文特征与标签之间的映射关系，进而预测当前词的标签。

三、模型训练
CBW和Skip-Gram模型可以通过反向传播算法进行训练。

具体来说，对于每个训练样本（输入词和对应的标签），模型会根据当前词的上下文特征进行预测，并根据预测值与实际标签之间的误差进行反向传播，更新权重矩阵和偏置项。

通过多次迭代训练，模型能够逐渐学习到上下文信息之间的关联，并提高预测的准确度。

四、总结
CBW和Skip-Gram模型是深度学习领域中常用的隐含层生成模型，主要用于自然语言处理任务。

这两种模型通过学习上下文信息之间的关系，能够有效地预测当前词的标签。

在实际应用中，可以根据具体任务的需求选择合适的模型，并进行相应的参数调整和优化。