反向传播例题

反向传播例题
反向传播（Backpropagation）是深度学习中常用的一种优化算法，用于训练神经网络。

下面是一个简单的反向传播例题：
假设我们有一个简单的神经网络，用于解决异或（XOR）问题。

输入层有两个神经元，输出层有一个神经元。

设权重矩阵为W，偏置向量为b。

神经网络的激活函数为sigmoid（σ），损失函数为二元交叉熵（Cross -Entropy）。

1. 初始化权重矩阵W和偏置向量b。

2. 向前传播：将输入层的数据x传入神经网络，计算输出层的激活值y。

3. 计算损失函数L：根据输出层激活值y和真实标签y_true，计算损失L。

4. 反向传播：从输出层开始，逐层向前传播，计算各层梯度（导数）。

5. 更新权重和偏置：根据计算得到的梯度，使用学习率（learning rate）更新权重矩阵W和偏置向量b。

6. 重复步骤2-5，直到损失值收敛或达到预设的迭代次数。

现在，我们来具体计算梯度。

损失函数L对输出层的导数为：
dL/dY = -(y_true - Y)
由于激活函数σ的导数为1 / (1 + exp(-a))，其中a为输出层的激活值，所以输出层激活值Y对权重矩阵W和偏置向量b的导数为：
dY/dW = dL/dY * σ'(a) = (-(y_true - Y)) * σ'(a)
dY/db = dL/dY * σ'(a)
接下来，我们计算隐藏层的梯度。

由于隐藏层没有激活函数，其输出即为输入层的值，所以隐藏层对权重矩阵W和偏置向量b的导数为：dH/dW = X * dY/dW
dH/db = X * dY/db
最后，我们可以根据计算得到的梯度，更新权重矩阵W和偏置向量b：W = W - learning_rate * dL/dW
b = b - learning_rate * dL/db
通过不断迭代更新权重和偏置，神经网络的性能将逐渐提高，直至损失值收敛。

这个例子展示了反向传播算法在训练神经网络过程中的基本应用。

在实际问题中，反向传播算法需要应用于多层神经网络，并使用链式法则计算梯度。