梯度下降两大痛点：陷入局部极小值和过拟合

梯度下降两大痛点：陷入局部极小值和过拟合

介绍

基于梯度下降训练神经网络时，我们将冒网络落入局部极小值的风险，网络在误差平面上停止的位置并非整个平面的最低点。这是因为误差平面不是内凸的，平面可能包含众多不同于全局最小值的局部极小值。此外，尽管在训练数据上，网络可能到达全局最小值，并收敛于所需点，我们无法保证网络所学的概括性有多好。这意味着它们倾向于过拟合训练数据。

有一些手段有助于缓解这些问题，不过并没有绝对地预防这些问题产生的方法。这是因为网络的误差平面一般很难穿越，而神经网络整体而言很难解释。

随机梯度下降与mini-batch随机梯度下降

这些算法改编了标准梯度下降算法，在算法的每次迭代中使用训练数据的一个子集。SGD 在每权重更新上使用一个样本，mini-batch SGD使用预定义数目的样本（通常远小于训练样本的总数）。这大大加速了训练，因为我们在每次迭代中没有使用整个数据集，它需要的计算量少得多。同时，它也有望导向更好的表现，因为网络在训练中断断续续的移动应该能让它更好地避开局部极小值，而使用一小部分数据集当有助于预防过拟合。

正则化

正则化基本上是一个惩罚模型复杂度的机制，它是通过在损失函数中加入一个表示模型复杂度的项做到这一点的。在神经网络的例子中，它惩罚较大的权重，较大的权重可能意味着神经网络过拟合了训练数据。

最左：欠拟合；最右：过拟合

若网络的原损失函数记为L(y, t)，正则化常数记为λ，则应用了L2正则化后，损失函数改写为如下形式：