如何提升神经网络性能

如何提升神经网络性能

本文简要介绍了提升神经网络性能的方法，如检查过拟合、调参、超参数调节、数据增强。

神经网络是一种在很多用例中能够提供最优准确率的机器学习算法。但是，很多时候我们构建的神经网络的准确率可能无法令人满意，或者无法让我们在数据科学竞赛中拿到领先名次。所以，我们总是在寻求更好的方式来改善模型的性能。有很多技术可以帮助我们达到这个目标。本文将介绍这些技术，帮助大家构建更准确的神经网络。

检查过拟合

保证神经网络在测试集上运行良好的第一步就是验证神经网络没有过拟合。什么是过拟合呢？当你的模型开始记录训练数据而不是从中学习的时候，就发生了过拟合。然后，当你的模型遇到之前没有见过的数据时，它就无法很好的运行。为了更好地理解，我们来看一个类比。我们有一个记性特好的同学，假设一次数学考试马上就要来临了。你和这位擅长记忆的同学开始学习课本。这名同学记住课本中的每一个公式、问题以及问题的答案，然而你要比他来得聪明一些，所以你决定以直觉为基础、解决问题、学习这些公式是如何发挥作用的。考试来了，如果试卷中的问题是直接来源于课本的，那么可以想像那名记忆力超群的同学发挥得更好，但是，如果试题是涉及应用直观知识的全新问题，那么你将会做得更好，而你的朋友会惨败。

如何鉴别模型是否过拟合呢？你仅仅需要交叉检查训练准确率和测试准确率。如果训练准确率远远高出了测试准确率，那么可以断定你的模型是过拟合了。你也可以在图中画出预测点来验证。下面是一些避免过拟合的技术：

数据正则化（L1 或L2）；

Dropout：随机丢弃一些神经元之间的连接，强制神经网络寻找新的路径并泛化；

早停（Early Stopping）：促使神经网络训练早点停止，以减少在测试集中的误差。

超参数调节