机器学习之训练集与验证集等内容(广州中软卓越)

在机器学习或者深度学习中，中软卓越广州Python培训课程在训练模型的时候，要考虑模型训练、模型评估以及模型在新数据集上的表现，在给我们的数据中，我们要通过一定的数据集切分方式来达到这个效果。

1、训练/验证/测试

我们在做的时候，会按照占比把数据集切分成三份，训练集、验证集和测试集，有时候只需要切分成训练集和测试集。在这里这三个的功能分别为：

2、训练集：一般占比比较大，用来训练模型

3、验证集：用来评估哪个模型更好

4、测试集：测试模型在新数据上的表现程度

5、数据集切分方式

当我们的数据量不是很庞大时：假如有100/1000/10000，我们通常会采取6：2：2分或者7：3分，这是经过测试最好的分法。

现在大数据时代，一般数据量会比较大：当数据达到10w/100w/1000w，我们一般会把训练集放高一点，比如99.5：0.25：0.25或者99.5：0.4：0.1，即使验证集和测试集只有0.25或者0.1，但是在数据量很大的情况下，它们的数据已经有上万了。

6、方差与偏差

当我们用模型训练数据，测试模型时，会有一定的训练误差，我们可以简单的根据训练误差来评测我们的模型是不是符合我们的需要。

假如我们的模型的训练集误差只有1%，在验证集上的误差为11%，说明它的拟合度较高，但是在验证集上表现较差，说明过拟合，验证集与训练集误差相差较大，我们说它是高方差的。

假如我们的模型的训练集误差为15%，验证集误差为16%，说明它拟合较差，在验证集上表现也差，但验证集与训练集误差相差较小，这说明它是欠拟合的，我们说他是高偏差的。如果在训练集和验证集上表现都差，而且训练集与测试集误差相差大，这说明它是高方差，高偏差，即模型不合适。我们要通过一定的方式解决上述问题，让我们的模型达到低方差、低偏差，从而得到一个好模型。

7、解决高方差

我们可以采取更多的数据，或者模型正则化，或者更换新的更适合的模型

8、解决高偏差

对于深度网络我们可以扩大网络规模，延长训练时间，对于机器学习可以进行调参，或者更

换新模型。