三种回归算法及其优缺点,将会为我们理解和选择算法提供很好的帮助

三种回归算法及其优缺点，将会为我们理解和选择算

法提供很好的帮助

 任何一个机器学习问题都有着不止一种算法来解决，在机器学习领域“没有免费的午餐”的意思就是没有一个对于所有问题都很好的算法。机器学习算法的表现很大程度上与数据的结构和规模有关。所以判断算法性能最好的办法就是在数据上运行比较结果。

 不过与此同时我们对于算法的优缺点有一定的了解可以帮助我们找需要的算法。本文将会介绍三种回归算法及其优缺点，将会为我们理解和选择算法提供很好的帮助。

 线性和多项式回归

 在这一简单的模型中，单变量线性回归的任务是建立起单个输入的独立变量与因变量之间的线性关系；而多变量回归则意味着要建立多个独立输入变量与输出变量之间的关系。除此之外，非线性的多项式回归则将输入变量进行一系列非线性组合以建立与输出之间的关系，但这需要拥有输入输出之间关系的一定知识。训练回归算法模型一般使用随机梯度下降法(SGD)。