最小二乘法原理

最小二乘法（也称为最小二乘法）是一种数学优化技术。它通过最小化误差平方和来找到数据的最佳函数匹配。使用最小二乘法，可以容易地获得未知数据，并且可以最小化这些获得的数据与实际数据之间的误差平方和。最小二乘法也可以用于曲线拟合。其他优化问题也可以通过最小二乘法通过最小化能量或最大化熵来表达。

801年，意大利天文学家Giuseppe Piazi发现了第一颗小行星谷神星。经过40天的跟踪观察，皮亚齐失去了谷神星的位置，因为谷神星移到了太阳后面。此后，全世界的科学家开始使用Piazi的观测数据来搜索Ceres，但是根据大多数人的计算结果，搜索Ceres并没有结果。高斯，然后24，也计算了谷神星的轨道。奥地利天文学家海因里希·阿尔伯斯（Heinrich Albers）根据高斯计算出的轨道重新发现了谷神星。

高斯使用的最小二乘方法发表于1809年的《天体运动理论》一书中。法国科学家让·德（Jean de）于1806年独立发明了“最小二乘法”，但它尚不为人所知，因为它是全世界所不知道的。勒让德（Legendre）与高斯（Gauss）有争议，他是谁首先提出了最小二乘法原理。

1829年，高斯证明最小二乘法的优化效果优于其他方法，因此被称为高斯-马尔可夫定理。最小二乘法由最简单的一维线性模型解释。什么是线性模型？在监督学习中，如果预测变量是离散的，则称其为

分类（例如决策树，支持向量机等），如果预测变量是连续的，则称其为Return。在收益分析中，如果仅包含一个自变量和一个因变量，并且它们之间的关系可以近似地由一条直线表示，则该收益分析称为一维线性收益分析。如果收益分析包括两个或多个自变量，并且因变量和自变量之间存在线性关系，则称为多元线性收益分析。对于二维空间，线性是一条直线；对于三维空间线性度是一个平面，对于多维空间线性度是一个超平面。