迭代最小二乘法

迭代最小二乘法
迭代最小二乘法（Iteratively Reweighted Least Squares，简称IRLS）是一种用于线性回归问题的求解方法。

它的主要思想是将线性回归问题转化为一个加权最小二乘问题，然后通过迭代的方式来逐步求解。

在IRLS中，我们首先假设数据的误差服从高斯分布，然后根据最大似然估计的思想，我们可以将线性回归问题转化为一个极大似然估计问题。

然后，为了解决这个问题，我们需要最小化误差的平方和，即最小二乘问题。

但是，由于数据中存在离群值等异常情况，简单的最小二乘法并不能很好地解决这个问题。

为了应对这个问题，IRLS引入了加权最小二乘法。

具体来说，我们首先给每个数据点一个权重，然后将线性回归问题转化为一个加权最小二乘问题。

在每次迭代中，我们根据当前的权重重新求解最小二乘问题，并更新权重。

这样，随着迭代的进行，权重会逐渐趋向于正确的值，从而更好地解决了数据中存在离群值等异常情况的问题。

总之，IRLS是一种比较有效的解决线性回归问题的方法，特别适用于数据中存在离群值等异常情况的情况。

通过迭代最小二乘法，我们可以逐步求解加权最小二乘问题，并得到比较准确的结果。