递推最小二乘法推导(RLS)——全网最简单易懂的推导过程

递推最小二乘法推导（RLS）——全网最简单易懂的推导过程

作者：阿Q在江湖

先从一般最小二乘法开始说起

已知x和y的一系列数据，求解参数theta的估计。用矩阵的形式来表达更方便一些：

其中k代表有k组观测到的数据，

表示第i组数据的输入观测量，yi表示第i组数据的输出观测量。令：

，则最小二乘的解很简单，

等价于即参数解为：如果数据是在线的不断的过来，不停的采用最小二乘的解法来解是相当消耗资源与内存的，所

以要有一种递推的形式来保证对的在线更新。

进一步推导出递推最小二乘法（RLS）

我们的目的是从一般最小二乘法的解

推导出

的递推形式。一定要理解这里的下标k代表的意思，是说在有k组数据情况下的预测，所以k比k-1多了一组数据，所以可以用这多来的一组数据来对原本的估计进行修正，这是一个很直观的理解。下面是推导过程：

先看一般最小二乘法的解

下面分别对

和

这两部分进行推导变换，令

得到下面公式（1）

下面来变换得到公式（2）

下面再来，根据一般最小二乘法的解，我们知道下式成立，得到公式（3）（注：后续公式推导用到）

好了，有了上面最主要的三步推导，下面就简单了,将上面推导的结果依次代入公式即可：

至此，终于变成

的形式了。

通过以上推导，我们来总结一下上面RLS方程：

注：以上公式7中，左边其实是根据公式1，右边I为单位矩阵

公式（5）和（7）中，有些文献资料是用右边的方程描述，实际上是等效的，只需稍微变换即可。例如（5）式右边表达式是将公式（1）代入计算的。为简化描述，我们下面还是只讨论左边表达式为例。

上面第7个公式要计算矩阵的逆，求逆过程还是比较复杂，需要用矩阵引逆定理进一步简化。

矩阵引逆定理：

最终RLS的方程解为：

好了，至此完毕！以上应该算是最简单的推导过程了，相信都能看得懂了。后续有时间将增加带遗忘因子的RLS推导步骤，毕竟工程上的实际用途很多用此方法，比如在线辨识电池系统等效电路模型的参数，用于卡尔曼滤波算法估算SOC……