各类最小二乘法比较

---------------------------------------------------------------最新资料推荐------------------------------------------------------
各类最小二乘法比较
最小二乘法（LS）最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线性系统；可用于离线估计和在线估计。

在随机情况下，利用最小二乘法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。

但它具有两方面的缺陷：
一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的数据饱和现象。

针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

广义最小二乘法（GLS）广义最小二乘法（GLS）广义最小二乘法的基本思想在于引入一个所谓成形滤波器（白化滤波器），把相关噪声转化成白噪声。

优：
能够克服当存在有色噪声干扰时，基本最小二乘估计的有偏性，估计效果较好，在实际中得到较好的应用。

缺：
1、计算量大，每个循环要调用两次最小二乘法及一次数据滤波，
2、求差分方程的参数估值，是一个非线性最优化问题，不一定总能
1 / 3
保证算法对最优解的收敛性。

广义最小二乘法本质上是一种逐次逼近法。

对于循环程序的收敛性还没有给出证明。

3、GLS 算法的最小二乘指标函数 J 中可能存在一个以上局部极小值，（特别在信噪比不大时，J 可能是多举的）。

GLS 方法的估计结果往往取决于所选用参数的初始估值。

参数估计初值应选得尽量接近优参数。

在没有验前信息的情况下，最小二乘估值被认为是最好的初始条件。

4、广义最小二乘法的收敛速度不是很高。

递推最小二乘法（RLS）递推最小二乘法（RLS）优点：
1、无需存储全部数据，取得一组观测数据便可估计一次参数，而且都能在一个采样周期中完成，所需计算量小，占用的存储空间小。

2、具有一定的实时处理能力辅助变量法（IV、RIV）计算较简单，估计是无偏估计，但计算精度较低辅助变量法、增广矩阵法能保证精度和收敛，算法简单，可同时得到参数和噪声模型的估计，工程应用效果很好但计算量也较大。

RIV 总收敛于参数真值。

加权最小二乘法加权最小二乘法可对不同置信度的测量值采用加权的办法分别对待，置信度加权高的，权重取得大些；置信度低的，权重取的小些。

但加权最小二乘法仅能用于事先能估计方程误差对参数估计的影
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 响。

快速多阶段最小二乘法大大减少计算时间。

快速多阶段最小二乘法大大减少计算时间。

证明矩阵求逆引理矩阵求逆引理的证明：
①矩阵求逆引理：
②证明：
考虑到由展开上式可得：
（2a） (2b)(3a) (3b)C 1 和 C 2 非奇异，由（3a）和（2b）联立可得：
（4a） (4b) 将式 4a、4b 分别代入（2a）、（3b），得到（5a） (5b) 将（5b）代入（4b）,得将展开，得上式即为：
将（6）式代入上式，有终上，得证。

3 / 3。