最优估计第二章最小二乘法

§2
2.1
线性模型参数的最小二乘估计
问题的提出
考虑 n 阶单输入单输出的 CMA-0 线性系统：
A(q ) y (k ) B(q)u (k ) e(k )
其中 A(q ) 1 a1q an q ， B (q ) b1q b2 q bm q ，{e(k )} 是具有均值为零和方差为 e 的
其中 l max{n, m} ，
a (k ) [ y (k 1), y (k 2), , y (k n), u (k 1), u ( k 2), , u (k m)]T
(a1 , a2 , , an , b1 , b2 , , bm )T
记观测向量 y [ y (l 1), y (l 2), , y (l N )] ，数据矩阵 A [a (l 1), a (l 2), , a (l N )] ，干扰
l N 1
y (l 1)
y (l n 1)
l N 1 y 2 (i ) i l l N 1 y (i n 1) y (i ) i l T A A l N 1 u (i ) y (i ) i l l N 1 u (i m 1) y (i ) i l
k T k 2 k T
1
x k 1 x k H k1F ( x k )
公式(1.2.2)与 Newton 公式相似，称为 Gauss-Newton 公式。 类似于阻尼 Newton 公式，我们有阻尼 Gauss-Newton 公式：
(1.2.2)
x k 1 x k k H k1F ( x k )
x * ( AT A) 1 AT b
(1.1.2)
由于 F ( x ) A A 0 正定(说明： B C 表示矩阵(B-C)正定， B C 表示矩阵(B-C)半正定，类似有
2 T
符号“<”和“ ”)，因此 F ( x ) 是严格凸函数，(1.1.2)是(1.1.1)的最优解。
n
2
m
2
白噪声，并且与 {u (k )} 不相关。因此，
y (k ) a1 y (k 1) a2 y (k 2) an y (k n) b1u (k 1) b2u (k 2) bmu (k m) e(k )
即
y (k ) a (k )T e(k ), k l 1, l 2,
i l i l i l l N 1 l N 1 l N 1 2 y (i n 1) y (i n 1)u (i ) y (i n 1)u (i m 1) i l i l i l l N 1 l N 1 l N 1 2 u ( i ) y ( i n 1) u ( i ) u ( i ) u ( i m 1) i l i l i l l N 1 l N 1 l N 1 u (i m 1) y (i n 1) u (i m 1)u (i ) u 2 (i m 1) i l i l i l
T T k T T T T x k 1 ( Ak Ak ) 1 Ak b ( Ak Ak ) 1 Ak ( Ak x k f ( x k )) x k ( Ak Ak ) 1 Ak f ( xk )
(1.2.1)
因为 F ( x ) 2 Ak f ( x ) ， ( x ) 2 Ak Ak H k ，故由(1.2.1)，

y (i ) y (i n 1)
l N 1

y (i )u (i )

l N 1

y (i )u (i m 1)
l N 1 AT y y (i ) y (i 1) i l
例 2.2.1
l N 1

i l
y (i n 1) y (i 1)
其中 k 是一维搜索步长。 我们也可利用信赖域思想。考虑有约束的线性二乘问题：
min ( x ) ( x )
x
2 2
s.t. x x
得到最优解
k
2
rk
x k 1 x k ( H k k I ) 1 F ( x k )
其中 k >0 使 H k k I 正定。
N 1 N 1
1
N 1 y (i) y (i 1) i 2 N 1 y (i 1) y (i 1) i 2 N 1 u (i ) y (i 1) i 2
§1
最小二乘法的数学推导
min F ( x ) f i 2 ( x ) f ( x )
x i 1
T
考虑最小二乘问题：
m 2 2
(LSP)
其中 f ( x ) ( f1 ( x ), , f m ( x )) ， m n 。我们分别在 f ( x ) 为线性向量函数和非线性向量函数时对问 题(LSP)进行讨论。
l N 1

i l
u (i ) y (i 1)
l N 1

i l
u (i m 1) y (i 1)
T
考虑二阶线性系统：
y (k ) a1 y (k 1) a2 y (k 2) bu (k 1) e(k )
解：n=2，m=1，l=2，则
1.1
线性情况
设 f ( x ) 为线性向量函数，即 f ( x ) Ax b ，其中 A 是 m n 的列满秩矩阵， b 是 n 维向量。这时
的(LSP)为：
min F ( x ) Ax b
x
2 2
(1.1.1)
则 F ( x ) Ax b
2
x T AT Ax 2bT Ax bT b 。因此，由 F ( x ) 2 AT Ax 2 AT b 0 ，得
记
Ak f ( x k )T ， b k f ( x k )T x k f ( x k ) Ak x k f ( x k )
则 ( x ) Ak x b ，为此考虑线性情况下的最小二乘问题：
k
min ( x ) ( x )
x
2 2
当 Ak 列满秩时，其最优解
第二章
最小二乘法
最小二乘法（Least Squares Methods）始于 1785 年，德国数学家高斯（Gauss K F）建立了最小二乘 法的基本概念，并应用于小行星“谷神星”轨道的天文学计算中。他指出“未知量最可能的值应当使乘 以衡量精确数值的实际观察值与计算值差的平方和最小” ，并给出了辩识问题的公式、解和应用。此后， 最小二乘法被广泛深入地研究，用于处理各种技术问题。从 20 世纪 60 年代起，最小二乘法在动态过程 辩识，或控制系统参数估计领域起着重要作用。 最小二乘法是一种基于使误差平方和最小的方法。它简单、易于理解、便于应用，是学习其他参数 估计方法的基础。
2.2
参数的最小二乘估计
设含有 n 个参数的线性模型为
y A e Ee 0 var e 2 I e
2
(2.2.1)
其中 y 是 m 维观测向量，A 是 m n 的数据矩阵， 是 n 维未知参数向量， e 是 m 维观测误差向量，是 随机变量。
m
ˆ ，使误差的平方和 e 我们要确定参数 的估计值
N 1
y(i)u (i)
N 1
N 1 y (i ) y (i 1) i 2 N 1 T A y y (i 1) y (i 1) i2 N 1 u (i ) y (i 1) i2
*1.2
非线性情况
设 f ( x ) 为非线性向量函数。 x 是当前迭代点，将 f ( x ) 在 x 处线性展开：
k k
f ( x ) f ( x k ) f ( x k )T ( x x k ) f ( x k )T x (f ( x k )T x k f ( x k )) ( x )
T 1 T T 1 T T 1 T
(2.2.2)
ˆ ( AT A) 1 AT e
现在考虑 n 阶 CMA-0 线性系统：
(2.2.3)
A(q ) y (k ) B (q )u (k ) e(k )
其中 A(q ) 1 a1q an q ， B (q ) b1q b2 q bm q ，{e(k )} 是具有均值为零和方差为 e
n 2 m 2
的白噪声，并且与 {u ( k )} 不相关。根据 2.1 子节，有
y A e
其中 y, A, , e 如 2.1 子节中所记。因此，参数 的估计值
ˆ ( AT A) 1 AT y
其中
A [a (l 1), a (l 2), , a (l N )]T y (l ) y (l 1) y (l N 1) u (l m 1) y (l n 2) u (l m 2) y (l ) u (l 1) y (l N 2) y (l n N ) u (l N 1) u (l m N ) u (l )
T T
向量 e [e(l 1), e(l 2), , e(l N )] ，则
T
y A e
其实，由于干扰是无法实测的，因而在上述待估计模型中， e ( (l 1), (l 2), , (l N )) 表
T
示残差向量(Residual)，它是因干扰和实测误差而产生的。
3
N 1 2 y (i ) i 2 N 1 AT A y (i 1) y (i ) i 2 N 1 u (i ) y (i ) i2
y(i) y(i 1)
i 2 i 2 N 1 N 1 2 y (i 1) y (i 1)u (i ) i 2 i2 N 1 N 1 u (i ) y (i 1) u 2 (i ) i 2 i2
因此
N 1 2 y (i ) a ˆ1 i 2 N 1 ˆ a 2 y (i 1) y (i ) ˆ i2 b N 1 u (i ) y (i ) i2
பைடு நூலகம்2.3 最小二乘估计的统计性质
y (i ) y (i 1) y (i )u (i) i 2 i2 N 1 N 1 2 y (i 1) y (i 1)u (i ) i 2 i 2 N 1 N 1 2 u (i ) y (i 1) u (i ) i 2 i 2
因为 min e
2
2
ei2 最小。
i 1
y A
2
A y ，因此根据(1.1.2)知，当 A 列满秩时，
2
ˆ ( AT A) 1 AT y
ˆ ( A A) A y ( A A) A ( A e ) ( A A) A e ，即 这时，由(2.2.1)第一式，