最小二乘法及其应用概要
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i , j 1 T a x x x Ax ij i j n
（3-2-6）
由于
f xi x j ，故 aij
T A ( xT Ax) x x xx i j i , j 1,...,n
（3-2-7）
在课本中，给出了一些常用的向量-矩 阵求导公式，在实际应用中可供大家查阅。
am =0 m=1,2,
应
下面再用第三种方法即配方法来求解：
f (a1 , a2
2 ) || x ||2 2 ak ck ak k 1 k 1 2 k 2 || x || c c 2 ak ck ak 2 k 1 2 k k 1 k 1 k 1
3-2 向量-矩阵求导及配方法
利用令导数等于零来求函数的极值 是一种方便的方法。但是对于多元函数， 有时由于变元太多而使表达式相当繁复， 为此，本节介绍用向量-矩阵的形式来简 化求导过程。 下面举例个例子来具体说明。 例3-2-1 求矛盾方程组Ax=b的最小二乘 解（可参阅第二章的相关例题）
解：求Ax=b的最小二乘解就是求 2 g ( x) || Ax b || 的极小点。由于
|| x ak ek ||=min
k 1
（3-1-2）
第二章中的投影定理指出了最优系 数 a1 , a2 , 应满足
x ak ek em , m 1, 2,
k 1
（3-1-3）
由此即得 。也就 k=1 是说，当且仅当 ak 取为x关于归一化正 交系 {e1 , e2 , } 的傅立叶系数
T T T T
( AT Ax AT b)T ( AT A) 1 ( AT Ax AT b) b b b A( A A) A b
T T T T 1
min AT Ax AT b
可以看出，
gmin bT b bT A( AT A)1 AT b
本例中介绍的两个向量求导公式中， 提到了对于向量x求导的梯度算符 x ,我 们还可以引入对矩阵 A a 求导的梯度算 符 A ：
第三章 最小二乘法及其应用
3-1 最小二乘法的三种形式
最小二乘法是求解最优化问题的一 种有效而方便的方法。信号处理中有许 多问题可归结为最优化问题，因此最小 二乘法是信号处理的重要工具之一。 希尔伯特空间中线性逼近问题的求 解方法称为最小二乘法。通常它有三种 不同的表现形式：投影法、求导法和配 方法。下面来分别说明。
x ( x Ax) ( A A ) x
T T
（3-2-3）
利用式（3-2-1）和（3-2-2）可以立即得到
x g 2 A Ax 2 A b 0
T T
A Ax A b
T T
（3-2-4）
这就是书中例2-4-1中所得到的法方程 若使用配方法，则有：
g ( x) x A Ax 2b Ax b b
x2
xn
图3-3-1 多输入单输出系统
( x, em )=( a k ek , em )=a m
ak (x,ek )
ck
（3-1-4）
时，式(3-1-2)成立。
这种求解方法称为投影法，它是最小 二乘法的第一种表现形式。第二种方法是 求导法，仍以上面的问题为例来说明。记 泛函
f (a1 , a2 ) || x ak ek ||
{e1 , e2 , } 为X 设X为希尔伯特空间， 中一组归一化正交元素，x为X中的某一 元素。在子空间 M span{e1 , e2 , } 中求 一元素m。使得
|| x m0 ||ห้องสมุดไป่ตู้min || x m ||
mM
（3-1-1）
由于M中元素可表为 e1 , e2 , 的线性组合， 问题转化成为求 a1 , a，使得 2,
3-3 应用举例
3-3-1 系统辨识 设有如图3-3-1所示的系统T。当输入n 个数据 x1 , x2 , , xn 时，输出为y，且有下列 线性关系：
y a1 x1 a2 x2
an xn
（3-3-1）
其中 a1 , a2 an为未知，需要通过对输入输 出的观测值来确定这组参数。
现设进行了m次观测，观测值为 x1 (k ), x2 (k ), xn (k ) 和 y(k ), k 1, 2, m
|| x || c ( ak ck ) 2
2 k 1 2 k k 1
min ak ck ,
k 1, 2
（3-1-5）
以上三种方法都称为最小二乘法。在 实际应用中，他们各有各的优势和缺陷， 我们并不能通过简单的比较来说明他们谁 优谁劣，因为衡量一种方法好坏的标准是 多方面的。因此，在不同的场合根据不同 的需要和可能，灵活选择和使用合适的方 法，是掌握最小二乘法的关键。
ij
a 11 A an1
a12
an 2
a1n ann
（3-2-5）
需要说明的是，算符 A 只有作用在关于 aij 的标量函数上才有意义。例如对于二次型
f (a11 , a12 , ann )
g ( x) ( Ax b) ( Ax b) x A Ax 2b Ax b b
T T T T T
下面先给出两个需要用到的向量求导公式：
x (b x) x ( x b)
T T
T
（3-2-1）
x ( x Ax) 2 Ax, 其中A为对称阵（3-2-2）
当A不时对称阵时，式（3-2-10）应该为
k 1 2
为了能用求导法求此泛函的极小值，将它 表为
f (a1 , a2 ) ( x ak ek , x am em )
k 1 k 1 2 || x ||2 2 ak ck ak k 1 k 1
其中 ck ( x, ek )。于是最优的 a1 , a2 , 满足 f 即 2cm am 0, 或 am cm ，m=1,2
（3-2-6）
由于
f xi x j ，故 aij
T A ( xT Ax) x x xx i j i , j 1,...,n
（3-2-7）
在课本中，给出了一些常用的向量-矩 阵求导公式，在实际应用中可供大家查阅。
am =0 m=1,2,
应
下面再用第三种方法即配方法来求解：
f (a1 , a2
2 ) || x ||2 2 ak ck ak k 1 k 1 2 k 2 || x || c c 2 ak ck ak 2 k 1 2 k k 1 k 1 k 1
3-2 向量-矩阵求导及配方法
利用令导数等于零来求函数的极值 是一种方便的方法。但是对于多元函数， 有时由于变元太多而使表达式相当繁复， 为此，本节介绍用向量-矩阵的形式来简 化求导过程。 下面举例个例子来具体说明。 例3-2-1 求矛盾方程组Ax=b的最小二乘 解（可参阅第二章的相关例题）
解：求Ax=b的最小二乘解就是求 2 g ( x) || Ax b || 的极小点。由于
|| x ak ek ||=min
k 1
（3-1-2）
第二章中的投影定理指出了最优系 数 a1 , a2 , 应满足
x ak ek em , m 1, 2,
k 1
（3-1-3）
由此即得 。也就 k=1 是说，当且仅当 ak 取为x关于归一化正 交系 {e1 , e2 , } 的傅立叶系数
T T T T
( AT Ax AT b)T ( AT A) 1 ( AT Ax AT b) b b b A( A A) A b
T T T T 1
min AT Ax AT b
可以看出，
gmin bT b bT A( AT A)1 AT b
本例中介绍的两个向量求导公式中， 提到了对于向量x求导的梯度算符 x ,我 们还可以引入对矩阵 A a 求导的梯度算 符 A ：
第三章 最小二乘法及其应用
3-1 最小二乘法的三种形式
最小二乘法是求解最优化问题的一 种有效而方便的方法。信号处理中有许 多问题可归结为最优化问题，因此最小 二乘法是信号处理的重要工具之一。 希尔伯特空间中线性逼近问题的求 解方法称为最小二乘法。通常它有三种 不同的表现形式：投影法、求导法和配 方法。下面来分别说明。
x ( x Ax) ( A A ) x
T T
（3-2-3）
利用式（3-2-1）和（3-2-2）可以立即得到
x g 2 A Ax 2 A b 0
T T
A Ax A b
T T
（3-2-4）
这就是书中例2-4-1中所得到的法方程 若使用配方法，则有：
g ( x) x A Ax 2b Ax b b
x2
xn
图3-3-1 多输入单输出系统
( x, em )=( a k ek , em )=a m
ak (x,ek )
ck
（3-1-4）
时，式(3-1-2)成立。
这种求解方法称为投影法，它是最小 二乘法的第一种表现形式。第二种方法是 求导法，仍以上面的问题为例来说明。记 泛函
f (a1 , a2 ) || x ak ek ||
{e1 , e2 , } 为X 设X为希尔伯特空间， 中一组归一化正交元素，x为X中的某一 元素。在子空间 M span{e1 , e2 , } 中求 一元素m。使得
|| x m0 ||ห้องสมุดไป่ตู้min || x m ||
mM
（3-1-1）
由于M中元素可表为 e1 , e2 , 的线性组合， 问题转化成为求 a1 , a，使得 2,
3-3 应用举例
3-3-1 系统辨识 设有如图3-3-1所示的系统T。当输入n 个数据 x1 , x2 , , xn 时，输出为y，且有下列 线性关系：
y a1 x1 a2 x2
an xn
（3-3-1）
其中 a1 , a2 an为未知，需要通过对输入输 出的观测值来确定这组参数。
现设进行了m次观测，观测值为 x1 (k ), x2 (k ), xn (k ) 和 y(k ), k 1, 2, m
|| x || c ( ak ck ) 2
2 k 1 2 k k 1
min ak ck ,
k 1, 2
（3-1-5）
以上三种方法都称为最小二乘法。在 实际应用中，他们各有各的优势和缺陷， 我们并不能通过简单的比较来说明他们谁 优谁劣，因为衡量一种方法好坏的标准是 多方面的。因此，在不同的场合根据不同 的需要和可能，灵活选择和使用合适的方 法，是掌握最小二乘法的关键。
ij
a 11 A an1
a12
an 2
a1n ann
（3-2-5）
需要说明的是，算符 A 只有作用在关于 aij 的标量函数上才有意义。例如对于二次型
f (a11 , a12 , ann )
g ( x) ( Ax b) ( Ax b) x A Ax 2b Ax b b
T T T T T
下面先给出两个需要用到的向量求导公式：
x (b x) x ( x b)
T T
T
（3-2-1）
x ( x Ax) 2 Ax, 其中A为对称阵（3-2-2）
当A不时对称阵时，式（3-2-10）应该为
k 1 2
为了能用求导法求此泛函的极小值，将它 表为
f (a1 , a2 ) ( x ak ek , x am em )
k 1 k 1 2 || x ||2 2 ak ck ak k 1 k 1
其中 ck ( x, ek )。于是最优的 a1 , a2 , 满足 f 即 2cm am 0, 或 am cm ，m=1,2