辨识滤波与自适应第三讲 kalman滤波
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
31
新息的性质
• 设 xk 和 yk 是两个联合高斯零均值的随机序
列，则有：
E[x(k) | yk1] E[x(k) | yk1]
k 1
E[x(k) | y(l)] l0
• 方便的计算公式
32
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
N
6
估计量的评价标准
• 例：设随机变量y的数学期望为E{y}=m; y(1), y(2), …, y(N)是y的一组容量为N的样本, 构造均值m的 无偏估计如下：
m N
1 N
N i 1
y(i)
因为
E{mˆ N }
1 N
N
E{y(i)}
i 1
1 (N m) m N
值化处理。
21
线性无偏最小方差估计的性质
• 若取z的线性变换Az+b, A为可逆方阵, b为N·m维任 意向量, 则E[x|Az+b]=E[x|z], 说明量测数据序列作可逆线性变换不影响估计结
果。
22
最小方差估计的几何解释
• 设H={二阶矩有界的随机变量集合}，对所有x, y∈H，定义内积和范数 <x,y> = E{yTx} ||x||2 = <x, x>
18
注意配方
19
一组子样时的最小方差估计
• 定理
极方便的公式
20
线性无偏最小方差估计的性质
• 设x*是x的线性无偏最小方差估计，且S=Ax+b是x 的某个线性变换，则S的线性无偏最小方差估计为 S*=Ax*+b
• 设x’=x-mx; z’=z-mz, 则有E{x|z}=mx+E{x’|z’}. 表明不失一般性, 最小方差估计可对量测值作零均
需计算上式最后两项
13
E{[x E(x | y)][E(x | y) f ( y)]T }
应用条件概率公式
[x E(x | y)][E(x | y) f ( y)]T p(x, y)dxdy
{ [x E(x | y)]p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
8
估计量的评价标准
一致估计
• 希望样本容量无限增大时，估计值在真值的任一 邻域的概率趋近于１
• 定义：如果对于任意实数ε>0, 构造的估计量依
概率收敛于真值，即
lim P x(N) x 0
N
9
估计量的评价标准
• Cramer-Rao不等式
设 xˆ 是x的一个无偏估计，y是与x有关的随机变量， x的协方 差函数阵为
• 最小方差估计是无偏估计
• 若已知{y(1), …, y(N)}, 则x的最小方差估计为 xˆmv E[x | y(i); i 1, ..., N]
• 当{y(1), …, y(N)}服从联合正态分布时, 则x的最小方差估 计为{y(1), …, y(N)}的线性函数
• 当x, Y不是正态联合分布时，最小方差估计仍然等于x的条 件均值，但 xmv f (Y) 不一定是线性函数了。
33
状态变量最优估计问题描述
在许多实际控制过程中，系统往往受到随机干扰作用，在这种情况下，离 散控制系统描述为
x(k 1) A(k)x(k) B(k)u(k) F (k)w(k) y(k) C(k)x(k) v(k) 式中x(k)是n维状态向量，u(k)是r维控制向量，y(k)为m维输出向量，A(k)为n n 参数矩阵，B(k）为n r维参数矩阵，C(k)为m n维参数矩阵,F (k)为n p维矩阵。 假定w(k )是均值为零的p维白噪声向量序列，v(k )是均值为零的m维白噪声向量序 列。 为了实现控制，需要利用状态向量x(k )信息。但x(k )受到随机干扰的影响， 因此需要估计x(k )。要求估计值xˆ(k )尽量接近真值x(k ), 这样就提出了状态变量的 最优估计问题。
x
xˆ*
x
xˆ*
T
Rxx Rxz Rzz1Rzx
24
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
25
新息序列
• 目的：m维随机序列{y(k)}作可逆线性变换得到一 个零均值、独立的随机序列{ ~y(k) }且不丢失{y(k)} 的信息。
y
x
为Fisher信息函数阵（对列向量x求导取行向量）。 p y x是
随机变量y关于x的条件概率密度，反映了y所含的有关x的信
息。
10
估计量的评价标准
• 有效估计
如果变量x的一个无偏估计的协方差函数阵按对称阵的 正、负定关系达到下界，则称为x的有效估计。
① 由Cramer-Rao不等式，估计方差的最小值由Fisher信 息阵（也即量测样本y所含有关x的信息量）决定。
34
维纳滤波与卡尔曼滤波
• 关于最优估计问题，在20世纪40年代初，维纳提出了最优 线性滤波，称为维纳滤波。
– 这种滤波是在信号和干扰都表示为有理谱密度的情况下，找出最优滤波 器，使得实际输出与希望输出之间的均方误差最小。
其中 ~y k {~y(0),, ~y(k)}
– 证明： E y k yk1 E y k Ayk1 E y k yk1
• 说明由yk张成的线性子空间与由 yk 张成的线性子 空间含有相同的信息。
• 新息是一组零均值独立随机变量，便于各种统计 计算。
E{[x E(x | y) E(x | y) f ( y)][x E(x | y) E(x | y) f ( y)]T } E{[x E(x | y)][x E(x | y)]T }
E{[E(x | y) f ( y)][E(x | y) f ( y)]T } E{[x E(x | y)][E(x | y) f ( y)]T } E{[E(x | y) f ( y)][x E(x | y)]T }
称H为上式定义内积和范数的Hilbter空间。 • 设z为N·m维零均值的样本, x为零均值待估量，B
为n×(N·m)维任意变换矩阵，则随机向量 xˆ Bz 都是x的线性无偏估计，对一切可能的B，形成 Hilbter空间上的一个线性子空间。
23
正交投影定理
xˆ Bz
Rx E
)2}
E{
1 N
N i 1
2
y(i) }
1 N2
E
N
i1
y2 (i)
N
y(i)
y(
j)
i, j 1 i j
1 N
E{y2}
N 1 m2 N
E{ˆ
2 N
}
N 1[E{y2} m2 ] N
N 1 2 N
即
ˆ
2 N
非无偏估计，而为渐近无偏估计
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
4
估计的基本理论
一组测量样本 Y = {y(1), ..., y(N)}
以性能指标最优的原则
统计计算
提取信息
变量x估计量 x
• 状态估计 • 点估计或参数
估计
5
估计量的评价标准
无偏估计和渐近无偏估计 • 若 Exˆ x , 则 xˆ 为无偏估计 • 若 lim Exˆ x , 则 xˆ 为渐近无偏估计
• 定义：m维正态分布随机序列 {y(k)}作线性变换得 到新的序列 { ~y(k) }
~y (0) y(0) E[ y(0)]
~y (k
)
y(k)
E[ y(k )
y k 1]
其中 yk1 y(0),, y(k 1)
•
注意：y(k)互不相关时
k 1
E[ y(k) yk1] E[ y(k) y(i)] (N 1) y(k)
{E(x | y) E(x | y)
p(x | y)dx}[E(x | y)
f ( y)]T p( y)dy
{E(x | y) E(x | y)}[E(x | y) f ( y)]T p( y)dy 0
14
=0
15
最小方差估计的性质
covxˆ, xˆ E xˆ E xˆ xˆ E xˆT E xˆ xxˆ xT
则有
covxˆ,
xˆຫໍສະໝຸດ M1 x其中 M x
E
log p
x
y
x T
log p
x
② 使估计量对于真值的误差平方达到其最小值的估计量 为最有效的估计。
③ 获取最理想的估计，必须注意两点：
• 量测y应尽可能多地含有待估量x的信息。
•
应构造适当的统计量使
cov{x, x}
M
1 x
成立。
11
线性无偏最小方差估计
• 定义：若对任意T(Y), 称T*(Y)为最小方差估计, 当 且仅当
i 1
26
新息序列意义
y(0) y(1) y(2) ......... y(k-2) y(k-1) y(k)
利用0 ~ k-1 时刻的数据，提前一 步预报k时刻的输出（旧信息）：
y(k k 1) E[ y(k) yk1]
y(k k 1)
新息： ~y(k) y(k) y(k k 1)
7
估计量的评价标准
• 例（续）：若y的方差为σ2; 构造方差σ2的估计如
下： 因为
ˆ
2 N
1 N
N i1
y
2
(i)
(mˆ N
)2
E{ˆ
2 N
}
E{ 1 N
N i1
y2 (i)}
E{(mˆ N )2}
E{y2 (i)}
E{(m N
)2}
所以 E{(mˆ N
{ xp(x | y)dx
E(x | y) p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
{ xp(x | y)dx
E(x | y) p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
辨识、滤波与自适应
浙江大学控制科学与工程学系 2015年4月24日
辨识、滤波与自适应
第三章 状态估计——Kalman滤波方 法
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
3
第三章 状态估计——Kalman滤波 方法
ET*(Y) x2 ET(Y) x2
• 定理：设x和Y是两个联合分布的随机向量，则x
的最小方差估计 x 就是x的条件期望值：
xˆ E[x | y] xp(x | y)dx
完全符合我们的直觉
12
证明：设y为随机向量Y的某一实现，f(y)为x的一个估计， 估计误差为 ~x x f (y) 误差方差 E[~x~xT ] E{[x f ( y)][x f ( y)]T }
新息表示了y(k)中所包含的一部分新信息，是旧信 息中没有的那部分信息。
27
新息的几何意义
y(k)
~y (k)
E[ y(k) yk1]
H’
yˆi (k)
yˆ(k) y(k) B(zk1 E[zk1])
28
新息的性质
• 新息是零均值的序列 • 新息是不相关序列
• 新息序列是高斯序列，是一个独立过程。 新息序列是一个高斯白噪声过程
29
新息的性质
任意的y(k)是y(0), , y(k 1), y(k)的线性组合。 任意的y(k)是y(0), , y(k 1), y(k)的线性组合。
由{y(k)} {y(k)}具有因果线性逆运算
说明新息和原信息等价
30
新息的性质
• 以序列yk为条件等价于以序列 yk为条件，即
E y k yk1 E y k yk1
16
最小方差估计是线性估计
• 定义：线性估计 • 定理：
17
已知Rzz时的最小方差估计
• 定理：
若z的协方差阵Rzz有逆，则z对x的线性无偏最小 方差估计唯一地表示为:
xˆ E(x | z) mx Rxz Rzz1(z mz )
且误差估计的协方差阵为
Rx
Rxx
Rxz
Rzz
R 1 zx
新息的性质
• 设 xk 和 yk 是两个联合高斯零均值的随机序
列，则有：
E[x(k) | yk1] E[x(k) | yk1]
k 1
E[x(k) | y(l)] l0
• 方便的计算公式
32
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
N
6
估计量的评价标准
• 例：设随机变量y的数学期望为E{y}=m; y(1), y(2), …, y(N)是y的一组容量为N的样本, 构造均值m的 无偏估计如下：
m N
1 N
N i 1
y(i)
因为
E{mˆ N }
1 N
N
E{y(i)}
i 1
1 (N m) m N
值化处理。
21
线性无偏最小方差估计的性质
• 若取z的线性变换Az+b, A为可逆方阵, b为N·m维任 意向量, 则E[x|Az+b]=E[x|z], 说明量测数据序列作可逆线性变换不影响估计结
果。
22
最小方差估计的几何解释
• 设H={二阶矩有界的随机变量集合}，对所有x, y∈H，定义内积和范数 <x,y> = E{yTx} ||x||2 = <x, x>
18
注意配方
19
一组子样时的最小方差估计
• 定理
极方便的公式
20
线性无偏最小方差估计的性质
• 设x*是x的线性无偏最小方差估计，且S=Ax+b是x 的某个线性变换，则S的线性无偏最小方差估计为 S*=Ax*+b
• 设x’=x-mx; z’=z-mz, 则有E{x|z}=mx+E{x’|z’}. 表明不失一般性, 最小方差估计可对量测值作零均
需计算上式最后两项
13
E{[x E(x | y)][E(x | y) f ( y)]T }
应用条件概率公式
[x E(x | y)][E(x | y) f ( y)]T p(x, y)dxdy
{ [x E(x | y)]p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
8
估计量的评价标准
一致估计
• 希望样本容量无限增大时，估计值在真值的任一 邻域的概率趋近于１
• 定义：如果对于任意实数ε>0, 构造的估计量依
概率收敛于真值，即
lim P x(N) x 0
N
9
估计量的评价标准
• Cramer-Rao不等式
设 xˆ 是x的一个无偏估计，y是与x有关的随机变量， x的协方 差函数阵为
• 最小方差估计是无偏估计
• 若已知{y(1), …, y(N)}, 则x的最小方差估计为 xˆmv E[x | y(i); i 1, ..., N]
• 当{y(1), …, y(N)}服从联合正态分布时, 则x的最小方差估 计为{y(1), …, y(N)}的线性函数
• 当x, Y不是正态联合分布时，最小方差估计仍然等于x的条 件均值，但 xmv f (Y) 不一定是线性函数了。
33
状态变量最优估计问题描述
在许多实际控制过程中，系统往往受到随机干扰作用，在这种情况下，离 散控制系统描述为
x(k 1) A(k)x(k) B(k)u(k) F (k)w(k) y(k) C(k)x(k) v(k) 式中x(k)是n维状态向量，u(k)是r维控制向量，y(k)为m维输出向量，A(k)为n n 参数矩阵，B(k）为n r维参数矩阵，C(k)为m n维参数矩阵,F (k)为n p维矩阵。 假定w(k )是均值为零的p维白噪声向量序列，v(k )是均值为零的m维白噪声向量序 列。 为了实现控制，需要利用状态向量x(k )信息。但x(k )受到随机干扰的影响， 因此需要估计x(k )。要求估计值xˆ(k )尽量接近真值x(k ), 这样就提出了状态变量的 最优估计问题。
x
xˆ*
x
xˆ*
T
Rxx Rxz Rzz1Rzx
24
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
25
新息序列
• 目的：m维随机序列{y(k)}作可逆线性变换得到一 个零均值、独立的随机序列{ ~y(k) }且不丢失{y(k)} 的信息。
y
x
为Fisher信息函数阵（对列向量x求导取行向量）。 p y x是
随机变量y关于x的条件概率密度，反映了y所含的有关x的信
息。
10
估计量的评价标准
• 有效估计
如果变量x的一个无偏估计的协方差函数阵按对称阵的 正、负定关系达到下界，则称为x的有效估计。
① 由Cramer-Rao不等式，估计方差的最小值由Fisher信 息阵（也即量测样本y所含有关x的信息量）决定。
34
维纳滤波与卡尔曼滤波
• 关于最优估计问题，在20世纪40年代初，维纳提出了最优 线性滤波，称为维纳滤波。
– 这种滤波是在信号和干扰都表示为有理谱密度的情况下，找出最优滤波 器，使得实际输出与希望输出之间的均方误差最小。
其中 ~y k {~y(0),, ~y(k)}
– 证明： E y k yk1 E y k Ayk1 E y k yk1
• 说明由yk张成的线性子空间与由 yk 张成的线性子 空间含有相同的信息。
• 新息是一组零均值独立随机变量，便于各种统计 计算。
E{[x E(x | y) E(x | y) f ( y)][x E(x | y) E(x | y) f ( y)]T } E{[x E(x | y)][x E(x | y)]T }
E{[E(x | y) f ( y)][E(x | y) f ( y)]T } E{[x E(x | y)][E(x | y) f ( y)]T } E{[E(x | y) f ( y)][x E(x | y)]T }
称H为上式定义内积和范数的Hilbter空间。 • 设z为N·m维零均值的样本, x为零均值待估量，B
为n×(N·m)维任意变换矩阵，则随机向量 xˆ Bz 都是x的线性无偏估计，对一切可能的B，形成 Hilbter空间上的一个线性子空间。
23
正交投影定理
xˆ Bz
Rx E
)2}
E{
1 N
N i 1
2
y(i) }
1 N2
E
N
i1
y2 (i)
N
y(i)
y(
j)
i, j 1 i j
1 N
E{y2}
N 1 m2 N
E{ˆ
2 N
}
N 1[E{y2} m2 ] N
N 1 2 N
即
ˆ
2 N
非无偏估计，而为渐近无偏估计
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
4
估计的基本理论
一组测量样本 Y = {y(1), ..., y(N)}
以性能指标最优的原则
统计计算
提取信息
变量x估计量 x
• 状态估计 • 点估计或参数
估计
5
估计量的评价标准
无偏估计和渐近无偏估计 • 若 Exˆ x , 则 xˆ 为无偏估计 • 若 lim Exˆ x , 则 xˆ 为渐近无偏估计
• 定义：m维正态分布随机序列 {y(k)}作线性变换得 到新的序列 { ~y(k) }
~y (0) y(0) E[ y(0)]
~y (k
)
y(k)
E[ y(k )
y k 1]
其中 yk1 y(0),, y(k 1)
•
注意：y(k)互不相关时
k 1
E[ y(k) yk1] E[ y(k) y(i)] (N 1) y(k)
{E(x | y) E(x | y)
p(x | y)dx}[E(x | y)
f ( y)]T p( y)dy
{E(x | y) E(x | y)}[E(x | y) f ( y)]T p( y)dy 0
14
=0
15
最小方差估计的性质
covxˆ, xˆ E xˆ E xˆ xˆ E xˆT E xˆ xxˆ xT
则有
covxˆ,
xˆຫໍສະໝຸດ M1 x其中 M x
E
log p
x
y
x T
log p
x
② 使估计量对于真值的误差平方达到其最小值的估计量 为最有效的估计。
③ 获取最理想的估计，必须注意两点：
• 量测y应尽可能多地含有待估量x的信息。
•
应构造适当的统计量使
cov{x, x}
M
1 x
成立。
11
线性无偏最小方差估计
• 定义：若对任意T(Y), 称T*(Y)为最小方差估计, 当 且仅当
i 1
26
新息序列意义
y(0) y(1) y(2) ......... y(k-2) y(k-1) y(k)
利用0 ~ k-1 时刻的数据，提前一 步预报k时刻的输出（旧信息）：
y(k k 1) E[ y(k) yk1]
y(k k 1)
新息： ~y(k) y(k) y(k k 1)
7
估计量的评价标准
• 例（续）：若y的方差为σ2; 构造方差σ2的估计如
下： 因为
ˆ
2 N
1 N
N i1
y
2
(i)
(mˆ N
)2
E{ˆ
2 N
}
E{ 1 N
N i1
y2 (i)}
E{(mˆ N )2}
E{y2 (i)}
E{(m N
)2}
所以 E{(mˆ N
{ xp(x | y)dx
E(x | y) p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
{ xp(x | y)dx
E(x | y) p(x | y)dx}[E(x | y) f ( y)]T p( y)dy
辨识、滤波与自适应
浙江大学控制科学与工程学系 2015年4月24日
辨识、滤波与自适应
第三章 状态估计——Kalman滤波方 法
第三章 状态估计——Kalman滤波 方法
• 估计的基本理论 • 新息序列 • 状态变量最优估计 • 卡尔曼滤波 • 滤波稳定性
3
第三章 状态估计——Kalman滤波 方法
ET*(Y) x2 ET(Y) x2
• 定理：设x和Y是两个联合分布的随机向量，则x
的最小方差估计 x 就是x的条件期望值：
xˆ E[x | y] xp(x | y)dx
完全符合我们的直觉
12
证明：设y为随机向量Y的某一实现，f(y)为x的一个估计， 估计误差为 ~x x f (y) 误差方差 E[~x~xT ] E{[x f ( y)][x f ( y)]T }
新息表示了y(k)中所包含的一部分新信息，是旧信 息中没有的那部分信息。
27
新息的几何意义
y(k)
~y (k)
E[ y(k) yk1]
H’
yˆi (k)
yˆ(k) y(k) B(zk1 E[zk1])
28
新息的性质
• 新息是零均值的序列 • 新息是不相关序列
• 新息序列是高斯序列，是一个独立过程。 新息序列是一个高斯白噪声过程
29
新息的性质
任意的y(k)是y(0), , y(k 1), y(k)的线性组合。 任意的y(k)是y(0), , y(k 1), y(k)的线性组合。
由{y(k)} {y(k)}具有因果线性逆运算
说明新息和原信息等价
30
新息的性质
• 以序列yk为条件等价于以序列 yk为条件，即
E y k yk1 E y k yk1
16
最小方差估计是线性估计
• 定义：线性估计 • 定理：
17
已知Rzz时的最小方差估计
• 定理：
若z的协方差阵Rzz有逆，则z对x的线性无偏最小 方差估计唯一地表示为:
xˆ E(x | z) mx Rxz Rzz1(z mz )
且误差估计的协方差阵为
Rx
Rxx
Rxz
Rzz
R 1 zx