4 不良数据的检测和辩识

概述
残差方程
检测方法 1
辨识方法
不良数据的检测

当量测中存在不良数据时，量测误差矢量中某 些分量将有个别分量的值明显变大。 由残差方程可见，量测残差也会明显变大。 由目标函数的公式可知，目标函数的数值也会 变大。 三种检测方法

目标函数值检测法 加权残差检测法 标准化残差检测法
v T Av vi2 Aii Aij vi v j Jx
i 1 i 1 j 1 m m m

j i
概述
残差方程
检测方法 1
辨识方法
目标函数的分布特性
的数学期望值: EJ x ˆ Jx
m 2 i m
Aii E vi2 Aij Evi v j

可能吗？

概述
残差方程
检测方法
辨识方法
残差

残差

量测值和量测估计值之间的差 r z h( x ˆ)
估计值

残差和误差的关系


ˆx 将量测估计在真值x附近Taylor级数展开 x x ˆ ) h( x) H ( x)x h( x 代入残差表达式：

r z h( x ) H ( x)x v H ( x )x 得到： ˆ ) v H ( x)x r z h( x
概述
残差方程
检测方法
辨识方法
残差方程的作用

描述了残差和量测误差之间的线性关系
ri Wij v j Wi1 v1 Wi 2 v2 Wim vm
j 1 m

W矩阵的元素就是相应的比例系数 量测i的残差ri和所有量测误差有关
如果W有逆，我们就 可以用残差矢量r计算 出量测误差，把大于 3σ的找出来。

由正态分布的特性可知
P(| Z | ) 68.3% P(| Z | 2 ) 95.5% P(| Z | 3 ) 99.7%

只有0.3%的可能性使得Z-μ落在3σ范围之外

定义：误差大于3σ的量测数据叫坏数据，或不 良数据。
概述
残差方程
检测方法
辨识方法

W对角占优吗？


W既不可逆，也不对角占优，是引起不良数据 检测与辨识困难的根本原因。
概述
残差方程
检测方法
辨识方法
加权残差


为了便于进一步简化计算公式和分析，进入残 差方程的加权形式。 1 r R r 定义加权残差：w
i 定义加权量测误差：υw R υ i 理解：对每个量测量对应的加权误差 wi i 残差方程改写：
x H
T
ˆR x
T
1
T 1 ˆ H ( x) H x R v
1
1
r v H ( x) H
I H ( x) H

T 1 ˆ ˆ x R H ( x ) H x R v 1 T
ˆR x
1
T 1 ˆ H ( x) H x R v
不可靠 有局限性
概述
残差方程
检测方法
辨识方法
检测和辨识方法

检测的常用方法

使用目标函数极值进行检测； 用加权残差或标准化残差检测； 上述两种方法的综合使用； 量测量突变检测； 应用伪量测量的检测。
残差搜索法； 非二次准则法； 零残差法（它是非二次淮则法的一个发展）； 估计辨识法。
概述
残差方程
检测方法 1
辨识方法
不良数据的检测-J检测法


利用估计后的目标函数进行坏数据检测的方法 ˆ 检测： 简称为 J x m T 1 T 1 2 ˆ ˆ ˆ Jx z h x R z h x r R r r wj j 1 将残差方程r=Wv代入上式： 2 T T 1 T 1 ˆ J x 是 分布 v W R Wv v R Wv J x 定义A=R-1W
1

概述
残差方程
检测方法
辨识方法
残差方程
r v H ( x) H
T
I H ( x) H


ˆR x
T
1
T 1 ˆ H ( x) H x R v 1
1
ˆR x
1
T 1 ˆ H ( x) H x R v

因为估计值和真值十分接近，上式的量测雅克 比矩阵都可以在估计值处取值，即：
r Wv W I H H R H H T R 1
T 1 1
残差方程
残差灵敏度矩阵
概述
残差方程
检测方法
辨识方法
残差灵敏度矩阵的性质
r Wv
1 T 1 T 1 W I H H R H H R



（1）W是奇异矩阵，其秩k=m-n； （2）W是等幂矩阵：WW=W； （3）WR-1W=R-1W； （4）WRWT=WR=RWT； （5）0<Wij<1。
T j j 1 2
自由度为k的 分布
常数项
正态分布

一般坏数据幅值比正常量测误差的标准差大许 多倍，所以这第三项的值会十分大。 因此，考察估计后目标函数的值就能确定量测 中是否存在坏数据。
概述
残差方程
检测方法 1
辨识方法
实用方法

考察目标函数是否超过某一事先确定的门槛值， 以确定是否存在不良数据。
r Wv W I H H R H H T R 1
T 1 1
真的可逆吗？
概述
残差方程
检测方法
辨识方法
残差矩阵

W可逆吗？


是m×m阶的，但它的秩是m-n 不能通过对W求逆来求误差向量
如果对角占优则具有最大量测误差的量测所对应的 残差一般也大。 但是，当冗余量测较低时，W可能不满足对角占优 的条件，最大残差和最大量测误差并不一致。
ˆ ~ N k , 2k 或 J x
ˆ k J x 2k ~ N 0,1
概述
残差方程
检测方法 1
辨识方法
3σ准则
ˆ ~ N k , 2k 或 J x

ˆ k J x 2k
~ N 0,1
根据3σ准则，即某正态随机变量的误差将以 99.75%的概率落在3σ区间之内，即：
量测坏数据的检测与辨识

内含量测预处理、拓扑错误辨识、遥测坏数据 的检测和辨识

量测预处理：去掉明显的坏数据 拓扑错误辨识：找出开关、刀闸的状态错误 遥测坏数据的检测和辨识

采用估计--检测和辨识--再估计--再检测和辨识 的迭代模式
概述
残差方程
检测方法
辨识方法
坏数据的可检测和可辨识性

可观测(估计)性
2

dt


标准正态分布 1, 0 对于任意的正态分布随机变量 P{| X | } 0.6827 正态分布随机变量落在μ ± 3σ区 P{| X | 2 } 0.9545 间内的概率几乎等于１。 P{| X | 3 } 0.9973
ˆ k J x 2k 3 ˆ 3 2k k J x
上面公式应以99.75%的概率得到满足
概述
残差方程
检测方法 1
辨识方法
坏数据检测性质


如果有一个坏数据发生在量测j上 v v j e j 计算新的目标函数
j ˆ) J ( x ˆ ) 2 e R Wv w jj J ( x j 2
1
ቤተ መጻሕፍቲ ባይዱ

理解：对每个量测量对应的加权残差 rwi
ri


rw Wwvw
1 T 1 Ww I R H H R H H T R 1 1
概述
残差方程
检测方法
辨识方法
标准化残差


通过残差方程，可以得到残差的方差阵 Var r E rr T WRW T WR 定义矩阵D D diag WR 定义标准化残差 rN D1 r 定义标准化残差灵敏度矩阵 WN D1W 标准化残差方程为： rN WN υ 是加权残差的一种，在国外早期的文献中，标准化残 差对检测和辨识单个不良数据有重要的作用。
概述
残差方程
检测方法
辨识方法
检测和辨识

人们在状态估计之前会对量测数据进行处理，处理分 析根据对不良数据处理水平不同分为三个层次：

人工检测和辨识 量测极限值检测



量测量突变检查 量测数据的相关性检查 计算机实时检测和辨识(数据的预处理) 只能发现明显 利用远动功能实现 的不良数据 粗检测和辨识 状态估计程序中的检测和辨识 通过大量正常的冗余量测，利用数学处理的方法处理不 良数据

辨识的常用方法



概述
残差方程
检测方法
辨识方法
不良数据监测与辨识的数学基础
1 e 正态分布 f ( x) 2 概率密度 E(x)= D( x)= 2
x
( x )2 2 2
1 分布函数 F ( x) 2 e


( t )2 2
当被研究的随机变量是 数量众多的相互独立的 随机变量之和，则他必 定服从正态分布或近似 正态分布的。
概述
残差方程
检测方法
辨识方法
实时数据的误差



量测值和真值总是存在差异，即误差 从采样到计算机数据库的全过程，每个环节都 可能受到各种随机干扰而产生误差 误差来源：