回归分析中异常值的诊断与处理

回归分析中异常值的诊断与处理

1 引言

对调查得到的大量原始数据进行加工处理，提取其中有用的信息，即统计整理，是进一步进行统计分析的前提．但是通常的统计整理方法往往都对样本数据有一个前提假设，即样本数据是来自同一个总体，而这个假设有时却不能成立．原因一是由客观因素造成的，如总体条件的突然变化或人们未知的某个因素的突然出现等等；二是由主观方面的因素造成的，即人为的差错如调查人员读错或抄错数据，不小心把另一些不同条件下的样本数据混杂进来．当样本中的个别数据明显的偏离样本中其余数据时，这些数据可能是来自不同的总体，我们称这样的数据为异常数据．若对混有异常数据的样本按常规进行统计整理、分析、推断，往往会得出不符合实际的结论．本文就样本中的异常数据提出了诊断方法和处理方法，并结合实例说明了简单回归中上述方法的具体应用．

2 异常值的概念

所谓异常值就是在所获统计数据中相对误差较大的观察数据，也称奇异值(Outliers)．狭义地定义异常值就是一批数据中有部分数据与其余数据相比明显不一致的数据，也称离群值．

社会经济统计中一切失实数据统称为异常值．由于人为或随机因素的影响，失实的数据随时都有可能出现，因而统计数据中的任何一个都有可能成为异常值，而狭义界定的异常值是指离群值，如果把统计数据按由小到大排列，若有异常值，它必位于其数据的两端，左端称为异常小值，右端的称为异常大值．

残差：考虑线性回归模型

y X e β=+，()0E e =，()2n Cov e I σ=．

()1 其中 ⎥

⎥⎥⎥⎦⎤

⎢⎢⎢⎢⎣⎡=n y y y y 2

1，⎥⎥⎥

⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎣⎡=---1,11,2211,111111p n n p p x x x x x x X ，⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=-110p ββββ ，⎥⎥⎥⎥⎦

⎤

⎢⎢⎢⎢⎣⎡=

n e e e e 21． 分量形式为

011,11i i i p p i y x x e βββ--=++

++，n i ，， 1=．

()2 定义ˆˆˆe

y y y X β=-=-为残差向量，其中ˆˆy X β=称为拟合值向量，βˆ为β在模型()1下的最小二乘估计．如果用n x x '',1

表示X 的n 个行向量，则称 ˆˆi i i e

y x β'=-， n i ，， 1=， 为第i 次试验或观测的残差．对简单回归，12111n x x X x ⎡⎤

⎢⎥

⎢⎥=⎢⎥⎢⎥

⎣⎦，⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎦⎤⎢⎣⎡=10βββ．

则ˆˆi

i

i

e y x β'=-，n i ，， 1=，其中()1,i

i

x x '=．

于是，异常值就是在回归分析中，一组数据()i i y x ,'如果它的残差i e

ˆ较其它组数据的残差大的多，则称此数据为异常值．

异常值的出现有主客观的原因．主观上抽样调查技术有问题，疏忽大意记错，或人为的虚报，谎报数据等都可能导致异常数据，这直接影响了统计数据的质量；客观上某些样品由于特定原因在某些变量上的确表现突出，明显超出平均水平，这也可能产生异常值．

异常值的存在必将导致相应统计分析误差增大，会对分析结果(平均值与标准差)产生重要影响，会降低测量的精度．如果不预先处理它们，用通常的统计整理方法所得出的结论可靠性差．而异常值的诊断与处理是保证原始数据可靠性，平均值与标准差计算准确性的前提．

3 异常值的诊断方法

在讨论异常值诊断问题时，通常要假设所得样本观测值在某中意义下遵从一定的分布规律．拿到一批数据，若能从其实际背景中明确看出它服从某中分布形式时，一般的做法是在这种分布假设下，导出能较好反映异常值与正常值差异的统计量，在没有异常值的原假设下作假设检验．

以下给出两种检验方法．

3.1 F 分布检验法

学生化残差：考虑线性回归模型()1，记ˆˆy

X β=，称y ˆ为拟合值向量，称其第i 个分量βˆˆi i x y

'=为第i 个拟合值，则 ()1

ˆy X X X X y Hy -''==，

这里()1

H X X X X -''=．文献中通常称H 为帽子矩阵．前面已经定义了

ˆˆi i i e

y x β'=-, n i ，， 1=， 为第i 次试验或观测的残差．将其标准化为ii

i h e

-1ˆσ，再用σ

ˆ代替σ，得到所谓学生化残差

ii i i h e r -=

1ˆˆσ

， n i ， ,1=，

这里ii h 为H 的第i 个对角元，p

n e

n

i i

-=∑=122ˆˆσ

．

把正态线性回归模型()1改写成分量形式

i i i e x y +'=β，()2,0~σN e i ，n i ，， 1=，

这里i e ，)1(n i ，， =相互独立．如果第j 组数据()j j y x ,'是一个异常点，那么它的残差就很大．它的残差之所以很大是因为它的均值()j y E 发生了非随机性漂移η．从而

()ηβ+'=j j x y E ．这产生了一个新的模型

i i i

j

j j y x e y x e ββη'=+⎧⎪⎨'=++⎪⎩ ()2

~0,,i i j e N σ≠ ()3 记[]0,

,0,1,0,

,0j d '=．将模型()3改写成矩阵的形式

j y X d e βη=++， ()I N e 2,0~σ， ()4

模型()3和()4称为均值漂移线性回归模型．要判定()j j y x ,'不是异常点，等价于检验假设

0=η：H ．

引理1 用()i y ，()i X 和()i e 分别表示从Y 、X 和e 剔除第i 行所得到的向量或矩．从线性回