试验大数据的异常值地检验及剔除方法

目录

摘要..................................................................................................................................... I 关键词................................................................................................................................ I

1 引言 (1)

2 异常值的判别方法 (1)

2.1检验（3S）准则 (1)

2.2 狄克松（Dixon）准则 (2)

2.3 格拉布斯（Grubbs）准则 (3)

2.4 指数分布时异常值检验 (3)

2.5 莱茵达准则（PanTa） (4)

2.6 肖维勒准则（Chauvenet） (4)

3 实验异常数据的处理 (4)

4 结束语 (6)

参考文献 (7)

试验数据异常值的检验及剔除方法

摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析.

关键词：异常值检验；异常值剔除；DPS；测量数据

1 引言

在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度.

判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除.

利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文.

2 异常值的判别方法

判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍.

2.1 检验（3S ）准则

t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布围来判别异常值，对重复测量次数较少的情况比较合理.

基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值.

设样本数据为123,,n x x x x L ，若认j x 为可疑值.计算余下1n 个数据平均值

1n x -及标准差1n s -

，即2111,1,1n n i n i i j x x s n --=≠=-∑.

然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a --

>，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.

2.2 狄克松（Dixon ）准则

设有一组测量数据123n

x x x x ≤≤≤L ，且为正态分布，则可能为异常值的测量数据必然出现在两端，即1x 或n x .

狄克松给出了不同样本数量n 时检验统计量的计算公式（见表1）.当显著水平a 为1%或5%时，狄克松给出了其临界值1()a n D -.如果测量数据的检验统计

量1()a n D D ->，则1

x 为异常值，如果测量数据的检验统计量'1()a n D D ->，则n x 为异常值.

表1 狄克松检验统计量计算公式为

2.3 格拉布斯（Grubbs ）准则

设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即123n

x x x x ≤≤≤L ，可能为异常值的测量数据一定出现在最大或最小的数据中.

若最小值1x 是可疑的，则检验统计量1

()/G x x s =-.式中x 是均值、s 是标准

差，即211,n i i x xs n ==∑. 对于检验统计量G ，格拉布斯导出了其统计分布，并给出了当显著水平a 为1%或5%时的临界值(1)()n G n -.(1)()n G n

-称格拉布斯系数，可通过抽查表得到.当最小值1x 或最大值n x 对应的检验统计量G 大于临界值时，则认为与之对应的1x 或n x 为可疑异常值，应予以剔除.

2.4 指数分布时异常值检验

设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大

小顺序排列，即123n

x x x x ≤≤≤L .检验最小值或最大值是否为异常值的检验方法如下：

当样本量100n ≤时，计算统计量()1/n n n n i i T x x ==∑及(1)11/n

n i i T x x ==∑ 对于给定的显著水平a （通常取0.5）和样本数量n ，通过查表得到()n n T 及(1)

n T 分别对应的临界值()(1)n n T a -和(1)()n T a .若()()

(1)n n n n T T a >-时，认为n x 为异常值；若(1)(1)(

)n n T T a <时，认为1x 为异常值. 当样本容量100n >时，计算统计量()11

1(1)()/()n

n n n n i n i E n x x x x --==--+∑及(1)11

1(1)/()n

n i i E n n x x n x ==-+∑.