可疑数据的取舍

可疑数据的取舍
21.3.3.1 可疑数据的取舍
为了使分析结果更符合客观实际，必须剔除明显歪曲试验结果的测定数据。

正常数据总是有一定的分散性，如果人为删去未经检验断定其离群数据(Outliers)的测定值（即可疑数据），由此得到精密度很高的测定结果并不符合客观实际。

因此对可疑数据的取舍必须遵循一定原则。

1. 取舍原则
(1)测量中发现明显的系统误差和过失错误，由此而产生的分析数据应随时剔除。

(2)可疑数据的取舍应采用统计学方法判别，即离群数据的统计检验。

2. 大样本离群数据的取舍（三倍标准差法）：根据正态分布密度函数，设测定值为Xi，可表示为Xi+3S ³μ³ Xi －3S。

若Xi在Xi±3S范围内，此数据可用；若在Xi±3S范围外，此数据不可用，须舍弃（亦称莱特准则）。

该判断的置信度在99.7%以上，但测定次数增多时，出现可疑值机会就随之增加，应将取舍标准改变如下。

先计算多次测定结果的平均值X和标准差S，再计算Z值：
X=X
1 + X
2
+ … +X
n
/ n (n 为包括可疑值尾数在内的
测定次数)
S = [∑X2 -(∑X)2/n] / (n-1)
Z= (X - X ) / S (X 为可疑值)
然后查正态分布表，得对应于Z值的a值。

如 n a<0.1，则舍弃，>0.1，则不舍弃。

例如：土壤全氮的5次平行测定结果(g·kg-1)为1.52，1.48，1.65，1.85，1.45。

其中1.85为可疑值，需判断取舍。

计算平均值X=1.59；S=±0.164；Z=(1.85－1.59)/0.164=1.585。

查正态分布表a=0.0565，na=5×0.0565=0.2825，因na>0.1，可疑值1.85g·kg-1不予舍弃。

3. 小样本离群数据取舍（n为有限数）：有几个统计检验方法来估测可疑数据，包括Dixon，Grubbs，Cochran和Youden检验法。

可以对一个样品，一批样品，一台仪器或一组数据中可疑数据的检验。

现介绍最常用的两种方法。

(1)狄克逊(Dixon)检验法：此法适用于一组测量值的一致性检验和剔除离群值，本法中对最小可疑值和最大可疑值进行检验的公式因样本的容量n的不同而异，检验方法如下：
将一组测量数据从小到大顺序排列为X1、X2…X3，X1和X n分别为最小可疑值和最大可疑值，按表21.3计算公式求Q值。

根据表21.4中给定的显著性水平a和样本容量n查得临界值Qa。

若Q≤Q0.05，则检验的可疑值为正常值；
若Q0.05<Q≤Q0.01，则可疑值为偏离值；若Q>Q0.01，则可疑值为离群值，应舍去。

表21.2 Dixon检验统计量Q计算公式
表21.3 Dixon检验临界值表*
摘自《农畜水产品品质化学分析》，544页。

鲍士旦主编，中国农业出版社，1996,544。

表21.4 Grubbs检验临界值表*
* 摘自《农畜水产品品质化学分析》，544页。

鲍士旦主编，中国农业出版社，1996,544。

(2)格鲁勃斯(Grubbs)检验法：此法适用于检验多组测量值的均值的一致性和剔除多组测量值中的离群均值，也可以用于检验一组测量值一致性和剔除一组测量值中离群值。

方法如下：
在一组测量值中，依从小到大顺序排列为X1，X2，X3……X n，若对最小值X1或最大值Xn可疑时，进行下列计算：
T = (X -X1) / S
T = ( X n -X) / S
式中X1为最小值，X n为最大值，X为平均值，S为标准差。

若根据测定次数(n)和给定的显著性水平a，从表21.5查得Ta临界值。

若T£T0.05，则可疑值为正常值；
若T0.05<T£T0.01，则可疑值为偏离值；
若T>T0.01，则可疑值为离群值，应舍去。

舍去离群值后，再计算X和S，再对第二个极值进行检验。

21.3.3.2 有效数字修约规则
有效数字修约按国家标准GB1.1-81附录C“数字修约规则”的规定进行，具体如下：
1. 拟舍弃数字的最左一位数字小于5时，则舍去，即拟保留的末位数字不变。

例如，将1
2.1498修约到一位小数得12.1；修约成两位有效位数得12。

2. 拟舍弃数字的最左一位数大于（或等于）5，而其右边的数字并非全部为0时，则进一，即所拟保留的末位数字加一。

例如，10.61和10.502修约成两位有效数字均得11。

3. 拟舍弃的数字的最左一位数为5，而其右边的数字皆为0时，若拟保留的末位数字为奇数则进一，为偶数（包括“0”）则舍弃。

例如，1.050和0.350修约到一位小数时，分别得1.0和0.4。

4. 所拟舍弃的数字，若为两位以上数字时不得连续多次修约，应按上述规定一次修约出结果。

例如，将1
5.4546修约成两位有效数字，应得15，而不能15.4546→15.455→15.46→15.5→16。

取舍原则可简记为：“四舍六入五留双”或“四舍五入，奇进偶舍”。

21.3.3.3 有效数字的运算规则
1. 加法和减法运算规则：先将全部数字进行运算，而后对和或差修约，其小数点后有效数字的位数应与各数字中的小数点后的位数最少者相同。

例如，4.007-
2.0025-1.05=0.9545→0.95。

2. 乘法和除法运算规则：先用全部数字进行运算，而后对积或商修约，其有效数字的位数应和参加运算的数中有效数字位数最小者相同。

例如，7.78×
3.486=27.12108→27.1。

3. 对数运算规则：进行对数运算时，对数值的有效数字位数只由尾数部分的位数决定，首数部分为10的幂数，与有效数字位数无关。

例如 log 1234 = 3.0913。

4. 乘方和开方运算规则：计算结果有效数字的位数和原数相同。

例如，
1.4×102 =11.83215957→12。

必须注意，有效数字进行加、减、乘、除运算时，一般不得在运算首先把多余位数进行舍入修约。