GBT4883 正态样本离群值的判断和处理
离群值分析与处理
离群值分析与处理在数据分析与机器学习的领域，离群值（Outlier）指的是与其他数据点显著不同的数据点。
这些数据点可能是因为测量错误、数据录入错误，或是由于样本的特殊性质而出现。
离群值的存在往往会对数据分析结果和模型性能产生重大影响，因此在实际工作中，对离群值的分析与处理显得尤为重要。
在这篇文章中，我们将深入探讨离群值的定义、检测方法、处理策略以及在实际应用中的注意事项。
离群值的定义离群值简单来说是指在一组数据中，个别数据点显著偏离其他观测值的现象。
例如，在一个身高数据集里，大部分人的身高在150-190厘米之间，而有几个测量值为220厘米，那么这些220厘米的数据便可被视为离群值。
离群值的影响可能会使我们对整体趋势的理解产生偏差，因此在分析数据时，需要认真对待离群值的问题。
离群值的来源测量误差：一些数据点由于仪器故障或操作不当等原因，导致数据录入错误，这类错误通常较为随机，但也可能导致明显偏差。
样本特性：某些特定样本可能会天然形成离群。
例如，在医学研究中，少数病人可能因特殊病史而具有极端症状，这些个别现象便形成了离群值。
环境变化：随着外部环境的变化，某些变量可能会突变，从而极大地影响部分数据点。
比如经济危机、自然灾害等因素都能导致特定案例的数据异常。
不准确的模型假设：如果我们在使用某种统计模型进行分析时，该模型假设不正确或未涵盖全部的重要因素，也可能导致离群值出现。
离群值检测方法合理检测离群值是确保模型质量和分析准确性的第一步。
常用的检测方法包括以下几种：统计方法Z-Score 方法： Z-Score 是一种标准化方法，通过计算每个数据点与样本均值相比有多远来识别离群值。
公式为：[ Z = ]其中，(X) 是样本数据点，() 是均值，() 是标准差。
当 |Z| > 3 时，通常认为该点为离群值。
IQR（四分位距）算法： IQR 是一种基于分位数的方法。
首先计算第一四分位数（Q1）和第三四分位数（Q3），接着计算四分位距（IQR = Q3 - Q1）。
实验中的离群数据应该怎样判断和处理？判断和处理原则汇总来了！
实验中的离群数据应该怎样判断和处理？判断和处理原则汇总来了！离群数据来源与判断：1、离群值按产生原因分为两类：a)第一类离群值是总体固有变异性的极端表现，这类离群值与样本中其余观测值属于同一总体；b)第二类离群值是由于试验条件和试验方法的偶然偏离所产生的结果，或产生于观测、记录、计算中的失误，这类离群值与样本中其余观测值不属于同一总体。
对离群值的判定通常可根据技术上或物理上的理由直接进行，例如当试验者已经知道试验偏离了规定的试验方法，或测试仪器发生问题等。
当上述理由不明确时，可用本标准规定的方法。
2、离群值的三种情形：本标准在下述不同情形下判断样本中的离群值：a)上侧情形:根据实际情况或以往经验，离群值都为高端值；b)下侧情形:根据实际情况或以往经验，离群值都为低端值；c)双侧情形:根据实际情况或以往经验，离群值可为高端值，也可为低端值。
3、检出离群值个数的上限应规定在样本中检出离群值个数的上限(与样本量相比应较小)，当检出离群值个数超过了这个上限时，对此样本应作慎重的研究和处理。
4、单个离群值情形a)依实际情况或以往经验选定，选定适宜的离群值检验规则(格拉布斯检验、狄克逊检验等）；b)确定适当的显著性水平；c)根据显著性水平及样本量，确定检验的临界值;d)由观测值计算相应统计量的值，根据所得值与临界值的比较结果作出判断。
5、判定多个离群值的检验规则在允许检出离群值的个数大于1的情况下，重复使用检验规则进行检验。
若没有检出离群值，则整个检验停止;若检出离群值，当检出的离群值总数超过上限时，检验停止，对此样本应慎重处理，否则，采用相同的检出水平和相同的规则，对除去已检出的离群值后余下的观测值继续检验。
离群值处理1、处理方式处理离群值的方式有：a)保留离群值并用于后续数据处理；b)在找到实际原因时修正离群值，否则予以保留；c)剔除离群值，不追加观测值；d)剔除离群值，并追加新的观测值或用适宜的插补值代替。
正态样本异常值的判断和处理教学提纲
• G(1- α*（19）)=G0.99（19）=2.854，因G19＞ G0.99（19），判断x（19）=61.3高度异常，剔除。
• 2 下侧情形检验法
与上侧情形检验法规则相同，但要使用统计 量
G′n=（ -x（1））/s
代替Gn，要判断的是最小值x（1）。
• 3 双侧情形检验法
• a. 计算Gn和G′n的值；
• b. 确定检出水平α，在表A2查出对应 n, α/2的临界值G（1- α/2（ n））；
• c. 当Gn ＞ G′n，且Gn ＞ G（1- α/2 （ n）），判断x（n）为异常值；当G′n ＞ Gn，且G′n ＞ G（1- α/2（ n）），判断x（1） 为异常值；否则，判断“没有异常值”；
• 双侧情形：异常值是在两端都可能出现的 极端值。
注：上侧情形和下侧情形统称单侧情形。
判断单个异常值的检验规则
• 根据实际情况，选定适宜的异常值检验规则； • 指定为检出异常值的统计检验的显著性水平α，
简称检出水平； • 根据α和观测值个数n确定统计量的临界值； • 将各观测值代入检验规则中给出的统计量，所得
• 检验最大值是否异常，取ห้องสมุดไป่ตู้出水平α=5%，剔除水平 α*=1%。
• 计算
=35.0 S=7.197
G19=（X(19)- )/s=(61.3-35.0)/7.197=3.654
对n=19，G （1- α（19））=G 0.95（19）=2.532，因G19
＞ G0.95（19），判断x（19）=61.3为异常值。
• 实施时，按2.3规定进行检验后，立即对检出的异 常值，再按2.3规定以剔除水平α*代替检出水平α 进行检验，若在剔除水平下此检验是显著的，则判
(优选)正态样本离群值的判断和处理
判定x (1)为离群值；去掉x (1）去后进入下一轮的 检验。
③当Gn>G’n且G’n大于临界值,判定x (1) 与x (n)两个均 为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
第三章 偏度一峰度检验法
第一节 上侧离群值的判断
1、将样本数据排列成次序统计量
2、计算偏度统计量bs 3、用 统计量bs与临界值相比较 当bs大于临界值，判定x (n)为离群值，否则未发现离群值；若
发现了离群值，剔除一个离群值后，进入下一轮的检验，直 到未发现离群值为止。
n
n (xi x )3
1、将样本数据排列成次序统计量
2、计算样本均值
3、计算样本标准差
4、计算Grubbs下统计量G’n 当G’n大于临界值，判定x (1)为离群值；否则判未发
现离群值。若发现了离群值，去掉一个离群值后， 进入下一轮的检验，直到未发现离群值为止。
第三节 双侧离群值的判断
1、将样本数据排列成次序统计量 2、计算样本均值 3、计算样本标准差 4、同时计算Grubbs上下统计量Gn、G’n ； 5、判断 ①当Gn>G’n且Gn大于临界值,G’n不大于临界值,判定
④当G’n>Gn且Gn大于临界值，判定x (1) 与x (n)两个 均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
⑤当Gn=G’n，且Gn大于临界值时，判定x (1) 与x (n)两 个均为离群值；去掉x (1) 和x (n)后进入下一轮的检 验。
否则判未发现离群值。
第二章 狄克逊（Dixon）检验法（2<n<31)
1308 04a离群值
本例处理
• 本例仅对x10作统计检验判断，未寻找原因。 • 判断x10=14.0是岐离值，不是统计离群值。 • 可按规则②处理：不剔除。 • 亦可按规则③处理：将其剔除。 • 是否剔除，由用户据自身要求而定。
格拉布斯检验的临界值表(部分)
n 3 4 5 6 7 8 9 10 p=0.95 p=0.99 1.135 1.463 1.672 1.822 1.938 2.032 2.110 2.176 1.155 1.492 1.749 1.944 2.097 2.231 2.323 2.410 n 11 12 13 14 15 16 17 18 p=0.95 p=0.99 2.234 2.285 2.331 2.371 2.409 2.443 2.475 2.504 2.485 2.550 2.607 2.659 2.705 2.747 2.785 2.821
不同情况判断离群值的检验法
• ①已知标准差。采用奈尔法，样本量3～ 100。 • ②未知标准差，个数为1。采用狄克逊法， 样本量3～30(或30～100，但另外计算)。 • ③未知标准差，个数＞1。采用偏度-峰度法。 • ④未知标准差，个数＞1。采用重复使用狄 克逊法。 • 以上详细内容见GB/T 4883-2008。 ——
术语：检出水平和剔除水平
• 检出水平α 。为检出离群值而指定的统计检 验显著性水平。通常α值应为0.05。 • 剔除水平α＊。为检出离群值是否高度离群 而指定的统计检验显著性水平。通常α＊值 应为0.01。 • 剔除水平α＊的值应不超过检出水平α的值 (例如：α＊=0.01＜α=0.05)。离群值产生原因及判断方法
正态样本离群值的 判断和处理
格拉布斯法简介 (选自GB/T 4883-2008)
数据的统计处理和解释正态样本离群值的判断和处理
数据的统计处理和解释正态样本离群值的判断和处理数据的统计处理和解释可以使用各种方法，包括描述统计、概率分布拟合和假设检验等。
下面是一些常见的方法和技术。
1. 描述统计：描述统计是一种简单但有效的数据统计处理方法。
它包括计算样本的均值、中位数、标准差和百分位数等指标，以了解数据的集中趋势和分散程度。
2. 概率分布拟合：通过拟合常见的概率分布，如正态分布、指数分布或伽玛分布，可以评估数据是否服从某个特定的分布。
如果数据的分布明显偏离所拟合的分布，可能存在离群值。
3. 箱线图：箱线图是一种可视化工具，用于显示数据的分布情况和离群值。
它通过绘制数据的最小值、最大值、中位数和四分位数等统计量，可以显示出数据的异常值。
4. Grubbs' test：格拉布斯（Grubbs）检验是一种常用的离群值检测方法。
它基于假设，即在正态样本中，离群值的概率较低。
通过计算样本中个别值与样本均值的差异，可以识别离群值。
5. 非参数统计方法：非参数统计方法不依赖于数据的具体分布。
例如，孤立森林（Isolation Forest）算法和DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法可以用于离群值的检测。
当发现离群值之后，可以考虑以下处理方法：1. 删除离群值：简单粗暴地删除离群值，可能导致数据的信息损失，因此需要慎重考虑。
删除离群值可能会影响样本的分布和模型的表现。
2. 替换离群值：可以将离群值替换为合理的值，例如使用极值替代、中位数或均值替代。
根据数据的背景和特点，选择合适的替代方法。
3. 离群值分析：对离群值进行详细的分析和研究，确定它们是否是数据收集或处理中的错误。
如果不是错误，离群值可能包含有价值的信息，可以进一步进行研究。
需要注意的是，离群值的处理取决于具体的数据和分析目的。
在处理离群值之前，应该对数据的背景和特点进行充分的了解，并结合领域知识和实际需求进行判断和处理。
正态样本异常值的判断和处理
正态样本异常值的判断和处理
99.5% 2.636 2.699 2.755 2.806 2.852 2.894 2.932 2.968 3.001 3.031 3.060 3.087 3.112 3.135
•n 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41
90% 2.502 2.519 2.534 2.549 2.563 2.577 2.591 2.604 2.616 2.628 2.639 2.650 2.661 2.671 2.682 2.692
使用格拉布斯检验法的示例
• 例一、检验某种砖的一个交付批的10个样品的抗 压强度数据（从小而大排列）4.7、5.4、6.0、6.5、 7.3、7.7、8.2、9.0、10.1、14.0（单位：MPa）。
检验最大值是否异常，取检出水平α =5%。
• 计算
=7.89 s=2.704
G10=（ x（10）- ）/ s=（14.0-7.89）/2.704 =2.260
•n 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57
90% 2.700 2.710 2.719 2.727 2.736 2.744 2.753 2.760 2.768 2.775 2.783 2.790 2.798 2.804 2.811 2.818
数据的统计处理和解释 GB4883-85
数据的统计处理和解释正态样本离群值的判断和处理
数据的统计处理和解释正态样本离群值的判断
和处理
数据的统计处理和解释中，正态样本的离群值判断和处理是一个重要的步骤，可以通过以下方法进行：
1.离群值判断：
o统计描述：通过计算数据的均值和标准差，确定数据的正态分布情况。
离群值通常被定义为偏离均值超过一定
标准差的数据点。
o箱线图：绘制箱线图，观察是否存在超出上下四分位距的异常值。
o Z-score值：计算数据点的Z-
score值，即数据点与均值的偏差标准差的倍数。
一般
来说，超过±3标准差的数据点可以被视为离群值。
2.离群值处理：
o删除离群值：如果确定某个数据点是离群值，可以选择将其从数据集中删除。
然而，需要谨慎处理，确保离群
值不是数据采集错误或重要信息。
o替换离群值：可以选择将离群值替换为其他值，如中位数、均值或最近邻的数值。
替换离群值需要谨慎，以避
免对数据分析结果产生较大的影响。
o分组处理：将数据分为多个组，针对每个组进行独立的统计分析和离群值处理。
在解释离群值时，需要考虑以下因素：
•数据采集误差：检查离群值是否可能是数据采集或输入错误导致的。
•实际情况：了解数据背后的真实情况，可能存在特殊情况或异常情况，这些离群值可能具有特殊的解释和意义。
•数据分布：考虑数据的分布情况，是否满足正态分布的假设。
总之，在处理和解释正态样本的离群值时，需要结合统计方法和领域知识，确保准确判断和合理处理离群值，以保证数据分析结果的可靠性。
数据的统计处理和解释 正态样本离群值的判断和处理
数据的统计处理和解释正态样本离群值的判断和处理本文介绍了正态分布样本离群值的定义、判断方法和处理方式，并对离群值的含义进行了讨论。
一、离群值的定义离群值是指在正态分布样本中，与大部分观测值存在显著差异的值。
在统计学中，离群值也被称为异常值或极端值。
二、离群值的判断方法常用的离群值判断方法包括四分位距法和统计学方法。
1. 四分位距法四分位距法是通过计算样本数据的四分位距（IQR）来判断离群值的方法。
四分位距是指样本数据中第三个四分位数（Q3）与第一个四分位数（Q1）之差，即 IQR = Q3 - Q1。
如果一个数据点比 Q1 低1.5 倍 IQR 或比 Q3 高 1.5 倍 IQR，则该数据点被认为是离群值。
2. 统计学方法统计学方法包括 Grubbs 测试和 Shapiro-Wilk 测试等。
这些方法可以通过计算离群值与剩余观测值之间的统计距离来判断离群值。
常用的统计距离包括标准差、方差、平均值等。
三、离群值的处理方式离群值的处理方式包括以下几种：1. 删除离群值删除离群值是最简单的处理方式，但可能会导致数据丢失。
2. 替换离群值替换离群值是指用样本均值、中位数等统计量来替换离群值。
这种方法可以保留数据，但可能会影响结果的准确性。
3. 修正离群值修正离群值是指通过对离群值进行平滑处理，使其与其他观测值更加接近。
常用的平滑方法包括移动平均法、中位数法等。
4. 忽略离群值忽略离群值是指在统计分析中不考虑离群值。
这种方法适用于离群值较少的情况。
四、离群值的含义离群值的含义取决于其产生的原因。
一般来说，离群值可以分为两类：1. 第一类离群值第一类离群值是总体固有变异性的极端表现，与样本中其余观测值属于同一总体。
2. 第二类离群值第二类离群值是由于试验条件和试验方法的偶然偏离所产生的结果，或产生于观测、记录、计算中的失误，与样本中其余观测值不属于同一总体。
五、结论离群值是正态分布样本中与大部分观测值存在显著差异的值。
离群值分析与处理
离群值分析与处理离群值（Outlier）是指在数据集中与其他数值明显不同的数值，它可能是由于测量误差、数据录入错误、异常情况等原因导致的。
离群值的存在会对数据分析和建模产生不良影响，因此对离群值的分析和处理是数据处理过程中的重要环节之一。
本文将介绍离群值的概念、检测方法以及处理策略。
一、离群值的概念离群值是指在数据集中与其他数值明显不同的数值，它可能是异常值、噪声或错误值。
离群值的存在会对数据分析和建模产生负面影响，因此需要对其进行识别和处理。
二、离群值的检测方法1. 基于统计学方法的离群值检测基于统计学方法的离群值检测是最常用的方法之一，其中包括Z-Score 方法、箱线图方法等。
Z-Score方法是通过计算数据点与均值的偏差来判断是否为离群值，一般认为Z-Score大于3或小于-3的数据点为离群值。
箱线图方法则是通过计算四分位距来判断数据点是否为离群值，一般认为超出1.5倍四分位距的数据点为离群值。
2. 基于距离的离群值检测基于距离的离群值检测方法包括K近邻方法、LOF（局部离群因子）方法等。
K近邻方法是通过计算数据点与其最近的K个邻居的距离来判断是否为离群值，距离较大的数据点被认为是离群值。
LOF方法则是通过计算数据点与其邻居之间的密度比值来判断是否为离群值，密度比值较小的数据点被认为是离群值。
3. 基于聚类的离群值检测基于聚类的离群值检测方法包括DBSCAN（基于密度的聚类算法）等。
DBSCAN算法通过将数据点划分为核心点、边界点和噪声点来判断是否为离群值，噪声点被认为是离群值。
三、离群值的处理策略1. 删除离群值一种简单直接的处理策略是直接删除离群值，但需要谨慎对待，因为删除离群值可能会导致数据丢失或失真，影响建模结果。
2. 替换离群值另一种处理策略是替换离群值，可以使用均值、中位数、众数等代替离群值，使数据更加平滑。
3. 离群值转换有时候可以对离群值进行转换，如取对数、标准化等方法，使离群值更接近正常数据分布。
正态样本离群值的判断和处理
数据旳统计处理和解释
5、统计离群值旳判断(双侧）
A、当检出Xi或X1为离群值时，拟定剔除水平α* B、查附表1，G1-α*/2(n)
数据旳统计处理和解释
双侧1
当Gn’>G1-α/2*(n)时 •判断X1为统计离群值
不然
•X1为歧离值
双侧2 •当Gn>G1-α/2*(n)时 •判断Xi为统计离群值
数据旳统计处理和解释
a.根据实际情况和以往经验，选定 合适旳离群值检验规则。
b.拟定合适旳明显水平
单个离群值情 形旳判断
c.根据明显水平及样品量， 拟定检验旳临界值
d.由观察值计算相应统计量 旳值，根据所得值与临界值 旳比较成果作出判断。
数据旳统计处理和解释
鉴定多种离群值旳检验规则
☆在允许检出离群值旳个数不
四：离群值旳处理
处理方式
• a.保存离群值并用于后续数据处理 • b.在找到实际原因时修正离群值，不然予以保存 • c.剔除离群值，不追加观察值 • d.剔除离群值，并追加新旳观察值或用合适旳插补值替代
处理规则
a.在技术或物理上找到产生离群值旳原因，则应剔除或修正；未找到则不得剔除或进行 修正。
b.找到产生离群值旳原因，则应剔除或修正；不然保存歧离值，剔除或修正统计离群值； 在反复使用同一检验规则检出多种离群值时，每次检出后，都要再检验它是否为统 计离群值。若是，则其前检出旳离群值(含歧离值)都应剔除或修正。
当D’n>D1-α*(n)时 •判断X1为统计离群值
不然
•X1为歧离值
高端
•当Dn>D1-α*(n)时
•判断Xn为统计离群值
不然 •不然Xn为歧离值
数据旳统计处理和解释
离群值的判断和处理
GB/T 4883
6
离群值的来源与判定
按产生原因可分为两类：
总体固有变异的极端表现 由试验条件和方法的偶然偏离产生
离群值判定的方法：
根据技术上或物理上的理由直接判定 应用统计方法判定－GBT4833
7
离群值的三种情形
GBT4833在下面三种情况下判断离群值 上侧情形：根据实际情况和以往经验，离群值都是高端值 下侧情形：根据实际情况和以往经验，离群值都是低端值 双侧情形：根据实际情况和以往经验，离群值可以是高端
离群值个数大于1时 一般原则：选择格偏度－峰度检验法或狄克逊方法 偏度－峰度检验法
单侧情形－－偏度检验法 双则情形－－峰度检验法
狄克逊（Dixon）检验法
24
25
26
27
对检验方法的选择
一、限定检出离群值的个数不超过1时 A、n<31，使用Grubbs检验法 B、n>30，正态概率纸上线性好，使用偏度-峰度检验法 C、n>30，正态概率纸上线性不好，使用Grubbs检验法 二、限定检出离群值的个数可以超过1时 A、n<31，使用Dixon检验法 B、n>30，正态概率纸上线性好，使用偏度-峰度检验法 C、n>30，正态概率纸上线性不好，使用Grubbs检验法
5
检出水平与剔除水平
检出水平：detection level
为检出离群值而指定的统计检验的显著性水平 注：除非根据本标准达成协议的各方另有约定，检出水平应为
0.05
剔除水平：deletion level
为检出离群值是否高度离群而指定的统计检验的显著性水平 注：除非根据本标准达成协议的各方另有约定，检出水平应为
1
离群值的判断和处理
离群值判断方法
离群值判断方法嘿，咱今儿来聊聊离群值判断方法哈！你说这离群值就像是一群羊里突然冒出个骆驼，特别显眼！那咱怎么判断它呢？有一种常见的方法就是极端值判断法。
就好比你在一群朋友里，突然有个家伙特别高或者特别矮，那他不就很突出嘛。
咱就把那些数值远远超出或者远远低于其他大部分数值的家伙找出来，它们就可能是离群值啦。
你想想，要是大家成绩都在七八十分，突然冒出个二三十分或者一百多分的，那不是很奇怪嘛！还有一种叫标准差法呢。
这就像是给数值们划定一个范围，在这个范围内的就是“乖宝宝”，超出范围的就可能是离群值啦。
就好像学校规定穿校服，在这个规定范围内的就是正常的，那些穿着奇装异服的不就显得格格不入嘛。
通过计算标准差，咱就能大致知道哪些数值太离谱啦。
再说说四分位数法。
这就像是把一群数值分成几段，然后看看两端的那些是不是太特殊了。
比如说大家的身高分成几段，最高那一段和最低那一段里的特别高或者特别矮的，不就可能是离群值嘛。
你说这离群值重要不？那可太重要啦！要是不把它们找出来，可能会对我们的分析产生很大的误导呢。
就像你做一个统计，要是把那些特别异常的数值也算进去，那结果不就全乱套啦。
咱举个例子哈，要是统计一个班级的平均身高，结果有个姚明那么高的混进去了，那这平均身高不就一下子被拉高好多嘛，这能反映真实情况吗？肯定不能呀！所以得把这些离群值找出来，好好处理一下。
那怎么处理离群值呢？可以直接去掉呀，就当它们不存在。
或者也可以再深入研究一下，看看是不是有什么特殊原因导致它们这么异常。
可不能随随便便就忽略啦，得认真对待呢。
总之呢，离群值判断方法就像是我们的小侦探，帮我们找出那些异常的家伙，让我们的分析更准确，更可靠。
咱可不能小瞧了它们，得好好掌握这些方法，才能在数据分析的道路上走得更稳呀！你说是不是这个理儿？。
土壤环境质量评价技术规范(征求意见稿)
（2）
9.3.1 农用地土壤污染物超标评价 根据 Pi 值的大小，将农用地土壤单项污染物超标程度分为 5 级（表 1），并按污染物项目
统计不同超标程度的点位数和比例，如果点位能代表确切的面积，可同时统计面积比例。
表 1 统计单元内土壤单项污染物超标评价结果
超标等级 Ⅰ Ⅱ
Pi 值 Pi ≤1.0 1.0< Pi ≤2.0
— 25 —
土壤环境质量评价技术规范
1 适用范围
本标准规定了土壤环境质量评价的内容、程序、方法和要求。 本标准适用于不同土地利用方式的土壤环境质量评价。
2 规范性引用文件
本标准内容引用了下列文件或其中的条款。凡是不注明日期的引用文件，其最新版本适 用于本标准。
GB/T 4883
数据的统计处理和解释 正态样本离群值的判断和处理
表 2 统计单元内土壤多项污染物超标评价结果
超标等级 Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ
P值 P ≤1.0 1.0< P ≤2.0 2.0< P ≤3.0 3.0 < P ≤5.0 P >5.0
超标程度 未超标 轻微超标 轻度超标 中度超标
重度超标
点位数（个） 点位（或面积）比例（%）
9.3.2 建设用地土壤污染物超标评价 根据 Pi 值的大小，将建设用地土壤单项污染物超标情况分为超标和未超标（表 3），并按
超标程度 未超标 轻微超标
点位数（个） 点位（或面积）比例（%）
— 29 —
Ⅲ
2.0< Pi ≤3.0
Ⅳ
3.0 < Pi ≤5.0
Ⅴ
Pi >5.0
轻度超标 中度超标 重度超标
若存在多项污染物，根据 P 值的大小，将农用地土壤多项污染物超标程度分为 5 级（表 2）， 并统计不同超标程度的点位数和比例，如果点位能代表确切的面积，则统计面积比例。
离群值检验准则
离群值检验准则
想象一下，咱们班上有一群小蚂蚁在排队搬食物。
大多数蚂蚁呢，都排得整整齐齐，一步一步向前走，速度也差不多。
可是呀，有一只小蚂蚁特别奇怪，它一会儿往左跑，一会儿往右跑，速度还特别快或者特别慢，和其他蚂蚁完全不一样。
这只特别的小蚂蚁就像是离群值哦。
在我们的生活里，也有这样的情况呢。
比如说，咱们考试成绩。
假如一次数学考试，大部分同学的分数都在80 - 95分之间。
有个同学却只考了30分，这个30分就可能是离群值。
那这个离群值是怎么出现的呢？也许这个同学考试的时候突然生病了，身体不舒服，所以没考好。
又或者是他那天不小心忘记带铅笔了，借了一支很不好用的铅笔，影响了他做题的速度和心情。
再讲个例子呀，咱们在操场跑步的时候。
大部分小朋友跑一圈大概需要2 - 3分钟。
可是有个小朋友跑一圈用了8分钟。
这8分钟可能就是离群值。
也许是他跑步的时候鞋带开了，系鞋带花了好多时间。
又或者是他不小心摔倒了，只能慢慢走。
我们可以通过观察很多次来判断这个离群值是不是真的不正常。
要是这个小朋友每次跑步都要8分钟，那可能他真的不太擅长跑步，我们可以鼓励他多练习。
要是只有这一次8分钟，那我们就知道是意外情况啦。
在我们做游戏的时候也会有这样的情况哦。
玩猜数字的游戏，大家猜的数字都在1 - 100之间。
有个小朋友突然猜了1000，这个1000就是离群值。
可能他没太听清楚游戏规则，或者是他想调皮一下。
离群值分析与处理
离群值分析与处理离群值（Outlier）是指在数据集中与其他观测值明显不同的数值。
离群值的存在可能会对数据分析和建模产生负面影响，因此需要进行离群值分析与处理。
本文将介绍离群值的定义、检测方法以及处理策略。
一、离群值的定义离群值是指在数据集中与其他观测值明显不同的数值。
离群值可能是由于测量误差、数据录入错误、异常事件等原因导致的。
离群值的存在可能会对数据分析和建模产生误导，因此需要进行离群值分析与处理。
二、离群值的检测方法1. 基于统计学方法的离群值检测基于统计学方法的离群值检测主要包括基于均值和标准差的Z-score方法、基于箱线图的IQR方法等。
Z-score方法通过计算观测值与均值之间的差异来判断是否为离群值，一般认为Z-score大于3或小于-3的观测值为离群值。
IQR方法通过计算数据的四分位数来判断是否为离群值，一般认为低于下四分位数减去1.5倍IQR或高于上四分位数加上1.5倍IQR的观测值为离群值。
2. 基于距离的离群值检测基于距离的离群值检测主要包括基于欧氏距离的K-means算法、基于密度的LOF算法等。
K-means算法通过计算观测值与聚类中心之间的距离来判断是否为离群值，距离超过阈值的观测值被认为是离群值。
LOF算法通过计算观测值周围邻域内的密度来判断是否为离群值，密度较低的观测值被认为是离群值。
三、离群值的处理策略1. 删除离群值最简单的处理离群值的方法是直接删除离群值。
但是需要注意，删除离群值可能会导致数据集的偏移和信息丢失，因此需要谨慎使用。
2. 替换离群值替换离群值是指将离群值替换为数据集的其他数值。
常用的替换方法包括使用均值、中位数、众数等代替离群值。
选择替换方法时需要考虑数据的分布情况和离群值的原因。
3. 分箱处理分箱处理是将数据分成多个区间，将离群值分配到相应的区间中。
分箱处理可以减少离群值对整体数据的影响，同时保留了离群值的一部分信息。
4. 使用异常检测模型使用异常检测模型是一种更加复杂的离群值处理方法。
GBT4883 正态样本离群值的判断和处理
GB/T 4883 作者：于振凡
20
第五章 假设检验的原理
GB/T 4883 作者：于振凡
21
12
第二节 下侧离群值的判断
1、将样本数据排列成次序统计量
2、计算偏度统计量bs 3、用 统计量-bs与临界值相比较 当-bs大于临界值，x判定x (1)为离群值，否则未发现离群值；
若发现了离群值，剔除一个离群值后，进入下一轮的检验， 直到未发现离群值为止。
n
n (xi x )3
bs
n i1
均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
⑤当Dn= D’n ，且Dn大于临界值时，判定x (1) 与x (n)
两个均为离群值；去掉x (1) 和x (n)后进入下一轮的 检验。 否则判未发现离群值。
GB/T 4883 作者：于振凡
11
第三章 偏度一峰度检验法
第一节 上侧离群值的判断
②当D’n>Dn 且D’n大于临界值, Dn不大于临界值, ，
判定x (1)为离群值；去掉x (1）去后进入下一轮的检 验。
GB/T 4883 作者：于振凡
10
③当Dn> D’n且D’n大于临界值,判定x (1) 与x (n)两个
均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
④当D’n >Dn且Dn大于临界值，判定x (1) 与x (n)两个
离群值；去掉一个离群值后，进入下一轮的检验， 直到未发现离群值为止。
GB/T 4883 作者：于振凡
9
第三节 双侧离群值的判断
1、将样本数据排列成次序统计量
2、同时计算Dixon上、下统计量Dn 、D’n
3、 判断 ①当Dn>D’n且Dn 大于临界值, D’n 不大于临界值,判
离群值的判断与处理
我们在分析数据的时候，经常会碰到某些数据远远大于或小于其他数据，这些明显偏离的数据就是离群值，也叫奇异值、极端值。
离群值产生的原因大致有两点：1.总体固有变异的极端表现，这是真实而正常的数据，只是在这次实验中表现的有些极端，这类离群值与其余观测值属于同一总体。
2.由于试验条件和实验方法的偶然性，或观测、记录、计算时的失误所产生的结果，是一种非正常的、错误的数据，这些数据与其余观测值不属于同一总体。
由于数据的分布不同，判断离群值的方法也有所差别，在此只介绍国标GB/T4883-2008对于正态分布情况下的离群值判断方法，其他分布情况下，我还没有找到相关资料。
对于离群值，国标也有一些概念定义：1.检出水平为检验出离群值而指定的统计检验的显著性水平，和大多数检验一样，α一般为0.052.剔除水平为检验出离群值是否为高度离群值而指定的统计检验的显著性水平，剔除水平α*不应超过检出水平α，通常为0.01，个人认为这个剔除水平就是判断该离群值是否需要实际剔除，也就是说该离群值有可能是第二类原因产生的非正常样本数据。
3.统计离群值在剔除水平下统计检验为显著的离群值4.歧离值在检出水平下显著，而在剔除水平下不显著的离群值。
================================================正态分布情况下的离群值判断方法，大致可分为两类：可以检验剔除水平和不可检验剔除水平一、可检验剔除水平1.总体标准差已知时，奈尔检验法对样本数据按从小到大顺序排序，如怀疑最大值X(n)为最大值，则计算统计量Rn确定检出水平α，查奈尔系数表（见国标GB/T4883-2008），得出临界值当Rn >R1-α(n)时，判定X(n)为离群值，否则不能判定确定剔除水平α*，查奈尔系数表（见国标GB/T4883-2008），得出临界值当Rn >R1-α*(n)时，判定X(n)为统计离群值，否则不能判定如怀疑最小值X(1)为最大值，则计算统计量Rn'确定检出水平α，查奈尔系数表（见国标GB/T4883-2008），得出临界值当Rn '>R1-α(n)时，判定X(1)为离群值，否则不能判定确定剔除水平α*，查奈尔系数表（见国标GB/T4883-2008），得出临界值当Rn '>R1-α*(n)时，判定X(1)为统计离群值，否则不能判定2.总体标准差未知时，格拉布斯检验法对样本数据按从小到大顺序排序，然后计算样本均值和样本标准差s如怀疑最大值X(n)为最大值，计算统计量Gn确定检出水平α，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值当Gn >G1-α(n)时，判定X(n)为离群值，否则不能判定确定剔除水平α*，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值当Gn >G1-α*(n)时，判定X(n)为统计离群值，否则不能判定如怀疑最小值X(1)为最大值，则计算统计量Gn'确定检出水平α，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值当Gn '>G1-α(n)时，判定X(1)为离群值，否则不能判定确定剔除水平α*，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值当Gn '>G1-α*(n)时，判定X(1)为统计离群值，否则不能判定3.总体标准差未知时，狄克逊(Dixon)检验法对样本数据按从小到大顺序排序样本量n在3-30时计算统计量样本量n在30-100时计算统计量确定检出水平α，查狄克逊系数表（见国标GB/T4883-2008），得出临界值当Dn >D1-α(n)时，判定高端值X(n)为离群值，否则不能判定当Dn '>D1-α*(n)时，判定低端值X(1)为离群值，否则不能判定4.总体标准差未知时，偏度-峰度检验法我们知道峰度和偏度是判断数据是否为正态分布的指标，而离群值则明显偏离样本主体，因此我们也可以使用偏度-峰度检验法来判断离群值<1>单侧情形——偏度检验法当离群值处于高端或低端一侧时，可使用偏度检验法判断，首先构造偏度统计量bs确定检出水平α，查偏度检验系数表（见国标GB/T4883-2008），得出临界值当bs >b1-α(n)时，判定高端值X(n)为离群值，否则不能判定当bs '>b1-α(n)时，判定低端值X(1)为离群值，否则不能判定确定剔除水平α*，查偏度系数表（见国标GB/T4883-2008），得出临界值当bs >b1-α*(n)时，判定高端值X(n)为统计离群值，否则不能判定当bs '>b1-α*(n)时，判定低端值X(1)为统计离群值，否则不能判定<2>双侧情形——峰度检验法当高端、低端两侧都可能出现离群值时，可使用峰度检验法判断，首先构造峰度统计量bk确定检出水平α，查峰度检验系数表（见国标GB/T4883-2008），得出临界值当bk >b'1-α(n)时，判定离均值最远的观测值为离群值，否则判定未发现离群值确定剔除水平α*，查峰度系数表（见国标GB/T4883-2008），得出临界值当bk >b'1-α*(n)时，判定离均值最远的观测值为统计离群值，否则未发现统计离群值。
离群值确认及处理方法 reed
离群值确认及处理方法 reed 离群值（Outliers）是在一组数据中与其他值相比显著不同的异常值。
离群值可能由各种原因引起，例如测量误差、录入错误、数据损坏或者真实的极端事件。
处理离群值是数据清理过程的一个重要步骤，它们可能对数据分析和统计推断产生不良影响。
离群值的确认可以使用多种方法，下面介绍几种常见的方法：1.统计方法：使用统计学的方法来识别离群值。
常见的方法是利用数据的均值和标准差，将与均值相差超过二倍或三倍标准差的数据点视为离群值。
2.箱线图：箱线图是一种展示数据中分位数的统计图表，可以帮助检测离群值。
离群值通常被定义为低于下四分位数减去1.5倍四分位距或高于上四分位数加上1.5倍四分位距的观测值。
3.数据可视化：通过绘制散点图、直方图或密度图等图表，直观地检查离群值。
离群值通常是明显偏离其他值的观测点。
离群值的处理方法取决于数据的特点和分析目的。
以下是一些常见的处理方法：1.删除离群值：如果离群值不代表真实情况或者产生了严重的偏差，可以考虑将其从数据集中删除。
然而，应谨慎对待删除离群值的决定，因为可能会导致信息的丢失。
2.替换离群值：当离群值是由于错误或异常数据而产生时，可以使用合适的替代方法来替换离群值。
常见的替代方法包括使用缺失值、均值、中位数或者通过回归模型进行估算。
3.分组处理：将数据分成多个组，对每个组内的离群值进行独立处理。
这可以避免离群值对整体数据产生不良影响。
4.使用鲁棒统计方法：鲁棒统计方法对离群值具有较强的抗干扰性。
温和的离群值只会产生较小的偏差，不会对分析结果产生明显的影响。
在处理离群值时，需要综合考虑数据的背景和目标。
应该谨慎处理离群值，避免过度修正数据，同时保持对数据的敏感度。
在实际操作中，可以使用多种方法相结合，以找到最佳的离群值处理策略。
总之，离群值的确认和处理是数据清理的重要步骤，需要根据具体情况采用适当的方法。
通过识别和处理离群值，可以提高数据的质量和准确性，使得后续的数据分析和统计推断更加可靠。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
否则判未发现离群值。
GB/T 4883 作者：于振凡
7
第二章 狄克逊（Dixon）检验法（2<n<31)
第一节 上侧离群值的判断
1、将样本数据排列成次序统计量
2、计算Dixon上统计量Dn 3、用 Dixon上统计量Dn与临界值相比较 当Dn大于临界值，判定x (n)为离群值，否则未发现离
D、n>30，限定检出离群值的个数不可以超过1时，正态概率 纸上线性不好，使用 ——检验法
E、n<31，限定检出离群值的个数可以超过1时，使用 —— 检验法。
F、 n<31，限定检出离群值的个数不可以超过1时，使用 — — 检验法。
GB/T 4883 作者：于振凡
19
练习1： A、Grubbs检验法的上统计量是——。 B、Grubbs检验法的下统计量是——。 C、偏度-峰度检验法中的偏度统计量是 ——。 D、 当n=9时，Dixon检验法的上统计量是——。 E、当n=9时，Dixon检验法的下统计量是——。
GB/T 4883 作者：于振凡
3
确定检出水平，在附录A表A2中查出临界值2.176， 因，判定14.0为离群值。
n 9, x 7.211, s 1.744
G9 (x(9) x) / s (10.1 7.21) /1.744 1.657
仅有一个歧离值 。
样本均值、样本标准差和Grubbs统计量的保留位数 至少要比原始数据多一位；即原始数据的修约间隔 为10n、 10-n时，样本均值、样本标准差和Grubbs 统计量的修约间隔为10n+1、 10-n-1。（n为正整数 和零）。比原始数据多几位，要在相关的文件中作 出明确规定。
离群值；去掉一个离群值后，进入下一轮的检验， 直到未发现离群值为止。
GB/T 4883 作者：于振凡
9
第三节 双侧离群值的判断
1、将样本数据排列成次序统计量
2、同时计算Dixon上、下统计量Dn 、D’n
3、 判断 ①当Dn>D’n且Dn 大于临界值, D’n 不大于临界值,判
定x (n)为离群值；去掉x (n)后进入下一轮的检验。
4.7，5.4，6.0，6.5，7.3，7.7，8.2，9.0，10.1， 14.0
经验表明这种砖的抗压强度服从正态分布，检查这些 数据中是否存在上侧离群值。
本例中，样本量n=10， 计算得：
n 10, x 7.89, s2 7.312, s 2.704
G10 (x(10) x) / s (14 7.89) / 2.704 2.260
GB/T 4883 作者：于振凡
20
第五章 假设检验的原理
GB/T 4883 作者：于振凡
21
群值；若发现了离群值，去掉一个离群值后，进 入下一轮的检验，直到未发现离群值为止。
GB/T 4883离群值的判断
1、将样本数据排列成次序统计量
2、计算Dixon下统计量
3、用 Dixon下统计量D’n与临界值相比较 当D’n大于临界值，判定x (1)为离群值，否则未发现
GB/T 4883 作者：于振凡
5
第三节 双侧离群值的判断
1、将样本数据排列成次序统计量 2、计算样本均值 3、计算样本标准差 4、同时计算Grubbs上下统计量Gn、G’n ； 5、判断 ①当Gn>G’n且Gn大于临界值,G’n不大于临界值,判定
x (n)为离群值；去掉x (n)后进入下一轮的检验。 ②当G’n>Gn且G’n大于临界值, Gn不大于临界值, ，
i 1
( xi
x
)2
3/
2
GB/T 4883 作者：于振凡
13
第三节 双侧离群值的判断
1、将样本数据排列成次序统计量
2、计算峰度统计量bk 3、用 统计量bk与临界值相比较 当bk大于临界值，判定离均值最远的观测值为离群值；否则判
未发现离群值 ；若发现了离群值，去掉一个离群值后，进 入下一轮的检验，直到未发现离群值为止。
②当D’n>Dn 且D’n大于临界值, Dn不大于临界值, ，
判定x (1)为离群值；去掉x (1）去后进入下一轮的检 验。
GB/T 4883 作者：于振凡
10
③当Dn> D’n且D’n大于临界值,判定x (1) 与x (n)两个
均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
④当D’n >Dn且Dn大于临界值，判定x (1) 与x (n)两个
均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
⑤当Dn= D’n ，且Dn大于临界值时，判定x (1) 与x (n)
两个均为离群值；去掉x (1) 和x (n)后进入下一轮的 检验。 否则判未发现离群值。
GB/T 4883 作者：于振凡
11
第三章 偏度一峰度检验法
第一节 上侧离群值的判断
GB/T4883 正态样本离群值的判断和处理
离群值outlier
样本中的一个或几个观测值，它们离开其他观测 值较远，暗示它们可能来自不同的总体。
注：离群值按显著性的程度分为歧离值和统计离群 值。 别名：可疑值、异常值
离群值的判断
GB/T 4883 作者：于振凡
1
第一章 格拉布斯（Grubbs）检验法
判定x (1)为离群值；去掉x (1）去后进入下一轮的 检验。
GB/T 4883 作者：于振凡
6
③当Gn>G’n且G’n大于临界值,判定x (1) 与x (n)两个均 为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
④当G’n>Gn且Gn大于临界值，判定x (1) 与x (n)两个 均为离群值；去掉x (1) 和x (n)后进入下一轮的检验。
12
第二节 下侧离群值的判断
1、将样本数据排列成次序统计量
2、计算偏度统计量bs 3、用 统计量-bs与临界值相比较 当-bs大于临界值，x判定x (1)为离群值，否则未发现离群值；
若发现了离群值，剔除一个离群值后，进入下一轮的检验， 直到未发现离群值为止。
n
n (xi x )3
bs
n i1
GB/T 4883 作者：于振凡
16
正态概率纸 横坐标x(i) ,纵坐标(i-3/8)/(n+1/4)
GB/T 4883 作者：于振凡
17
A、n<31，限定检出离群值的个数不超过1时， 使用Grubbs检验法
B、 n<31，限定检出离群值的个数可以超过1 时使用Dixon检验法
C、 n>30，正态概率纸上线性好，使用偏度峰度检验法
1、将样本数据排列成次序统计量
2、计算偏度统计量bs 3、用 统计量bs与临界值相比较 当bs大于临界值，判定x (n)为离群值，否则未发现离群值；若
发现了离群值，剔除一个离群值后，进入下一轮的检验，直 到未发现离群值为止。
n
n (xi x )3
bs
n i 1
i 1
( xi
3/ 2
x
)2
GB/T 4883 作者：于振凡
GB/T 4883 作者：于振凡
4
第二节 下侧离群值的判断
1、将样本数据排列成次序统计量
2、计算样本均值
3、计算样本标准差
4、计算Grubbs下统计量G’n 当G’n大于临界值，判定x (1)为离群值；否则判未发
现离群值。若发现了离群值，去掉一个离群值后， 进入下一轮的检验，直到未发现离群值为止。
n
n (xi x )4
bk
i 1
n i 1
( xi
2
x
)2
GB/T 4883 作者：于振凡
14
当x (n)与均值的距离等于x (1)与均值的距离， 同时去掉x (n) 和x (1)，进入下一轮的检验。
GB/T 4883 作者：于振凡
15
第四章 三种方法的选择：
一、限定检出离群值的个数不超过1时 A、n<31，使用Grubbs检验法 B、n>30，正态概率纸上线性好，使用偏度-峰度检验法 C、n>30，正态概率纸上线性不好，使用Grubbs检验法 二、限定检出离群值的个数可以超过1时 A、n<31，使用Dixon检验法 B、n>30，正态概率纸上线性好，使用偏度-峰度检验法 C、n>30，正态概率纸上线性不好，使用Grubbs检验法
第一节 上侧离群值的判断
1、将样本数据排列成次序统计量
2、计算样本均值
3、计算样本标准差
4、计算Grubbs上统计量Gn 5、当Gn大于临界值，判定x (n)为离群值；否则判未
发现离群值。若发现了离群值，去掉一个离群值 后，进入下一轮的检验，直到未发现离群值为止。
GB/T 4883 作者：于振凡
2
对某种砖的抗压强度测试10个样品，其数据经排列后 为（单位：MPa）：
D、n>30，正态概率纸上线性不好，使用 Grubbs检验法
GB/T 4883 作者：于振凡
18
练习1：
A、n>30，限定检出离群值的个数可以超过1时，正态概率纸 上线性好，使用 —— 检验法。
B、n>30，限定检出离群值的个数不可以超过1时，正态概率 纸上线性好，使用——检验法
C、n>30，限定检出离群值的个数可以超过1时，正态概率纸 上线性不好，使用 ——检验法