缺失数据地补充及异常数据地修正

数模培训作业

论文题目缺失数据地补充及异常数据地修正

缺失数据地补充及异常数据地修正

摘 要

数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。数据补充，异常数据的鉴别及修正，在各个领域也起到了重要作用。

针对第一问，我们采用了两种模型。第一种是一元多项式回归模型，适用于只有一种自变量的情况。利用我们找到的数据，首先作出散点图，观察其形状，决定拟合多项式的次数，得出拟合曲线与拟合多项式。之后算出均方根误差验证拟合效果，均方根误差较小，说明拟合曲线与源数据吻合得较好。若x1=37.25,x2=41.75,x3=44.5时,y 的数据缺失,将x1、x2、x3的值带入拟合多项式，算出缺失值y1=3.3257,y2=2.0437,y3=4.6002，即可补充缺失数据。

第二种是多元线性回归模型，适用于有多个自变量的情况。利用我们找到的数据，首先作出散点图，之后作多元回归，求出多元线性回归多项式，以及置信区间。作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=0.055，x2=0.025时，y 的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.052792。类似地，若x1=0.110,x2=0.045时，y 的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.070212，即可补充缺失数据。 针对第二问，我们使用了异常值检验中标准差未知的t 检验法。首先绘制火柴棒图观察可疑测定值，可得到可疑值为第6,9,13,23,26,29,35,36,45,53行的数据。将除可疑测定值以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x 与标准差s ，而将可疑值分别当做一个样本容量为1的特殊总体。如果可疑值与其余测定值同属于一个总体，则它与其余测定值之间不应有显著性差异。检测统计量为：σx x k d -=，假设可由标准差s 替代σ来进行检验,则检测统计量可视为：s x x k d -=。若统计量值大于相应置信度α下的t 检验法的临界值αT （该临界值通过查表法得出），则将可疑值判为异常值。通过计算我们发现，上述可疑值都是异常值。

针对第三问，我们采用了分段线性插值、三次样条函数插值以及分段三次Hermite 插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。之后利用第二问中的t 检验判断修正后的值是否仍为异常值。检验结果显示：分段线性插值、三次样条函数插值所修正的第7个和第9个数据仍为异常值，而分段三次Hermite 插值所得到的修正值全都不是异常值。所以运用分段三次Hermite 插值得到的结果较准确。

关键词：一元多项式回归、多元线性回归、t 检验法、分段线性插值法、三次样条函数插值、分段三次Hermite 插值

一、问题重述

1、关于数据缺失时应该怎样地把缺失数据补充上来？

2、数据完整，但是数据出现异常，如何给出模型找出异常数据？

3、异常数据如何修正？

二、模型假设

1、假设只有因变量存在数据缺失，而自变量不存在缺失。

2、利用t 检验法时，将除可疑测定值d x 以外的其余测定值当做一个总体，并假设该总体服从正态分布。

3、假设可由样本值计算标准差s 替代σ来进行检验。

三、符号说明

符号 含义 RMSE

均方根误差 x

样本平均值 s

样本标准差 d x

可疑测定值 σ 总体标准差 k 检测统计量 α 置信度

αT

置信度α下的t 检验法临界值

n

样本容量

四、对问题一的分析和处理

4.1 一元多项式回归模型[1]

当有缺失的一组数据只有一个自变量时，可以考虑使用一元多项式回归模

型。我们采用的数据如下表：

表1

首先使用matlab作出散点图，观察其形状，决定拟合多项式的次数，运用matlab编程（matlab程序见附录一）得出拟合曲线与拟合多项式为：

z=0.16599*x2-13.387*x+271.62。

拟合曲线如下图所示：

图1 拟合曲线

之后算出均方根误差RMSE验证拟合效果，均方根误差RMSE=0.13931较小，说明拟合曲线与源数据吻合得较好。若x1=37.25,x2=41.75,x3=44.5时,y的数据缺失,将x1、x2、x3的值带入拟合多项式，算出缺失值y1=3.3257,y2=2.0437,y3=4.6002 ，即可补充缺失数据。

4.2 多元线性回归模型[1]

当有缺失的一组数据存在多个自变量时，可以考虑使用多元线性回归模型。我们将data.xls（见附表一）中的数据[5]导入matlab(该模型matlab程序见附录二)。首先作出散点图，设定y(PM10)与x1(SO2)、x2(NO2)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=0.03069，b1=-0.023695，b2=0.93619，所以多元线性回归多项式为：Y=0.03069-0.023695*x1+0.93619*x2。

且b0、b1、b2在置信度为%95的情况下的置信区间分别为[0.024906, 0.036474],[ -0.08381, 0.036419],[ 0.76259, 1.1098]。

再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=0.055，x2=0.025时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.052792。类似地，若x1=0.110,x2=0.045时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=0.070212，即可补充缺失数据。

散点图如下：

图2 散点图

残差分析图如下：