大数据下数据预处理方法研究

关 键词 ：大数 据 ；预 处理 ；脏 数据 ；研究
中圈分 类号 ：ＴＰ３０１
文献标 识码 ：Ａ
文 章编 号 ：１６７３—６２９Ｘ（２０１８）０５—０００１—０４
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０ｌ８．０５．００１
Ｒｅｓｅａｒｃｈ ｏｎ Ｄａｔａ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ Ｍ ｅｔｈｏｄｓ ｆｏｒ Ｂｉｇ Ｄａｔａ
摘 要 ：大 数据 时代下 ，数 据类 型和组 织模 式 多 样化 、关联 关 系 繁 杂 、质 量 良莠 不 齐 等 内 在 的复 杂 性 使得 数 据 的感 知 、表
达 、理 解和 计算 等多个 环节 面 临着 巨大 的挑 战 。数 据预 处 理是 数 据 分析 、挖 掘 前 一个 非 常 重要 的 数据 准 备 工作 。一 方 面
它 可 以保证 挖掘 数据 的正 确性 和有 效性 ，另一 方 面通过 对 数据 格 式 和 内容 的 调整 ，使 数 据 更符 合 挖 掘 的需 要 。文 中分 析
了预处 理过 程 中的 主要任 务 ，总结 了 目前 针对 各类 “脏数 据 ”的几 种 常用 的处 理方 法 ，重 点 阐述 了数据 在 清 洗 、集 成 、变 换
和 归约 过程 中 的常用 算法 。通 过各 种预处 理方 法 ，清除冗 余 数 据 ，纠 正错 误 数据 ，完善 残 缺数 据 ，甄 选 出必 需 的数 据 进 行
集成，使得数据信息精练化 、数据格式一致化和数据存储集 中化 。在最精确、最可靠 的最小数据集合上进行数据挖掘，大
大 减少 了 系统挖Baidu Nhomakorabea 的开销 ，提高 了知识 发 现 的准确性 、有 效性 和实用 性 。
ｊｕｓｔｍｅｎｔ ｏｆｔｈｅｄａｔａｆｏｒｍａｔ ａｎｄｃｏｎｔｅｎｔｍａｋｅｓ ｄａｔｅ ｍｅｅｔｔｈｅ ｄｅｍａｎ ｄｏｆ ｍｉｎｉｎｇ．Ｗｅａｎａｌｙｚｅｔｈｅｍａｉｎｔａｓｋｓｏｆ ｄａｔａｐｒｅｐｒｏｃｅｓ￣ｎｇ ａｎｄ ｓｕｍ—
ｍｓｌｌｚｅ ｓｅｖｅｒａｌ ｐ ｏ ｐｕｌａｒ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ｈａｎ ｄｌｉｎｇ ｖａｒｉｏｕｓ ｋｉｎｄｓ ｏｆ “ｄｉｒｔｙ ｄａｔａ”．Ｔｈｅ ａｌｇｏｒｉｔｈｍｓ ｏｆ ｄａｔａ ｃｌｅａｎｉｎｇ，ｉｎｔｅｇｒａｔｉｏｎ，Ｕ＇ａｎｓ－ ｆｏｒｍａｔｉｏｎ ａｎｄ ｒｅｄｕｃｔｉｏｎ ａｒｅ ｄｉ ｓｃｕｓｓｅｄ ｉｎ ｄｅｔａｉｌ．Ｕｓｉｎｇ ｓｕｃｈ ｋｉｎｄｓ ｏｆｐｒｅｐｒｅｃ ｅｓｓｉｎｇ ｍｅｔｈｏｄｓ，ｗｅ ｃａｎ ｒｅｍｏｖｅ ｒｅｄｕｎｄａｎｔ ａｎｄ ｅｒｒｏｒｄａ ｔａ ，ｉｍ－
ＫＯＮＧ Ｑｉｎ，ＹＥ Ｃｈａｎｇ－ｑｉｎｇ，ＳＵＮ Ｙｕｎ （Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ ２１００８９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｅ ｅｌｌ ａ ｏｆｂｉｇ ｄａｔａ，ｉｔ ｉｓ ａｎ ｅｎｏｒｍｏｕｓ ｃｈａｌｌｅｎｇｅ ａｂｏｕｔ ｄａｔａ ｐｅｒｃｅｐｔｉｏｎ，ｅｘｐｒｅｓｓｉｏｎ，ｕｎｄｅｒｓｔａｎｄｉｎｇ ａｎ ｄ ｃｏｍｐｕｔｉｎｇ ｄｕｅ ｔｏ ｔｈｅ ｉｎ— ｈｅｒｅｎｔ ｃｏｍｐ￣ｘｉ【ｙ ｏｆ ｄａｔａ ｔｙｐｅ，ｏｒｇａｎｉｚａｔ ｉｏｎ ｐａｔｔｅｒ ｎ ，ｄｉｆｅｒｅｎｔ ｒ ｅｌａｔｉｏｎｓ ａ ｎ ｄ ｄ ａ ｔ ａ ｑｕａｌｉｔｙ．Ｄａｔａ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｉｓ ａ ｖｅｒｙ ｉｍｐｏｒｔａｎｔ ｐｒ ｅｐａｒａｔｉｏｎ ｂｅｆｏｒｅ ｄ ａ ｔａ ａｎａｌｙｓｉｓ ａｎｄ ｍｉｎｉｎｇ．Ｏｎｔｈｅ ｏｎｅ ｈａｎｄ，ｉｔ ｅｎｓｕｒｅｓｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓａｎ ｄ ｅｆｅｃｔｉｖｅｎｅｓｓｏｆ ｄａ ｔａ ＴＩＩｉｌＩｉｎｇ．Ｏｎ ｔｈｅ ｏｔｈｅｒ ｈａｎ ｄ，ｔｈｅ ａｄ－
１ 研究背景
大数据环境下 ，来 自异构 系统 的原始数 据 中存 在 若干 问题 ：
（１）杂乱性 。原始数据是从 各个实 际应用 系统 中 获取 的，由于各应用系统的数据缺乏统一标准的定义 ， 数据结构也有较大 的差异 ，因此 各系 统间 的数据存 在 较大 的不一致性 ，往往不能直接拿来使用 。
Ｏ 引 言 大数据 中蕴含 的宝贵价值 成为人们存储和处理大
数据 的驱 动力 。在 《大 数 据时代 》一 书 中指 出 了大数 据时代处理数据理念 的三大转变 ，即要全体不要抽样 ， 要效率不要绝对 精确 ，要相关 不要 因果 。海量 数据 的处理对 于当前存 在 的技 术来 说是一 种极 大 的挑战 。 大数据 的涌现使人们处理计算 问题 时获得 了前所未有 的大规模样本 ，但 同时也不 得不 面对更 加 复杂 的数据 对象 。数据预处理作 为数 据分 析 、挖 掘前 的重要 数据 准备工作 ，可 以保证数据挖 掘结果的准确性和有效性 。
ｐｒｏｖｅ ｔｈｅ ｉ ｎｃｏｍｐｌｅｔ ｅ ｄａｔａ，ｐｍｍｏ￣ ｔｈｅ ｒｅｑｕｉｒｅｄ ｄａｔａ ｉｎｔｅｇｒａｔｉｏｎ，ｈｅｌｐ ｄａｔａ ｒｅｆｉｎｅｍｅｎｔ ａｎｄ ｄａｔａ ｃｏｎｓｉｓｔｅｎｃｙ ｏｆ ｃｅｎｔｒａｌｉｚｅｄ ｓｔｏｒａｇｅ．Ｗｅ ａｌｓｏ
Ｃａｎ ｇｅｔｔｈｅｍｉｎｉｍ ｕｍ ａ ｎ ｄ ｔｈｅ ｍｏｓｔ ｒｅｌｉａｂｌｅ ｄａｔａｓｅｔ ｎｅｃｅｓｓａｒｙｆｏｒｔｈｅｍｉｎｉｎｇ ｓｙｓｔｅｍ．Ｉｔａｌｓｏ ｒｅｄｕｃｅｓｔｈｅ ｃｏｓｔ ｏｆｄａｔａ ｍｉ ｎｉｎｇａｎ ｄ ｉｍｐｒｏｖｅｓ ｔｈｅ ａｃｃｕｒ￣ ｙ，ｖａｌｉｄｉｔｙ ａｎ ｄ ｐｒａｃｔｉｃａｂｉｌｉｔｙ ｏｆ ｋｎｏｗｌｅｄｇｅ ｄｉｓｃｏｖｅｒｙ． Ｋｅｙ ｗｏｒｄｓ：ｂ ｉｇ ｄ ａ ｔ ａ；Ｉｎｅｐｒｏｃｅｓｓｉｎ８：；ｄｈ￣ｙ ｄａ ｔａ ；ｒｅｓｅａｒｃｈ
第 ２８卷 第 ５期 ２０１８年 ５月
计 算 机 技 术 与 发 展
ＣＯＭＰＵ ＩＥＲ ＩＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ
Ｖｏ１．２８ ＮＯ．５ Ｍａｖ ２Ｏ１８
大 数 据 下数 据 预 处 理 方 法 研 究
孔 钦 ，叶长青 ，孙 赘
（南京大学，江苏 南京 ２１００８９）