基于聚类和距离的大数据集离群点检测算法

基金项目： 国家 自然科学基金资 助项 目 （０ ７０ ２ ６８９２ ） 作者简介：王欣 （９ ３ １７ 一），男，四）ｎ 阳人 ，副教授，博士 ，研究方向为数据挖掘。 ｌｇ ｉ 第３ 卷 ３ 第４ 期 ２ １ — （ ） ［０ １ ０ １ ４ 下 １ １
邻 ，复杂度为 Ｏ （２ ）（ 中 Ｎ为数 据集 中对 Ｊ Ｘｄ 其 ７ ｖ 象 个数 ，ｄ为数 据 的 维数 ） 】 于 索 引的 算 法通 。基
过 建 立 多 维 索 引 结 构 为 各 样 本 寻 找 近 邻 ，最 坏 情
离之和 。显然 ｗ Ｐ 比 Ｄ Ｐ 更精确地度量了 （） ｋ（）
据 进 行 基 于 距 离 的 离 群 点 检 测 。实 验 结 果 验 证 了 算法 的可 行性 和有 效性 。
１ 相关概 念与定 义
对 于 ｄ维 空 间 中 的 数 据 点 Ｐ＝ （。 … ， Ｐ，Ｐ ，
Ｐ ） ｑ＝ （ ２ 和 ｑ，ｑ，…， ） ，通常采用欧式距离
度量 它们之 间的相似 性 。
１土
况 下 的 复 杂 度 为 ０ （ ×ｄ 。但 在 大 数 据 集 上 建 ）
立 索 引 的 开 销 很 大 ，而且 随 着 维 数 的 增 大 ， 索 引 的 性 能 急 剧 下 降 ，性 能 不 如 简 单 的 顺 序 扫 描 。 基 于 单 元 的算 法 的 复杂 度 与 Ｊ 线 性 关 系，但 与 ｖ呈 ｄ呈指 数关 系 ，因此 很难 处理 高维 数据 。 利 用 嵌 套 循 环 算 法 对 维 数 不 敏 感 ， 针 对 其
Ｄ ｉ １ ． ９ ９ ｊ ｉｓ ． ０ ９ １ ４ ２ １ ． （ ） ２ ｏ ： ３ ６ ／ ． ｎ １ ０ －０ ３ ． ０ １ ４ 下 ． ９ ０ ｓ
０ 引言
离 群 点检 测 是数 据 挖 掘 技 术 的 重 要研 究 领 域 之 ～ ，用 来 发 现 数 据 集 中 明显 偏 离 于 其 他 数 据 、 不 满 足 数 据 的 一般 行 为 或 模 式 的 数 据 ¨。这 些 数 】 据 对 象 叫做 离 群 点 ，也 叫 做 孤 立 点 。 离群 点 检 测 算 法 分 为 基 于 统 计 、深 度 、聚 类 、距 离和 密 度 的 方 法 。 其 中 ，基 于 距 离 的 方 法 由于 算 法 思 想 直 观 ，易于 实现 而得 到 了广 泛 的研 究和应 用 。
摘
（ 中国民航 飞行学 院 计算机学院 ，广汉 ６ ８ ０ ） １３ ７ 要 ： 针 对 已有的 基于距 离 的离群 点检测 算法 在大 数据 集上 扩展性 差的 问题 ，提 出了基于 聚类 和 距 离混 合 的大 数 据集 离群 检测 算 法 。算法 第 一阶 段采 用 层次 聚类 和 ｋ ｍ ａ ｓ 合 的层 次 — ｅ ｎ混
ｆ 互——～
ｄｔ ，＝ｆ —ｉ； ｉｐ）、 ｓ ｇ （ ｑ （ ）
Ｙｉ１ ＝
ｆ１ １
、
基于 距离 的方法 大致分 为嵌套 循环 的算法、 基 于 索 引 的 算 法 和 基 于 单 元 的 算 法 。但 这 些 方 法
在 处 理 大 规 模 数 据 集 时 都 存 在 性 能 上 的 不 足 。嵌
ｋ ｍ ａｓ － ｅ ｎ 算法对数据进行聚类，并按照一个启发式规则对其进行排序。第二阶段在聚类的结 果 上采用嵌套循 环算法进行 离群检测 ，并通过两个 剪枝 规则进行 高效剪枝 ， 少了离群检测 减 时数据点之 间距 离计算的次数 。理论分析和 实验结果证明 了算法的可行性和效率 。
关键 词 ： 离群点 ；聚类 ；嵌套循环 ；ｋ 近邻搜索 中图分类号 ：Ｔ ３ １ Ｐ １ 文献标识码 ：Ａ 文章编号 ：１０ —０ ３ （ ０ １４ 下） ０ １ ４ ９ １ ４ ２ １ ） （ 一 １ 一Ｏ ０ ０
Ｒ ｍａｗ ｍｙ用 点 Ｐ和 它 的 第 ｋ个 最 近 邻 的距 ａ ｓａ 离来 度量 Ｐ的离 群程 度 ，记 为 Ｄｋ（）１ｏＡ ｇｕｌ Ｐ ５ ｎ ｉｌ １ ｉ
套 循 环 算 法 通 过 循 环 扫 描数 据 集 为 各样 本 寻 找近
用权 重 ｗ Ｐ） 示 对 象 Ｐ与 其 ｋ 最 近 邻 居 的距 ｋ（ 表 个
元素的集合。Ｄ Ｐ 越大，表示 Ｐ越远离 邻域 ｏ（） 内的近 邻 ，成为 离群 点 的可能 性越 大 。 离 群 点 检 测 算 法 可 以描 述 为 ：计 算 数 据 集 Ｄ 中每 个 数 据 点 的 离群 因 子 ＤⅡ ，将 其 按 从 大到 小 降
序 排 列 ，离 群 因 子 最 高 的 前 ／个 点 就 是 所 求 的离 ， ／
Ｄｉ ａ ｃ—ａｅ ｔｅ ｔ ｔ ｎ ＤＯ 。算 法首 ｓ ｎｅｂ ｓｄＯｕｌ ｒ ｅ ｉ ，Ｃ Ｄ） ｔ ｉ Ｄｅ ｃ ｏ 先 对数 据 集 进 行 聚 类 ，将 得 到 的簇 按 照 包 含 离群 点 的 可 能 性 大 小 排 序 ，然百度文库后 对 排 序 后 的簇 中 的数
收稿 日期 ：２ １－１－１ ００ ２ ８
、 訇 化 ｌ 造
基于聚类和距 离的大数据集 离群点检测算法
Ｃｌ ｓｔ ｉ ｄ ｓｔ ｕ ｅｒｎｇ ａｎ ｄｉ ａｎｃｅ ｂａｓ － ｅｄ ｏｕｔ ｉ ｌｅｒｄｅｔ ｃｔ ｏｎ ｉ ａｒ ｅ ｉ ｎ ｌ ｇｅ ｄａｔ ａｓｅｔ ｓ
王
欣
、『 『ＡＮＧ ｎ 、 Ｘｉ
Ｄ。ｐ （）
ｉ ＝１
（ ｄｓ（ ，， ｉ ｐｑ ） ｔ
（） ２
其 中，ｋ Ｎ （）表 示 Ｐ在 Ｄ 中 的 ｋ个 最 近 邻 Ｎ Ｐ
在 大 数 据 集 上 效 率 低 下 的 问 题 ，本 文 提 出基 于 聚 类 和 距 离 的 混 合 离 群 检 测 算 法 （ ｌｓ ｒ ｇａｄ Ｃｕｔ ｉ ｎ ｅｎ
Ｐ的邻 域 的 稀疏 程 度 。 本 文 在 Ｗ Ｐ ｋ（）的基 础 之 上 定义 了度 量数 据点离 群程 度 的离 群因子 。 定义 １ （ Ｐ的 离群 因子 ） 于 数 据 集 Ｄ，给 点 对
定参数 ｋ和 Ｐ∈ Ｄ，则点 Ｐ的 离群 因子 定义为 Ｐ与 其 ｋ个最 近 邻对象 的 平均距 离 ：