基于聚类分析局部离群点挖掘改进算法的研究与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
赵战营 成长生
（ 华大学计算机科学与技术学院 东 上 海 ２ １２ ） ０ ６ ０
摘 要
对于犯罪检测 、 网络入侵检测等应用 ， 离群 点检测是数据挖掘 的一种重要算 法。局部 离群 因子是对数据对象离群点的程
度定义 ， 计算所有数据对象局部离群 因子需要大量计算 。一种基于聚类分析局部 离群 点挖掘 改进 算法得 以实现 ， 此改进 算法以聚类
Ａｂ ｔａ ｔ ｓ ｒ ｃ Ｏ ｔ ｅ ｅ ｅ ｔ ｎ ｉ ａ ｍｐ ｒ ｎ ｌｏ ｔ ｍ ｉ ａ ａ ｍｉ ｉｇ ｆ ｒａ ｐ ｉａｉ ｎ ｕ ｈ ａ ｒ ｎ ｌａ ｔ ｉ ｅ ’ ｅｅ ｔ ｇ ａ ｄ ｎ ｔ ｒ ｎ ｕ ｌ ｒｄ ｔｃ ｉ ｓ ｌ ｉ ｏ ｔ ｔ ｇ ｒ ｈ ｎ ｄ ｔ ｎ ｎ ｏ ｐ ｌ ｔ ｓ ｓ ｃ ｓｃ ｉ ａ ｃｉ ｔ ｓ ｄ ｔｃ ｉ ｎ ｅｗｏ ｋ ｉ ・ ｉ ｏ ｌ ａ ａ ｉ ｃ ｏ ｍｉ ｖｉ ｎ
Ｚｈ ｏ Ｚｈ ｙｎ Ｃｈ ｎ ａ ｓ ｅ ｇ ａ ａｎ ｉｇ ｅ ｇ Ｃｈ ｎｇ ｈ ｎ
（ ｃｏｌｆＣ ｍ ｕｅ Ｓｉ ｃ ａ ｄＴｃｎｌｇ ， ｏｇ ｕ ｎｖｒｔ，ｈ ｎｈ ｉ ０６ ０，ｈｎ Ｓｈｏ ｏ ｏ ｐ ｔ ｃ ｎｅ ｎ ｅ ｏｏｙ Ｄ ｎ ｈａＵ ｉ ｓｙ Ｓ ａｇ ａ １２ Ｃ ｉ ｒ ｅ ｈ ｅｉ ２ ａ）
第２ ７卷 第 １ 期 １
２１ ０ ０年 １ １月
计 算机 应 用与软 件
Ｃｏ ｐ ｔｒＡｐｐｉ ａｉ ｎ ｎ ｏ ｗａ ｅ ｍ ｕｅ ｌ ｔｏ ｓａ ｄ Ｓ ｆ ｒ ｃ ｔ
Ｖｏ． ７ Ｎ０ １ｌ １２ ．
ＮＯ Ｖ．２ ０ ０１
基 于 聚 类 分 析 局 部 离 群 点 挖 掘 改 进 算 法 的 研 究 与 实 现
分析为预处理 ， 只对聚 类之 外的数据对 象计算 局部 离群 因子 ， 免 了大量 计算 ， 避 并改进 了对数据对象 ｋ距 离邻域 的求解。通过仿真
数 据 和 轨 道 交 通 Ａ Ｃ ａｔ ｔ ｒ ｃｌｃｉ ｙｔｍ） 充 数 据 的实 验 ， 实 此 改进 算 法 不 仅 能 更 高 效 地 挖 掘 出值 得 关 注 的 离群 点 ， Ｆ （ ｕ ｍａ ｃ ａｅ ｏｅｔ ｇｓｓ ｏ ｉｆ ｌ ｎ ｅ 客 证
ｐ ｓ ｅ ｇ ｒｆｏ ｄ ｔｓ ｔｏ ｕｏ ａｉ ａ ｅｃ ｌｅ ｔｎ ｙ ｔｍ ｆｒ ｉ ｔａ ｉ ｔ ｔｔ ｅ ｉ ａ ｓ ｎ ｅ ｗ ａ ａ ｅ ｆａ ｔｍ ｔｃ ｆ ｒ ｏ ｌｃ ｉｇ ｓ ｓｅ ｏ ａｌ ｒ ｎｓｔ ｈａ ｈ ｍｐｒ ｖ ｄ ｌｏ ｔ ｍ ａｎ ｍｉ ｅ ｏ ｔｔ ｕｌｅ ｓ ｄ ｓ ｒ ｉ ｔｅ ｌ ｏ ｅ ａｇ ｒ ｈ ｃ ｎ ｕ ｈｅ ｏ ｔｉｒ ｅ ｅ ｖｎｇ ａｔｎ— ｉ ｔｏ ｒ ｆｅ ｔｖ ｌ ａ ｄ ｃ ｎ ａＳ ｃ ｅ ｅ ｔ ａ ｓｎ ｉ ｅｔ ｒ ｉ ｎ ｍｏ ｅ ｅｆｃ ｉｅｙ， ｎ ａ ｌ Ｏ ａ ｈｉｖ ｈｅ ｐ ｒ ｉｇ ａ ｍｓ ｂ ｔｅ ．
ｔｅｃ ｓ ｒ ｎ ｌｓ ｋ ｎａ ｒｐｏ ｅｓ ｇ ｌ ａ ｏ ｔｅ ｃ ｒ ａｅｃ ｌ ｌ ｅ ｎｙ ｏ ｅｄ ｔ ｏ ｊｃ ｕ ｏ ｕ ｔｒＳ ｅ ｔ ｅ ｌ ａ ｕ ｈ ｌ ｔ ａ ｉ ｉ ｔ ｅ ｓ ｐｅ ｒｃ ｓｉ ， ｃ ｌ ｕｌ ｒ ａ ｔ ｓ ｒ ａ ｕａ ｄｏ ｌ ｆｒ ｈ ａａ ｂｅ ｔ ｏ ｔ ｆ ｌｓ ，Ｏ ｇ ａ ｄ ａ ｃ ｌ — ｕ ｅ ａ ｙ ｓｓ ａ ａ ｎ ｏ ｉ ｆ ｏ ｃ ｔ ｔ ｓ ｃ ｅ ａｒ ｃ ｌ ｉ ｖ ｉｅ ｎ － ｉ ａ ｃ ｅｇ ｂ ｕｓｓａｃ ｅ ｆ ａａ３ｊｃ ａｅｉ ｐｏ ｅ ．ｔ ｓｐｏ ｅ ｏ ｅ ｓ ｌ ｉｇｄ ｔ ａ ｄ ｔｅｅｐ ｒ ｅ ｔ ｏ ａ ｏ ｉ ａ ｏ ｄ ａ ｄ ｋｄｓ ｎ ｅｎ ｉｈ ｏ ｒ ｅ ｒｈ ｓｏ ｄ ｔ ｂ ｔ ｒ ｍ ｒ ｄ Ｉ ｉ ｒｖ ｄｆ ｍ ｔ ｉ ａ ｎ ａ ｎ ｘ ｅｉ ｎｓ ｆ ｔｎ ｓ ｄ ｔ ｅ ｖ ｒ ｈ ｍｕ ｔ ａ ｈ ｍ
ｌｃ ｌ ｕｌ ｒ ｆｄ ｔ ｂｅ ｔ． ｍｐ ｏｅ ｌｏｉ ｍ ｏ ｃ ｌｏ ｔｅ ｎｎ ａｅ ｎｃｕ ｔｒａ ａｙｉ ｉ ｍｐｅ ｎｅ ｎ ｔｉ ｐ ｐ ｒ ｉ ｈｃ ｏ ａ ｔｅｓｏ ａａｏ ｊｃｓ Ａｎ ｉ ｒｖ ｄ ａｇ ｒ ｈ ｆｒｌ ａ ｕｌ ｒｍｉｉｇ ｂ ｓｄ ｏ ｌｓｅ ｎ ｌｓ ｓｉ ｌｍｅ ｔｄ ｉ ｈｓ ａ ｅ ，ｎ ｗ ｉｈ ｏ ｉ ｔ ｏ ｉ ｓ
Ｋｅ ｗｏ ｄ ｙ ｒｓ
Ｄ ｔ ｎ ｎ Ｌ ｃ ｕ ｌ ｒｆｃ ｏ Ｋ・ ｉｔｎ ｅ ｎ ｉｈ ｏ ｒ Ｃ ｕ ｔｒａ ａｙ ｉ ａａ ｍｉ ｉ ｇ ｏ ａ ｏ ｔｅ ｔｒ ｌ ｉ ａ ｄ ｓ ｃ ｅｇ ｂ ｕ ｌ ｓ ｎ ｌｓｓ ａ ｅ
而且 还 能 更 好地 达 到 解 析 目的 。 关 键 词 数 据 挖 掘 局 部 离 群 因子 Ｋ－ 离 邻 域 聚 类 分 析 距
ห้องสมุดไป่ตู้
ＯＮ Ｍ ＰＲｏＶＥＤ Ｉ ＡＬＧｏＲＩ ＴＨ ＦＯＲ ＬｏＣＡＬ ｏＵＴＬＩ ＥＲ Ｉ ＮＧ Ｍ ＮＩ ＢＡＳ ＥＤ ｏＮ ＣＬＵＳ ＴＥＲ ＡＮＡＬＹＳ Ｓ ＡＮＤ ＴＳ Ｉ ＰＬＥＭ ＥＮＴＡＴＩ Ｉ Ｉ Ｍ ｏＮ
ｔ ｉ ｅ ｃ ｏ ．ｔ Ｌｃｌ ｕｌ ｒａｔ ｒｄ ｅｎｔ ｎｆｒ ｕｌｒ ｆ ａ ｂｅｔａｇｅｔ ｅｌ ａ ｕａｏ ｅｕｒ ａｃｌ Ｉｔｅ ｍｓ ｎｄｔ ｔ ｎ ｅ ． ｏａ ｏｔｅ ｃ ｒｉａｇａ ｅ ｆ ｉｏ ｔｅ ｏ ｔ ｏｊｃ， ｒａ ｄａ ｃ ｃｌｔｎｉ ｒ ｉ ｄｔ ｃ ｕ￣ｅａ ｏ ｅｉ ｃ ｉ ｆ ｏ ｓ ｄｉ ｉ ｏ ｏ ｉ ｄ ａ ｌ ｉ ｓ ｑ ｅ ｏｌ ｌｈ
（ 华大学计算机科学与技术学院 东 上 海 ２ １２ ） ０ ６ ０
摘 要
对于犯罪检测 、 网络入侵检测等应用 ， 离群 点检测是数据挖掘 的一种重要算 法。局部 离群 因子是对数据对象离群点的程
度定义 ， 计算所有数据对象局部离群 因子需要大量计算 。一种基于聚类分析局部 离群 点挖掘 改进 算法得 以实现 ， 此改进 算法以聚类
Ａｂ ｔａ ｔ ｓ ｒ ｃ Ｏ ｔ ｅ ｅ ｅ ｔ ｎ ｉ ａ ｍｐ ｒ ｎ ｌｏ ｔ ｍ ｉ ａ ａ ｍｉ ｉｇ ｆ ｒａ ｐ ｉａｉ ｎ ｕ ｈ ａ ｒ ｎ ｌａ ｔ ｉ ｅ ’ ｅｅ ｔ ｇ ａ ｄ ｎ ｔ ｒ ｎ ｕ ｌ ｒｄ ｔｃ ｉ ｓ ｌ ｉ ｏ ｔ ｔ ｇ ｒ ｈ ｎ ｄ ｔ ｎ ｎ ｏ ｐ ｌ ｔ ｓ ｓ ｃ ｓｃ ｉ ａ ｃｉ ｔ ｓ ｄ ｔｃ ｉ ｎ ｅｗｏ ｋ ｉ ・ ｉ ｏ ｌ ａ ａ ｉ ｃ ｏ ｍｉ ｖｉ ｎ
Ｚｈ ｏ Ｚｈ ｙｎ Ｃｈ ｎ ａ ｓ ｅ ｇ ａ ａｎ ｉｇ ｅ ｇ Ｃｈ ｎｇ ｈ ｎ
（ ｃｏｌｆＣ ｍ ｕｅ Ｓｉ ｃ ａ ｄＴｃｎｌｇ ， ｏｇ ｕ ｎｖｒｔ，ｈ ｎｈ ｉ ０６ ０，ｈｎ Ｓｈｏ ｏ ｏ ｐ ｔ ｃ ｎｅ ｎ ｅ ｏｏｙ Ｄ ｎ ｈａＵ ｉ ｓｙ Ｓ ａｇ ａ １２ Ｃ ｉ ｒ ｅ ｈ ｅｉ ２ ａ）
第２ ７卷 第 １ 期 １
２１ ０ ０年 １ １月
计 算机 应 用与软 件
Ｃｏ ｐ ｔｒＡｐｐｉ ａｉ ｎ ｎ ｏ ｗａ ｅ ｍ ｕｅ ｌ ｔｏ ｓａ ｄ Ｓ ｆ ｒ ｃ ｔ
Ｖｏ． ７ Ｎ０ １ｌ １２ ．
ＮＯ Ｖ．２ ０ ０１
基 于 聚 类 分 析 局 部 离 群 点 挖 掘 改 进 算 法 的 研 究 与 实 现
分析为预处理 ， 只对聚 类之 外的数据对 象计算 局部 离群 因子 ， 免 了大量 计算 ， 避 并改进 了对数据对象 ｋ距 离邻域 的求解。通过仿真
数 据 和 轨 道 交 通 Ａ Ｃ ａｔ ｔ ｒ ｃｌｃｉ ｙｔｍ） 充 数 据 的实 验 ， 实 此 改进 算 法 不 仅 能 更 高 效 地 挖 掘 出值 得 关 注 的 离群 点 ， Ｆ （ ｕ ｍａ ｃ ａｅ ｏｅｔ ｇｓｓ ｏ ｉｆ ｌ ｎ ｅ 客 证
ｐ ｓ ｅ ｇ ｒｆｏ ｄ ｔｓ ｔｏ ｕｏ ａｉ ａ ｅｃ ｌｅ ｔｎ ｙ ｔｍ ｆｒ ｉ ｔａ ｉ ｔ ｔｔ ｅ ｉ ａ ｓ ｎ ｅ ｗ ａ ａ ｅ ｆａ ｔｍ ｔｃ ｆ ｒ ｏ ｌｃ ｉｇ ｓ ｓｅ ｏ ａｌ ｒ ｎｓｔ ｈａ ｈ ｍｐｒ ｖ ｄ ｌｏ ｔ ｍ ａｎ ｍｉ ｅ ｏ ｔｔ ｕｌｅ ｓ ｄ ｓ ｒ ｉ ｔｅ ｌ ｏ ｅ ａｇ ｒ ｈ ｃ ｎ ｕ ｈｅ ｏ ｔｉｒ ｅ ｅ ｖｎｇ ａｔｎ— ｉ ｔｏ ｒ ｆｅ ｔｖ ｌ ａ ｄ ｃ ｎ ａＳ ｃ ｅ ｅ ｔ ａ ｓｎ ｉ ｅｔ ｒ ｉ ｎ ｍｏ ｅ ｅｆｃ ｉｅｙ， ｎ ａ ｌ Ｏ ａ ｈｉｖ ｈｅ ｐ ｒ ｉｇ ａ ｍｓ ｂ ｔｅ ．
ｔｅｃ ｓ ｒ ｎ ｌｓ ｋ ｎａ ｒｐｏ ｅｓ ｇ ｌ ａ ｏ ｔｅ ｃ ｒ ａｅｃ ｌ ｌ ｅ ｎｙ ｏ ｅｄ ｔ ｏ ｊｃ ｕ ｏ ｕ ｔｒＳ ｅ ｔ ｅ ｌ ａ ｕ ｈ ｌ ｔ ａ ｉ ｉ ｔ ｅ ｓ ｐｅ ｒｃ ｓｉ ， ｃ ｌ ｕｌ ｒ ａ ｔ ｓ ｒ ａ ｕａ ｄｏ ｌ ｆｒ ｈ ａａ ｂｅ ｔ ｏ ｔ ｆ ｌｓ ，Ｏ ｇ ａ ｄ ａ ｃ ｌ — ｕ ｅ ａ ｙ ｓｓ ａ ａ ｎ ｏ ｉ ｆ ｏ ｃ ｔ ｔ ｓ ｃ ｅ ａｒ ｃ ｌ ｉ ｖ ｉｅ ｎ － ｉ ａ ｃ ｅｇ ｂ ｕｓｓａｃ ｅ ｆ ａａ３ｊｃ ａｅｉ ｐｏ ｅ ．ｔ ｓｐｏ ｅ ｏ ｅ ｓ ｌ ｉｇｄ ｔ ａ ｄ ｔｅｅｐ ｒ ｅ ｔ ｏ ａ ｏ ｉ ａ ｏ ｄ ａ ｄ ｋｄｓ ｎ ｅｎ ｉｈ ｏ ｒ ｅ ｒｈ ｓｏ ｄ ｔ ｂ ｔ ｒ ｍ ｒ ｄ Ｉ ｉ ｒｖ ｄｆ ｍ ｔ ｉ ａ ｎ ａ ｎ ｘ ｅｉ ｎｓ ｆ ｔｎ ｓ ｄ ｔ ｅ ｖ ｒ ｈ ｍｕ ｔ ａ ｈ ｍ
ｌｃ ｌ ｕｌ ｒ ｆｄ ｔ ｂｅ ｔ． ｍｐ ｏｅ ｌｏｉ ｍ ｏ ｃ ｌｏ ｔｅ ｎｎ ａｅ ｎｃｕ ｔｒａ ａｙｉ ｉ ｍｐｅ ｎｅ ｎ ｔｉ ｐ ｐ ｒ ｉ ｈｃ ｏ ａ ｔｅｓｏ ａａｏ ｊｃｓ Ａｎ ｉ ｒｖ ｄ ａｇ ｒ ｈ ｆｒｌ ａ ｕｌ ｒｍｉｉｇ ｂ ｓｄ ｏ ｌｓｅ ｎ ｌｓ ｓｉ ｌｍｅ ｔｄ ｉ ｈｓ ａ ｅ ，ｎ ｗ ｉｈ ｏ ｉ ｔ ｏ ｉ ｓ
Ｋｅ ｗｏ ｄ ｙ ｒｓ
Ｄ ｔ ｎ ｎ Ｌ ｃ ｕ ｌ ｒｆｃ ｏ Ｋ・ ｉｔｎ ｅ ｎ ｉｈ ｏ ｒ Ｃ ｕ ｔｒａ ａｙ ｉ ａａ ｍｉ ｉ ｇ ｏ ａ ｏ ｔｅ ｔｒ ｌ ｉ ａ ｄ ｓ ｃ ｅｇ ｂ ｕ ｌ ｓ ｎ ｌｓｓ ａ ｅ
而且 还 能 更 好地 达 到 解 析 目的 。 关 键 词 数 据 挖 掘 局 部 离 群 因子 Ｋ－ 离 邻 域 聚 类 分 析 距
ห้องสมุดไป่ตู้
ＯＮ Ｍ ＰＲｏＶＥＤ Ｉ ＡＬＧｏＲＩ ＴＨ ＦＯＲ ＬｏＣＡＬ ｏＵＴＬＩ ＥＲ Ｉ ＮＧ Ｍ ＮＩ ＢＡＳ ＥＤ ｏＮ ＣＬＵＳ ＴＥＲ ＡＮＡＬＹＳ Ｓ ＡＮＤ ＴＳ Ｉ ＰＬＥＭ ＥＮＴＡＴＩ Ｉ Ｉ Ｍ ｏＮ
ｔ ｉ ｅ ｃ ｏ ．ｔ Ｌｃｌ ｕｌ ｒａｔ ｒｄ ｅｎｔ ｎｆｒ ｕｌｒ ｆ ａ ｂｅｔａｇｅｔ ｅｌ ａ ｕａｏ ｅｕｒ ａｃｌ Ｉｔｅ ｍｓ ｎｄｔ ｔ ｎ ｅ ． ｏａ ｏｔｅ ｃ ｒｉａｇａ ｅ ｆ ｉｏ ｔｅ ｏ ｔ ｏｊｃ， ｒａ ｄａ ｃ ｃｌｔｎｉ ｒ ｉ ｄｔ ｃ ｕ￣ｅａ ｏ ｅｉ ｃ ｉ ｆ ｏ ｓ ｄｉ ｉ ｏ ｏ ｉ ｄ ａ ｌ ｉ ｓ ｑ ｅ ｏｌ ｌｈ