异常检测算法综述

局部异常因子计算
第一步先产生所有点的MinPts-邻域（同 时得到MinPts-距离），并计算到其中每 个点的距离；
– 对低维数据，可以利用网格（Grid）来作k-NN查询，整个计 算时间为 O(n )；
– 对中维或中高维数据，必须采用索引结构如X-树等，使得作kNN查询的时间为O(logn) ，整个计算时间为 O(n logn)；

oNMinPts( p) lrdMinPts( p) | NMinPts( p) |
局部异常的性质
对象p的局部异常因子表示p的异常程度， 局部异常因子愈大，就认为它更可能异 常；反之则可能性小。
簇内靠近核心点的对象的LOF接近于1， 那么不应该被认为是局部异常。而处于 簇的边缘或是簇的外面的对象的LOF相 对较大，如前面图中对象o1， o2。
– 光滑因子（smoothing factor)最大的子集就是异常集(exception set);
» 光滑因子用来评价从原始数据集中去除一个子集，差异度降低多 少。
– 为减少输入数据的顺序对结果的影响，可以用不同的次序多 次重复上述过程，找出其中光滑因子最大的子集。
这个算法复杂度与数据集大小呈线性关系，有优异的
k——维数 N——数据点数 特点：
– 不需要建立多维索引结构 – 较费时
基于单元的方法
单元划分
– 数据空间被划分为边长为D/(2k1/2)的单元； – 每个单元有两个包围层
» 第一层为1倍的单元厚 » 第二层为int（2k1/2 -1）+1倍的单元厚
确定异常
– 若cell_+_1_layer_count>M，单元中的对象都不是异常； – 若cell_+_2_layer_count<=M，单元中的所有对象都是异
– 类型1：将变异位置置为*，然后在Q中间选择一个位置，随机 置为1到中间一个数即可。
– 类型2：将变异位置随机置为1到中间的一个值。
算法小结
基于统计的异常检测应用主要局限于科研计算，这主 要是因为必须事先知道数据的分布特征这就限制了它 的应用范围。
序列异常检测算法提出的序列异常的概念并没有得到 普遍的认同。这是因为序列异常在概念上仍然有一定 缺陷，遗漏了不少的异常数据。
Dnk 异常 用Dk(p)表示点p和它的第k个最近邻的距离， 给定d维空间中包含N个点的数据集，参数n和k（自然 数），如果满足Dk(p’) Dk(p)的点p’不超过n-1个，那 么称p为Dnk 异常。
如果对数据点根据它们的Dk(p)距离进行排序，那么前n 个点就被看作异常。
改进的基于距离的算法
距离的异常探测方法的缺陷
– 输入参数p与D很难确定，并且对于不同参数，结果 有很大不稳定性。这就需要用户反复输入p与D进行 测试，以确定一个满意解；
– 不能给定异常的程度；
– 算法的复杂度较高。
基于距离的算法的改进
Rastogi 和Ramaswamy（SIGMOD’2000）提出了一个新 的基于距离异常定义
N * f k (1 f k )
s(D)为负数时，说明立方体D中数据点低于期望值， s(D )越小，说明此立方体中数据越稀疏。
高维数据的异常探测算法思想
数据空间的任一模式可以用m1 m2 … mi…来表示。mi指 此数据在第i维子空间映射区间，可以取值1到，或者 *（*表示可以为任意映射值）。异常检测问题可以转 化成为寻找映射在k(k作为参数输入)维子空间上的异常 模式以及符合这些异常模式的数据 。如4维空间中一个 映射在2维子空间上的模式（ = 10）*3*9。
基于距离的算法跟基于统计的算法相比，不需要用户 拥有任何领域知识。与”序列异常”相比，在概念上 更加直观。更重要的是，距离异常更接近Hawkins的异 常本质定义。
算法小结
基于密度的异常观点比基于距离的异常观点更贴近 Hawkins的异常定义，因此能够检测出基于距离异常算 法所不能识别的一类异常数据——局部异常。局部异 常观点摈弃了以前所有的异常定义中非此即彼的绝对 异常观念，更加符合现实生活中的应用。
基于偏差的方法
Argrawal和Ragaran（KDD’1995）提出一种 “序列异 常”(sequential exception)的概念。
算法介绍
– 给定n个对象的集合S，建立一个子集序列{S1,S2,…,Sm},
2mn
S j1 S j , S j S
– 对每个子集，确定该子集与前序子集的差异度的差 ；
对任意的自然数k，定义p的k-距离(k-distance(p))，为p 和某个对象o之间的距离，这里的o满足： 1) 至少存在k个对象o’D\{p}，使得d(p, o’) d(p, o)， 并且
2) 至多存在k-1个对象o’ D\{p}，使得d(p, o’) d(p, o)。
基于密度的方法的有关概念
– 对特高维数据，索引结构不再有效，时间复杂度提高到O(n2)。
第二步计算每个点的局部异常因子。
高维数据的异常探测
Aggarwal 和Yu ( SIGMOD’2001)提出一个 高维数据异常检测的方法。
它把高维数据集映射到低维子空间，根 据子空间映射数据的稀疏程度来确定异 常数据是否存在。
实际数据往往具有较大的噪声，因此异常模式经常只 存在于低维子空间中，而在全维空间中难以确定；且 以前算法在维数较高时，性能急剧下降。因此 Aggarwal 和Yu ( SIGMOD’2001)提出一个高维数据异常 检测的方法。采用遗传优化算法，获得良好得计算性 能。
表示所有的基于统计的异常。
基于距离的异常探测的算法
基于索引（index-based）的算法 嵌套循环（nested-loop）算法 基于单元（cell-based）的方法
基于索引的算法
寻找所有的DB(p, D )-outlier可以通过对最近
邻查询或以O为中心的范围查询的回答来实现 基于多维索引结构R-Tree或kd-Tree
高维数据的异常探测算法思想
将数据空间的每一维分成个等深度区间。
所谓等深度区间是指将数据映射到此一维空间上 后，每一 区间包含相等的f=1/的数据点。 在数据集的k维子空间中的每一维上各取一个等深度区 间，组成一个k维立方体，则立方体中的数据映射点数 为一个随机数。 设n(D)为k维立方体D所包含点数，N为总的点数。定义 稀疏系数s(D)为: s(D) n(D) N * f k
算法复杂度是O（k N2 )
k——维数 N——数据点数 缺点：
– 需要建立多维索引结构 – 费时
嵌套循环算法NL
将内存缓冲区空间划分成相等的两部分，数据 集分成几个大小和每部分缓冲区相等的逻辑块， 通过认真选择调入每一部分缓冲区的次序，使 I/O次数最小
算法复杂度是O（k N2 )
聚类算法对异常的定义：异常是聚类嵌于其中 的背景噪声。
异常探测算法对异常的定义：异常是既不属于 聚类也不属于背景噪声的点。他们的行为与正 常的行为有很大不同。
异常探测方法的分类
基于统计（statistical-based)的方法 基于距离 (distance-based)的方法 基于偏差(deviation-based)的方法 基于密度(density-based)的方法 高维数据的异常探测
对象p的k-距离邻域(Nk-distance)
给定p的k-距离k-distance(p)，p的k-距离邻域包含 所有与p的距离不超过k-distance(p)的对象。
Nkdis tance(p) {q | d(p,q) k distance(p)}
基于密度的方法的有关概念
对象p相对于对象o的可达距离
给定自然数k，对象p相对于对象o的可达距离为：
reach dist k( p, o) max{ k dis tan ce (o), d ( p, o)}
基于密度的方法的有关概念
对象p的局部可达密度(Local Reachable Distance)
对象p的局部可达密度为对象p与它的MinPts-邻 域的平均可达距离的倒数
lrdMinPts( p) 1

oN
reach
MinPts( p)

di
stMinPts
(
p,
o)


| NMinPts( p) |

基于密度的方法的有关概念
对象p的局部异常因子(Local Outlier Factor)

l r dMinPts (o)
LOFMinPts( p)
常； – 否则，单元中的一些对象可能为异常，逐个对象进行处
理。
算法复杂度是O（ck+ N )
基于距离的算法小结
由于索引建立的开销很大，简单索引算 法没有竞争性
当k<=4时，基于单元的算法在N越大时 优越性越明显
当k>=5之后，嵌套循环算法开始显现出 优势
基于距离的算法的改进
Knorr和Ng（VLDB’1998）基于
异常检测算法综述
异常探测简介
异常探测是数据挖掘中一个重要方面，用来发 现”小的模式”(相对于聚类)，即数据集中间 显著不同于其它数据的对象。
异常探测应用
–电信和信用卡欺骗 –贷款审批 –药物研究 –气象预报 –金融领域 –客户分类 –网络入侵检测等
什么是异常（outlier）？
Hawkins(1980)给出了异常的本质性的定义：异 常是在数据集中与众不同的数据，使人怀疑这 些数据并非随机偏差，Hale Waihona Puke Baidu是产生于完全不同的 机制。
基于统计的方法
假设给定的数据集服从一个随机分布 （如正态分布等），用不一致性测试 （discordancy test）识别异常。
存在问题
–在许多情况下，用户并不知道这个数据分布。而且 现实数据也往往不符合任何一种理想状态的数学分 布；
–即使在低维（一维或二维）时的数据分布已知，在 高维情况下，估计数据点的分布是极其困难的。
用如R*-树的空间索引结构存储。 基于划分的算法(partition-based Algorithm)
可以如先果对某数个据点集的进D行k(划p)较分小，的然话后，估那计么每不个可划能分是的DDnkk(p异)的常上，、 下界，如果能判定某个划分不可能包含异常的话，那么就 可以直接把它删除掉；然后再从剩下的划分（侯选划分） 来计算异常。现有的许多聚类算法可以用来划分数据集， 如BIRCH 。
计算性能。但是序列异常在对异常存在的假设太过理 想化，对现实复杂数据效果不太好。
基于密度的方法
M. M. Breunig, H.-P. Kriegel, R. Ng, J. Sander. （SIGMOD’2000）
距离异常 的缺陷
基于密度的方法的有关概念
对象p的k-距离(k-distance)
基于距离的方法
Knorr和Ng（VLDB’1998）提出一种基于
距离的异常探测方法
基于距离的异常定义
数据集S中一个对象O称为DB(p, D )-
outlier，如果它满足下列性质：数据集S中至
少p*100%的对象与O的距离大于距离D 。
采用不同的参数p和D ， DB(p, D )-outlier可以
循环嵌套算法(Nested-loop Algorithm) 对每个点p，计算它的第k个最近邻的距离Dk(p)，把具
有极大Dk值前n个点作为异常。上面的算法每次处理一个点 p，那么需要扫描一遍数据库，总共需要扫描N遍（N为数据 点数）。 基于索引的算法(Index-based Algorithm)
高维数据中寻找异常模式是非常困难的。一个简单办 法是对所有数据维进行组合，来搜索可能异常模式， 但是效率极其低下。Aggarwal 和Yu运用遗传算法优化 这个问题的求解过程。
遗传异常检测算法
它以随机选择的p个合法模式作为候选解开始，反 复经历选择，交叉，变异等几个过程，直至得到较满 意的解。 选择 对于候选解，即合法模式，计算其稀疏系数， 并以此依据排序。稀疏系数越小，说明该模式异常程 度大，被选择的概率越大，直至选出新的p个候选解。 交叉 采用了一个优化的交叉算法。 变异 设Q为值是*的位置的集合。变异只发生在非Q 类位置。有两种变异类型。