第6章离群点挖掘

基于相对密度的离群点检测方法通过比较对象的密度与它的邻域中的 对象平均密度来检测离群点。 簇内靠近核心点的对象的相对密度接近于1，而处于簇的边缘或是簇 的外面的对象的相对较大。定义相对密度为离群因子：
OF1( x, k ) relative density( x, k )
13/41 2014-10-15
k=2 局部邻域密 度 0.57 0.57 1.00 0.57 1.00 0.80 1.14 2.00 1.20 2.00 2.00 1.00 2.00 1.09 1.00 1.11 1.00 1.33 1.33 2.00 0.50 0.38 相对密 度 1.38 1.38 0.68 1.38 0.90 1.88 1.33 0.79 1.39 0.80 1.00 1.31 0.70 1.26 1.16 1.28 1.07 1.25 1.25 0.67 1.18 2.35
5/41
2014-10-15
6.1 概述 (4)

(1)定义在一个数据集中什么数据是不一致或离群的数据； (2)找出所定义的离群点的有效挖掘方法。离群点挖掘问题可以概括为如 何度量数据偏离的程度和有效发现离群点的问题。


离群点挖掘问题由两个子问题构成：
为什么会出现离群点？
测量、输入错误或系统运行错误所致 数据内在特性所决定 客体的异常行为所致 由于离群点产生的机制是不确定的，离群点挖掘算法检测出的“离群 点”是否真正对应实际的异常行为，不是由离群点挖掘算法来说明、 解释的，只能由领域专家来解释，离群点挖掘算法只能为用户提供可 疑的数据，以便用户引起特别的注意并最后确定是否真正的异常。对 于异常数据的处理方式也取决于应用，并由领域专家决策。

4/41
2014-10-15
6.1 概述 (3)


离群点检测的应用领域


电信、保险、银行中的欺诈检测与风险分析 发现电子商务中的犯罪行为 灾害气象预报 税务局分析不同团体交所得税的记录，发现异常模型和趋势 海关、民航等安检部门推断哪些人可能有嫌疑 海关报关中的价格隐瞒 营销定制：分析花费较小和较高顾客的消费行为 医学研究中发现医疗方案或药品所产生的异常反应 计算机中的入侵检测 应用异常检测到文本编辑器，可有效减少文字输入的错误 ……



一张信用卡出现明显的高额消费也许是因为是盗用的卡。
8/41
2014-10-15
6.1 概述 (7)

离群点与众不同但具有相对性：
高与矮，疯子与常人。

类似术语： Outlier mining， Exception mining:异常挖掘、离 群挖掘、例外挖掘和稀有事件挖掘 。
9/41
2014-10-15
到k-最近邻的距离的计算
12/41
2014-10-15
6.2 基于相对密度的离群点检测 (2)

定义6-2 (1) 对象的局部邻域密度
yN ( x ,k ) distance (x, y) density (x, k) | N ( x, k ) |
1

(2) 相对密度
2014-10-15

6/41
6.1 概述 (5)

离群点挖掘中需要处理的几个问题
离群点与众不同，但具有相对性。 可以通过定义对象的偏离程度来给对象打分——离群因子(Outlier Factor)或离群值得分(Outlier Score)，即都为离群点的情况下，也 还有分高和分低的区别。 正常点的数量远远超过离群点的数量，离群点的数量在大规模数据集 中所占的比例较低，小于5%甚至1%.
商务数据挖掘与应用案例分析
0/41
2014-10-15
第6章 离群点挖掘
6.1 概述>> 6.2 基于相对密度的离群点检测方法>> 6.3 基于聚类的离群点检测方法>> 6.4 离群点检测方法的评估>>
1/41
2014-10-15
开篇案例——保险欺诈检验
随着保险业的蓬勃发展，保险欺诈现象也越来越严重。有关统计数据显示，国际 上某些险种因被欺诈而导致的赔款支出最高可达保险费收入的50％。从所发生 的保险欺诈案例看，手段无所不用且花样翻新，有的虚构或者伪造索赔，人寿保 险中常见的是移花接木、冒名顶替，或者自演自导一幕幕自残的苦肉计，更恶劣 的还有杀亲骗保者，财产保险中，诸如故意沉船、故意纵火等骗赔伎俩，五花八 门。愈演愈烈的保险欺诈违法犯罪活动，不仅极大地损害了保险合同当事人的合 法权益，而且还严重扰乱了保险市场的正常秩序。一方面他对保险公司的财产构 成了直接的侵犯；另一方面，保险公司面对保险欺诈不得不提高保费，这样，诚 实的投保人成为最大的损失者，这将会严重阻碍保险业的发展。 在人寿保险业务中，一份保单就是一个事务。保险公司在接受保险前，往往需要 记录投保人详尽的信息，有时还要到医院做身体检查。保单上记录有投保人的年 龄、性别、健康状况、工作单位、工作地址、工资水平、索赔次数等等。我们主 要想通过数据挖掘找出行为异常的客户记录。我们主要关注购买人的年龄、工作 单位、健康状况、工资水平的信息和购买后的索赔情况，可以认为保单号、单位 代号、单位名称是一些无关信息。 这种人寿保险公司通过分析客户信息识别保险中的欺诈特征就是离群点检测方法 研究的问题。数据挖掘中的多数方法都会将异常数据视为噪音或异常而丢弃。而 离群点检验在激增的客户信息和业务数据中寻找异常数据，并进行更深层次的分 析。这些异常数据与数据的一般行为或模型不一致，发生的概率非常小。但在保 险欺诈检验中，小概率事件可能比正常发生的事件更有意义。因此，通过离群点 检验将客户信息进行细致的分类挖掘，寻找欺诈的一般特征，并建立客户分析预 测模型，对具有欺诈特征的客户群体实施相应的措施，以提高公司的反欺诈能力。
P1 X Y 1 7
P2 2 8
P3 2 7
P4 2 6
P5 3 7
P6 4 7
P7 5.5 6.5
P8 5.5 7
P9 6 8ຫໍສະໝຸດ P10 6 7.5P11 6 7
P12 6 6
P13 6.5 7
P14 6.5 6.5
P15 7 8
P16 7 7
P17 7 6
P18 2.5 2
P19 3 1.5
P20 3 2
6.2 基于相对密度的离群点检测 (1)
(1)用于定义离群点的属性个数
一个对象只有单个属性 一个对象具有多个属性：
可能某个属性异常，某个属性正常
如：对于男生而言，
身高1.6m，体重55kg，这个很正常； 身高1.6m，体重75kg，这个有点离群； 身高1.8m，体重75kg，基本正常。 若对于女生，则三组值可能都不太正常。 所以，定义离群点需要指明如何使用多个属性的值确定一个对象是否离 群？



3/41
2014-10-15
6.1 概述 (2)


离群点的特殊意义和实用价值
现有数据挖掘研究大多集中于发现适用于大部分数据的常规模式,在 许多应用领域中，离群点通常作为噪音而忽略，许多数据挖掘算法试 图降低或消除离群点的影响。而在有些应用领域识别离群点是许多工 作的基础和前提，离群点会带给我们新的视角。 如在欺诈检测中，离群点可能意味欺诈行为的发生，在入侵检测中离 群点可能意味入侵行为的发生。
k=3 局部邻域密 度 0.57 0.57 1.00 0.57 0.63 0.57 1.14 1.33 1.20 1.33 2.00 1.00 2.00 1.09 0.8 1.11 1.00 0.33 0.38 0.44 0.38 0.38 相对密 度 1.21 1.21 0.58 1.21 1.05 1.89 1.19 1.21 1.15 1.22 0.78 1.31 0.70 1.26 1.76 1.24 1.07 1.29 1.00 0.82 1.90 2.24
relativedensity ( x, k )
yN ( x ,k )
density ( y , k ) / | N ( x, k ) | density ( x, k )
其中，N ( x, k ) 是不包含x的k-最近邻的集合， | N ( x, k ) | 是该集合的大小，y 是一个最近邻。
6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
15/41 2014-10-15
选择合适的离群因子阈值

例6-1 给定二维数据集，表 6-1给出了点的坐标，可视 化的图形如图6-2所示(对象 间的距离采用曼哈顿 (Manhattan)距离计算)。K 取2，3，5时，以表格方式 给出所有点的局部邻域密度 及相对密度的离群因子。 表6-1 例6-1二维数据集
2/41 2014-10-15
6.1 概述 (1)


什么是离群点(Outlier)？
Hawkins的定义：离群点是在数据集中偏离大部分数据的数据，使人 怀疑这些数据的偏离并非由随机因素产生，而是产生于完全不同的机 制。 Weisberg的定义：离群点是与数据集中其余部分不服从相同统计模型 的数据。 Samuels的定义：离群点是足够地不同于数据集中其余部分的数据。 Porkess的定义：离群点是远离数据集中其余部分的数据
14/41
2014-10-15
6.2 基于相对密度的离群点检测 (4)

一种形式上简单的方法是指定离群点个数；这里介绍另一种确定 OF1(x,k)分割阈值的方法：对OF1(x,k)降序排列，选择OF1(x,k) 急剧下降的点作为离群值、正常值的分隔点，如图6-3所示，在该 图中，有两个点判定为离群点。

定义6-1 对于正整数k，对象p的k最近邻距离k_distance(p)定 义为: ,o) k _ distance(p ) (1)除p外，至少有k个对象o满足 distance(p (2)除p外，至多k-1个对象o满足 distance(p ,o) k _ distance(p ) 利用k最近邻距离的大小来判定离群 使用k-最近邻的距离度量一个对象是否远离大部分点，一个对象 的离群程度由到它的k-最近邻的距离给定 。 这种方法对k的取值比较敏感。k太小(例如1)，则少量的邻近离 群点可能导致较低的离群程度。k太大，则点数少于k的簇中所有 的对象可能都成了离群点。