离群点分析PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
缺点 第一， 绝大多数检验是针对单个属性的，不适合多维度空间 ，这也是一个主要的缺点； 第二， 需要预先知道样本空间中数据集的分布特征，而这部 分知识很可能是在检测前无法获得的，就不能确保所有的离群 点被发现。
2.2 基于距离的离群点检测
2.2.1 基于距离的离群点含义 基于距离的离群点检测，也叫基于近邻的离群点检测。此时离 群点就是远离大部分对象的点，即与数据集中的大多数对象的 距离都大于某个阈值的点。即： 如果数据集合D中，对象至少有pct部分与对象o的距离大于 dmin，则称对象o是以pct和dmin为参数的基于距离的离群点。 即DB（pct，dmin）离群点。
离群点分析
1 离群点的简数介据处理方法 一
目
2 离群点的检测方法
2.1 基于统计分布的离群点检测
录
2.2 基于距离的离群点的检测
2.3 基于密度的离群点的检测 2.4 基于偏差的离群点的检测
第1节 离群点的简介
1.1 离群点的含义
在数据库中包含着少数的数据对象，它们与数据的一般行为或 特征不一致，这些数据对象叫做离群点。
2.3 基于密度的离群点检测
基于密度的离群点检测能够检测出基于距离的异常算法所不能 识别的一类异常数据——局部离群点。 2.3.1 局部离群点 局部离群点，是指一个对象相对于它的局部邻域，特别是关于 邻域密度，它是远离的。
图1是二维数据集，图中包含两个簇C1 ， C2和两个离群点o1 , o2，其中C2稠密，C1 稀疏。 o2是全局离群点，根据上述定义 及挖掘算法，o2离群点易于挖掘，但o1却 难以挖掘，如果为了挖掘出o1，而调整参 数dmin，假如使dmin小于C2与O1之间的 最小距离，那么C1中的大多数数据点都 将被标识为离群点。此时， o1是一个局 部离群点。
2.1.1 不和谐检验
不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布 模型F，即：
不和谐检验就是检查对象 关于分布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充 分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝 ，此时备用假设被采用，它声明该样本点来自于另一个分布模 型。如果某个样本点不符合工作假设，那么我们认为它是离群 点。如果它符合某个备择假设，那么它就是符合这一备择假设
2.2.3 基于距离的离群点检测的优缺点
基于距离的方法与基于统计的方法相比，不需要用户拥有任何 领域知识，与序列异常相比，在概念上更加直观。
三种类型的基于距离的离群检测算法中，都要求用户设置参数 pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑，
2. 2.4 基于距离和(DS)检测算法:
第2节 离群点的检测方法
2.1 基于统计分布的离群点检测
基于统计分布的检测方法是为数据集构建一个概率统计模型（ 例如正态、泊松、二项式分布等，其中的参数由数据求得）， 然后根据模型采用不和谐检验识别离群点。不和谐校验过程中 需要样本空间数据集的参数知识（例如假设的数据分布），分 布的参数知识（例如期望和方差）以及期望的离群点数目。
如果选择数据分布的阈值为：
阈值=均值±2×标准差
则在[4.5 ,13.7]区间以外的数据都是潜在的离群点，
将最大值取整为13。所以年龄为14的孩子可能是个例外。而且 由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此 作一些政策上的改进。
2.1.2 基于统计分布的离群点检测的优缺点
优点 建立在源自文库常标准的统计学原理之上，当数据和检验的类型十分 充分时，检验十分有效。
数据行为不一致的离群点，往往预示着欺诈行为，因此成为执 法者所关注的。此外，在销售中确定极高和极低收入的客户的 销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的 反应。
1.4 离群点检测遇到的困难
第一， 在时间序列样本中发现离群点一般比较困难，因为这 些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二， 对于维度为非数值型的样本，在检测过程中需要多加 考虑，比如对维度进行预处理等； 第三， 针对多维数据，离群点的异常特征可能是多维度的组 合，而不是单一维度就能体现的。
1.2 离群点的来源
一、测量或执行误差所导致的。比如：某人的年龄-999岁，这 就是明显由误操作所导致的离群点； 二、 数据本身的可变性或弹性所致，比如：一个公司中CEO 的工资肯定是明显高于其他普通员工的工资，于是CEO变成为 了由于数据本身可变性所导致的离群点。
1.3 离群点检测的原因
一个人的噪声也许是其他的信号”。换句话说，这些离群点本 身也可能是用户感兴趣的，比如在欺诈检测领域，那些与正常
分布的离群点。
例1 假如我们设儿童上学的具体年龄总体服从正态分布，所 给的数据集是某地区随机选取的开始上学的20名儿童的年龄具 体的年龄特征如下:
年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12}
那么.相应的统计参数是:
均值=9.1; 标准差=2.3
2.2.2 基于距离的离群点的算法 （1）基于索引的算法 搜索每个对象o在半径dmin范围内的近邻。设M是一个离群点 的 dmin邻域内的最大对象数目。如果对象 o的 M+l 个近邻被 发现，则对象 o就不是离群点。这个算法在最坏情况下的复杂 度为 O(k*n *n ) ， k 为维数， n 为数据集合中对象的数目。 当 k 增加时，基于索引的算法具有良好的扩展性。
（2）嵌套—循环算法
嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是 它避免了索引结构的构建，它把内存的缓冲空间分为两半，把 数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓 冲区域的顺序，能够提高效率。
（3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于 dmin /( 2 k)的单 元。每个单元有两个层围绕着它。第一层的厚度是一个单元， 而第二层的厚度是 [2 k 1。] 该算法逐个单元地对离群点计数， 而不是逐个对象地进行计数。
与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝 对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是 先计算数据对象两两之间的距离，再计算每个对象与其他对象 的距离之和。
设M为用户期望的孤立点个数，则距离之和最大的前M个对象 即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的 需要。
2.2 基于距离的离群点检测
2.2.1 基于距离的离群点含义 基于距离的离群点检测，也叫基于近邻的离群点检测。此时离 群点就是远离大部分对象的点，即与数据集中的大多数对象的 距离都大于某个阈值的点。即： 如果数据集合D中，对象至少有pct部分与对象o的距离大于 dmin，则称对象o是以pct和dmin为参数的基于距离的离群点。 即DB（pct，dmin）离群点。
离群点分析
1 离群点的简数介据处理方法 一
目
2 离群点的检测方法
2.1 基于统计分布的离群点检测
录
2.2 基于距离的离群点的检测
2.3 基于密度的离群点的检测 2.4 基于偏差的离群点的检测
第1节 离群点的简介
1.1 离群点的含义
在数据库中包含着少数的数据对象，它们与数据的一般行为或 特征不一致，这些数据对象叫做离群点。
2.3 基于密度的离群点检测
基于密度的离群点检测能够检测出基于距离的异常算法所不能 识别的一类异常数据——局部离群点。 2.3.1 局部离群点 局部离群点，是指一个对象相对于它的局部邻域，特别是关于 邻域密度，它是远离的。
图1是二维数据集，图中包含两个簇C1 ， C2和两个离群点o1 , o2，其中C2稠密，C1 稀疏。 o2是全局离群点，根据上述定义 及挖掘算法，o2离群点易于挖掘，但o1却 难以挖掘，如果为了挖掘出o1，而调整参 数dmin，假如使dmin小于C2与O1之间的 最小距离，那么C1中的大多数数据点都 将被标识为离群点。此时， o1是一个局 部离群点。
2.1.1 不和谐检验
不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布 模型F，即：
不和谐检验就是检查对象 关于分布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充 分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝 ，此时备用假设被采用，它声明该样本点来自于另一个分布模 型。如果某个样本点不符合工作假设，那么我们认为它是离群 点。如果它符合某个备择假设，那么它就是符合这一备择假设
2.2.3 基于距离的离群点检测的优缺点
基于距离的方法与基于统计的方法相比，不需要用户拥有任何 领域知识，与序列异常相比，在概念上更加直观。
三种类型的基于距离的离群检测算法中，都要求用户设置参数 pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑，
2. 2.4 基于距离和(DS)检测算法:
第2节 离群点的检测方法
2.1 基于统计分布的离群点检测
基于统计分布的检测方法是为数据集构建一个概率统计模型（ 例如正态、泊松、二项式分布等，其中的参数由数据求得）， 然后根据模型采用不和谐检验识别离群点。不和谐校验过程中 需要样本空间数据集的参数知识（例如假设的数据分布），分 布的参数知识（例如期望和方差）以及期望的离群点数目。
如果选择数据分布的阈值为：
阈值=均值±2×标准差
则在[4.5 ,13.7]区间以外的数据都是潜在的离群点，
将最大值取整为13。所以年龄为14的孩子可能是个例外。而且 由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此 作一些政策上的改进。
2.1.2 基于统计分布的离群点检测的优缺点
优点 建立在源自文库常标准的统计学原理之上，当数据和检验的类型十分 充分时，检验十分有效。
数据行为不一致的离群点，往往预示着欺诈行为，因此成为执 法者所关注的。此外，在销售中确定极高和极低收入的客户的 销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的 反应。
1.4 离群点检测遇到的困难
第一， 在时间序列样本中发现离群点一般比较困难，因为这 些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二， 对于维度为非数值型的样本，在检测过程中需要多加 考虑，比如对维度进行预处理等； 第三， 针对多维数据，离群点的异常特征可能是多维度的组 合，而不是单一维度就能体现的。
1.2 离群点的来源
一、测量或执行误差所导致的。比如：某人的年龄-999岁，这 就是明显由误操作所导致的离群点； 二、 数据本身的可变性或弹性所致，比如：一个公司中CEO 的工资肯定是明显高于其他普通员工的工资，于是CEO变成为 了由于数据本身可变性所导致的离群点。
1.3 离群点检测的原因
一个人的噪声也许是其他的信号”。换句话说，这些离群点本 身也可能是用户感兴趣的，比如在欺诈检测领域，那些与正常
分布的离群点。
例1 假如我们设儿童上学的具体年龄总体服从正态分布，所 给的数据集是某地区随机选取的开始上学的20名儿童的年龄具 体的年龄特征如下:
年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12}
那么.相应的统计参数是:
均值=9.1; 标准差=2.3
2.2.2 基于距离的离群点的算法 （1）基于索引的算法 搜索每个对象o在半径dmin范围内的近邻。设M是一个离群点 的 dmin邻域内的最大对象数目。如果对象 o的 M+l 个近邻被 发现，则对象 o就不是离群点。这个算法在最坏情况下的复杂 度为 O(k*n *n ) ， k 为维数， n 为数据集合中对象的数目。 当 k 增加时，基于索引的算法具有良好的扩展性。
（2）嵌套—循环算法
嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是 它避免了索引结构的构建，它把内存的缓冲空间分为两半，把 数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓 冲区域的顺序，能够提高效率。
（3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于 dmin /( 2 k)的单 元。每个单元有两个层围绕着它。第一层的厚度是一个单元， 而第二层的厚度是 [2 k 1。] 该算法逐个单元地对离群点计数， 而不是逐个对象地进行计数。
与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝 对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是 先计算数据对象两两之间的距离，再计算每个对象与其他对象 的距离之和。
设M为用户期望的孤立点个数，则距离之和最大的前M个对象 即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的 需要。