离群点分析 ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.4 离群点检测遇到的困难
第一， 在时间序列样本中发现离群点一般比较困难，因为这 些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二， 对于维度为非数值型的样本，在检测过程中需要多加 考虑，比如对维度进行预处理等； 第三， 针对多维数据，离群点的异常特征可能是多维度的组 合，而不是单一维度就能体现的。
2.1.1 不和谐检验
不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布 模型F，即：
不和谐检验就是检查对象 关于分布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充 分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝， 此时备用假设被采用，它声明该样本点来自于另一个分布模型。 如果某个样本点不符合工作假设，那么我们认为它是离群点。 如果它符合某个备择假设，那么它就是符合这一备择假设分布
阈值=均值±2×标准差 则在[4.5 ,13.7]区间以外的数据都是潜在的离群点， 将最大值取整为13。所以年龄为14的孩子可能是个例外。而且 由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此 作一些政策上的改进。
2.1.2 基于统计分布的离群点检测的优缺点
优点 建立在非常标准的统计学原理之上，当数据和检验的类型十分 充分时，检验十分有效。
与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝 对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是 先计算数据对象两两之间的距离，再计算每个对象与其他对象 的距离之和。
设M为用户期望的孤立点个数，则距离之和最大的前M个对象 即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的 需要。
1） 在样本空间中，至少存在k个对象q，使得d(p,q)<= d(p,o)；
2） 在样本空间中，至多存在k-1个对象q，使得 d(p,q)<d(p,o)。
1.2 离群点的来源
一、测量或执行误差所导致的。比如：某人的年龄-999岁， 这就是明显由误操的工资肯定是明显高于其他普通员工的工资，于是 CEO变成为了由于数据本身可变性所导致的离群点。
数据行为不一致的离群点，往往预示着欺诈行为，因此成为执 法者所关注的。此外，在销售中确定极高和极低收入的客户的 销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的 反应。
如果数据集合D中，对象至少有pct部分与对 象o的距离大于dmin，则称对象o是以pct和 dmin为参数的基于距离的离群点。即DB （pct，dmin）离群点。
（2）嵌套—循环算法 嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是 它避免了索引结构的构建，它把内存的缓冲空间分为两半，把 数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓 冲区域的顺序，能够提高效率。 （3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于 dmin /( 2 k)的单 元。每个单元有两个层围绕着它。第一层的厚度是一个单元， 而第二层的厚度是 [2 k 1。] 该算法逐个单元地对离群点计数， 而不是逐个对象地进行计数。
第2节 离群点的检测方法
2.1 基于统计分布的离群点检测
基于统计分布的检测方法是为数据集构建一 个概率统计模型（例如正态、泊松、二项式 分布等，其中的参数由数据求得），然后根 据模型采用不和谐检验识别离群点。不和谐 校验过程中需要样本空间数据集的参数知识 （例如假设的数据分布），分布的参数知识 （例如期望和方差）以及期望的离群点数目。
2.2.3 基于距离的离群点检测的优缺点 基于距离的方法与基于统计的方法相比，不需要用户拥有任何 领域知识，与序列异常相比，在概念上更加直观。 三种类型的基于距离的离群检测算法中，都要求用户设置参数 pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑， 复杂度高。
2. 2.4 基于距离和(DS)检测算法:
2.3 基于密度的离群点检测
基于密度的离群 点检测能够检测 出基于距离的异 常算法所不能识 别的一类异常数 据——局部离群 点。
2图.31.2中局，部O1离相群当点于C因2的子密（度LO来F说）是一个局部离群点，这就形成
了基于密度的局部离群点检测的基础。此时，评估的是一个对 象是离群点的程度，这种“离群”程度就是作为对象的局部离 群点因子（LOF），然后计算 。为了定义局部离群点因子，需 要引入以下几个概念： （1）对象p的k距离 对于正整数k,对象p的第k距离可记作k-distance(p)。在样本空间 中，存在对象o，它与对象p之间的距离记作d(p,o)。如果满足 以下两个条件，我们则认为k-distance(p)= d(p,o)：
缺点 第一， 绝大多数检验是针对单个属性的，不适合多维度空间， 这也是一个主要的缺点； 第二， 需要预先知道样本空间中数据集的分布特征，而这部 分知识很可能是在检测前无法获得的，就不能确保所有的离群 点被发现。
2.2 基于距离的离群点检测
2.2.1 基于距离的离群点含义 基于距离的离群点检测，也叫基于近邻的离 群点检测。此时离群点就是远离大部分对象 的点，即与数据集中的大多数对象的距离都 大于某个阈值的点。即：
的离群点。
例1 假如我们设儿童上学的具体年龄总体服从正态分布，所 给的数据集是某地区随机选取的开始上学的20名儿童的年龄具 体的年龄特征如下:
年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12} 那么.相应的统计参数是:
均值=9.1; 标准差=2.3 如果选择数据分布的阈值为：
离群点分析
离群点分析
1 离群点的简数介据处理方法 一
目
2 离群点的检测方法
2.1 基于统计分布的离群点检测
录
2.2 基于距离的离群点的检测
2.3 基于密度的离群点的检测 2.4 基于偏差的离群点的检测
第1节 离群点的简介
1.1 离群点的含义
在数据库中包含着少数的数据对象，它们与数据的一般 行为或特征不一致，这些数据对象叫做离群点。
第一， 在时间序列样本中发现离群点一般比较困难，因为这 些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二， 对于维度为非数值型的样本，在检测过程中需要多加 考虑，比如对维度进行预处理等； 第三， 针对多维数据，离群点的异常特征可能是多维度的组 合，而不是单一维度就能体现的。
2.1.1 不和谐检验
不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布 模型F，即：
不和谐检验就是检查对象 关于分布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充 分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝， 此时备用假设被采用，它声明该样本点来自于另一个分布模型。 如果某个样本点不符合工作假设，那么我们认为它是离群点。 如果它符合某个备择假设，那么它就是符合这一备择假设分布
阈值=均值±2×标准差 则在[4.5 ,13.7]区间以外的数据都是潜在的离群点， 将最大值取整为13。所以年龄为14的孩子可能是个例外。而且 由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此 作一些政策上的改进。
2.1.2 基于统计分布的离群点检测的优缺点
优点 建立在非常标准的统计学原理之上，当数据和检验的类型十分 充分时，检验十分有效。
与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝 对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是 先计算数据对象两两之间的距离，再计算每个对象与其他对象 的距离之和。
设M为用户期望的孤立点个数，则距离之和最大的前M个对象 即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的 需要。
1） 在样本空间中，至少存在k个对象q，使得d(p,q)<= d(p,o)；
2） 在样本空间中，至多存在k-1个对象q，使得 d(p,q)<d(p,o)。
1.2 离群点的来源
一、测量或执行误差所导致的。比如：某人的年龄-999岁， 这就是明显由误操的工资肯定是明显高于其他普通员工的工资，于是 CEO变成为了由于数据本身可变性所导致的离群点。
数据行为不一致的离群点，往往预示着欺诈行为，因此成为执 法者所关注的。此外，在销售中确定极高和极低收入的客户的 销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的 反应。
如果数据集合D中，对象至少有pct部分与对 象o的距离大于dmin，则称对象o是以pct和 dmin为参数的基于距离的离群点。即DB （pct，dmin）离群点。
（2）嵌套—循环算法 嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是 它避免了索引结构的构建，它把内存的缓冲空间分为两半，把 数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓 冲区域的顺序，能够提高效率。 （3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于 dmin /( 2 k)的单 元。每个单元有两个层围绕着它。第一层的厚度是一个单元， 而第二层的厚度是 [2 k 1。] 该算法逐个单元地对离群点计数， 而不是逐个对象地进行计数。
第2节 离群点的检测方法
2.1 基于统计分布的离群点检测
基于统计分布的检测方法是为数据集构建一 个概率统计模型（例如正态、泊松、二项式 分布等，其中的参数由数据求得），然后根 据模型采用不和谐检验识别离群点。不和谐 校验过程中需要样本空间数据集的参数知识 （例如假设的数据分布），分布的参数知识 （例如期望和方差）以及期望的离群点数目。
2.2.3 基于距离的离群点检测的优缺点 基于距离的方法与基于统计的方法相比，不需要用户拥有任何 领域知识，与序列异常相比，在概念上更加直观。 三种类型的基于距离的离群检测算法中，都要求用户设置参数 pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑， 复杂度高。
2. 2.4 基于距离和(DS)检测算法:
2.3 基于密度的离群点检测
基于密度的离群 点检测能够检测 出基于距离的异 常算法所不能识 别的一类异常数 据——局部离群 点。
2图.31.2中局，部O1离相群当点于C因2的子密（度LO来F说）是一个局部离群点，这就形成
了基于密度的局部离群点检测的基础。此时，评估的是一个对 象是离群点的程度，这种“离群”程度就是作为对象的局部离 群点因子（LOF），然后计算 。为了定义局部离群点因子，需 要引入以下几个概念： （1）对象p的k距离 对于正整数k,对象p的第k距离可记作k-distance(p)。在样本空间 中，存在对象o，它与对象p之间的距离记作d(p,o)。如果满足 以下两个条件，我们则认为k-distance(p)= d(p,o)：
缺点 第一， 绝大多数检验是针对单个属性的，不适合多维度空间， 这也是一个主要的缺点； 第二， 需要预先知道样本空间中数据集的分布特征，而这部 分知识很可能是在检测前无法获得的，就不能确保所有的离群 点被发现。
2.2 基于距离的离群点检测
2.2.1 基于距离的离群点含义 基于距离的离群点检测，也叫基于近邻的离 群点检测。此时离群点就是远离大部分对象 的点，即与数据集中的大多数对象的距离都 大于某个阈值的点。即：
的离群点。
例1 假如我们设儿童上学的具体年龄总体服从正态分布，所 给的数据集是某地区随机选取的开始上学的20名儿童的年龄具 体的年龄特征如下:
年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12} 那么.相应的统计参数是:
均值=9.1; 标准差=2.3 如果选择数据分布的阈值为：
离群点分析
离群点分析
1 离群点的简数介据处理方法 一
目
2 离群点的检测方法
2.1 基于统计分布的离群点检测
录
2.2 基于距离的离群点的检测
2.3 基于密度的离群点的检测 2.4 基于偏差的离群点的检测
第1节 离群点的简介
1.1 离群点的含义
在数据库中包含着少数的数据对象，它们与数据的一般 行为或特征不一致，这些数据对象叫做离群点。