文献翻译

西安科技大学毕业设计(论文)文献翻译题目大数据的分布式基于密度的异常检测的一个有效的算法院、系(部) 计算机科学与技术学院专业及班级姓名指导教师日期大数据的分布式基于密度的异常检测的一个有效的算法摘要异常值检测的是在数据管理和多媒体分析地区的流行的问题，并且可以在许多应用中使用，如检测噪声的图像，信用卡欺诈检测网络入侵检测。

基于密度的异常，异常是一个重要的定义，它的目标是计算一个局部异常因素（LOF）在数据集中的每个元组来表示该元组的程度是一个局外人。

它显示了与其他现有的定义比较几个显著的优势。

本文侧重于分布式基于密度的异常检测的用于大规模数据的问题。

首先，我们提出了一个基于网格划分算法（GBP）作为数据制备方法。

GBP 第一分割数据集分成几个网格，然后在分布式环境中分配这些网格的数据节点。

第二，我们提出用于检测平行，这仅仅需要网络通信量小的基于密度的离群分布式LOF的计算方法（DLC）。

最后，所提出的方法的效率和效益，通过一系列的模拟实验验证。

关键词：基于密度的异常；离群；局部离群因子；分布式算法1.前言异常值检测起着数据管理和多媒体分析，地域中起重要作用，如检测噪声图像和信用卡欺诈检测的。

据霍金斯[1]，“一个离群是偏离观察其他这么多作为观察引起怀疑它是由不同的机制产生的。

“迄今为止，已经有大量的研究针对异常值检测，和各种定义已被提出，例如，DB-离群[2]，顶正离群[3]和基于密度的离群。

存在着大量的优秀算法离群检测。

然而，大多只注重集中环境。

随着数据量的不断增加，这些算法的处理效率变得有限，无法满足用户“要求”。

例如，在电子商务领域，我们以用户的交易信息作为数据集，以及异常交易记录的异常值。

然后，异常检测的技术可以帮助我们找到用户帐号被盗和避免财产损失。

对于许多在线购物网站（如eBay和亚马逊），每天产生的交易信息量大。

如果我们用传统的集中式算法来计算离群，它需要几个小时甚至几天的时间。

时间效益不能保证。

在这种情况下，无法避免经济损失。

因此，这是很必要设计一个并行算法，可以使用多台机器来加快计算离群。

本文着重于在分布式环境中的异常检测的问题，我们按照基于密度离群[4]的定义。

具体而言，在一个数据集，对于每一个元组P，我们计算该表示的程度其本地异常因子（LOF）p是一个局外人。

LOF可以反映出相对于P中的（w.r.t.）及其周围的邻居相邻的局面。

我们将在第3节的形式化描述与异常值的其他定义相比，基于密度的异常值有两个好处。

（a）在其他现有的方法[2,3]，所述异常检测被认为是二进制问题（无论是在数据集中的目标是一异常值与否）。

相反，基于密度的异常时，往往会为每个对象分配了一定程度的作为一个局外人，他们表现出它在许多复杂的场景更有意义。

（b）它们指出，在许多现实世界的数据集，无论一元组t可离群值或不取决于它的周围附近（只有被关闭为p的元组）。

在这种情况下，LOF实现了比其它现有方法更好的表现力。

存在一种研究[5]着眼于与我们的纸相同的问题。

[5]，他们采用用于分布式计算的主从架构。

每个从节点计算它的邻居罩集（它是一个包含所有本地元组和矩阵的各附近），并把它发送到主节点。

主节点收集所有所有元组的部分街区集和计算外场所。

显然，这种方法是不适合于大规模数据分布异常检测，因为大量的元组被汇总到主节点，并需要大量的计算才得到的结果。

主节点成为瓶颈，当数据规模大时。

在本文中，有效地检测基于密度的离群值在分布式环境中，我们提出了几种实用技术，其总结如下：1.我们提出了数据预处理基于网格划分算法（GBP）。

该算法第一次分割整个数据集成几个网格，然后在分布式环境中分配这些网格的数据节点。

使用英镑，就可以平衡工作量上的每个数据节点，降低网络开销，同时计算异常值。

2.我们建议，用于检测平行，它包括两个部分的基于密度的离群分布式LOF的计算方法（DLC）。

首先，根据LOF的特点，我们将网格的元组分为两类：网格本地元组和横网元组。

网格本地元组可以在本地进行处理，和网络通信只需要为交叉网格元组。

然后，我们设计一个定制方法以最小化需要通过网络将被发送的元组的数量。

3.我们通过一系列的模拟实验评价所提出的方法的性能。

实验结果表明，基于密度的异常值可以并行有效利用英镑和DLC来计算。

我们的方法的性能可满足实际应用的要求。

本文的其余部分安排如下。

在第二节中，我们简要回顾一下相关的工作。

第3节中规定基于密度的一场检测在分布式环境中的问题。

在第4节中介绍英镑和DLC的细节。

第5节介绍了实验结果。

最后，我们在第6节中总结本文。

2 相关工作我们总结第2.1节离群和相关计算方法的现有定义。

然后，分布式计算离群的以前的方法在2.2节中描述。

2.1离群的定义离群的概念于1980年提出由霍金斯[1]在近几十年来，它已经吸引了众多学者的关注，并提出离群几种正式定义。

个早期的研究[1,6,7]聚焦于基于统计的方法来检测离群值，其中该元组被建模为一个分布和异常值是谁显示从假定分布显著偏离的元组。

然而，对于高维数据基于统计的技术是无法建立一个合适的模型，从而导致性能下降。

某些非统计（无模型）方法被提出，他们不依赖于假设的数据分布。

诺克斯和Ng [2]提出了基于距离的（DB）离群值。

给定两个参数K，R，一个元组p的附近是其距离为p是小于或等于r的元组，和p被确定为是一个DB离群如果其附近的数大于给定的门限值K小。

他们还提出了一个嵌套循环（NL）方法来计算DB异常值。

纳玛斯旺等。

[3]指出，埃德温的方法缺乏离群排名信息。

因此，他们提出了一个新的定义，称为D K N异常，并提出了一些有效的算法来计算采用集群技术离群。

另一种免费模式的方法是基于密度的异常值[4]在我们本文所采用。

而不是直接确定的元组是否是一个异常，这表示该元组的程度是一个异常值被分配给每个元组的局部异常因子（LOF）。

一个元组P的LOFT是通过分析当地居委会计算。

与其他的定义进行比较，密度根据离群显示已在第1节中示出几个显著优点。

另一种免费模式的方法是基于密度的异常值[4]在我们本文所采用。

而不是直接确定的元组是否是一个异常，这表示该元组的程度是一个异常值被分配给每个元组的局部异常因子（LOF）。

一个元组P的LOFT是通过分析当地居委会计算。

与其他的定义进行比较，密度根据离群显示已在第1节中显示出几个显著优点。

一些研究旨在提高对异常检测的计算效率。

湾和Schwabacher[8]提出使用随机化和简单的修剪规则嵌套循环算法，他们发现，该算法对附近许多大型真实数据集的线性时间的性能。

Angiulli和Fassetti[9]提出的海豚。

通过保持在主存储器中的数据的一小部分，需要的全部数据被扫描两次来计算异常值。

此外，索引技术数字（例如，R树[10]）被用来加速。

最近加速计算，还涌现一些离群点检测算法的特殊用途，如不确定数据[11]流数据[12]和高维数据[13]2.2在分布式环境下异常检测在大规模数据面前，它需要很长的时间，异常检测，如果我们仍采用集中式的算法和效率是不是在大多数情况下，令人满意。

因此，一些研究人员开始利用多台机器来加快计算，并提出了几种方法[14-16]分布式异常检测。

Otey等人。

[17]提出了一种离群定义为具有混合属性的数据，并设计了分布式的方法来检测离群值。

他们认为包含分类和连续属性的混合数据集。

计算过程包括两个步骤。

在第一步骤中，它们旨在异常得分函数和计算的局部异常得分的所有元组。

在第二步骤中，全局模式被用来重新计算的元组，其局部得分大于阈值的异常分数。

最后，将异常值是根据其异常的分数选择。

Angiulli等。

[18]提出了在分布式环境中前N个异常检测的方法。

在第一次迭代中，每个分节点随机地选择n个元组，并将它们传送到主节点。

在主节点中，这些元组的街区计算和顶n个元组被选择在分节点过滤掉本地元组。

在第二次迭代中，每个分节点另一个n个元组随机选择并转移到主节点。

主节点重新计算前N个元组，并使用它们修剪当地的元组。

重复这个过程，直到所有的本地元组修剪。

该方法是复杂的，需要多次迭代。

此外，大多数计算的发生这对于大规模数据的瓶颈的主节点上。

洛萨诺和Acufia[5]提出了一种分布式算法来计算基于密度的异常值，这在我们的论文同一个问题的目标。

该算法是BREUNING的方法[4]的并行版本。

然而，正如我们在第1节所述，他们采用主从式架构。

在从属节点，每个元组的当地居委会的本地计算。

然后所有元组和它们附近的被转移到主节点。

最后的结果将在主节点计算。

由于所有的元组被转移到主节点，所述主节点上的工作负荷是相当重的。

因此，当数据规模大时这种方法不能达到良好的性能。

异常检测在基于图形的数据管理的一些应用。

具体地，许多基于图形的模型被用作几何图像描述符[20]，以提高图像的分类。

此外，这些方法可被用作超像素[21-23]的图像的高阶潜在描述符。

此外，基于图的描述符可以被用作一个一般的图像审美描述符来提高图像美学排名，照片重新定位和裁剪[24-26]。

3问题陈述本节中，我们首先给出基于密度的离群的正式定义。

然后，我们简要介绍一下在分布式环境中基于密度的异常检测的框架。

在本文中使用的符号总结于表1中。

3.1基于密度的离群定在d维空间（P的尺寸是JPJ）的数据集合P，一个元组p被表示为P =<p=1;p=2;...;p=d>。

为了简化说明，一个元组的每个维度值被标准化为0;1在本文的其余部分。

两个元组P的距离; q为接下来，我们描述一个元组的LOF面前给出一些基本的定义。

定义1（一元组的第k距离）给定一个正整数k，一个元组或（表示为磁盘（○））的第k距离为o及一个元组p使之间的距离：（a）存在至少k元组●将产品DIS（Q，O）<= DIS（P，O），和（b）（b）至少为k-1元组q0'的DIS（Q'，O）存在<DIS（P，O）（c）定义2（元组的K-距离附近）。

给定一个正整数k，一个元组0的K-距离邻近该组元组的距离从o为小于或等于的（d）需要注意的是，给定一个元组O，元组的系数，可以是大于K时超过1元组，其放大邻距离等于dis k(x),例如，在图1中，给定K=3和包含4元组，包括p1,p2,p3和p4。

定义3（元组p w.r.t.邻可达的距离）。

对于一个给定参数k，元组p w.r.t.的可达距离O定义如图1显示出可达距离。

给出一个元组0的初衷，如果一个元组是如此接近邻，这是元组邻的k近邻距离（例如，第1页），此元组w.r.t.的可达性距离Ø等于0的K-距离。

否则，如果一个元组远离O（例如，第5页），可达距离是该元组和O之间的实际距离。

定义4（一个元组的局部可达密度）。

对于给定的参数k，一个元组0的本地可达性密度被定义为显然，岂是平均Öw.r.t.的可达距离的倒数元组在。