一个网络数据抽取系统的调查

网络数据抽取系统的调查

摘要－互联网大量的有用信息通常为其用户格式化,这使得用户很难从不同来源的信息中提取相关数据。因此，一个功能强大、有效率的数据抽出(IE)系统，能够有效的把网页转变成一种数据结构，如一个表示关系的数据库，是必要的。虽然多数网页的数据抽出的方法已经被发展，已经有很多这方面的的工具。但是，能够具体抽的取出用户需要的一小部分的数据，已知的工具抽取的结果还是不尽人意的。这篇文章主研研究网络数据抽出方法而且从三个维度比较他们：任务领域，自动化程度，和技术的运用。第一个维度的标准是解释为什么一个IE系统未能处理一些网站特别的结构。第二方面的标准,即基于分类系统技术的应用。三维空间的标准衡量,即系统的自动化程度。我们相信这些标准能够很好的分析不同的抽取系统

编入索引中数据的抽出，网络采矿、包裹器，包裹器归纳法。

1介绍

全球互联网信息的爆炸式增长和普及导致了大量的信息资源在互联网上呈现。然而,由于缺乏结构的非均质性和网络信息的来源,访问这个巨大的信息集合体限制了浏览和搜索。复杂的Web挖掘系统,就像挑选物品的机器人一样,需要准确的判断能力,来应对不同的数据格式。自动翻译成结构化数据的输入页面,很多的研究一直致力于面积信息提取(IE)。与信息检索(IR),它涉及如何识别有关信息,IE产生结构化数据的等待处理,这是至关重要的,许多应用对其网络挖掘和搜索工具。

形式上,一个IE的任务是定义输入和提取目标。非结构化文件的输入可以像自由文本写自然语言(例如,图1),或者在网页内的数据，如列表(例如,图2。提取一个IE的目标任务可能是是一个关系的k-tuple(在k是属性的数量达到),也可能是一个复杂的对象与层级组织的资料。对于一些IE的任务,一个要求是没有一个错误并且拥有一个多重化的记录。一个IE的任务可能变得更加复杂当输入文件的排版错误和各种属性错误。

IE系统去执行任务的程序被称为抽取器或者

是包装器。一个包装器最初是被定义为在一个信息融合系统一个统一的查询接口访问多个信息来源。在一个信息集成系统中包装程序通常是“包裹”着信息来源(例如,一个数据库服务器或网络服务器)。这样的信息融合系统可以访问这些信息来源并且不改变其核心查询应答机制。在这样的情形,网络信息来源服务器,一个包装器必须查询的网络服务器收集结果页必须通过HTTP协议来进行信息提取,提取的HTML文档的内容,最后结合其他资料来源。在这三个程序,提出extrac收到信息最受重视和一些使用包装来表示解压程序。因此,我们使用术语萃取和包装互换。

包裹器归纳法(WI)和信息抽取系统(IE)是设计包裹器的系统程序工具。一个包裹器通常运行一个模式匹配程序，例如一种有限状态机制，并且依赖一套提取规则。配合一组抽出规则的程序的样式

图片1

配合一组抽出规则的程序(举例来说，一种有限抽取机制器的形式)的一个式样。一个作业指导书系统根据任务规模不同来分配任务要求,依据该文本类型、领域、和场景。最大限度的可重用性以及减少维修成本,设计一种可靠的作业指导书系统的。研究开发这领域的信息的理解、人工智能、数据挖掘等。这项任务的网络IE,我们所关心的，等等网络 IE 的任务。主要地不同于传统的IE任务在那传统的IE在从完全地unstruc－tured吸取数据对准目标自由的以自然语言被写的本文。在差别中的网络IE处理semistruc－tured的在线文件和通常藉着伺服端自动地产生申请计画。结果，传统的IE 通常利用NLP技术，像是辞典和文法，然而网络IE 通常应用机器学问而且模仿采矿技术开发以型板为基础文件的依照句法的式样或地面区划结构。

在本段落中,我们专注于IE从判断分类只有那些文件和讨论是否已经使用了网络数据。我们将对照不同作业指导书系统运用特征从三个维度来看,我们作为比较和评价标准指导书系统。接下来的文章是有组织的如下:部分2介绍相关作业指导书体系分类工作,我们总结评价所包含三个层面的系统。第三章提出了每一个尺寸标准。我们开发的一项调查表明,当代IE工具在第四节和运行例子做出这样的工具更易于理解。比较分析的基础上从IE工具调查的三个维度在第五部分提出了。最后,结论第6部分。

图片2 2 相关的工作

在过去几年中，许多已经已经发展了的WI系统，包括人工智能技术和式样抽取技术，已经被提出来。都拥有自动化的各种不同程度。在这一个区段中，我们调查了先前为被主要的研究员发展的IE 系统。

信息理解会议（MUCs）最早的开启了IE系统的开发工作。当时为本文IE定义了的五个主要的任务，包括命名实体识别，不同算法的分辨问题、型板元素的设计，型板关系工程、和结构型板生产。MUCs 的研究领域的一些研究人员对此系统设计进行分类,即激励方法分为两个不同类别的IE:麦肯联行方法(例如,AutoSolg[1]、[2]的基础上,PALKA投资,加速[3][4][5],水晶)和Post-MUC方法(如,将[6][7],剑杆,[8]深水救生艇,维也纳[9],SoftMealy[10][11],并跟踪)

hus and dung,包装器被分成四个不同范畴,包括手工包装纸用一般的编程语言,特别设计的gramming语言或其他工具,heuristic-based包装、及作业指导书的方法。chang所著这个分类和系统相比,从用户的角度和IE工具歧视的基础上的自动化程度。他们分类IE工具分为四大类,包括系统,需要程序员、系统需要注释的子,annotation-free 系统,semisupervised系统

Muslea,他建造起来(库的在线信息资源用于信息提取的任务)的网站,把IE工具分成三个不同的等级根据类型的输入文件以及结构/制约的提取中的应用。第一等级包括工具,过程从自由文本使用IE提取模式,主要基于句法/语义约束。第二等级被称作感应系统依赖于包装材料的使用IE任务以来delimiter-based规则过程在线文件的HTML 网页。最后,第三等级还将从网上文件(;然而,这些工具的模式,结合这两个语义约束和句法/分界符号。

Kushmerick 把许多IE工具分类为两个清楚的种类：有限的－州和表示关系的学问用工具工作[13].抽出在有限之物－州的工具中规定正式相等对一般的文法或者自动机械装置，举例来说,WIEN,SoftMealy和高视阔步者，当在表示关系的学问工具的抽出规则是本质上以像Prolog一样逻辑的形式计画，举例来说，SRV 、水晶、WebFoot[14]、轻巧而细长的剑和童话中的主角[15]的时候。

Laender 为数据抽出工具计划一个分类法基