基于RDF的海量语义数据管理研究

1.引言当前因特网的最大缺陷之一在于没有赋予网络上资源足够的语义信息，计算机不能够理解各种信息的含义。

这是促使万维网技术架构向语义万维网转变的根本原因所在。

在2000年，W3C推出了下一代互联网的模型———语义万维网。

在传统的HTM L页面中加入语义（本体）标签使其成为机器可以理解的内容。

也正因为如此，语义Web可以被看作是一种数据的网络，是某种意义上的全球范围的数据库。

在语义万维网的结构中，资源描述框架(RDF)占有非常重要的地位。

它被设计出来的主要目的是实现Web上信息资源的语义描述。

伴随语义技术的不断完善与应用，目前每天网络中都涌现出成亿的RDF语义格式数据。

RDF的基本构成是以三元组形式陈述该资源（主语）的某一属性（谓语）所具有的属性值（宾语），定义了一种描述计算机可理解的通用数据语义。

RDF衔接低层对数据的语法编码（XM L）和高层对数据的知识抽象（RDFS和OWL等），作为数据交换层的基础地位显而易见。

与已有数据模型不同，RDF图是有向图，能够表达隐含语义，富含文本信息，且规模庞大。

这些特点造成RDF数据管理中存储设计难度大，查询处理复杂且效率低，查询结果排序困难等问题。

一个海量的RDF数据管理系统中最关键的部分仍是高效存储和高查全和查准的搜索处理，针对以上问题，本文对RDF海量数据管理中的若干关键技术展开研究。

2.背景介绍2.1海量数据的增长RDF格式的数据大量涌现，使RDF数据管理面临巨大挑战。

Swoogle的统计数字表明目前Web上已经分布了数目庞大的RDF文档。

同时，在许多专门领域中还出现了包含海量信息的RDF格式数据集，例如：2007年10月6日统计的RDF格式的ODP（Open DirectoryProject）数据中目录结构文件达到66.71M B（gz压缩格式），而内容描述文件超过309.56MB（gz压缩格式）；截至2007年8月，RDF格式的DBLP数据SwetoDblp4也已经达到11M（11014618）个三元组，记录了超过560792位作者、902383篇论文；DBpedia5数据集从维基百科（Wikipedia）中抽取出大约包含91M个三元组，描述了来自10种不同语言的1.6M个概念；用于描述地理空间语义信息的GeoNames6本体，其RDF格式文档中包含93M（93896732）个三元组；美国人口统计数据7甚至包含了700M个三元组的庞大统计信息。

在2005年8月，雅虎宣称其搜索引擎的数据库中，Web文件总量已达到192亿个之多。

显然，数据规模庞大，加之数据模型复杂，必然导致海量数据管理设计面临挑战：既要考虑数据的存储设计，又要考虑数据的描述，查询和获取。

2.2RDF通用语义2000年之后，万维网不再仅仅是一个供人浏览数据的空间，而且是各种应用程序和智能设备（机器）获取信息和集成应用的空间，开始进入多元化应用阶段。

这一阶段体现出来的核心思想是资源共享与协同工作[1]。

资源包括网络上的硬件、软件、数据、信息和知识等多个层次上的资源，例如CPU计算能力、磁盘的存储空间、特定功能软件的服务资源、通用格式的数据、特定用途的信息、领域知识等。

协同工作则是采用工作流、多智能代理等技术对网络上提供的服务进行动态组装[2]。

超越浏览阶段的代表性研究热点包括：Web服务（Web Service）、智能Agent、点对点技术（P2P）、语义万维网（Semantic Web）等。

XML将分离格式与数据，是通用的数据交换标准，但其并不具备语义描述能力。

为此，W3C推荐以资源描述框架（Resource Description Framework，RDF）来解决XML的语义局限。

RDF提出了一个简单的模型用来表示任意类型的数据。

这个数据模型由节点和节点之间带有标记的连接弧所组成。

节点用来表示Web上的资源，弧用来表示这些资源的属性。

因此，这个数据模型可以方便的描述对象（或者资源）以及它们之间关系。

RDF的数据模型实质上是一种二元关系的表达，由于任何复杂的关系都可以分解为多个简单的二元关系，因此RDF的数据模型可以作为其他任何复杂关系模型的基础模型[3]。

它提供了一种用于表达信息,并使其能在应用程序间交换而不丧失语义的通用框架，是语义网表示语义信息的基础。

2.3语义数据管理系统要使计算机能够理解信息资源中丰富的逻辑语义关系并进行推理检索，检索系统必须具备以下几个条件[4]:(1)一定的知识体系来表达概念对象及其相互间的逻辑语义关系；(2)一定的词汇体系来描述这些对象类及其关系,建立对应的元数据元素；(3)一定的赋值机制来建立元数据元素与对应资源(或资源片段)的描述关系；(4)一定的标记语言和语法来对元数据元素及其赋值关系进行标记；(5)一定的检索推理机制为利用知识体系和标记语言进行搜索、验证和推理。

如果上述这些机制都能以计算机可理解、可处理的方式建立起来并在网络资源系统中普及,就能实现网络环境下基于语义的检索和推理[5],这也正是设计海量语义数据系统的基础。

3.海量语义数据管理语义万维网中的RDF和本体具有良好的概念层次结构和对逻辑推理的支持,因而在信息检索,特别是在基于知识的语义检索中得到了广泛的应用[6]。

3.1RDF使用场景与通常意义的数据管理一致，RDF数据管理基本组成包括：数据存储，查询处理及查询结果排序等部分。

如下的典型场景充分展示了当前应用对RDF数据管理的主要需求：场景一：目前Web上已经分布了规模庞大的RDF文档。

对于以查询为主的应用而言，文档形式的RDF数据缺乏有效的组织，不利于查询处理，尤其难以适应数据量大的情况。

场景二：对于已经存在本体信息的情况，使用RDF查询语言来查询RDF数据是获取其中所表达的语义信息的主要手段。

查询结果应同时包含显式表达的和隐含表达的语义信息。

场景三：基于关键词查询数据是另一类常用的获取信息的手段，尤其适合对数据模式没有深入了解的普通用户。

对于RDF数据也存在同样的情况，在本体未知或不明确的情况下，基于关键词的查询必不可少。

场景四：无论是使用查询语言对语义的查询还是使用关键词的查询，查询结果数量都可能非常庞大。

向用户推荐最相关的一部分查询结果可以有效增强用户的查询体验。

[7]3.2数据管理研究内容综合分析上述场景应用，结合RDF数据管理的需求与面临的挑战，当前对RDF数据管理的研究重点可以归纳为四个方面：(1)RDF数据的有效存储，(2)对隐含数据语义查询的支持，(3)关键词查询，(4)搜索结果排序等。

以下分别进行研究分析：3.2.1RDF数据的有效存储RDF数据存储，按照存储介质类型可以分为五类：(1)基于内存的系统[8]：将RDF图数据全部加载并组织在内存中，所有的查询也都在内存中执行完成，其优缺点都很明显：查询响应快，但内存开销显著，是典型的利用内存空间换取时间的方法。

(2)基于数据库的系统[9]：采用数据库作为后台存储，其优点是技术成熟度高、系统稳定。

缺点是传统数据库模型往往与RDF图数据模型不一致，模型之间转换导致的存储和查询开销较大，即存在“阻抗失配”效应。

(3)原生存储系统[10]：也称为Native存储方式，专门针对RDF图特点设计存储模式，摆脱了传统数据库普遍存在的阻抗失配问题。

此类系统虽然灵活性很大，但由于相关研究刚刚起步，在性能方面仍需很大改进。

(4)基于P2P方式的系统：即点对点存储方式，以P2P方式在网络上共享RDF图数据，相对于前述采用集中式存储的系统在可扩展性上有基于RDF的海量语义数据管理研究山东莘县职业中等专业学校马秀平［摘要］随着Web信息呈指数级增加，目前存储模式已难以适应大规模R DF数据高效存储的需求。

本文通过对语义万维网结构以及R DF语义文件存储和查询技术的研究，分析了海量语义数据管理的研究领域和现状，提出了基于R DF的海量数据管理框架。

该框架旨在实现对海量数据的管理，以解决R DF数据管理中存在存储设计难度大，查询处理复杂且效率低，查询结果排序困难的问题。

［关键词］R DF语义数据海量数据R DF存储585——所提高，但依赖于特殊的网络协议，应用上受到较大限制。

(5)基于Web的系统：考虑到上述系统在可扩展性和可用性方面的局限，此类系统采用Web技术处理网络规模的RDF数据，通常仅保留对RDF文档的少量索引，而缺少支持语义查询的必要信息。

3.2.2对隐含数据查询的支持RDF包含显式数据和隐含数据两部分。

显式数据是指在RDF文档中定义的一组三元组，而隐含数据是指利用推理规则从显式数据中推理得出的一组新的三元组。

对RDF图的查询处理不但要具有对显式数据查询的能力，还要具有对隐含数据查询的能力。

因此，隐含数据查询是否被完整、正确地执行直接影响着RDF图查询的整体性能。

推理中自反、传递性是两个最主要的构造隐含数据的属性，因此自反传递闭包的有效计算也成为当前研究隐含数据查询的一个热点问题。

目前，可用于自反传递闭包计算的方法主要分为两大类，即基于产生式规则推理的计算方法和基于标记机制的计算方法[11]：(1)基于产生式规则推理是人工智能领域规则引擎中常用的方法，根据采用的推理策略不同又可以详细划分为：Forward chaining（前向链），从一个初始的事实出发，不断地应用规则得出结论，优点是查询响应快，缺点是保存推理结果的预处理需要较多时间，而且要占用较多磁盘空间；Backwardchaining（后向链），从假设目标出发不断地寻找符合假设的事实，优点是不需要大量的磁盘空间来保存推理结果，也不需要额外的数据加载时间，缺点是查询响应慢；Hybrid（混合法），对于不产生大量数据的规则采取forward chaining，而对于其余的规则采取backward chaining。

(2)标记机制是数据库领域中常用的索引技术。

Christophides等人主张采用标记机制配合RDF图存储系统实现传递闭包的计算。

他们分析并比较了三类标记机制：位向量机制（Bitvectorschemes），前缀机制（Pre-fix schemes），区间机制（Interval schemes）。

实验结果表明，使用标记机制解决传递闭包计算的方法相对于单纯使用数据库的方法，能使查询响应时间降低3～4个数量级。

值得注意的是，文献中仅对有向无环图（DAG）的情况做了分析，结果不能直接应用于图中存在环的情况。

3.2.3关键词查询的支持自然语言是最容易被人类接受的表达形式，因而通过构造关键词查询语句查询RDF图中的文本信息是辅助RDF图语义查询的一种有效手段。

如何将关键词查询与语义查询有机结合是这一研究的重点。

当前，关键词查询主要集中于语义门户和语义Web搜索引擎等应用中。

(1)本体元数据搜索引擎以及基于Crawler的本体搜索引擎，都是通过关键词查询得到以语义Web文档（RDF文档或OWL文档）为单位的查询结果，在此基础上可进一步通过导航的形式浏览其RDF图。