基于OEM模型的半结构化数据的模式发现

１引言半结构化数据是介于毫无结构的天然数据ｒａｗｄａｔａ（如声音、图像文件）和传统数据库中严格结构化的数据（如关系数据库中的表或对象数据库中的有序图）之间的一种自描述性数据［１，２］。

在Ｗｅｂ环境中，大多数Ｗｅｂ查询使用情报检索技术，对于文档内容与关键字的相似度，并返回相似度较大的文档集合。

这种方法得到的结果数量过多，其中真正用户所需的信息却很少。

这是因为Ｗｅｂ数据是典型的半结构化数据，这种数据的特征是现有数据，后有模式。

因此缺乏明确的、预知的、与数据分离存储的外在模式，从而导致查询、浏览和集成Ｗｅｂ数据的效率极低。

因此人们期望Ｗｅｂ数据象数据库数据一样，能够利用数据结构进行有效的检索［３］。

Ｓｔａｎｆｏｒｄ大学ＳｅｒｇｅＡｂｉｔｅｂｏｕｌ教授提出的ＯＥＭ（ＯｂｊｅｃｔＥｘｃｈａｎｇｅＭｏｄｅｌ）模型［４，５］是一种自描述的对象模型，专为表达半结构化数据而设计。

它最初的目的是为异构数据源之间的数据交换提供高度灵活的转换工具。

它既考虑Ｗｅｂ页内各成分的关系，也考虑Ｗｅｂ页之间的关系。

半结构化、层次数据的模式发现是为了找到数据中的结构，发现数据对象间的关系，因此对ＯＥＭ模型中连接对象的ｌａｂｅｌ比对象本身更感兴趣，需要找出ＯＥＭ模型中所有最大频繁简单路径表达式。

２基本概念ＯＥＭ（ｏｂｊｅｃｔｅｘｃｈａｎｇｅｍｏｄｅｌ）模型是一种带有嵌套和标记的自描述性有向图（图中可以含有环）。

数据对象用结点表示，对象之间的层次关系由边上的标记（ｌａｂｅｌ）表示。

每个对象包含对象标识（ｉｄｅｎｔｉｆｉｅｒ）和对象值（ｖａｌｕｅ）。

（１）对象标识（ｏｉｄ）在对象空间中唯一标识对象对象值则有两种表示方式：①原子对象如果以顶点的出度ＯＤ为零的对象即为原子对象。

也就是说，该对象没有子对象。

原子对象值为原子类型，如整型、字符串、实型、图像等。

②复杂对象如果以对象为顶点的出度ＯＤ大于零的对象称为复杂对象。

也就是说，该对象不是叶子结点，一定有其孩子结点。

复杂对象的值是一个对象引用的集合，即二元组（ｌａｂｅｌ，ｏｉｄ）的集合。

例如在图１中，对象＆４４是原子对象，其值为“ＥＩＣａｍｉｎｏＲｅａｌ”，而对象＆１４是一个复杂对象，其值为｛（ｓｔｒｅｅｔ，＆１４），（ｃｉｔｙ，＆１５），（ｚｉｐｃｏｄｅ，＆１６）｝。

基于ＯＥＭ模型的半结构化数据的模式发现吕橙，魏楚元，张瀚韬（北京建筑工程学院计算机系，北京１０００４４）摘要：随着Ｗｅｂ数据和数据集成技术的飞速发展，半结构化数据越来越引起人们的重视。

半结构化数据是指那些具有隐含结构或结构不严谨的自描述数据。

它不同于传统数据中的模式，它是先有数据后有模式，而且半结构化数据的模式是用于描述数据的结构信息而不是对数据结构进行强制约束。

为此，半结构化数据的模式发现就成为知识发现的首要步骤。

采用了层次数据的概念，提出了分层事务数据库和“累加变换”的计数原则，并据此提出了基于ＳＨＤＰ－ｔｒｅｅ树结构的ＳＨＤＰ－ｍｉｎｅ算法和挖掘出半结构、层次数据的基本模式。

最后从理论和实验分析和验证了它的有效性和高效性。

关键词：半结构化层次数据；ＯＥＭ模型；分层事务数据库；ＳＨＤＰ－ｔｒｅｅ结构文章编号：１００２－８３３１（２００６）３４－０１６２－０４文献标识码：Ａ中图分类号：ＴＰ３１１ＳｃｈｅｍａＤｉｓｃｏｖｅｒｙｏｆＳｅｍｉ－ｓｔｒｕｃｔｕｒｅｄＤａｔａＢａｓｅｄｏｎＯＥＭＭｏｄｅｌＬＶＣｈｅｎｇ，ＷＥＩＣｈｕ－ｙｕａｎ，ＺＨＡＮＧＨａｎ－ｔａｏ（ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＢｅｉｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＡｒｃｈｉｔｅｃｔｕｒｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＡｌｏｎｇｗｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆＷｅｂｄａｔａａｎｄｄａｔａｉｎｔｅｇｒａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ｓｅｍｉ－ｓｔｒｕｃｔｕｒｅｄｄａｔａｈａｖｅａｒｏｕｓｅｄｐｅｏｐｌｅ’ｓｍｏｒｅｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｓｅｍｉ－ｓｔｒｕｃｔｕｒｅｄｄａｔａｉｓａｋｉｎｄｏｆｓｅｌｆ－ｄｅｓｃｒｉｂｅｄｄａｔａｗｈｏｓｅｓｔｒｕｃｔｕｒｅｉｓｕｎｐｒｅｃｉｓｅｏｒｃｏｎｎｏｔａｔｉｖｅ．Ｉｔｉｓｄｉｆｆｅｒｅｎｔｆｒｏｍｔｈｅｓｃｈｅｍａｏｆｃｏｎｖｅｎｔｉｏｎａｌｄａｔａ．Ｉｔｈａｓｄａｔａｆｉｒｓｔｂｕｔｓｃｈｅｍａｌａｔｅｒａｎｄｉｔｓｍｏｄｅｉｓｕｓｅｄｔｏｄｅｓｃｒｉｂｅｓｔｒｕｃｔｕｒｅｉｎｆｏｒｍａｔｉｏｎｏｆｄａｔａｎｏｔｔｏｉｍｐｌｅｍｅｎｔｃｏｍｐｕｌｓｉｖｅｒｅｓｔｒｉｃｔｉｏｎ．Ｔｈｅｓｃｈｅｍａｄｉｓｃｏｖｅｒｙｏｆｓｅｍｉ－ｓｔｒｕｃｔｕｒｅｄｄａｔａｈａｓｂｅｃｏｍｅｔｈｅｆｉｒｓｔｓｔｅｐｏｆｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙ．Ｔｈｅｃｏｎｃｅｐｔｏｆｈｉｅｒａｒｃｈｉｃａｌｄａｔａｉｓａｄｏｐｔｅｄａｎｄａｃｏｕｎｔｉｎｇｐｒｉｎｃｉｐｌｅｏｆｈｉｅｒａｒｃｈｉｃａｌｔｒａｎｓａｃｔｉｏｎｄａｔａｂａｓｅａｎｄａｃｃｕｍｕｌａｔｉｎｇｔｒａｎｓｆｏｒｍａｒｅｏｆｆｅｒｅｄｉｎｔｈｉｓｐａｐｅｒ．ＡｎｅｗａｌｇｏｒｉｔｈｍＳＨＤＰ－ｍｉｎｅｂａｓｅｄｏｎＳＨＤＰ－ｔｒｅｅａｎｄａｂａｓｉｃｓｃｈｅｍａｕｓｅｄｔｏｍｉｎｅｓｅｍｉ－ｓｔｒｕｃｔｕｒｅｄａｎｄｈｉｅｒａｒｃｈｉｃａｌｄａｔａｉｓａｌｓｏｏｆｆｅｒｅｄｉｎｔｈｉｓｐａｐｅｒ．Ａｔｌａｓｔ，ｉｔｓｖａｌｉｄｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙｉｓａｎａｌｙｚｅｄａｎｄｖａｌｉｄａｔｅｄｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔａｎｄｔｈｅｏｒｙ．Ｋｅｙｗｏｒｄｓ：ｓｅｍｉ－ｓｔｒｕｃｔｕｒｅｄｈｉｅｒａｒｃｈｉｃａｌｄａｔａ；ＯＥＭｍｏｄｅｌ；ｈｉｅｒａｒｃｈｉｃａｌｔｒａｎｓａｃｔｉｏｎｄａｔａｂａｓｅ；ＳＨＤＰ－ｔｒｅｅｓｔｒｕｃｔｕｒｅ基金项目：北京市教委科技发展计划资助项目（ＫＭ２００５１００１６００２）。

作者简介：吕橙（１９６９－），男，讲师，研究领域为数据仓库、数据挖掘、电子商务。

（２）简单的路径表达式和数据路径表达式一个简单的路径表达式是以点为间隔的标记（ｌａｂｅｌ）序列（记作ｐｅ＝ｌ１．ｌ２．…．ｌｎ）。

例：ｐｅ＝ｒｅｓｔａｕｒａｎｔ．ａｄｄｒｅｓｓ．ｃｉｔｙ是一个长度为３的简单路径。

一个数据路径是以逗号为间隔地以ｌａｂｅｌ，ｏｉｄ交替出现的序列，它是数据路径表达式的实例。

记作ｄｐ＝Ｏ０，ｌ１，Ｏ１，ｌ２，…，ｌｎ，Ｏｎ。

对于两个连续的对象，前一个对象的值包含后一个对象的对象引用，并在给定的顺序中用两个对象间的标记标定。

例：ｄｐ１＝｛１２，ｒｅｓｔａｕｒａｎｔ，１９，ｃａｔｅｇｏｒｙ，１７｝；ｄｐ２＝｛１２，ｒｅｓｔａｕｒａｎｔ，１９，ｎｅａｒｂｙ，３５｝；ｄｐ３＝｛１２，ｒｅｓｔａｕｒａｎｔ，３５，９２３１０，５５｝；２．１ＯＥＭ模型相关的定义定义１令ｌｉ是对象引用中的一个标记，其中ｉ＝１，…，ｎ（ｎ≥１），则ｐｅ＝ｌ１，ｌ２，…，ｌｎ是一长度为ｎ的简单路径表达式。

定义２令Ｏｉ是一个对象ｉ＝０，…，ｎ，ｌｉ是一个标记ｉ＝１，…，ｎ且＜ｌｉ，ｉｄｅｎｔｉｆｉｅｒ（Ｏｉ）＞∈ｖａｌｕｅ（Ｏｉ－１），ｉ＝１，…，ｎ（ｎ≥１），则ｄｐ＝Ｏ０，ｌ１，Ｏ１，ｌ２，…，ｌｎ，Ｏｎ，Ｏｎ是一个源于Ｏ０的止于Ｏｎ的长度为ｎ的数据路径。

定义３ｐｅ出现在ＯＥＭ图中的个数，称作ｐｅ的支持度计数，ｐｅ的支持度计作ｓｕｐ（ｐｅ）。

当ｓｕｐ（ｐｅ）≥ｍｉｎ＿ｓｕｐ（由用户定义的最小支持度）时，ｐｅ为频繁ｐｅ，记作ｆｐｅ，否则为非频繁ｆｐｅ。

定义４对于任何ｆｐｅ，使得ｆｐｅ的任何真子集都不是频繁的，称为最大频繁简单路径表达式，记作ｆｍｐｅ。

定义５半结构化层次数据模式：ＯＥＭ图中所有ｆｍｐｅ的集合称作半结构化层次数据模式。

２．２ＯＥＭ模型相关的性质性质１如果简单路径表达式ｐｅ是非频繁的，则任何包含ｐｅ的简单路径表达式也是非频繁的。

性质２如果简单路径表达式ｐｅ是频繁的，但存在一个简单路径表达式ｐｅ１包含ｐｅ，且ｐｅ１也是频繁的，则ｐｅ不是一个最大频繁简单路径表达式。

３相关工作分析文献［６］用ＭＦＲＯ来简洁地表达半结构化数据的模式。

该文的采用的方法是将ＯＥＭ模型转化成非确定的有限自动机的状态转移图，然后将之确定化及最小化得到最小ＦＲＯ；但该方法会产生过大的模式，降低数据查询的效率，并且极其耗时。

文献［７］提出的算法并利用了数据的层次性特点，采用自顶向下的剪枝策略，在ＯＥＭ图中自顶向下生成频繁模式树。

但该文献存在如下的问题：（１）为了回避分支路径对支持度的影响，采用ｄｐ（数据路径）构造事务数据库Ｄ，同时提供了一个函数ｐｅ（ｄｐ），在挖掘过程中，将每条数据路径转换成简单数据路径表达式，这无疑增大了计算量；（２）该文献不能处理ＯＥＭ图中存在环路的情况；（３）该文献采用关联规则大项集生成方法，属于Ａｐｒｉｏｒｉ的变体算法，这就无法避免会带来两个沉重的代价［８］。

文献［９］利用简单数据路径表达式定义模式，有效解决了环路问题，但文献［９］在采用简单路径表达式来抽取模式过程中，未能有效解决分支路径对支持度的影响；此外，算法仍然采用Ａｐｒｉｏｒｉ算法的变体，不能避免两个沉重的代价。

从相关的工作来看，需要解决以下问题：（１）如何直接采用ｍｐｅ构建事务数据库、合理地解决分支路径的影响？（２）如何构造一种便于查询结构，不需要产生候选集就可通过深度优先遍历该结构直接查找出ｆｍｐｅ？（３）如何减少事务数据库的扫描次数和对该结构的遍历次数？４基于分层事务数据库和ＳＨＤＰ－ｔｒｅｅ结构的模式发现算法４．１模式的定义将待抽取的数据模式定义为ＯＥＭ图中所有最大频繁简单路径表达式ｆｍｐｅ组成的集合ｆｍｐｅｓ。

选择简单路径表达式而不选择数据路径ｄｐ，是因为前者更能反映半结构化数据的一般结构，而后者与对象结点相关联，只能反映数据的局部特征。

４．２事务的标定在事务的标定问题上有两种选择：简单路径表达式ｐｅ和数据路径ｄｐ。

本文采用ｐｅ作为事务数据库Ｄ中的事务。

事务数据库Ｄ由给定的ＯＥＭ模型中的所有ｐｅ组成。

考虑以下情况：ＯＥＭ图中有两条数据路径ｄｐ１＝｛１２，ｒｅｓｔａｕｒａｎｔ，１９，ａｄｄｒｅｓｓ，１４，ｓｔｒｅｅｔ，４４｝，ｄｐ２＝｛１２，ｒｅｓｔａｕｒａｎｔ，１９，ａｄ－ｄｒｅｓｓ，１４，ｚｉｐｃｏｄｅ，１６｝，则Ｄ＝｛ｒｅｓｔａｕｒａｎｔ．ａｄｄｒｅｓｓ．ｓｔｒｅｅｔ，ｒｅｓｔａｕｒａｎｔ．ａｄｄｒｅｓｓ．ｚｉｐｃｏｄｅ｝，ｓｕｐ（ｒｅｓｔａｕｒａｎｔ．ａｄｄｒｅｓｓ）＝２，而该ｐｅ实际的支持度应为１，从数据路径发现，这一错误是由于路径分支造成的。