向永清_硕士论文答辩

基于LAF编码二层索引的结构
第一层索引存储的信息包括文档号，文档URL地址， XML元素的层次遍历序号列表等。 第二层索引存储每个XML文档对应的LAF表。
LAF表：指一篇XML文档中所有元素的LAF编码 按照层次遍历序号从小到大组成的有序编码集合， 每一篇XML文档对应唯一的LAF表。
二层索引示例
基于XML关键词检索的索引技术 及其相关算法研究与实现
导 学 日 师：谢昆青 邓志鸿 生：向永清 期：2012/7/15
目录
研究背景
XML关键词检索 问题的提出 本文创新点
本文工作
LAF编码 基于LAF编码的二层索引 HBA算法
实验分析
数据集 空间效率比较 时间效率比较
目录
研究背景
XML关键词检索 问题的提出 本文创新点
本文工作
LAF编码 基于LAF编码的二层索引 HBA算法
实验分析
数据集 空间效率比较 时间效率比较
参考文献 参加项目 发表论文
Dewey倒排索引
定义：Dewey倒排索引是以杜威编码为基础的一种索引技术。其主要 数据结构为有序词典和杜威倒排表，有序词典用于存储XML文档出现 的关键词，不同的关键词分别对应不同的Dewey倒排表，用于存储该 关键词所在元素的基本信息，比如元素的Dewey编码，元素的长度等。 Dewey倒排索引
HBA算法的两个部分
求得包含所有关键词的XML文档集D(预处理部分) 在文档集D中每一个XML文档内，检索出符合特定检索 语义的XML元素(核心算法)
HBA算法
预处理部分
主要作用：在二层索引的辅助下，减少对无效XML元 素的处理
基本思想：求有序集合的交集，其时间时间度是O(N)， 其中N为有序集合的长度 例子：假定一个查询Q(A, B)，包含关键词A的XML元 素有M个，包含关键词B的XML元素有N个；在同时包 含A，B那些文档集中，包含关键词A的XML元素有m 个，包含关键词B的XML元素为n个。换句话说，对于 查询Q，有效的XML元素为m+n个，可以肯定是的是 有：m+n<<M+N
)) O ( M K (4 L ))
因此，当XML的平均深度大于等于4时，二层索引的空间效率要比一层索引的 空间效率高。
目录
研究背景
XML关键词检索 问题的提出 本文创新点
本文工作
LAF编码 基于LAF编码的二层索引 HBA算法
实验分析
数据集 空间效率比较 时间效率比较
O ( MK * ( D L ))
基于LAF编码二层索引的空间效率为：
O (( L M ) * K 3 S ) O ( M K * (1 L M 3S MK ))
由于M≥1，由于每个元素都至少包括一个关键词，所以有S≤MK，所以有：
O ( M K * (1
L M

3S MK
问题的提出
如何更加有效地保存XML文档内的层次结 构信息？
元素Dewey编码长度与元素深度成正比的问题 基于Dewey倒排索引的冗余问题
如何设计更加高效而且通用的XML关键词 检索算法？
目前主流算法都基于Dewey倒排索引，算法效 率可能不高 目前的算法都只针对某种具体的检索语义模型， 通用性不足
HBA算法示例
Q(A, B)
12
1
A, 0
13
B, 0
11
B, 0
2
3
10
A, 0
7
A, 0
6
B, 0
4
A, 0
4
5
6
7
8
图1
12
A, 0
A 9
B
A 10 11
A 12 13
B
10
A, 0
11
B, 0
A
B
4
A, 0
7
A, 0
6
B, 0
9
B, 0
图2
HBA算法示例
11
B, 0
10
A, 0
9
A, 0
栈算法，Scan Eager算法和Nearest Pair算法本身都基于 杜威编码 这三个算法都在杜威倒排索引的基础上实现 这三个算法都基于某一特定的检索语义模型，不具备有通 用性
HBA算法
核心思想
首先，通过关键词，在第一层索引上找出每个关键词 对应的XML文档集，对这些文档集求交集从而求得包 含所有关键词的文档集D 其次，以二层LAF表为基础，在文档集D的每一个XML 文档内，求得包含符合特定检索语义模型(如SLCA)的 XML元素，然后将检索结果返回给用户
文档编号 URL 层序编码列表 LAF表
H
I J
7
8 9
2
4 7
3
4 4
Yu Yannis
1000 1000
http://xxx http://xxx
16、 19、 21 12 、20 、22
12
5 ...
3
16
8 ...
8
K
10
7
4
19 20 21 22
14 15 17 18
4 4 5 5
二层索引空间复杂度
数据集
真实数据集：DBLP,SIGMOD Record, Wikipedia, NASA 生成数据集: XMARK
HBA算法
核心算法
数据结构：最大值堆 处理思路：自底向上
处理过程(以求解SLCA为例)：
对于第一部分求得的文档集中的每个XML文档d，首先 获得在文档d内包含关键词k的所有节点的层序序号集 合，将查询q中所有关键词对应的层序序号集合求并得 并集S，并标记集合中节点的状态(当前包含哪些关键 词，是否SLCA等)，在S上构建最大值堆H 如果堆H不为空，删除H的根R，如果R已经是SLCA节 点，则将R状态保存到其父节点F(可由LAF表求得)， 并将F插入到堆H中 否则，若R已经包含所有关键词，将R作为结果输出， 并将R标记为SLCA节点，将R当前状态保存到其父节 点F中，并将F插入堆H中。依次处理，直到堆H为空
参考文献 参加项目 发表论文
传统检索算法
求解ELCA的栈算法
利用栈按杜威编码大小从小到大依次处理所有节点
求解SLCA的Scan Eager算法
求解关键词对应的不同杜威编码集合之间的最邻近点对
求解SLCA的Nearest Pair算法
采用二分查找方法确定两个杜威编码集合间的最邻近点对
传统检索算法小结
2
0.0
0.1
5 0.0.2 9 0.0.1.0
6 0.0.0
7 0.1.0 10 0.1.1.0
8 0.1.1
Dewey编码
优点
直观简单，扩展性好 容易判断任意两个节点之间关系 容易求得任意两个节点的祖先节点
11 0.1.1.1
缺点
可能导致索引系统空间效率低下 可能导致基于Dewey编码的XML关键词检索算法效率不高
XML文档的二重属性
指XML文档既具备普通文本文档的属性，同时 也具备半结构化文档的结构特性。 普通文本属性：指一般文档共有的属性，比如 文本的地址，文本的长度，文本的类型等。 半结构文档属性：指半结构文档特有的属性， 比如元素的Dewey编码，LAF编码，元素的长 度等。
二层索引定义
二层索引：一种新型的XML索引方法，在该索引 方法中，XML文档的普通文本属性被存储在第一 层索引中，而半结构属性被存储在第二层索引中， 两层索引间通过指针关联起来。
7
A, 0
6
B, 0
4
A, 0
5
A,B, 1
6
B, 0
4
A, 0
5
A,B, 1
图6
图7
图8
目录
研究背景
XML关键词检索 问题的提出 本文创新点
本文工作
LAF编码 基于LAF编码的二层索引 HBA算法
实验分析
数据集 空间效率比较 时间效率比较
参考文献 参加项目 发表论文
本文的创新点
本文提出了一种新的XML元素编码方式：LAF编 码。LAF编码弥补了Dewey编码的不足并能支持 高效XML检索算法。 本文提出了一种新的索引结构，即基于LAF编码 的二层索引结构，二层索引不仅能有效解决目前 XML索引中的冗余问题，而且能支持更高效的 XML检索算法。
本文第一次利用堆来设计XML关键词检索算法， 并采用自底向上的检索策略，HBA算法不仅具有 较高的检索效率，而且能有效支持多种不同的检 索语义模型。
参考文献 参加项目 发表论文
XML关键词检索
定义：使用关键词对XML文档集进行检索的一种 信息检索方式 关键问题
如何保存XML文档内的层次结构信息？ 如何设计高效的XML关键词检索算法？
以平面文本为检索对象
返回整篇文档作为结果 不考虑文档内部结构 相关应用已经非常成熟
半结构数据为检索对象
返回内部元素作为结果
5
6
7

8
A 9
B
A 10 11
A 12 13
B
A
B
包含关系 SLCA⊆ELCA⊆XTree
SLCA：8，9 ELCA：2，8，9 XTree：2，3，8，9
XML关键词检索
节点编码方法
局部编码
Dewey(杜威)编码 ORDPATH编码
杜威编码示例
1 0 3
全局编码
前序编码 后续编码
4 0.0.1
A 0.-1.1 C
LAF表
节点 A B C D E F G 0 1 2 3 4 5 6 LAF表 -1 0 0 1 1 1 2 1 2 2 3 3 3 3