一种分布式数据流连接查询算法

第31卷　第3期2009年2月武　汉　理　工　大　学　学　报JOURNA L OF WUHAN UNIVERSIT Y OF TECHN OLOG Y Vol.31　No.3　Feb.2009DOI :10.3963/j.issn.167124431.2009.03.008一种分布式数据流连接查询算法郭庆平1,欧阳琳2(1.武汉理工大学计算机科学与技术学院,武汉430070;2.武汉理工大学信息工程学院,武汉430070)摘　要:　分布式处理是数据流管理系统发展的必然趋势。

研究了分布式数据流系统中的基于滑动窗口的连接操作,提出了DMS 2Join 算法。

通过将多连接操作中的子操作分解置于不同的网络节点上,以减少数据的传输。

分析与实验结果表明,DMS 2Join 算法具有较高的查询性能。

关键词:　数据流;　分布式;　连接查询中图分类号:　TP 31文献标识码:　A 文章编号:167124431(2009)0320029204A Join Q uery Algorithm for Distributed Data StreamsGU O Qi ng 2pi ng 1,O U YA N G L i n 2(1.School of Computer Science and Technology ,Wuhan University of Technology ,Wuhan 430070,China ;2.School of Information Engineering ,Wuhan University of Technology ,Wuhan 430070,China )Abstract :　Following the development of database technology ,distributed data stream 2processing system becomes a hot re 2search field.In this paper ,we research on sliding window based join query ,and propose a distributed multi data streams join query algorithm DMS 2Join.By rearranging sub join query and locating them on various nodes ;it can decrease the data trans 2portation.The experimental results show that the algorithm is effective.K ey w ords :　data stream ;　distributed ;　join query 收稿日期:2008210210.作者简介:郭庆平(19452),男,教授,博导.E 2mail :qpguo @近年来,处理大量输入数据流的新应用正变得越来越普遍,如网络监视、通信数据管理、传感器网络数据处理、金融分析、交通管理以及环境监测等。

这些应用具有几个共同的特点:数据量巨大;数据持续不断到达且没有边界;具有一定的实时性;数据具有时效性。

数据流的这些特点,对数据库管理技术提出了巨大的挑战。

连接操作是数据库管理系统的一种重要操作,在数据流管理系统中的连接操作与关系数据库有较大的不同,流数据的持续性和实时性使得连接操作仅在一定的窗口中有意义。

因此,数据流系统中的连接操作一般都是基于滑动窗口(sliding window )的。

Viglas 等人提出了一种基于速率的连续查询优化模型[1]。

Kang 等人提出了一种内存约束条件下的非对称连接算法[2]。

X Join 在SH J (Symmetric Hash Join )的基础上,提出了当数据超过主存容量时,将内存中的部分数据写入缓存的方法[3]。

MJoin 是在2流连接的基础上,提出的多流连接算法,它除了为每一个数据流规划一个单独的查询计划外,并不维护中间结果[4]。

SteM 在连接过程中使用Eddy 算子操作顺序完成连接[5]。

Hammad 等人提出了后向和前向连接算法B EW 2Join 和FEW 2Join [6]。

G omes 等人提出了一种固定顺序的多流连接优化算法FODP [7]。

这些算法都是集中式连接算法,所以连接操作均在一个中心节点完成。

由于数据流系统天然的分布性,将连接操作分布处理更适合数据流系统的特点。

在分布式环境下,网络传输带宽是一定的。

在网络传输结束条件下,如何有效地完成多数据流的分布式连接操作,是一个值得研究的课题。

针对这一问题,提出了一种基于滑动窗口的分布式多数据流连接03 武　汉　理　工　大　学　学　报 2009年2月算法(DMS2Join),DMS2Join算法相对于集中式臬法具有良好的性能。

1　DMS2Join算法数据流系统中的数据流通常分布在各个不同的地方,集中式处理方式中,所有的数据流都直接传输到中心处理节点,由此中心节点进行统一处理。

由于数据量通常很大,传输全部的数据需要消耗大量的网络带宽,同时造成较大的数据延迟。

通过将连接操作前移至数据流源节点,可以有效地减小数据的传输。

提出的DMS2Join算法,可以有效地减少网络中数据的传输,从而提高系统性能。

1.1　系统开销计算有n条数据流R1,R2,…,R n,数据流R i={x1,x2,…,x w}由一系列数据元组x i组成。

用a(i)表示数据流R i的数据到达率,用w(i)表示数据流R i的滑动窗口大小。

对于定序连接查询O=R1 R2 … R n,整个连接操作形成一棵连接树,每一个叶子节点代表一条数据流,每一个非终端节点代表每一次二元连接操作的中间结果,根节点代表最终的多数据流连接结果O。

定序连接中,各个输入之间可以组合,但不可交换。

s=l r,其中l,r表示数据流R i的叶子节点或者代表中间结果的非终端节点。

中间结果的数据流窗口大小用w(s)表示,其值可由公式1计算得到w(s)=w(l)・w(r)・pj(s)(1)其中,w(l)和w(r)分别表示查询操作树的左子树和右子树的数据流窗口大小,当左右子树为叶子节点时,即位于数据流入口所在节点时,其值分别为a(l)和a(r)。

pj(s)表示连接操作在节点s的连接率。

假设每个数据流中的连接属性变量服从均匀分布,则连接操作的连接率可用公式2计算pj(s)=1/max(dv(l),dv(r))(2)其中,dv(l)和dv(r)分别表示左子树和右子树的数据流的不同取值数。

对于其它类型的分布,可使用不同的连接率计算算法,以更好地估计连接操作的中间输出结果。

算法1DMS2Join算法1:初始化尚未连接的数据流信息;2:cost total=03:for i=0to stream num-1do4:{计算最小代价的连接操作;}5:cost min←∞;6:for j=0to stream num-1-i do7:for k=0to nodes do8:计算相邻数据流在节点k上运行时的开销cost(1,r,k)←max(out(1)・w(r)+out(r)・w(1))・pj(s);9:if cos(1,r,k)<cost min then10:计算dv←1/max(dv(1),dv(r));11:计算pj←1/max(dv(1),dv(r));12:计算out←(out(1)・w(r)+out(r)・w(l))・pj;13:记录相对应的网络节点和右数据流号;14:end if15:end for16:end for17:更新尚未连接数据流信息;18:cost total=cost total+cost min;19:end for每一个节点的输出数据元组的个数可由公式3计算得到out(s)=(out(l)・w(r)+out(r)・w(l))・pj(s)(3)其中out (s )表示当l 或者r 中有新的数据元组到达时,连接操作所增加的数据元组数,即新增的部分连接结果。

设一个有n +1个节点的网络,其中前n 个节点分别与n 个数据流R i 相连,第n +1个节点用于返回连接查询结果。

所有的子二元连接操作均可位于网络中的任意一个节点。

用nv (i ,j )表示节点i 与j 之间的网络连接速度(用单位时间所能处理的数据元组个数表示)。

nv (i ,i )=∞。

为了简化算法,假定系统中的每一个节点都有足够大的内存来保存中间结果。

每一次二元连接操作的开销用cost (s )表示,其值可用公式4计算cost (s )=max (out (l )/nv (l ,s ),out (r )/nv (r ,s ))(4)cost (s )表示l 与r 连接操作时网络传输代价(由于每条数据流的滑动窗口大小不会太大,并且插入、删除与匹配数据元组都能在内存中完成,相对于网络传输而言其开销可以忽略不计)。

1.2　算法描述DMS 2Join 算法中,所有节点组成一个网络,每一个子连接操作包括两条数据流,并将运行于网络中的某一个节点。

整个连接操作由多个子连接操作组成。

算法首先初始化尚未连接的数据流信息;然后根据数据流源的流速,以及子二元连接操作的连接率,利用式(4)计算并找出代价最小的一对二元连接操作以及运行此子连接操作的网络节点,之后将这一对数据流从尚未连接数据流信息表中删除;同时,根据公式3估计此子连接操作的中间结果大小,并将此结果大小做为下一级连接操作的输入之一,插入尚未连接数据流信息表中;根据新的尚未连接数据流信息表,反复计算,直至所有数据流全部参与连接操作,从而最终得到一棵查询计划树。

算法的计算复杂度为O (m 2・n ),其中m 为数据流条数,n 为网络节点个数。

DMS 2Join 算法描述见算法1。

2　实验与分析为了验证算法的有效性和性能,我们将DMS 2Join 算法和集中式算法进行了仿真实验。

实验中一共有9条数据流R 1,R 2,…,R 9和10个网络节点N 1,N 2,…,N 10,9条数据流分别位于9个网络节点,余下的一个网络节点N 10用于返回查询结果。

同时假设所有数据流连接属性变量的取值个数dv 相等,滑动窗口大小w 也相等。

在集中式算法中,整个连接操作运行在网络节点N 10上(假设N 10有足够大的内存和性能)。

图1反映了在滑动窗口大小固定,数据流不同取值个数不同的情况下,DMS 2Join 算法和集中式算法系统开销比。

随着数据流不同取值个数dv 的增大,系统开销比率不断减小,分布式算法性能越好。

图2反映了在dv 值固定,数据流滑动窗口大小不同的情况下,2种算法的开销比。