移动数据库中数据复制同步处理策略的研究_王瑞峰_张小花_张迎春
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
王瑞峰, 张小花,张迎春 WANG Ruifeng, ZHANG Xiaohua, ZHANG Yingchun 兰州交通大学 自动化与电气工程学院,甘肃 兰州 730070 School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou,Gansu 730070, China WANG Ruifeng, ZHANG Xiaohua, ZHANG Yingchun. Research on synchronous processing strategy
关键词:移动数据库;UTLRSP;复制;同步;冲突处理;动态新鲜度
doi:10.3778/j.issn.1002-8331.1312-0262
文献标志码: A
中图分类号: TP311
1
引言
移动数据库复制是一种异步复制,将用户频繁
的可用性并减少对数据请求的平均响应时间 , 但它 同时也带来了数据冲突问题[1-4]。为此,目前已提出 许多模型和算法解决该问题,如两级复制机制、多 版本冲突消解算法等。但这些方法都存在同步过程 通讯数据量大、消耗较多存储空间,尤其是在网络
至少有一个事务对数据项执行写操作)作相同的标 识。 然后依据移动事务日志记录的相关信息(包括事 务标识即副时间印、事务的读集即事务对数据项进 行读操作后,其 ID 的集合、写集即事务修改过数 据项 ID 的集合、结果集即事务修改后对应数据项 的值的集合),创建由关联事务的读集、写集、结果 集(关联事务中所有事务各个集合的并集)组成的 上载事务队列(Upload Transaction Queue, UTQ)。当 UTQ 传送到同步服务器之后,根据 UTQ 的时间顺
2 王瑞峰,张小花,张迎春:基于移动数据库的铁路信号维护管理系统
通信带宽下降时,不能保证客户端缓存最新的数据 而导致客户端执行事务失败等诸多弊端。 为克服以上缺陷,本文采用关联事务结果集传 递(Union Transaction-Level Result-Set Propagation, UTLRSP)复制同步模型,将事务相关联并把结果集 合并,减小同步过程中通讯数据量及对客户端存储 空间的消耗,然后有效利用移动环境中网络通讯的 非对称性,通过数据广播技术更新所有移动客户端 数据副本,并结合基于优先级的增量更新算法保证 移动客户端缓存最新的数据。
Computer Engineering and Applications 计算机工程与应用
3
序放入复制请求缓冲区(Request Buffer, RB),然后 处于等待状态。同步服务器负责为 RB 中的关联事 务集启动一个相应的同步进程,按照时间先后顺序 进行冲突校验,验证成功的事务,将其相应的结果 集合并传送到 FDBS 中。随后,FDBS 利用数据广 播技术并结合基于优先级的增量更新算法更新所 有客户端数据, 把 MC 被修改的数据项 X 的主时间 印修改为与 FDBS 的一致, 且清空副时间印。 此时, FDBS 和 MC 数据重新保持一致,即同步处理过程 结束。
2
移动数据库的体系结构
移动数据库系统结构如图 1 所示, FDBS(Fixed
Database Server, 固 定 网 络 上 的 数 据 库 服 务 器 ) 、 LS(Location Server, 位 置 服 务 器 ) 和 MSS(Mobile Support Station,移动支持结点)通过固定网络连接组 成移动数据库的固定部分。每个 MSS 支持一个无 线网络单元,单元内有多个 MC(Mobile Client,移动 客户端 ) , MC 可自由移动,每个 MC 保存部分 Rep(Replica, 数 据 库 副 本 ) , 由 EMDB(Embedded Mobile Database,嵌入式移动数据库系统)进行管理, MC 通过 MSS 接入固定网络,与 FDBS 交换数据。
of data replication in mobile database
Abstract: Synchronization is one of the key technologies in maintaining the consistency of replicated mobile database systems. Because the current mobile replication synchronization technology has many defects, such as the large amount of communication data and storage space consumption. Especially, when the network bandwidth falls it cannot update the client data timely, lead to fail to perform mobile transactions. In order to solve the above shortcomings, the paper adopts UTLRSP (Union Transaction - Level Result - Set the Propagation) replication synchronization model combined with the data broadcasting technology, and by using the incremental updating algorithm based on priority to realize client and center database server data synchronization processing. Experimental results show that the model effectively reduces the consumption of client storage space and cuts down the communication costs compared with the two levels of replication mechanism. It associates the performing transaction with other transactions, and only saves transaction execution results. When the wireless network bandwidth falls, the algorithm prioritizes data according to the freshness. It ensures the highest freshness data transfer firstly. The algorithm improves the efficiency of data transmission and dynamic freshness and scalability for the client.
4
基于优先级的增量更新算法
由于移动计算环境中无线网络弱稳定性及低
3.2
UTLRSP 同步过程的冲突检测
在 UTLRSP 复制同步模型中, 以关联事务结果
带宽的特点,在带宽急剧下降时,会引起数据更新 效率下降,导致 MC 缓存的数据失效[13-14]。为克服 以上缺陷采用一种基于优先级的增量更新算法更 新移动客户端数据。该算法根据数据的动态新鲜度 排列优先级,保证在低带宽的情况下,每次先传输 优先级最高的部分,即保证 FDBS 最新修改的数据 先传输给 MC,比以前的增量更新算法提高了数据 的传输效率和新鲜度。 本文采用基于时间的方法度量数据新鲜度。假 设移动数据库中缓存的数据表为 V, V 的元组为 r1, r2,…,rm,V 的列即表的属性为 c1,c2,…,cn, rij 是表 V 的一个数据项,表示它在第 ri 个元组,属性为 cj 的 列,rij 的字段长度用 sij 表示。新鲜度 Fr 用 0~1 之 间的数字表示,Fr=1 表示数据项是最新值,优先级 最高。若数据项 rij 在 t0 时刻被修改,数据项在 t0 时 刻的值是最新的,随着时间的推移,新鲜度将逐渐 降低,其在 t(t≥t0) 时刻的数据新鲜度由时间函数 ft(∆t)决定(∆t=t-t0),即 Fr(rij)=ft(∆t)。 ft(∆t) 是数据项的新鲜度随时间衰减的变化函 数,在本文中取 ft(∆t)为一线性函数:
FDBS 的数据副本。否则,检测到一个事务冲突, 则推断其后面的关联事务也有冲突,不需要再检 测,有效提高同步效率。同步上载过程结束后, FDBS 需将更新的数据项发送给 MC。本文通过服 务器定期广播信息更新移动数据库,为保证 MC 均 缓存 FDBS 最新更新的数据,采取基于优先级的增 量更新算法实现数据同步下载。
图2
UTLRSP 同步处理模型
当 MC 接入网络时,MC 首先将积累状态下所 提交的各个非只读型关联事务(即存在 2 个及以上 的事务对具有相同 ID 的数据项进行重复操作,且
图移动数据库系统结构
由于 FDBS 之间通过固定网络保持持续的连 接,可利用传统分布式数据库系统中的副本控制方 法 ROWA(Read One Write All,写全锁协议)保证数据 一致性[5-7]。MC 与 FDBS 之间经常发生断连而导致 数据不一致,因此需要采用一种有效的复制同步方 法解决数据冲突问题。下面将具体分析说明 UTLRSP 模型的冲突处理策略以及 FDBS 与 MC 数 据同步问题。
Key words:Mobile database; UTLRSP; Replication; Synchronization; Conflict resolution; Dynamic freshness
摘 要: 同步技术是保证复制移动数据库系统一致性的一项关键技术,鉴于目前移动复制同步技术存在通讯 数据量大、存储空间消耗多,尤其是在网络带宽下降时,不能及时更新客户端的数据,导致移动事务执行失 败等缺陷。 通过UTLRSP(Union Transaction-Level Result-Set Propagation,关联事务结果集)复制同步模型结合数 据广播技术,并利用基于优先级的增量更新算法实现客户端与中心数据库服务器的数据同步处理。实验结果 表明:与两级复制机制相比,UTLRSP模型将事务作相关联处理,且只保存事务结果,有效降低了存贮空间 的消耗,减小了同步过程中通讯数据量;基于优先级的增量更新算法根据数据新鲜度排列优先级,保证在无 线网络带宽下降时新鲜度最高的数据先传输,提高数据的传输效率、动态新鲜度以及客户端的可扩展性。
网络出版时间:2014-04-30 09:07 网络出版地址:/kcms/doi/10.3778/j.issn.1002-8331.1312-0262.html
Computer Engineering and Applications 计算机工程与应用
移动数据库中数据复制同步处理策略的研究
访问的数据预先缓存到数据库中,在网络断接时, 用户根据本地缓存对数据副本操作,从而提高数据
基金项目:甘肃省自然科学基金项目(1310RJZA046) 作者简介: 王瑞峰(1966-),女,教授,硕士研究生导师,研究领域为交通信息工程及控制;张小花(1990-),女,硕士研究生,研究领域 为交通信息工程及控制;张迎春(1984-),男,工程师,研究领域为弱电设计。E-mail:740593171@.
3 UTLRSP 复制同步模型 3.1 UTLRSP 模型的基本原理
MC 共有三种状态,即一致性状态、积累状态、 消解状态,同步过程使 MC 依次在这三种状态之间 进行转换[8-9]。UTLRSP 复制同步模型如图 2 所示。 MC 和 FDBS 所有的数据项都有一个由主时间印和 副时间印组成的全局时间标记和一个唯一的标识 号 ID。 主时间印是 FDBS 修改数据所加的时间标记, 各数据对象的主时间印均取自固定网络上的全局 时钟,EMDB 不能对其修改,副时间印是 MC 修改 数据所加的事务标记, ID 号用于唯一地标识每个数 据项[10-12]。当 MC 和 FDBS 根据对方最新的修改更 新本地数据,此时两者数据保持一致,双方数据项 只有主时间印且相同。当 MC 在积累状态时,用户 可对其缓存数据副本操作,并更改其副时间印。当 MC 重新与 FDBS 连接时,首先根据时间印进行冲 突处理,然后启动同步处理过程,此时 MC 处于消 解状态。
关键词:移动数据库;UTLRSP;复制;同步;冲突处理;动态新鲜度
doi:10.3778/j.issn.1002-8331.1312-0262
文献标志码: A
中图分类号: TP311
1
引言
移动数据库复制是一种异步复制,将用户频繁
的可用性并减少对数据请求的平均响应时间 , 但它 同时也带来了数据冲突问题[1-4]。为此,目前已提出 许多模型和算法解决该问题,如两级复制机制、多 版本冲突消解算法等。但这些方法都存在同步过程 通讯数据量大、消耗较多存储空间,尤其是在网络
至少有一个事务对数据项执行写操作)作相同的标 识。 然后依据移动事务日志记录的相关信息(包括事 务标识即副时间印、事务的读集即事务对数据项进 行读操作后,其 ID 的集合、写集即事务修改过数 据项 ID 的集合、结果集即事务修改后对应数据项 的值的集合),创建由关联事务的读集、写集、结果 集(关联事务中所有事务各个集合的并集)组成的 上载事务队列(Upload Transaction Queue, UTQ)。当 UTQ 传送到同步服务器之后,根据 UTQ 的时间顺
2 王瑞峰,张小花,张迎春:基于移动数据库的铁路信号维护管理系统
通信带宽下降时,不能保证客户端缓存最新的数据 而导致客户端执行事务失败等诸多弊端。 为克服以上缺陷,本文采用关联事务结果集传 递(Union Transaction-Level Result-Set Propagation, UTLRSP)复制同步模型,将事务相关联并把结果集 合并,减小同步过程中通讯数据量及对客户端存储 空间的消耗,然后有效利用移动环境中网络通讯的 非对称性,通过数据广播技术更新所有移动客户端 数据副本,并结合基于优先级的增量更新算法保证 移动客户端缓存最新的数据。
Computer Engineering and Applications 计算机工程与应用
3
序放入复制请求缓冲区(Request Buffer, RB),然后 处于等待状态。同步服务器负责为 RB 中的关联事 务集启动一个相应的同步进程,按照时间先后顺序 进行冲突校验,验证成功的事务,将其相应的结果 集合并传送到 FDBS 中。随后,FDBS 利用数据广 播技术并结合基于优先级的增量更新算法更新所 有客户端数据, 把 MC 被修改的数据项 X 的主时间 印修改为与 FDBS 的一致, 且清空副时间印。 此时, FDBS 和 MC 数据重新保持一致,即同步处理过程 结束。
2
移动数据库的体系结构
移动数据库系统结构如图 1 所示, FDBS(Fixed
Database Server, 固 定 网 络 上 的 数 据 库 服 务 器 ) 、 LS(Location Server, 位 置 服 务 器 ) 和 MSS(Mobile Support Station,移动支持结点)通过固定网络连接组 成移动数据库的固定部分。每个 MSS 支持一个无 线网络单元,单元内有多个 MC(Mobile Client,移动 客户端 ) , MC 可自由移动,每个 MC 保存部分 Rep(Replica, 数 据 库 副 本 ) , 由 EMDB(Embedded Mobile Database,嵌入式移动数据库系统)进行管理, MC 通过 MSS 接入固定网络,与 FDBS 交换数据。
of data replication in mobile database
Abstract: Synchronization is one of the key technologies in maintaining the consistency of replicated mobile database systems. Because the current mobile replication synchronization technology has many defects, such as the large amount of communication data and storage space consumption. Especially, when the network bandwidth falls it cannot update the client data timely, lead to fail to perform mobile transactions. In order to solve the above shortcomings, the paper adopts UTLRSP (Union Transaction - Level Result - Set the Propagation) replication synchronization model combined with the data broadcasting technology, and by using the incremental updating algorithm based on priority to realize client and center database server data synchronization processing. Experimental results show that the model effectively reduces the consumption of client storage space and cuts down the communication costs compared with the two levels of replication mechanism. It associates the performing transaction with other transactions, and only saves transaction execution results. When the wireless network bandwidth falls, the algorithm prioritizes data according to the freshness. It ensures the highest freshness data transfer firstly. The algorithm improves the efficiency of data transmission and dynamic freshness and scalability for the client.
4
基于优先级的增量更新算法
由于移动计算环境中无线网络弱稳定性及低
3.2
UTLRSP 同步过程的冲突检测
在 UTLRSP 复制同步模型中, 以关联事务结果
带宽的特点,在带宽急剧下降时,会引起数据更新 效率下降,导致 MC 缓存的数据失效[13-14]。为克服 以上缺陷采用一种基于优先级的增量更新算法更 新移动客户端数据。该算法根据数据的动态新鲜度 排列优先级,保证在低带宽的情况下,每次先传输 优先级最高的部分,即保证 FDBS 最新修改的数据 先传输给 MC,比以前的增量更新算法提高了数据 的传输效率和新鲜度。 本文采用基于时间的方法度量数据新鲜度。假 设移动数据库中缓存的数据表为 V, V 的元组为 r1, r2,…,rm,V 的列即表的属性为 c1,c2,…,cn, rij 是表 V 的一个数据项,表示它在第 ri 个元组,属性为 cj 的 列,rij 的字段长度用 sij 表示。新鲜度 Fr 用 0~1 之 间的数字表示,Fr=1 表示数据项是最新值,优先级 最高。若数据项 rij 在 t0 时刻被修改,数据项在 t0 时 刻的值是最新的,随着时间的推移,新鲜度将逐渐 降低,其在 t(t≥t0) 时刻的数据新鲜度由时间函数 ft(∆t)决定(∆t=t-t0),即 Fr(rij)=ft(∆t)。 ft(∆t) 是数据项的新鲜度随时间衰减的变化函 数,在本文中取 ft(∆t)为一线性函数:
FDBS 的数据副本。否则,检测到一个事务冲突, 则推断其后面的关联事务也有冲突,不需要再检 测,有效提高同步效率。同步上载过程结束后, FDBS 需将更新的数据项发送给 MC。本文通过服 务器定期广播信息更新移动数据库,为保证 MC 均 缓存 FDBS 最新更新的数据,采取基于优先级的增 量更新算法实现数据同步下载。
图2
UTLRSP 同步处理模型
当 MC 接入网络时,MC 首先将积累状态下所 提交的各个非只读型关联事务(即存在 2 个及以上 的事务对具有相同 ID 的数据项进行重复操作,且
图移动数据库系统结构
由于 FDBS 之间通过固定网络保持持续的连 接,可利用传统分布式数据库系统中的副本控制方 法 ROWA(Read One Write All,写全锁协议)保证数据 一致性[5-7]。MC 与 FDBS 之间经常发生断连而导致 数据不一致,因此需要采用一种有效的复制同步方 法解决数据冲突问题。下面将具体分析说明 UTLRSP 模型的冲突处理策略以及 FDBS 与 MC 数 据同步问题。
Key words:Mobile database; UTLRSP; Replication; Synchronization; Conflict resolution; Dynamic freshness
摘 要: 同步技术是保证复制移动数据库系统一致性的一项关键技术,鉴于目前移动复制同步技术存在通讯 数据量大、存储空间消耗多,尤其是在网络带宽下降时,不能及时更新客户端的数据,导致移动事务执行失 败等缺陷。 通过UTLRSP(Union Transaction-Level Result-Set Propagation,关联事务结果集)复制同步模型结合数 据广播技术,并利用基于优先级的增量更新算法实现客户端与中心数据库服务器的数据同步处理。实验结果 表明:与两级复制机制相比,UTLRSP模型将事务作相关联处理,且只保存事务结果,有效降低了存贮空间 的消耗,减小了同步过程中通讯数据量;基于优先级的增量更新算法根据数据新鲜度排列优先级,保证在无 线网络带宽下降时新鲜度最高的数据先传输,提高数据的传输效率、动态新鲜度以及客户端的可扩展性。
网络出版时间:2014-04-30 09:07 网络出版地址:/kcms/doi/10.3778/j.issn.1002-8331.1312-0262.html
Computer Engineering and Applications 计算机工程与应用
移动数据库中数据复制同步处理策略的研究
访问的数据预先缓存到数据库中,在网络断接时, 用户根据本地缓存对数据副本操作,从而提高数据
基金项目:甘肃省自然科学基金项目(1310RJZA046) 作者简介: 王瑞峰(1966-),女,教授,硕士研究生导师,研究领域为交通信息工程及控制;张小花(1990-),女,硕士研究生,研究领域 为交通信息工程及控制;张迎春(1984-),男,工程师,研究领域为弱电设计。E-mail:740593171@.
3 UTLRSP 复制同步模型 3.1 UTLRSP 模型的基本原理
MC 共有三种状态,即一致性状态、积累状态、 消解状态,同步过程使 MC 依次在这三种状态之间 进行转换[8-9]。UTLRSP 复制同步模型如图 2 所示。 MC 和 FDBS 所有的数据项都有一个由主时间印和 副时间印组成的全局时间标记和一个唯一的标识 号 ID。 主时间印是 FDBS 修改数据所加的时间标记, 各数据对象的主时间印均取自固定网络上的全局 时钟,EMDB 不能对其修改,副时间印是 MC 修改 数据所加的事务标记, ID 号用于唯一地标识每个数 据项[10-12]。当 MC 和 FDBS 根据对方最新的修改更 新本地数据,此时两者数据保持一致,双方数据项 只有主时间印且相同。当 MC 在积累状态时,用户 可对其缓存数据副本操作,并更改其副时间印。当 MC 重新与 FDBS 连接时,首先根据时间印进行冲 突处理,然后启动同步处理过程,此时 MC 处于消 解状态。