基于集群技术的海量数据存储技术研究

技术创新

《微计算机信息》(测控自动化)2010年第26卷第6-1期

360元/年邮局订阅号：82-946

《现场总线技术应用200例》

软件天地

文章编号:1008-0570(2010)06-1-0196-03

基于集群技术的海量数据存储技术研究

Research of massive data storage in cluster technique based

(国防科学技术大学)

赵瑞峰汤晓安干哲

ZHAO Rui-feng TANG Xiao-an GAN Zhe

摘要:随着卫星遥感技术的发展,信息存储系统数据规模呈TB 级迅速增长,如何有效存储与管理这些数据已成为亟待解决

的问题。本文根据海量数据特点,引入集群技术,设计了由应用服务器集群、数据库服务器集群和信息存储集群组成的多级集群系统架构,并通过实验验证了集群系统具有可扩展、负载均衡和故障转移等特性,在实现数据存储海量化的同时,提高了系统稳定程度,对信息系统具有重要作用。关键词:集群技术;海量数据存储;Oracle RAC 中图分类号:TP392文献标识码:A

Abstract:As the development of Satellite Remote Sensing technique,the data size of information storage systems is rapid growing by TB-level,how to effectively store and manage them has become a serious problem.According to the characteristics of mass data,this paper introduces the clustering technology,and designs a multi-level cluster system architecture,that composed by application server clusters,database server cluster and information storage cluster.Then do a verification experiment of the cluster system has the scala -bility,load balancing and failover features,at same time of achieving massive storage,this will improve the stability and play an im -portant role in the information systems.

Key words:cluster technique;massive data store;Oracle RAC

1引言

随着卫星遥感技术的发展,战场监测手段日趋多样,未来的信息系统应当能够实时地将各种复杂的战场态势信息以图形图像的形式直观地表现出来,这些态势信息不仅包括大量的遥感影像数据,还包括军事目标、军事行动、友军、敌军、中立部队、设施的位置、进展、状态和分布等数据,这些数据统称为战场环境信息。战场环境信息具有容量巨大、来源多样、更新频繁等特点,如何有效的存储与管理这些数据,使其满足作战应用高可用可靠的要求,是推进信息化建设的重要技术保障。

在海量数据存储方案上,网络存储已成为共识,当前常见的网络存储方案有网络附属存储(network attached storage,NAS)和存储区域网络(storage area network,SAN)。美军在网络存储研究上走在各国前列,比较典型的应用有美国海军奈普逊(Naptheon)SAN 系统,美国陆军任职指挥部(The U.S.Army Accessions Com －mand)SAN 系统,以及美国空军战斗气候学中心(The Air Force

Combat Climatology Center)NAS 存储系统。

而我国在网络存储领域起步较晚,军事领域的应用更为鲜见。从国外发展来看,网络存储系统复杂研发周期长,且存储设备一次性投资高,随着软硬件技术的快速发展,原有设备被迅速升级换代,难以满足新的应

用需求。

本文将集群技术引入海量数据存储,该技术是通过高速网络互联并以单一系统模式加以管理的计算机组合,集群具有良好的可扩展性、高度的可用性、负载平衡性和并行运算高效性等特点,文中设计了多级集群系统架构,并通过实验验证了集群系统的各项特性。

2集群技术

集群技术是目前计算机系统设计中最热门的技术之一。简单来说,集群即松散耦合的一组计算机,其中每一台计算机称为集群中的一个节点(Node),这些节点通过高速网络连接起来,统一作为计算机资源工作,对外部世界形成一个透明的系统映像。理想状态下,用户几乎完全感觉不到集群系统底层的节点,在他们看来,集群是一个系统,而非多个计算机。集群系统中的两个或多个节点通过相应的硬件及软件实现互连,每个节点都是运行自身进程的独立服务器。这些进程间可以彼此通信,对客户机来说就形成了单一向用户提供应用程序、系统资源和数据的协同系统。除此之外,集群系统还可以采用向集群中增加服务器的方式,增强整体处理能力,同时集群系统还具有故障转移的能力,通过系统冗余提供集群固有的可用性和可靠性。

集群存储是集群技术的另一广泛应用领域,集群存储系统是高速互联的一组存储节点,与分布式存储一样,系统将数据分散地存储在多台独立的设备上,而且集群中的设备既可以独立运作,相互之间又可以合作,每个存储节点不仅可以访问本节点的存储空间,还可以访问其他节点的存储空间,所有节点的空间以一个虚拟磁盘的方式提供给客户端用户。集群存储具有容量可扩展性、性能稳定性及系统可管理性的优势,使其非常适合那些持续增长存储规模的不同环境,实现即时供应(Just-in-time)存储,避免破坏性升级和增加管理的复杂性。使用集群存储解决方案可以获得可扩展性和高可用可靠性,系统易于维护,具有非常高的整合带宽等优点。集群存储最典型的应用是Google 体系结构,它是大量计算机内置硬盘的组合,含899个机架(每架80台PC,每台PC 有2个硬盘),共79,112台PC 机,有158,224个硬盘,总容量为6180TB 。

赵瑞峰:硕士研究生

基金项目:基金申请人:汤晓安;基金颁发部门:国防科工委

(项目名称和编号不公开)

196--