网格化存储的几项关键技术分析
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
网格化存储的几项关键技术分析
作者:龚媛媛
来源:《科技传播》2011年第08期
摘要随着信息技术的进展,数据存储技术的发展日新月异。空间数据的网格化存储是一种新兴的技术和方法,涉及许多技术性问题。为了实现空间数据网格化存储,有几个关键问题需率先加以研究和解决。
关键词网格化存储;关键技术;空间数据
中图分类号UTP392 文献标识码A 文章编号 1674-6708(2011)41-0202-02
所谓网格化存储是指采取网格技术将空间数据存储于整个网格中,网格化存储是一个分布式的存储环境,目标在于解决分布式广域环境下异构存储资源的统一管理,为用户提供具有高可靠性和良好扩展能力的存储管理服务。空间数据网格化存储是实现网格GIS(地理信息系统)的基础,也是数据网格的主要表现形式。
1 空间数据网格化存储的特点
1.1简化存储管理
空间数据的梅量和动态变化特点要求存储系统在容量、数据共享和管理策略上能够方便地升级。现有的网络存储解决了其中的一些问题,但也使管理变得更加复杂。而网格具有平台透明、协议透明和容易扩展的优点,网格存储具有很强的可升级性,这有助于采用低廉的成本扩充存储容量,提升管理能力。
1.2异构系统及空间数据无缝连接
现有的空间数据存储系统往往是由不同的部门和机构建立的,相互之间难以共享空间数据,形成了许多空间信息孤岛。在网格环境下,所有的计算资源和各种网络资源构成了一台虚拟的超级计算机,可使异构系统之间很容易实现空间数据的无缝连接,为用户提供统一的访问接口。
1.3高效的访问机制
GIS的强大空间分析功能的实现要求系统能有效支持多种异构空间数据的并发访问。网格环境下的空间数据存储具有位置透明性和数据透明性,它屏蔽了底层物理平台的差异和存储格式的不一致,对数据进行虚拟化统一管理,实现单一地址访问,简化了管理,使得空间数据的访问效率更高,吞吐量也更大。
1.4极强的环境适应能力
空间数据更新频繁,数据的是否范围广泛,用途不一,对存储技术知存储模式的要求会不断地变化。网格化存储面对发展和变化均非常迅速的空间数据及用户的需求,可以灵活快速应变,满足不断变化的存储需求。
2 网格化存储的几种关键技术
2.1元数据技术
正如网格GIS中的元数据服务一样,在空间数据网格存储中,也必须解决这一问题。网格存储的目的是为应用提供高效的信息服务,元数据服务有助于在统一的命名方式下形成一个统一的空间数据逻辑视图。事实上,这里的元数据问题也正是网格GIS所要解决的。
2.2存储虚拟化技术
存储虚拟化主要通过整合物理存储设备实现对各种空间数据的统一存取。它与元数据技术一道,在更高的层次上对存储进行抽象,将所有的存储资源置于一个统一的、可用的存储池中,为用户提供一个统一的空间数据逻辑视图。虚拟化一般有3种不同的形式:一是基于存储设备的虚拟化;二是基于存储网络的虚拟化;三是基于广域存储资源的虚拟化。
无论哪种形式的虚拟化,都可以减少管理存储系统的开销,是实现空间数据等共享资源高可用性的重要保障。存储虚拟化一般是通过在原存储系统结构之上增加一个虚拟化层,该层把实际存在的各个存储单元抽象成一个虚拟的存储池,并向用户提供通用的存取接口实现对存储池的访问,而对具体存储单乃的访问是通过虚拟化层和存储单元的映射实现的。可以看出,虚拟化层的设置屏蔽了底层物理单元的差异。由于空间数据的特性,采用虚拟化存储不仅要屏蔽存储的物理单元的差异,还要屏蔽空间数据资源本身在结构、类型等力面的差异,这也是空间数据虚拟化存储要重点解决的问题。
2.3存储代理技术
网格中的异构空间数据分布于不同地理范围内的各种存储设备中,通过存储虚拟化可以使应用程序透明地访问这些异构空间数据。在空间数据快速定位、高效存取和保持空间数据一致性等方面还需要与虚拟化相关的其他技术的支持。如前所述,元数据技术对实现快速定位和发现所需要的空间数据是不可或缺的技术。另外,存储资源代理技术在解决空间数据的高效存取和一致性方面具有显著优势,它是网格中的一个中间件,是网格中的空间数据管理核心,通过元数据目录提供访问空间数据的统一视图和接口,通过副本技术提供就近访问空间数据的方法。
当应用程序需要存取网格中的空间数据时,一般向最近的存储代理发出存取请求。存储代理在对用户进行身份认证后,将根据虚拟存储池内的空间数据资源使用情况把请求转换为对具
体存储设备进行存取的请求,由存储设备将应用所需的空间数据传送给用户。这种传送是存储代理建立了应用程序和存储资源的安全传输通道后才进行的。为了确保空间数据的一致性,在对虚拟存储池进行数据更新时,存储代理会及时将数据更新状况告知其他的存储代理,如果此时有其他代理也试图更新该数据,则它们相互之间可以通过协商决定由哪个代理实施更新操作。
2.4数据副本技术
为了提高空间数据网格化存储中的数据存取效率,往往在网格中根据应用需要和网络状况生成一定数量的空间数据副本。这样当所请求的空间数据存在多个副本时,就可以将其中“最近”的副本传送给应用程序。这里的“最近”通常指传输时间最短。副本技术是网格中的一项重要技术,它与存储代理技术相辅相成,更好地承担了空间数据资源的管理和维护。副本技术一般包括副本的创建、副本定位、副本发现、副本获取、副本删除、更新与副本优化等,这些针对副本的各项管理功能是经由不同的存储代理实现的。
由于副本技术可以减少数据传输的环节,使得时延缩短,能极大地提高空间数据的存取性能,更好地平衡网络的负载。同时,通过存储代理的更新机制,还能保证源数据更新的情况下,所有副本也得到及时更新。
参考文献
[1]龚超,盛晓艳,华江峰.网格技术与信息资源存储和共享[J].电脑知识与技术(学术交流),2007(2) .
[2]谢储晖,郭达志.网格GIS及其实现技术[J].计算机应用研究,2005(4).