天津大学硕士学位论文

天津大学硕士学位论文

虚拟天文台环境下的海量数据存储

与访问技术研究

Research on Mass Storage and Access Technology in Virtual Observatory

学科专业：计算机应用技术

研 究 生：李文

指导教师：孙济洲 教授

天津大学计算机科学与技术学院

二零零七年六月

独创性声明

本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。

学位论文作者签名：签字日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。

（保密的学位论文在解密后适用本授权说明）

学位论文作者签名：导师签名：

签字日期：年月日签字日期：年月日

中文摘要

近年来，随着观测设备和观测技术的发展，天文数据呈现爆炸式的增长，而计算机网络技术的快速发展又为这些海量天文数据的共享提供了有力的技术支持，因此，将天文学和计算机技术融合在一起的“虚拟天文台”便应运而生，使得人们突破时间和空间的限制获得丰富的天文数据资源成为可能。

然而，在虚拟天文台环境下，如何对海量数据进行有效存储成为一个亟待解决的问题；同时，如何对海量数据进行快速有效的访问，也是关系到虚拟天文台服务能力的重要课题。

本文以中国虚拟天文台为背景，研究海量天文数据的存储和访问技术。首先，对当前主要的存储技术进行综合分析和比较，结合虚拟天文台对海量数据的存储需求，设计了中国虚拟天文台的数据存储方案，并对该方案进行评价。然后，针对天文数据的存储特点，分析当前天文数据的访问现状，提出了海量天文数据的高效访问方案，对该方案进行详细论述并验证其可行性，在此基础上，提出了适应于该方案的海量天文数据分层模型。最后，在对海量天文数据的存储和高效访问研究的基础上，具体设计并实现了一套天文数据归档管理系统——FitHAS，该系统能够屏蔽不同FITS文件的差异，向用户提供统一的接口，并能对大量的FITS 文件进行快速有效的访问和方便的管理。

本文在理论上具有一定创新，研究成果已经在中国虚拟天文台的建设中得到应用。实际效果证明，本文提出的存储和高效访问方案以及在此基础上实现的FitHAS天文数据归档管理系统可以有效满足中国虚拟天文台对于海量数据存储和访问的需求，同时具有很强的可扩展性。

关键词：虚拟天文台 海量数据 存储 FITS SAN

ABSTRACT

In recent years, as the development of observation equipment and technique, astronomical data has showed explosive growth, and rapid development of computer network has provided strong technical support to share massive astronomical data, thus "Virtual Observatory" which integrates astronomy and computer technology emerges as the times require, which makes breaking through restriction of time and space to access a wealth of astronomical data resources possible.

However, in the Virtual Observatory environment, how to conduct mass data storage effectively has become a serious problem. In addition, how to access massive data quickly and efficiently is an important issue related to the service ability of Virtual Observatory.

This paper researches on massive astronomical data storage and efficient access technology, based on China-VO project. First, based on analysis and comparasion of popular storage techniques, in combination of massive data storage requirements of Virtual Observatory, storage scheme of China-VO is proposed, with evaluation. Then, in according to the characteristics of astronomical data storage, current existing astronomical data access technology is analyzed and effective access scheme of massive astronomical data is introduced and discussed in detail, with verification of its feasibility. On this basis, massive astronomical data layer model adapted to the scheme is introduced. Finally, on the basis of study on storage and efficient access of massive astronomical data, FitHAS, an astronomical data storage management system, is designed and implemented, which is capable of shielding differences between FITS documents and providing a uniform interface to user, as well as efficiently accessing and conveniently managing large number of FITS files.

With some theoretical innovation, the achievements of this paper has been applied in the construction of China-VO. Actual results prove that the storage and efficient accessing scheme presented in this paper, as well as the FitHAS system achieved on this basis, can effectively meet the China-VO requirement for massive data storage and access, while gaining strong scalability.

KEY WORDS：Virtual Observatory, Massive data, Storage, FITS, SAN