云计算及其在科学研究中的应用

云计算及其在科学研究中的应用

程耀东陈刚

（中国科学院高能物理研究所计算中心北京 100049）

1. 云计算概述

在过去的十多年中，学术界与企业界为了充分利用网络上的计算与存储资源，实现大规模的协同与资源共享，以提高计算效率与降低计算成本，相继提出了如“网格计算(Grid Computing)”、“按需计算(On-Demand Computing)”、“效用计算（Utility Computing）”、“互联网计算(Internet Computing)”等概念和模式。“云计算”是在这些概念基础上发展起来的。云计算在提高资源利用率、灵活的可伸缩性以及可管理性方面表现出了巨大的优势，同时因其更清晰的商业模式而得到工业和学术界的普遍认可。云计算在商业领域正取得巨大的成功。

云计算是一种能够通过网络以便利的、按需的方式获取计算资源（网络、服务器、存储、应用和服务）的模式，这些资源来自一个共享的、可配置的资源池，并能够快速获取和释放。云计算的基本特征包括按需服务、广泛的网络的接入、虚拟的资源池、快速弹性扩展、按使用计费等，其服务模式主要分为“软件即服务”（SaaS：Software as a Service）、“平台即服务”（PaaS：Platform as a Service）、“基础设施即服务”（IaaS：Infrastructure as a Service），还有“数据即服务”（DaaS：Data as a Service）等其它模式。

2. 科学研究对于云计算的需求

科学研究规模的扩大，使人们需要采集海量的数据用于研究和解决复杂的科学问题。这些科学问题包括认识自然界物质的微观结构、天体的演化、全球气候变化、基因的奥秘等。物理、化学、生物科学、医学、系统科学、经济学、气象、地震、核能技术、石油探勘等多个领域都要涉及到对于海量数据的分析与处理，而科学数据呈数量级增长对计算技术提出了更大的挑战。传统的科学计算环境通常采用超级计算机、集群、网格等系统。随着科学研究的不断深化，科学计算环境也需要不断发展来满足应用的多样化需求，比如：

(1) 如何使资源充分共享与提高资源利用率？

当前，科学计算环境往往通过Torque、Condor、LSF等资源管理和作业调度系统基于系统负载状态和作业信息将作业调度到物理机器上运行。但是，这种资源管理是静态的，难以满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源（内存、CPU、IO、网络、磁盘空间等）的需求，通常分配给作业的资源不能充分利用，而需要资源的作业却不能运行，导致资源难以充分利用。使用虚拟化技术可以降低应用与基础设施的耦合程度，灵活调度各种类型的作业，从而充分利用资源，提高资源利用率。

(2) 如何提供按需定制的服务模式？

在传统的科学计算环境中，用户往往对资源只有使用权并无管理权，用户只能按照计算系统提供的接口(比如作业提交命令等)进行使用，严重影响了应用的拓展与多样性。采用云计算技术可以让用户在传统的科学计算系统，比如超级计算机、集群或网格上创建自己的“私

有云”，以按需定制的模式提供服务，以满足应用日益增长的多样性和广泛性的需求。

(3) 如何提供广泛兼容的科学计算环境？

传统的科学计算环境对用户和应用提出了苛刻的要求，用户必须按照所提供的环境编写和运行程序。对于那些需要特殊或定制库的应用几乎难以直接运行在已有的系统上。随着计算机硬件和操作系统等系统软件的快速发展，将会出现越来越多的遗留程序。它们依赖于特定的计算环境，如果要移植到新的体系结构或操作系统上几乎不可能，或者要花费大量的人力和时间。如果不能兼容这些遗留程序，不仅会造成软件资源的浪费，甚至连已有宝贵的数据也难以读取和分析。因此，采用虚拟化等云计算技术构建广泛兼容的科学计算环境势在必行。

科学计算的云计算不能简单地采用商业领域的云计算模式，而应该针对科学计算的特性，以科学计算需求为牵引，引入云计算的理念和技术实现科学云计算。世界各国在过去几年中都在积极开展云计算在科学研究中的应用研究。在高能物理领域，欧洲粒子物理中心（CERN）启动了虚拟机项目CernVM，并在此基础上发起面向大型强子对撞机的LHC云计算项目，为LHC提供虚拟化的应用环境。同时，CERN还启动了LxCloud项目，支持批处理计算服务，以提高资源利用率并简化管理。CMS网格使用HDFS云计算存储系统以提高网格存储系统的可管理性。ATLAS实验在2011年5月正式提出了ADC（ATLAS Distributed Computing）云计算项目。德国电子同步

加速器实验室（DESY）、法国国家核物理粒子物理研究院（IN2P3）、意大利国家核物理研究院（INFN）、美国费米国家实验室（Fermilab）以及中科院高能物理研究所等国内外知名的科学研究机构开始研究和使用云计算技术。在生物信息、天体物理等众多领域也有一大批相关的研究和应用。本文首先介绍国际上几个著名的面向高能物理研究的云计算项目，包括CernVM、LHC云计算、LxCloud、FermiCloud、CLEVER等，然后介绍在生物信息、天体物理研究中的一些典型云计算应用，最后介绍国内的部分“科学云”的研究及应用现状。

3. 云计算与高能物理

现代高能物理每年产生数十PB的数据，数据处理和物理分析意味着巨大的计算挑战。20世纪末，高能物理领域合作建立了全球范围的网格平台用于支撑大规模的数据处理，并取得很大的成功。今天，网格平台仍然是支撑高能物理计算的基础。但是网格平台存在效率较低、兼容性不足、使用方式不够灵活等问题。因此高能物理领域启动一批云计算项目用来对网格平台进行改进和优化。

3.1 CernVM及LHC云

2008年，欧洲粒子物理中心启动了CernVM项目，用于解决大型强子对撞机LHC物理计算中的虚拟机管理问题。CernVM的基本思想是将操作系统与应用程序打包，做成轻量级的虚拟机映像文件，从而实现在全球网格系统上的作业调度或用户桌面级的数据分析。CernVM并不是将所有的应用程序与依赖库文件都打包在一起（通常是10GB量级），而是初始装入大概100MB左右的“瘦应用”，与应