云计算中的HPC高性能计算

1．背景：

云计算的优势

共享的计算设备

多租户的使用模型

可高度适配的资源分配

按需定制的HPC环境开始流行

2.挑战

虚拟化的开销

CPU, 内存, 驱动等

通信网络的区别

万兆以太网vs. Infiniband

并行IO的配置选项

设备, 文件系统和IO库的选择

3．CCI: Amazon的HPC解决方案

4. 虚拟化对HPC的影响

虚拟设备和物理设备有巨大的性能差别

虚拟机并没有引入很大的开销

对于直接分配给客户机的千兆网卡结论如此, 我们正在研究万兆网卡和IB 网卡的性能结果

5. 性能评价——结论

本地集群在通信上有巨大优势

对于CPU和内存密集型程序，CCI的性能和本地集群相似

究竟使用云还是本地集群，需要研究二者的性价比

6. I/O系统的可配置性：背景

I/O是很多高性能应用程序的性能瓶颈

应用程序的读写密集和并发度差别较大

传统高性能平台只提供通用的、统一的I/O系统

一些高性能程序开始考虑向云计算平台迁移

云计算平台可以带来I/O系统的高可配性

完全受控的虚拟机环境，自定义配置成为可能

弹性的资源申请和方便的部署方式

可选多种存储资源进行搭配

I/O系统的可配置性在于

可以在虚拟集群上选择不同的文件系统

可以利用多种底层存储设备进行组合

可以充分调节文件系统参数，专门为特定的某一个高性能应用程序进行配置 I/O系统可配置性的挑战

最优配置需要根据不同应用程序进行选择

需要平衡性能和总成本

7. I/O系统的可配置性：文件系统

网络文件系统（NFS）

使用简单，只有POSIX系统调用接口

对I/O需求较低的应用程序已经足够

存在单点瓶颈，扩展性差

并行文件系统（如PVFS）

MPI-IO接口，对并行读写支持良好

可以使用更多的IO节点，扩展性好

8. I/O系统的可配置性：存储设备、

单实例临时存储设备（Ephemeral）

块设备，每节点2*800 GB, 非持久化存储

弹性块设备(EBS)

每个实例可挂载任意多块，可跨实例挂载

持久化，生命期与虚拟机实例无关

云端数据库存储服务(S3)

键值存储，面向数据库和互联网应用

9. I/O系统的可配置性：文件系统参数

10. I/O系统的可配置性：结论

针对不同的HPC应用配置I/O系统很有必要

不同HPC应用对I/O的需求不一样

性能和价格需要折中

I/O配置的挑战

应用的I/O行为决定了系统参数的选择

领域专家对文件系统知识缺乏，缺少经验

自动化的IO优化配置是有实际意义的

11.结论

高端处理器让HPC的云计算变得更加现实

虚拟化的低开销可以忍受

对于计算密集型的HPC程序，使用类似于CCI的计算平台值得投资 万兆网卡仍然会限制通信密集程序的性能和性价比

可配置性是云端待发掘的巨大优势之一

e.g. IO子系统