高性能计算集群云化部署

高性能计算集群云化部署

作者：张琦

来源：《中国管理信息化》2019年第03期

[摘; ; 要] 随着云计算与虚拟化技术的不断发展，虚拟化层对资源的耗用越来越低，而云化资源池对各种软硬件资源利用率的提升优势越来越明显。在云计算环境下进行高性能计算已成为可能。文章重点介绍如何在集群系统快速搭建高性能计算私有云环境。

[关键词] 高性能计算;云计算;虚拟化;集群系统;地震资料处理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 03. 058

[中图分类号] TP311; ; [文献标识码]; A; ; ; [文章编号]; 1673 - 0194（2019）03- 0144- 03

1; ; ; 引; ; 言

多年来，地震资料处理在高性能计算领域一直是典型应用之一，生产应用过程中的不同时期，对各种地震处理软件的使用需求量不同，经常需要在高性能计算集群系统的节点上对不同软件进行切换。然而由于几大软件寡头垄断厂商的竖井式全系列开发模式，导致不同地震处理高性能计算软件对操作系统版本及软件运行环境要求各异，难以在一台高性能计算节点同时安装多套不同厂商的地震处理软件，这就需要通过以重新安装操作系统和处理软件的方式进行软件切换。由于高性能计算系统节点众多，这个过程如果人工操作，必然耗时巨大。而云计算技术恰恰提供了将集群系统资源池化，并根据应用需求进行动态调整部署的方法。随着近些年云计算与虚拟化技术的不断发展，虚拟化层对资源的耗用越来越低，而云化资源池对各种软硬件资源利用率的提升优势越来越明显，在云计算环境下进行高性能计算已成为可能。

2; ; ; 高性能计算集群云化部署的三层架构

高性能计算集群云化部署的层次有三个，最下面的是虚拟化平台层，可以部署CentOS、ESXi等。中间层是云服务层，可以使用Opennebula、OpenStack等。最上层是虚拟机层，可以部署KVM、Vmware等。

3; ; ; 高性能计算集群云化部署方式

整个高性能计算集群云化部署以DHCP+TFTP+PXE+Kickstart方式为主，中间配置使用开源易用的Ansible软件，也可以使用更简便的pdsh并发软件。虚拟化平台层使用CentOS（部署ESXi方法与CentOS相同）。中间层因为私有云环境虚拟机数量在2 000台以下，所以选用轻量级的开源云服务软件Opennebula。虚拟机层使用的是开源的KVM虚拟机，虚拟机操作系统使用的是RHEL，安装的软件是斯伦贝谢公司的Omega地震处理系统。

3.1; ;虚拟化平台层部署

3.1.1; ;管理服务器配置

管理服务器选用CentOS或RHEL操作系统均可，管理服务器需要配置DHCP、TFTP、FTP服务（FTP服务可以使用NFS、HTTP服务替代）。具体配置方法十分简单，可参照相关官方文档，下面主要介绍注意事项。

3.1.2; ;虚拟化平台层自动部署

通过使用pdsh并发软件对集群节点发送IPMI重新启动命令，重启各个节点，节点就开始按照ks.cfg中的配置开始自动安装操作系统及额外安装的软件了。

3.2; ;云服务层部署

云服务层管理服务器及客户端节点选用CentOS或RHEL操作系统均可，安装Opennebula 软件使用yum方式即可，具体安装方法十分简单，可参照相关官方文档。常见错误是管理服务器和客户端节点的ssh、scp需要口令或确认信息。客户端配置可以写成脚本，放在虚拟化平台层自动部署中的ks.cfg文件中，这样当节点操作系统安装好后客户端就自动配置完毕了。

管理服务器配置界面有中文Web界面，根据界面提示操作十分简单。首先创建集群、主机，将自动部署好的虚拟化平台层节点加入集群即可。然后创建网络，规划虚拟机层的网址范围，包括MAC地址和IP地址。之后就可以制作裸机镜像，镜像可以采用qcow2格式（一种较省空间的可压缩格式）。镜像注册好后，就可以根据需求的配置制作虚拟机模板。

3.3; ;虚拟机层部署

虚拟机层采用KVM虚拟机，部署方式同虚拟化平台层部署方式一样，可以直接使用虚拟化平台层部署使用的管理服务器，只需修改相应配置即可。利用Opennebula管理界面将制作好的虚拟机模板，根据所需求的数量在集群中创建实例即可，虚拟机在启动后就可以根据ks.cfg配置，自动安装操作系统及额外安装的软件了。

4; ; ; 总; ; 结

高性能计算集群从裸机到提供虚拟化高性能计算应用的整个三层云化部署过程，用时在一小时左右。通过云化资源池，对整个集群系统软硬件资源利用率具有非常大的提升作用，尤其是对于CPU核数的虚拟化，可以节约某些软件的许可耗用。在未来随着技术发展，虚拟化层对资源的耗用必将进一步降低，这就使得高性能计算集群云化部署方法有了更大的推广应用前景。

主要参考文献

[1]孟相武，程劲，罗克露，等.基于Linux的高可用集群系统的设计及实现[J].电子科技大学学报，2005（4）.

[2]李林昊.大规模Linux集群部署系统的研究及实现[D].焦作：河南理工大学，2009.

[3]许兆新，周长林.Linux集群节点自动化部署方法与实现[J].应用科技，2009（10）.

[4]么罗野.大规模快速部署Linux的实现方法[J].计算机与现代化，2011（5）.

[5]顾梦非，徐炜民.一个基于Linux的集群部署方案[J].计算机应用与软件，2008（1）.