高性能计算集群Beowulf
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
柄 引用 这 些 数 据 结 构 ， 这 些 句柄由各个 ＭＰＩ调用返回，并可能再次 用于 其 他 的 Ｍ ＰＩ 调 用 。 在 Ｃ 语言中，句柄是指向特定的数据类型的
指针 （由 Ｃ 中 的 ｔｙ ｐｅ ｄｅ ｆ机 制 创建），它是一个ＭＰＩ多ｏｍｍ类型 （一 个代 表 所 有 处 理 器集 合 的 通 讯 子）的一个对象，而在 Ｆｏｒｔｒａｎ语言
拷贝数据，消息被拷贝的等待时间和速度是使用它的模型的限制因子。消息在 ＳＭＰ的处理器之间和集群的节点之间运行效果非常好。相对于线程而言，在一个 ＳＭＰ机器上使用消息的优势在于如果决定将来使用集群则非常容易增加机器和扩
展应用。
第二章 高性能计算集群一一Ｂｅｏｗｕｌｆ
基于 消 息 传递的并行编程模式是集群环境中最常用、最简单的编程环境，ＰＶＭ
号给另一个节点上的进程，这使得一切都在用户所指定的范畴内运行·
２．３Ｍ ＰＩ和 ＰＶＭ
在集 群 上 开发并行代码的关键是各个节点之间的通信，一种常用的办法是在 处理器之间使用消息传递技术，该技术用于早期本地内存并行机的设计，一个消
息非常简单，它包括一些数据和一个目标处理器，公共消息传递 ＡＰ工ｓ是 ＰＶＭ或 ＭＰＩ，消息传递可通过使用线程有效地实现，当线程在某地使用数据时消息需要
Ｂｅｏ ｗｕ ｌｆ 集群上的节点资源只为这个集群自身所用，每个独立节点的性能不 受外部因素影响，这有助于平衡负载。同时，由于这样互联的网络和外部网络是 隔绝的，网络负载情况只受到在集群上运行的程序影响，这可减轻在工作站网络 中由于意外延迟而造成的影响。所有在集群上的节点在集群的管理权限内运行， 这样集群网络对于外部是不可见的。另一方面，Ｂｅｏｗｕｌｆ的软件提供一个全局的 进程 ＩＤ。这就启动了这样一套机制：在系统一个节点上的进程能够传送一个信
系统的发展。 Ｂｅｏ ｗｕ ｌｆ 是 Ｌｉｎｕｘ集群的一种，对它的研究是由美国国家航空航天局 （ＮＡＳＡ）
于 １９９４年上半年发起的。从分类上讲，它属于高性能计算集群。在 Ｌｉｎｕｘ操作 系统中并没有一个包叫做 Ｂｅｏｗｕｌｆ，实际上它是一个术语，适用于在 Ｌｉｎｕｘ内 核上运行的一组公共软件工具，其中包括流行的软件消息传递 ＡＰＩ，如消息传递 接口 （ＭＰＩ）或并行虚拟机 （ＰＶＭ），对 Ｌｉｎｕｘ内核的修改，以允许结合几个以太 网接口、高性能网络驱动器 ，对虚拟内存管理器的更改，以及分布式进程 间通信 （ＤＩＰＣ）服务。公共全局进程标识空间允许使用 ＤＩＰＣ机制从任何节点访问任何 进程，Ｂｅｏｗｕｌｆ还在节点间支持一系列硬件连通性选件。 组成Ｂｅｏｗｕｌｆ的侮一 台个人计算机或工作站叫做 Ｂｅｏｗｕｌｆ的一个节点，它们有各 自的本地内存，通过 消息互相通信，通常 Ｂｅｏｗｕｌｆ集群只有一个节点与外界相连，也就是说，从外界 的角度来看，Ｂｅｏｗｕｌｆ集群就是一台高性能的计算机。
第二章 高性能计算集群— Ｂｅｏｗｕｌｆ
运行于 ＷｉｎｄｏｗｓＮ Ｔ操作系统上。由于 ＷｉｎｄｏｗｓＮＴ操作系统本身在稳定性、大 型并行计算上与 ＵＮＩＸ系统存在较大差距，所以目前主要在中小型系统上应用。
九十 年 代 末期，Ｌｉｎｕｘ操作系统不断走向成熟，它的健壮性也不断增强，并 且提供了ＧＮＵ软件和标准化的ＰＶＭ．Ｍ ＰＩ消息传递机制，最重要的是 Ｌｉｎｕｘ在 普通 ＰＣ机上提供了对高性能网络的支持，这样就大大推动了基于 Ｌｉｎｕｘ的集群
（ｅｎ ｔｉ ｔｉ ｅｓ ）（ 包 括例 程 、 常 数 和类型等）都以ＭＰ工＿开头。
． Ｍ Ｐ工 例 程 Βιβλιοθήκη Baidu 返 回值：所有 ＭＰＩ例程 （函数或子程序）在 Ｃ或Ｆｏｒｔｒａｎ 调用 中 都 返 回 一 个 整 型 值 ， 用以确定 ＭＰＩ调用的退出状态。
． ＭＰ Ｉ句 柄 ： Ｍ ＰＩ 定义了自己的用于通讯的数据结构，我们必须通过句
和 ＭＰＩ是最常用的消息传递并行编程环境。
Ｉ， Ｐ Ｖ Ｍ和 ＭＰＩ都给用户提供了消息传递库，但其基本框架有着很大的区别： ＰＶＭ除消息传递库外，还提供了为一个或多个 ＰＶＭ程序创建集群环境的标准方法， 这种集群被称为并行虚拟机；此外它还提出了在并行程序开始前和运行时任务到
物理处理器的分配机制。而 ＭＰＩ是消息传递标准的一种规范，由一组库函数完成 并行任务之间点到点消息传递通信和集中式通信，而且 ＭＰＩ还没有指定任务分配
基于 以 上 讨论，在开发ＨＴ－７Ｕ等离子体位形实时反馈控制系统的核心计算程 序时，我们选择使用 ＭＰＩ。下面我们简单的介绍如何在 ＭＰＩ中编写、调试并行程
序。
一个标准的ＭＰＩ程序由以下部分构成： 今 头 文 件 ：对 于 Ｃ 程序，必须包含 ｍｐｉ．ｈ 头文件，而对于 Ｆｏｒｔｒａｎ程
序， 则 包 含 ｍ ｐｉｆ ．ｈ ｏ ． ＭＰ Ｉ 命 名 约 定： 为了避免与语言的命名冲突，约定所有的 ＭＰＩ实体
的方法。同ＰＶＭ相比，ＭＰＩ只是一个支持并行计算的程序库，并不是一个并行操
作系统。
２、 提 出 ＭＰＩ的目的是创建一种标准的消息传递接口，设计的关键是速度， 因此ＭＰＩ速度比 ＰＶＭ快。ＭＰＩ尽量利用本地的硬件支持，如直接利用硬件提供的 广播机制，但和无此机制的其它机器通信就会有问题。而 ＰＶＭ工作围绕“虚拟机” 思想展开，考虑了可移植性、容错和异构性，它的通信要根据对目标机的判断来
决定通信方式，并且 ＰＶＭ是一种比较完整的自含式系统，具有很强的进程控制功
能，有丰富的资源控制函数，可随时增删处理机节点，有很强的动态特征，允许 应用程序和计算环境直接打交道；而且在一个发送消息的任务失败时，接收消息 的任务可得到一个任务失效通知，接着会采取相应措施。但是ＭＰＩ的语义更精确。 作为一种消息传递界面标准，ＭＰＩ没有严格要求底层的通信协议，它只是应对于 应用程序的通信程序库，至于下层的硬件、协议完全由厂商自己决定。
第二章 高性能计算集群一一－Ｂｅｏｗｕｌｆ
中， 句 柄 则是一个整型数，例如 ＭＰＩ一。ＭＭＷ ＯＲＬＤ．
令 ＭＰＩ数据类型：参考 Ｃ和 Ｆｏｒｔｒａｎ中的基本数据类型，ＭＰＩ提供了自
指针 （由 Ｃ 中 的 ｔｙ ｐｅ ｄｅ ｆ机 制 创建），它是一个ＭＰＩ多ｏｍｍ类型 （一 个代 表 所 有 处 理 器集 合 的 通 讯 子）的一个对象，而在 Ｆｏｒｔｒａｎ语言
拷贝数据，消息被拷贝的等待时间和速度是使用它的模型的限制因子。消息在 ＳＭＰ的处理器之间和集群的节点之间运行效果非常好。相对于线程而言，在一个 ＳＭＰ机器上使用消息的优势在于如果决定将来使用集群则非常容易增加机器和扩
展应用。
第二章 高性能计算集群一一Ｂｅｏｗｕｌｆ
基于 消 息 传递的并行编程模式是集群环境中最常用、最简单的编程环境，ＰＶＭ
号给另一个节点上的进程，这使得一切都在用户所指定的范畴内运行·
２．３Ｍ ＰＩ和 ＰＶＭ
在集 群 上 开发并行代码的关键是各个节点之间的通信，一种常用的办法是在 处理器之间使用消息传递技术，该技术用于早期本地内存并行机的设计，一个消
息非常简单，它包括一些数据和一个目标处理器，公共消息传递 ＡＰ工ｓ是 ＰＶＭ或 ＭＰＩ，消息传递可通过使用线程有效地实现，当线程在某地使用数据时消息需要
Ｂｅｏ ｗｕ ｌｆ 集群上的节点资源只为这个集群自身所用，每个独立节点的性能不 受外部因素影响，这有助于平衡负载。同时，由于这样互联的网络和外部网络是 隔绝的，网络负载情况只受到在集群上运行的程序影响，这可减轻在工作站网络 中由于意外延迟而造成的影响。所有在集群上的节点在集群的管理权限内运行， 这样集群网络对于外部是不可见的。另一方面，Ｂｅｏｗｕｌｆ的软件提供一个全局的 进程 ＩＤ。这就启动了这样一套机制：在系统一个节点上的进程能够传送一个信
系统的发展。 Ｂｅｏ ｗｕ ｌｆ 是 Ｌｉｎｕｘ集群的一种，对它的研究是由美国国家航空航天局 （ＮＡＳＡ）
于 １９９４年上半年发起的。从分类上讲，它属于高性能计算集群。在 Ｌｉｎｕｘ操作 系统中并没有一个包叫做 Ｂｅｏｗｕｌｆ，实际上它是一个术语，适用于在 Ｌｉｎｕｘ内 核上运行的一组公共软件工具，其中包括流行的软件消息传递 ＡＰＩ，如消息传递 接口 （ＭＰＩ）或并行虚拟机 （ＰＶＭ），对 Ｌｉｎｕｘ内核的修改，以允许结合几个以太 网接口、高性能网络驱动器 ，对虚拟内存管理器的更改，以及分布式进程 间通信 （ＤＩＰＣ）服务。公共全局进程标识空间允许使用 ＤＩＰＣ机制从任何节点访问任何 进程，Ｂｅｏｗｕｌｆ还在节点间支持一系列硬件连通性选件。 组成Ｂｅｏｗｕｌｆ的侮一 台个人计算机或工作站叫做 Ｂｅｏｗｕｌｆ的一个节点，它们有各 自的本地内存，通过 消息互相通信，通常 Ｂｅｏｗｕｌｆ集群只有一个节点与外界相连，也就是说，从外界 的角度来看，Ｂｅｏｗｕｌｆ集群就是一台高性能的计算机。
第二章 高性能计算集群— Ｂｅｏｗｕｌｆ
运行于 ＷｉｎｄｏｗｓＮ Ｔ操作系统上。由于 ＷｉｎｄｏｗｓＮＴ操作系统本身在稳定性、大 型并行计算上与 ＵＮＩＸ系统存在较大差距，所以目前主要在中小型系统上应用。
九十 年 代 末期，Ｌｉｎｕｘ操作系统不断走向成熟，它的健壮性也不断增强，并 且提供了ＧＮＵ软件和标准化的ＰＶＭ．Ｍ ＰＩ消息传递机制，最重要的是 Ｌｉｎｕｘ在 普通 ＰＣ机上提供了对高性能网络的支持，这样就大大推动了基于 Ｌｉｎｕｘ的集群
（ｅｎ ｔｉ ｔｉ ｅｓ ）（ 包 括例 程 、 常 数 和类型等）都以ＭＰ工＿开头。
． Ｍ Ｐ工 例 程 Βιβλιοθήκη Baidu 返 回值：所有 ＭＰＩ例程 （函数或子程序）在 Ｃ或Ｆｏｒｔｒａｎ 调用 中 都 返 回 一 个 整 型 值 ， 用以确定 ＭＰＩ调用的退出状态。
． ＭＰ Ｉ句 柄 ： Ｍ ＰＩ 定义了自己的用于通讯的数据结构，我们必须通过句
和 ＭＰＩ是最常用的消息传递并行编程环境。
Ｉ， Ｐ Ｖ Ｍ和 ＭＰＩ都给用户提供了消息传递库，但其基本框架有着很大的区别： ＰＶＭ除消息传递库外，还提供了为一个或多个 ＰＶＭ程序创建集群环境的标准方法， 这种集群被称为并行虚拟机；此外它还提出了在并行程序开始前和运行时任务到
物理处理器的分配机制。而 ＭＰＩ是消息传递标准的一种规范，由一组库函数完成 并行任务之间点到点消息传递通信和集中式通信，而且 ＭＰＩ还没有指定任务分配
基于 以 上 讨论，在开发ＨＴ－７Ｕ等离子体位形实时反馈控制系统的核心计算程 序时，我们选择使用 ＭＰＩ。下面我们简单的介绍如何在 ＭＰＩ中编写、调试并行程
序。
一个标准的ＭＰＩ程序由以下部分构成： 今 头 文 件 ：对 于 Ｃ 程序，必须包含 ｍｐｉ．ｈ 头文件，而对于 Ｆｏｒｔｒａｎ程
序， 则 包 含 ｍ ｐｉｆ ．ｈ ｏ ． ＭＰ Ｉ 命 名 约 定： 为了避免与语言的命名冲突，约定所有的 ＭＰＩ实体
的方法。同ＰＶＭ相比，ＭＰＩ只是一个支持并行计算的程序库，并不是一个并行操
作系统。
２、 提 出 ＭＰＩ的目的是创建一种标准的消息传递接口，设计的关键是速度， 因此ＭＰＩ速度比 ＰＶＭ快。ＭＰＩ尽量利用本地的硬件支持，如直接利用硬件提供的 广播机制，但和无此机制的其它机器通信就会有问题。而 ＰＶＭ工作围绕“虚拟机” 思想展开，考虑了可移植性、容错和异构性，它的通信要根据对目标机的判断来
决定通信方式，并且 ＰＶＭ是一种比较完整的自含式系统，具有很强的进程控制功
能，有丰富的资源控制函数，可随时增删处理机节点，有很强的动态特征，允许 应用程序和计算环境直接打交道；而且在一个发送消息的任务失败时，接收消息 的任务可得到一个任务失效通知，接着会采取相应措施。但是ＭＰＩ的语义更精确。 作为一种消息传递界面标准，ＭＰＩ没有严格要求底层的通信协议，它只是应对于 应用程序的通信程序库，至于下层的硬件、协议完全由厂商自己决定。
第二章 高性能计算集群一一－Ｂｅｏｗｕｌｆ
中， 句 柄 则是一个整型数，例如 ＭＰＩ一。ＭＭＷ ＯＲＬＤ．
令 ＭＰＩ数据类型：参考 Ｃ和 Ｆｏｒｔｒａｎ中的基本数据类型，ＭＰＩ提供了自