异构并行计算系统可扩展模型的实现

—97—

异构并行计算系统可扩展模型的实现

祝永志1，王国仁2，李丙锋1，魏榕晖1

(1. 曲阜师范大学计算机科学学院，日照 276826；2. 东北大学信息科学与工程学院，沈阳 110004)

摘 要：效率和可扩展性是并行系统的2个重要的性能指标，虽然异构系统越来越普遍，但对其可扩展性的研究还很少。给出一种适合同构系统和异构系统的效率的定义，根据此定义对可扩展性进行分析，得出既适用于同构系统又适用于异构系统的等效率模型，并根据开销比得出在某一效率常数保持一致的情况下系统规模和工作负载应如何变化。实验结果表明该模型可以对效率和可扩展性进行较好的评测，并能预测算法的可扩展性。

关键词：等效率；负载均衡；可扩展性

Implementation of Scalability Model for Heterogeneous Parallel Computing System

ZHU Yong-zhi 1, WANG Guo-ren 2, LI Bing-feng 1, WEI Rong-hui 1

(1. College of Computer Science, Qufu Normal University, Rizhao 276826;

2. College of Information Science and Engineering, Northeastern University, Shenyang 110004)

【Abstract 】Efficiency and scalability are two important concepts for analyzing the performance of parallel computing systems. Although heterogeneous systems have become more and more common, the research of the heterogeneous system’s scalability returns very few back. This paper presents a definition of efficiency that can be fit for homogeneous and heterogeneous systems. According to this definition, it presents a scalability model that can be applied to both heterogeneous systems and homogeneous systems. Experimental results show that the model can estimate preferably the efficiency and scalability of parallel computing systems. 【Key words 】constant efficiency; load balancing; scalability

计 算 机 工 程Computer Engineering 第35卷 第17期

Vol.35 No.17 2009年9月

September 2009

·软件技术与数据库· 文章编号：1000—3428(2009)17—0097—03

文献标识码：A

中图分类号：N945.12

1 概述

高性能计算技术发展很迅速，越来越多的科学计算问题

能通过并行程序设计得到解决。随着问题规模越来越大，需要的计算资源也更多，所以并行计算系统必须随之扩展，以提高计算能力。然而系统的效率并不是随节点数目的增加而呈线性增长，当系统到达一定规模时会出现效率降低、执行时间难以预测等问题，在异构系统中这些问题更为严重。

本文从效率方面分析异构Beowulf 并行系统的可扩展 性[1]，研究当处理机节点增加时，问题规模应如何变化才能使扩展前后的效率保持不变，并以此来预测系统的可扩展性。

2 异构并行计算系统可扩展模型

目前可扩展性研究主要集中在并行算法与并行机相结合的可扩展性上，并且已有很多研究成果[2]。

可扩展性是设计并行算法和高性能并行机所追求的一个重要目标。可扩展性分析很重要，算法设计者能用其分析算法，并能选取最优并行算法以充分利用增加的处理器。同时可用其估计取得最佳加速比或其他性能参数，如p T 与

()r p P T [3]等最佳处理器数。

2.1 等效率可扩展模型

在等效率模型中，并行运行时间可以表示成问题规模、额外开销函数和处理器数目的函数，可表示为

0(,)

p W T W p T p

+=

则加速比可以表示为 0(,)

p W pW

S T W T W p =

=+ 而效率可以表示为

001(,)1(,)/S W E p W T W p T W p W

=

==++ 根据这个效率函数，如果问题规模保持不变，当p 增加时，效率会降低，因为总的额外开销会随着p 的增加而增加。如果处理器数目保持不变，增大问题规模，那么对可扩展的并行系统，效率会提高，这是因为对固定的处理器数目p ，额外开销函数的增长速度要比()W Θ慢，对这些并行系统，增加p 时，可以通过增大W 的方法来得到需要的系统效率。 2.2 异构可扩展模型

由于异构系统中各节点的处理能力不同，因此必须对每个机器的处理能力进行处理能力的度量。常用的表征各节点的处理能力的方法有2种：

(1)用每秒钟能完成的浮点操作数来表征各个节点的处理能力[4]，即“绝对处理能力”，但是这种方法难以准确地预测浮点操作数目。

基金项目：山东省高等学校重点实验研究基金资助项目(2005-400)；曲阜师范大学校科研基金资助项目(XJ0734)

作者简介：祝永志(1964－)，男，教授，主研方向：网络与分布式计算；王国仁，教授、博士生导师；李丙锋、魏榕晖，硕士研究生 收稿日期：2009-02-12 E-mail ：rizhaozyz@