高性能集群计算系统的结构与设计探讨

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2集群计算机系统体系结构
集群是一种并行或分布式处理系统,该系统是有两 个或多个计算机(简称为节点)通过网络连接而成。节点 可以是一台PC机、工作站或SMP(共享存储的多处理 机),分别构成PC集群(c0P)、工作站集群和sMP集群。 每个节点都由独立的处理器、主存储器、辅助存储器、“O 接口及操作系统。可以单独工作执行串行应用程序,也 可以作为集群中的一个节点执行并行应用程序,栅同完 成并行任务。计算机集群对于用户和应用程序而言就像 是一个单一的系统,独立地拥有系统中的所有资源(处 理器、内外存储器、I,O接口和外围设备等等),而不需要
3集群硬件平台
3.1集群中间件 集群中间件处于节点操作系统与用户环境之间.它 与操作系统一起为所有节点提供访问系统资源的各种 途径。集群系统的设计目标集中体现在支持应用程序时 对资源管理、系统可扩展性和可用性的完全透明。中间 件必须允许用户对系统结构不了接的前提下,能够容易 且有效地使用集群系统中的资源.不需要考虑这些资源 是在本地还是在远程。巾间件应提供一下主要服务。 (1)唯一地址空间:将属于集群的各节点内存作为共 享内存,进行统一编址(包括I,O接口,也要统一编址)。 f2)唯一用户界面:用户可以通过唯一GuI(图形用 户界面)使用集群。 (31唯一进程空间:每个进程可以在同一个节点或不同 节点生成子进程或与任意远程节点的其他进程交换信息。 (4)唯一作业管理:用户可以用透明的作业提交机制 在任一个节点上提交作业,作业可以批处理、交互式或 并行模式被调度执行。 (5)检查点设置:检查点机制使进程状态和中间结果 得以定期保存,当节点失效时故障节点的进程可以在另 一正在工作的节点上重新开始.而不会丢失计算结果。 (6)进程迁移:使集群间的节点负载达到动态平衡。 除此之外还包括单点管理和控制、唯一虚拟网络、 唯一文件层次等功能。 3.2集群中的通信网络 通信网络是集群中摄关键的部分之一,是集群的主 要瓶颈,它的速度、容量和性能直接影响着整个集群系 统。在集群系统中常使用的网络平台有快速以太网、
Berkelev N0w是基于Solaris(分布式操作系统)、 Glinux和xFs(无服务器网络文件系统)之上的工作站集 群,节点间利用MyriNET网络和活动消息进行信息传
递,其主要特点是用大量生产的商品化工作站和最先进 的基于开关网络部件构造大型并行计算系统。Beowulf 是基于Linux和Grendel(系统软件工具包)之上的PC 机集群.采用TCP/IP多个以太网完成节点间信息交换, 主要特点是能够构造“最佳”性能价格比的集群系统。 HPVM(高性能虚拟机)是基于windows NT、Linux和 LsF(负责分配器一负责资源管理)之上的Pc机集群,采 用快速消息的MvriNET网络进行节点间数据交换,主要 特点是采用高带宽低延时的通信协议FM(快速消息)。 Solaris MC是基于solaris和全局层操作系统之上的PC 机或T作站集群,用高速网络将计算节点连接起来,使 用面向对象的框架在节点间进行通信.支持多个或多样 网络相互连接。
searcher value,we can develop a duste‘product owrⅡy in出e near future. Key wOrds:auster Compud“g;Toganler Compub“g;Architecture;Conlnlunication Net、Ⅳork
f31陆爱明.单片机和图形液晶显示器接口应用技术 [M].北京:电子产品世界,2001.
(上接第159页) f21S01aris操作系统 Solaris是sunson公司开发的基于Unix的多线程 (线程是单处理器或多处理器常用的编程方式.可以有 效地使用系统资源)多用户操作系统。它支持In- tel80x86和sparc平台。其网络支持包括TcP/IP协议栈 和分层特征,编程环境包括c和C++编译器,支持分布 式计算,可以存储和搜索分布式信息。 (3)Windows NT windowsNT是Mcmsoft公司推出的抢占式、多任务 多用户的32位操作系统,内置了IPx,sPX、T蜘ⅥP、Net. BEuI和API等协议,是一个使用最普遍的网络操作系统。 4.2编程环境 集群中的每个用户可以使用不同的编程工具。开 发、调试、测试、描述、运行和监控自己的分布式程序。因 此.集群环境应该包括接口、API和传统开发工具等等. 共同为用户提供丰富的开发环境。如通用编程语言c、 C++、Fonmn和Java、简单的RPC和Ped语言等等.通 用消息传递接口MPI和PvM等等。 PvM:并行虚拟机。其功能是可以使由不同网络连 接起来的异构计算机的集合作为一致而灵活的并发计 算资源,既是应用环境又是消息传递库。 MH:消息传递接口。是消息传递的详细说明。用作为 明确的消息传递分布存储并行计算机的标准.该接口试图 建立一个实用的、可移植的、有效的、灵活的消息传递标准。 4.3管理软件 Microsoft.net软件用来提高并行处理器的可访问 性。大多数传统的控制者一工作者代码是用c或FOR. TRAN编写的,并使用消息传递库(MPI或PvM)来提供 控制者一工作者之间的进程通讯。其主要缺点是程序员 需要了解消息传递、数据传递、分布式管理和安全的内 在机制,最终用户仍需掌握一些并行任务计划器来请求 资源,以便运行应用程序。Microsoft.net平台消除了这些 障碍,使用户或程序员可以采用面向对象的方法完成任 务。每个工作者是一个对象或web服务,控制者是一个 标准的web接口或桌面应用,网络集群体系找到最合
上。传统的传输协议只支持单播——一个发送者与一个 接受者直接通信,而组播组则是在一个发送者与多个接
收者之间进行数据交换。这些接收者必须是已经注册成 为数据接收者的应用程序。传统的传输协议需要交换六 个数据分组,才能可靠地传输一个数据单元。其中两个用 来建立和确认连接,两个用来发送和确认数据,两个用来 关闭连接;而xTP只用三个分组即可完成数据的交换, 一个用来打开连接、发送数据和请求关闭连接,一个用来 确认数据.一个用来确认连接关闭。
收稿日期:2005一09—21 作者简介:王国明(1965一),男,安徽淮南人,计算机系讲师,告肥工业大学在读硕士,主要从事计算机网络安奎噩集群计算研究。
1髓J静_l-知识;{直¥
万方数据
、弋.研究开发....:.
考虑这些资源是在本地还是远程。该系统能够提供一种 价格合理、具有高性能和高可用性的并行计算方案。其 系统结构如下图所示。
WANG Guo—111ing
Depa衄ent (AnHui Universitv ofScience and Techn0109y
Βιβλιοθήκη Baidu
ofComputer,Huainan 232001,Cllina)
Abstract:The usage computer cluster of me system proceeds proceed together the calcIlladon is a kind of虹nce econ— omy and emcientlv of s01u廿on,the resources of developmem is abundant,the cost is cheap.The computer cluster of t11e svstem makes出e direction of the super calculator evelopment:Thjs texc was more detaned to discuss the the constmcdon of血e compucer cluster of systems a11d the funcdon of the maill pa出es, causi“g the commerce wlth the period me re~
......研究开发./
统中.这种解决方案占用资源太多.性能价格比不高。采 用上述方案,在极小的开销下解决了实际问题,能够完 全满足现实的需要。
参考文献
[1]李维言,郭强.液晶显示应用技术[M】.北京:电子工 业出版社,1999.
【2]李维言,郭强,周云仙.液晶显示应用手册[M】一E京: 电子工业出版社.2002.
i“datalU][i】&Ox01)putpjxel(x_zb+7,y_出,RED)’ y一出=y—zb+1; x_出=x—zb一24;1 retum;1
4结束语
目前,关于解决人机界面中的汉字显示有着诸多的 方法,例如采用汉字字符模块及汉字字符集库等方案。 但这些方式对使用大量汉字信息的系统有优势.在小系
研究人员的重视.在不久的将来能够开发出我们自己的集群产品。
关键词:集群计算;并行计算;体系结构;通信网络 中图分类号:TP338 文献标识码:A 文章编号:1009—30“(2005)35—0158—02
The High Pe—brmance CIuster Computing System of Constructjon and Function Study
159
电脑知识与技术
i“daIalDⅡ司&0xl 0)putpixelor_zb+3,y』b,RED); i《datalD】【i】&0x08)pu’PixeI(x—zb+4,y』b,RED); i取d砒a1嘲【i】&ox04)putpixel(x—zb+5,y—jb,RED);
岬atal【j】【i】&0x02)putPixel(x』b+6,y_,RED);
ATM——异步传输模式、severNET_一系统网、
M蜘NET、scI——可扩展并发接口以及内存通道网络等
万方数据
电脑知识与技术
等(详见计算机网络等资料)。在此详细介绍xpress传 输协议。
在集群系统中,应用程序数据流可能需要从一个处 理器复制到一组处理器上,在这种复制(传输)过程中,传 输控制协议TCP在复制数据流时会给每个接受者建立 一个连接,单独处理每个数据流;而uDP协议可以利用 组播完成数据流的复制,虽然提高了传输效率,但它提供 的是不可靠的传输服务。这些都不能满足集群计算要求 低延迟和快速通信的需要。XpressⅨTP)传输协议支持可 靠和不可靠传输组播服务、组播组管理、快速建立与拆除 连接、支持高吞吐量、低延迟通信服务、具有优先级管理 机制、速率与突发控制以及选择性重发等功能。xTP传输 协议可以单独或与其他传输协议一起运行在IP协议、 cLNP协议、LLc与MAc协议、异步传输协议ATM之
4集群中的软件平台
4.1操作系统 操作系统能够为每个进程分配要执行的任务、内 存、微处理器以及其它系统资源。在集群系统中常用的 操作系统如下。 (1)Linux操作系统 Hnux是一个类似于unix的操作系统。它可以方便 地运行在Intel80X86平台上,提供unix的强大功能.易 于修复错误、改善系统性能,其典型的功能有抢占式多 任务、请求页面虚拟内存.同时支持多用户,因此,在集 群系统中非常受欢迎。 (下转第168页)
1概述
早在20世纪60年代,IBM公司就提出了集群计算 系统.其基本思想是将大型计算机连接起来,提供成本 合理的商业化并行计算系统.以满足各个领域并行计算 的需要。但是,由于当时各种技术的限制(主要是软硬件 成本较高),这种思想很难商业化。直到20世纪80年 代.随着高性能低价位微处理器、高速网络和高性能分 布式计算标准工具的出现与普及,集群计算系统获得了 快速发展的物质基础。起初,人们为了获得高性能的计 算系统.一方面不断增加处理器的运算速度、内存和磁 盘的存储容量.另一方面将多个处理起连接起来,使用 它们合在一起的计算能力.这就是并行超级计算机。这 种技术受到成本和制造工艺的限制。其系统的灵活性及 可发展空间很小.从而导致了并行计算从传统的专用超 级计算机平台向着廉价而通用、松藕合、由单一或多个 处理器的PC机或工作站构成的集群系统的方向发展, 这是集群计算系统得以快速发展的社会背景。在20世 纪90年代以后。相继产生了Beowulf、Berkelev N0w、 HPvM、Solaris MC四大集群环境。集群计算机在科学计 算、工程计算、图象分析与处理、生命科学、金融服务、制 造业以及商业界等领域得到了广泛的应用。
电脑知识与技术
······研究开发
高性能集群计算系统的结构与设计探讨
王国明 (安徽理工大学计算机科学与技术系,安徽淮南232001)
摘要:使用计算机集群系统进行并行计算是一种既经济叉高效的解决方案。开发资源丰富,成本低廉。计算机
集群系统是超级计算机发展的方向;本文较详细地论述了计算机集群系统的结构及主要部件的功能,以期引起业界
图1某群计算机体系结构图
主要包括多个低价格高性能计算机及运行在其上 的操作系统、高性能网络/开关、网络接口卡(NIC)、快速 通信协泌与网络服务、集群中间件、并行编程环境与工 具、消息传递接口、高速通信网络和应用程序(串行应用 程序或并行应用程序)等软硬件组成。这些部件共同协 调地完成并行任务,实现高性能集群计算。
3.3集群中的内存储器 集群互连结构首先要确定集群内存模式,也称为编 程模式。其一是共享内存模式,在共享内存模式中有一 个共有全局地址空间,使得集群网络对于进程是透明 的;虚拟内存管理硬件和软件主要用来将虚拟地址映射 到本地或远程物理地址中去,共享内存的互连结构可以 将远程内存页映射到本地应用程序之中。其二是分布式 内存模式.在分布式内存模式中使用消息传递软件使得 网络对应用程序是可见的;通过发送,接收API(应用程 序接口)调用.将数据发送到其它节点或接收其它节点 传来的数据。与共享内存模型相比,用户必须明确地调 用通信例程才能发送或接收数据。
相关文档
最新文档