关于集群技术及其教育科研应用论文

关于集群技术及其教育科研应用论文
广义上说，相互独立的一些系统构成了一个组就是集群。

一个客户与集群相互作用时，集群的行为像是一个独立的系统一样。

从狭义上讲，集群是一些相互独立的计算机，这些计算机作为一个整体对外提供效劳。

对于客户来说，这些计算机的行为就好似一个计算机一样，但是其处理能力、可靠性、IO能力都得到了大幅的提升。

采用集群技术的目的可以概括为以下几个方面：
提高性能.一些计算密集型应用，如：天气预报，核试验模拟等，需要计算机要有很强的运算处理能力，现有的技术，即使普通的大型机其计算也很难胜任，这时，一般都使用计算机集群技术，集中几十台甚至上百台计算机的运算能力来满足要求。

提高处理性能一直是集群技术研究的一个重要目标之一。

降低本钱.通常一套象样的群集配置，其软硬件开销要超过$100,000。

但与价值上百万美元的专用超级计算机相比已经相当廉价。

在到达同样性能的条件下，采用计算机集群比采用同等运算能力的大型计算机具有更高的性价比。

提高规模扩展性（Scalabilitry）.目前，方案扩展系统能力的用户必须购置昂贵的最新的效劳器，才能获得额外所需的CPU，驱动器和内存。

如果该效劳系统采用集群技术，那么只需要将新的效劳器参加集群中即可，对于客户来看，效劳无论从连续性还是性能上都几乎没有变化，好似系统在不知不觉中完成了升级。

增强可靠性.据统计每年由于系统停运，全美国损失40亿美元。

在零售业，平均每次停运损失140000美元，保安业每次停运平均损失450000美元，集群技术使系统在故障发生时仍可以继续工
作，将系统停运时间减到最小。

集群系统在提高了系统的可靠性的同时，也大大减小了故障损失。

最常见的三种群集类型包括高性能科学群集、负载均衡群集和高可用性群集。

1、科学群集
科学集群是并行计算的根底。

通常，科学群集涉及为群集开发的并行应用程序，以解决复杂的科学问题。

科学集群对外就好似一个超级计算机，这种超级计算机内部由十至上万个独立处理器组成。

但它却使用商业系统，并且在公共消息传递层上进展通信以运行并行应用程序。

我们常常听说又有一种廉价的 Linux 超级计算机问世了。

这种超级计算机实际上是一个计算机群集，其处理能力与真的超级计算机相仿，但是硬件以及运行维护费用要比真正的超级计算机低很多，具有极高的性价比。

并行群集系统之所以可以到达如此高的带宽和低延迟，是因为它们通常绕过使用网络协议，如 TCP/IP。

虽然网际协议对于广域网很重要，但它包含了太多的开销，而这些开销在节点相互的封闭网络群集中是不必要的。

节点之间可以使用直接内存访问 (DMA)来进展通讯，它类似于图形卡和其它外围设备在一台机器中的工作方式。

因此横跨群集，可以通过任何节点上的任何处理器直接访问分布式共享内存。

同样也可以使用低开销的消息传递系统，在节点之间进展通信。

消息传递接口 (MPI) 是并行群集系统间消息传递层的最常见实现。

MPI 存在几种衍生版本，但在所有情况下，它为开发者访问并
行应用程序提供了一个公共 API，这样开发者就不必手工解决如何在群集的节点之间分发代码段。

2、负载均衡群集
负载均衡群集为企业需求提供了更实用的系统。

如名称所暗示的，负载均衡群集使负载可以在计算机群集中尽可能平均地分摊处理。

负载通常包括应用程序处理负载和网络流量负载。

这样的系统非常适合向使用同一组应用程序的大量用户提供效劳。

每个节点都可以承当一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。

对于网络流量负载，当网络效劳程序承受了太多入网流量，以致无法迅速处理，这时，网络流量就会发送给在其它节点上运行的网络效劳程序。

同时，还可以根据每个节点上不同的可用资源或网络的特殊环境来进展优化。

与科学计算集群一样，负载均衡群集也在多节点之间分发计算处理负载。

他们之间的最大区别在于缺少跨节点运行的单并行程序。

大多数情况下，负载均衡群集中的每个节点都是运行单独软件的独立系统。

但是，不管是在节点之间进展直接通信，还是通过中央负载均衡效劳器来控制每个节点的负载，在节点之间都有一种公共关系。

通常，使用特定的算法来分发该负载。

网络流量负载均衡是一个过程，它检查到某个群集的入网流量，然后将流量分发到各个节点以进展适当处理。

它最适合大型网络应用程序，如 Web 或 FTP 效劳器。

负载均衡网络应用效劳要求群集软件检查每个节点的当前负载，并确定哪些节点可以承受新的作业。

这最适合运行如数据分析等串行和批处理作业。

那些系统还可以配置成关注某特定节点的硬件或操作系统功能,这样，群集中的节点就没有必要是一致的。

3、高可用性群集
可用性(availability)当集群中的一个系统发生故障时，集群软件迅速做出反映，将该系统的任务分配到集群中其它正在工作的系统上执行。

考虑到计算机硬件和软件的易错性，高可用性群集的的目的主要是为了使群集的整体效劳尽可能可用。

如果高可用性群集中的主节点发生了故障，那么这段时间内将由次节点代替它。

次节点通常是主节点的镜像，所以当它代替主节点时，它可以完全接收其身份，并且因此使系统环境对于用户是一致的。

高可用性 (HA)群集致力于使效劳器系统的运行速度和响应速度尽可能快。

它们经常利用在多台机器上运行的冗余节点和效劳，用来相互跟踪。

如果某个节点失败，它的替补将在几秒钟或更短时间内接收它的职责。

因此，对于用户而言，群集永远不会停机。

某些 HA 群集也可以维护节点间冗余应用程序。

因此，用户的应用程序将继续运行，即使他或她使用的节点出了故障。

正在运行的应用程序会在几秒之内迁移到另一个节点，而所有用户只会发觉到响应稍微慢了一点。

但是，这种应用程序级冗余要求将软件设计成具有群集意识的，并且知道节点失败时应该做什么。

HA 群集也可以执行负载均衡，但通常主效劳器运行作业，而系统使辅助效劳器保持闲置。

辅助效劳器通常是主效劳器操作系统设置的镜像，尽管硬件本身稍有不同。

辅助节点对主效劳器进展活动监控或心跳观察，以查看它是否仍在运行。

如果心跳计时器没有接收到主效劳器的响应，那么辅助节点将接收网络和系统身份。

在群集的这三种根本类型之间，经常会发生混合与交杂。

可以发现高可用性群集也可以在其节点之间均衡用户负载。

同样，也可
以从要编写应用程序的群集中找到一个并行群集，它可以在节点之间执行负载均衡。

从这个意义上讲，这种集群类别的划分是一个相对的概念，不是绝对的。

1、科学群集与并行计算
科学集群是并行计算的根底，在科研领域，如：天气预报，核试验模拟等领域，科学集群获得了广泛的应用。

因为科学集群涉及为解决特定的问题而设计的应用程序，需要有一定的学科背景知识，所以这里不作详细介绍。

2、负载均衡群集的远程网络教育应用
对于教育应用来说，负载均衡集群是应用面最广，最有开展潜力的集群应用形式。

随着网络教育的开展，网络教育系统的用户将成几何方式增长。

由此而导致教育类网站的访问量大幅增长。

由于教育网络资源很多是多媒体素材，包括音频、视频、动画等，这就" 会产生极大的网络流量负载以及额外的处理负载。

在这种情况下，单机的处理能力很快得到饱和，一种方案就是升级系统。

升级系统的方法会导致效劳器工作在降级模式下或效劳器关机，对于客户来说，其效果和效劳器遭受DOS攻击时的效果时一样的。

举个简单的例子，许多网站在升级的过程中，比方.5460.(中国同学录)，会不能访问或者有个提示："系统升级中，请稍后再访问"。

这个"稍后"的概念通常是半天左右；而大家也可以注意到，象google这样的网站，在比.5460.(中国同学录)的客户访问量上要大很多的情况下也几乎没有出现这种情况，原因就在于google采用的是集群效劳器。

Google系统升级在后台进展的时候，其处理和IO
负载被自动分发到集群中的其他效劳器上，所以对于用户而言，几乎感觉不到在响应时间方面的差异。

另外一种方案就是添置新的效劳器，但是在网络上，一台机器唯一的对应于一个IP地址，一个IP唯一的与一个域名绑定，客户需要在访问一个URL的时候得到相同的响应，而不是不同主机的不同响应。

这就要求新添置的效劳器和原有的效劳器应该对外看起来就像一台效劳器一样，而不是多台效劳器。

而这正是集群所产生的效果。

当教育网站的处理能力和IO能力超出单机的负载能力时，考虑性价比、运维本钱、可靠性等多方面因素，集群技术就成为最正确的选择。

下面给出一个集群技术在教育科研网中的应用实例。

方案名称：宁波市教委教育与科研网络整体系统
按照宁波市教委的意见，要求在xx年根本上实现全市范围内教师、学生、家长共同使用互联网进展教学与管理。

依据宁波市经济开展的总体水平与增长趋势，这个目标经过努力，是完全可以实现的。

由此，教科网的构建成为整个目标的关键一环，其中包括了教育与科研网主干、教委办公系统、教委网上平台、网上学校、学习资源、内部E-MAIL等局部。

而基于Turbolinux的整体教育解决方案以其出众的性价比、高可靠性和可扩展性，出色的担当了这一重任。

1、工程背景
2、业务挑战
宁波教科网由于组成局部多，多功能需求也就比拟复杂，大体包含以下局部。

2.1大容量电子邮件
根据规划，需要将市教委直属机关、宁波市区所有学校的老师和学生的电子信箱集中放在教育和科研网络中心的电子函件效劳器中。

因此电子邮件效劳器的容量估计需要10万。

而且，今后可以依据需要扩充。

2.2 LDPA;
为了保证整个网站的一致性和平安性，需要采用LDPA认证。

2.3支持Webmail：
为了方便使用，必须支持Webmail，用户只要使用浏览器就可以完成所有的邮件操作。

2.4 Web
宁波市教委网站市一个为全市3000所中小学提供网上效劳的平台。

该平台应该以方便使用为目标，各个中小学、教委机构通过用户自己的网上信息。

网管中心负责整个网站系统的平安和稳定工作
2.5 办公自动化系统（OA）
教委办公信息系统的实现市整个教科网的应用软件实现的第一步，所以它不仅要在功能上能符合现在教委业务的需要，而且在整个体系构造上必须和以后要实现的学校办公系统，教委义务管理系统、学校业务管理系统之间有很好的接口。

另外在市教委系统和各县（市。

区）教委系统之间有较好的接口。

2.6 网上学校
包括课件、教师、学生、练习、答疑、讨论、点播、交互等多个局部
2.7
包括各种音频、视频、文本、动画等资源
3. 工程实施
3.1 Web系统
通过Turbolinux server和turbo Cluster server构建Web Server集群。

实现Web、FTP等效劳的负载均衡和高可用性方案。

Web Server为Apache。

对于基于BS构造的OA系统。

可以通过此接口为用户提供可靠的效劳。

3.2 数据库系统
通过Turbolinux DataServer＋Oracle8i和TurboHA构建Database集群，提供高可用性的数据库方法，数据库为Oracle8i，通过TurboHA实现双击热备份功能。

对于OA系统，可以提供可靠的数据库效劳
3.3 Mail系统
通过Turbolinux Server和TurboHA为Mail系统提供稳定的系统平台
3.4 OA系统
根据详细需求合作开发，使用Turbolinux DataServer
+Oracle 8i 为开发工具，该软件提供构建复杂的网站的开发、部署、效劳等全套方案。

系统硬件平台采用基于intel至强处理器的效劳器。

4. 效果评价
该系统构建已经完成，预期的功能都已经得到很好的实现。

对于宁波教委的日常工作、网上教育有了极大的促进作用。

当然，这只是整个教科网构建的第一步，而宁波市教委也正在大力推广应用Turbolinux教育解决方案的经历，争取早日实现全市全校网上教学的宏伟目标。

集群技术是一种通用的技术，其目的是为了解决单机运算能力的缺乏、IO能力的缺乏、提高效劳的可靠性、获得规模可扩展能力，降低整体方案的运维本钱（运行、升级、维护本钱）。

只要在其他技术不能到达以上的目的，或者虽然能够到达以上的目的，但是本钱过高的情况下，就可以考虑采用集群技术。

科研领域一直是集群技术，特别是并行计算技术应用最为广泛的领域。

但是对于教育领域来说，集群技术在很长的一段时间内没有很大的应用空间，即便在网络教育开展的如火如荼的今天，集群的教育应用也相当有限。

我认为主要在于集群技术的教育应用还没有形成需求，对于当今绝大多数教育类网站，单机处理能力就可以满足其要求，不可能，也没有必要采用集群技术。

前文中列举了宁波市的教育应用方案，并不是说宁波市的教育网络应用必须要集群技术来支持，只能说这是turbo linux的市场运营的一个成功案例。

事实上，这个案例也是turbo linux推广其产品的经典案例之一。

集群技术在远程教育方面的应用需求，至少要在远程教育形成规模的情况下才可能真正出现。