系统的可靠性设计 和 数据容灾与备份

论系统可靠性设计

摘要：随着计算机网络应用的逐步普及和深入，业务处理越来越依赖于计算机网络系统，网络的可靠性必然是建立网络系统首要考虑的问题之一，否则网络故障会造成巨大的经济损失和社会影响。本人有幸作为项目负责人之一参与了某大学二期网络的建设，并负责了校园网络可靠性的设计和实施。该校园网主要分为行政办公大楼，教学楼群，实验楼群，图书馆，信息中心和网络中心机房6个主要区域。本文主要从电缆级别，通信线路，服务器，网络管理，网络中心系统等方面介绍如何建立高可靠性的应用网络系统，以满足实际需求。

正文：

随着计算机网络应用的逐步普及和深入，业务处理越来越依赖于计算机网络系统，网络的可靠性必然是建立网络系统首要考虑的问题之一，否则网络故障的产生会造成巨大的经济损失和社会影响。2007年7月到2008年7月，作为××公司的一名技术骨干，本人参与了××大学二期网络的建设，全程参与了整个网络可靠性的规划设实施，以下是项目在可靠性方面所采取的方案。

第一级容错，网络电缆。无论是光纤，同轴电缆，双绞线还是组合布线，都可能出现各种

各样的故障。首先由于选用的电缆电气指标达不到要求，造成信号衰减过度，引起网络故障；其二，电缆接插头虚接，松落；其三电缆线受到外界老化，朽蚀，机械等原因损坏。若损坏的电缆只是连接在一个独立的设备，则定位和修复容易，而如果是连接多个网络设备的电缆线路或主干电缆线路损坏，则很难定位及修复。本方案在主干线路和其他重要支路上布置双线甚至多线，当主线断路时，自动切换到辅线工作。为了考虑降低电缆线路同时损坏的可能，电缆布置在不同的路途上。（250）

第二级容错，冗余拓扑。首先，本方案采用了三层的网络拓扑结构，并在分布层和核心

层的交换机之间使用冗余路径，防止网络因单点故障而无法运行，以此提升网络拓扑的可靠性。然而，对网络中的交换机和路由器添加多余路径会在网络中引入需要动态管理的通信环路，处理不当将产生不必要的广播风暴，造成网络瘫痪。所以必须启用生成树协议STP。STP 会特地阻塞可能导致环路的冗余路径，以确保网络中所有目的地之间只有一条逻辑路径。一旦网络出现故障，STP会重新计算路径，将必要的端口解除阻塞，使冗余路径进入活动状态。其次，采用端口聚合技术。端口聚合可将多物理连接当成一个单一的逻辑连接来处理。它允许两个交换器之间通过多个端口并行连接同时传输数据以提供更高的带宽，更大的吞吐量和可恢复性技术。一般来说，两个普通的连接器连接的最大带宽取决于媒介的传输速度（比如100BAST-TX为200M），而是用Trunk技术可以将4个200M的端口捆绑后成为一个高达800M的连接。这一技术的优点是以较低的成本通过捆绑多端口提高带宽，从而消除网络访问中的瓶颈。另外，Trunk还具有自动带宽平衡，即使Trunk只有一个连接存在时，仍然会工作，提供了网络的可靠性。（520）

第三级容错，设备冗余。

首先，该网络采用了双核心拓扑结构。核心层采用两台CISCO C6500交换机，两者之间使用双千兆光纤互联，利用链路聚合技术，在两台核心交换机之间扩大通信吞吐量，提高可靠性，实现复杂均衡的冗余连接。当一条交换机出现故障或核心交换机与汇聚层交换机之间的某条链路出现故障，系统会自动将通信业务快速切换到另一台正常的交换机上，从而实现系统的可靠性。（170）

其次，DNS服务器冗余配置。该校园网里有自己的DNS服务器，服务器采用两台，一台主DNS服务器，一台辅助DNS服务器。这样可以实现DNS服务器的容错，也就是当一天DNS

坏掉，我们可以使用另一台实现域名解析，还可以实现负载均衡，也就是把所有的DNS请求由两台DNS服务器来解析，可以减轻主服务器的负担。

第四、Web和FTP服务器的集群。由于网络用户的增加，网络成为了宣传的好工具。许多高校都有自己的Web站点，用于宣传学校和发布招聘，招生等信息。有些高校也有了网络教学系统，向外部开发FTP资源服务。单台服务器显然无法满足网络用户剧增的需求。该学校采用了四台Linux Cluster 服务器，作为Web和FTP服务器，然后利用DNS服务器配置，将不同的服务请求连接定向到不同的服务器上，从而实现服务器的负载均衡。而且当其中某台服务器出现故障，请求连接将定向到其他正常工作的服务器上。从而实现服务器的高可靠性，保证服务的质量。

第五、冗余电源的设置。在一些重要的设备，核心交换机，路由器，防火墙，入侵检测系统，数据库服务器，Web和FTP服务器上设置冗余电源，当其中一个电源出现故障时，备份电源可以立刻接管主要的电源的工作，而当替换了故障电源后，两者又可以一起工作，实现负载均衡。

第四级冗余。冗余网关配置。为了减少交换机故障的影响，交换机上使用了STP技术。

同样，作为网关的路由器上同样可以使用冗余网关技术。目前有三种冗余网关技术。国际上的标准VRRP（虚拟路由冗余协议），允许在不同厂商设备之间运行，然而只有主服务器处于活动状态，而备份服务器处于热备闲置状态，导致的资源的利用率不高。CISCO的专有标准HSRP(热备份路由协议)，同样可以实现冗余网关，但是和VRRP一样存在服务器热备闲置问题，但是可以通过配置多个虚拟路由器组从而实现负载均衡。第三种，CISCO的网关负载均衡协议（GLBP）,GLBP不但可以实现冗余网关，而且可以实现负载均衡。由于该学校的路由设备大部分采用了CISCO的设备，所以，冗余网关协议采用CISCO专有的协议GLBP，将三台路由器的虚拟网关IP配置为一样，并且通过设置优先级使其中一台路由器成为主服务器，另外两台为备份服务器，但是三台服务器都处于活动状态。

第五级可靠性设置。分布式数据库。由于该学校有两个校区，并且开展了提供了网络教学，所以在不同校区布置了ORACLE数据库，并且每个校区的的重要数据库（比如学生档案，学生考试信息，招生信息等）进行了双机备份，并存储与不同的位置，预防一些难于预测的灾难。

第六级容错，采用网络管理软件系统进行网络的监视和控制，随时了解网络的运行情况，

诊断和确定网络故障的可能种类，发生点，作用范围等，可以作为网络维护人员的得力助手，以便及时查出故障和进行故障排除。网管系统在大中型网络系统中是必不可少的网络工具，可以大大缩小排除网络故障的时间和降低网络维护成本。

本项目自2008年7月完工以来，运行良好，系统的安全性，高可靠性得到了学校领导和广大师生的好评。我觉得不足之处有以下几点：

DNS服务采用了循环机制，虽然实现了冗余功能，但是不能对不同DNS服务器的性能，负载实现均衡。而且，如果某台DNS服务器出现故障，可能导致某些用户连接失败而无法得到服务。

第二，网络采用了RIP路由协议，路径的均衡采用跳步数，不能充分考虑网络带宽和延迟，本人建议，以后应该改用EIGRP或者OSPF协议，动态的实现负载均衡。