Linux下高可用集群方案

Linux下高可用集群方案很多，本文介绍的是性价比比较高的一种: 使用Heartbeat 2.0配置Linux高可用性集群。

一、准备工作

你首先需要两台电脑，这两台电脑并不需要有相同的硬件（或者内存大小等），但如果相同的话，当某个部件出现故障时会容易处理得多。接下来您需要决定如何部署。你的集群是通过Heartbeat 软件产生在两台电脑之间心跳信号来建立的。为了传输心跳信号，需要在节点之间存在一条或多条介质通路（串口线通过modem电线，以太网通过交叉线，等等）。现在可以开始配置硬件了。既然想要获得高可用性（HA），那么您很可能希望避免单点失效。在本例中，可能是您的null modem线/串口，或者网卡（NIC）/ 交叉线。因此便需要决定是否希望为每个节点添加第二条串口null modem连线或者第二条NIC/交叉线连接。我使用一个串口和一块额外的网卡来作为heartbeat的通路，这是因为我只有一条null modem线和一块多余的网卡，并且认为有两种介质类型传输heartbeat信号比较好。硬件配置完成之后，便需要安装操作系统以及配置网络（我在本文中使用的是RedHat）。假设您有两块网卡，那么有一块应该配置用于常规网络用途，另一块作为集群节点之间的专用网络连接（通过交叉线）。例如，假设集群节点有如表-1下的IP地址：

表-1集群节点的IP地址

输入如下命令检查您的配置：

ifconfig

这将显示您的网卡及其配置。也可以使用命令“netstat –nr”来获得网络路由信息。如果一切正常，接下来要确定可以来两个节点之间通过所有接口ping通对方。如果使用了串口，便需要检测其连接情况。把一个节点作为接收者，输入命令：

cat

在另一个节点上，输入：

echo hello >/dev/ttyS0

应该可以在接收节点上看到该文本。如果正常的话交换这两个节点的角色再作一次，否则有可能是使用了错误的设备文件。现在就开始动手搭建和配置一个简单的高性能计算集群系统。关闭不需要的服务：

初始方案是使用两台PC（系统的具体结构如图-1所示），CPU为Pentium D 805，内存为 512MB，用1000Mbps交换机连接，整个硬件环境可以说是再普通不过了。操作系统采用的是Red Hat Enterprise Linux 5.0，该方法对于红旗Linux、Fedora Linux和SuSE等发布版本均可实现。

图-1系统的物理结构

参考文献：Achieving High Availability in Linux-based Cluster Environments

/downloads/global/power/ps3q06-20060219-Gui nn-OE.pdf

二、下载安装软件包

接下来便可以安装Heartbeat软件。可以从如下位置得到：

/download">/download Heartbeat软件包。在网站上也有RPM安装包，您也可以选择从源代码编译。取得源代码tar文件或者安装source RPM包，将其解包到某个文件夹。在源代码树的顶端，输入

"./ConfigureMe configure", 之后输入"make"和"make install"。

如果使用RPM安装包的话需要包括如下软件包： ipfail，Stonith，Ldirectord。

ipfail的功能直接包含在heartbeat里面，是一个能够在探知服务IP 失效了便立即将服务IP抓取来用的功能。

Stonith是为了要在任何server停止时，确保剩下的server不会被正在运作的server所影响，可以选择性强制停止一些server的解决方案。可能会使用在例如共享数据的情况之下。

Ldirector是一个负载平衡的服务器。

安装命令：

也可以使用yum命令在线安装，这样做不需要考虑依赖包所带来的麻烦。命令：

yum install heartbeat

1、配置主服务器的heartbeat

在启用Heartbeat之前，安装后要配置三个文件（如没有可手动建立）：ha.cf、haresources、authkeys。这三个配置文件需要在/etc/ha.d目录下面，但是默认是没有这三个文件的，可以到官网上下这三个文件，也可以在源码包里找这三个文件，在源码目录下的DOC子目录里。

1 配置ha.cf

第一个是ha.cf该文件位于在安装后创建的/etc/ha.d目录中。该文件中包括为Heartbeat使用何种介质通路和如何配置他们的信息。在源代码目录中的ha.cf文件包含了您可以使用的全部选项，详述如下：

serial /dev/ttyS0

使用串口heartbeat－如果不使用串口heartbeat，则必须使用其他的介

质，如bcast（以太网）heartbeat。用适当的设备文件代替/dev/ttyS0。

watchdog /dev/watchdog

该选项是可选配置。通过Watchdog 功能可以获得提供最少功能的系统，该系统不提供heartbeat，可以在持续一份钟的不正常状态后重新启动。该功能有助于避免一台机器在被认定已经死亡之后恢复heartbeat的情况。如果这种情况发生并且磁盘挂载因故障而迁移（fail over），便有可能有两个节点同时挂载一块磁盘。如果要使用这项功能，则除了这行之外，也需要加载“softdog”内核模块，并创建相应的设备文件。方法是使用命令“insmod softdog”加载模块。然后输入“grep misc /proc/devices”并记住得到的数字（应该是10）。然后输入”cat /proc/misc | grep watchdog”并记住输出的数字（应该是130）。根据以上得到的信息可以创建设备文件，“mknod /dev/watchdog c 10 130”。

bcast eth1

表示在eth1接口上使用广播heartbeat（将eth1替换为eth0，eth2，或者您使用的任何接口）。

keepalive 2

设定heartbeat之间的时间间隔为2秒。

warntime 10

在日志中发出“late heartbeat“警告之前等待的时间，单位为秒。

deadtime 30

在30秒后宣布节点死亡。

initdead 120

在某些配置下，重启后网络需要一些时间才能正常工作。这个单独

的”deadtime”选项可以处理这种情况。它的取值至少应该为通常deadtime的两倍。

baud 19200

波特率，串口通信的速度。

udpport 694

使用端口694进行bcast和ucast通信。这是默认的，并且在IANA官方注册的端口号。

auto_failback on

该选项是必须配置的。对于那些熟悉Tru64 Unix的人来说，heartbeat 的工作方式类似于“favored member“模式。在failover之前，haresources 文件中列出的主节点掌握所有的资源，之后从节点接管这些资源。当

auto_failback设置为on时，一旦主节点重新恢复联机，将从从节点取回所有资源。若该选项设置为off，主节点便不能重新获得资源。该选项与废弃的

nice_failback选项类似。如果要从一个nice_failback设置为off的集群升级到这个或更新的版本，需要特别注意一些事项以防止flash cut。请参阅FAQ中关于如何处理这类情况的章节。

node

该选项是必须配置的。集群中机器的主机名，与“uname –n”的输出相同。

node

该选项是必须配置的。同上。