系统平台部培训手册(12)——HACMP群集的管理v1.0

HACMP的概念和原理
系统平台部培训手册
-3-

HACMP简介
IBM公司的HACMP for AIX软件是基于AIX平台 的，在高可用系统层次实现关键性任务计算环 境的工具软件。HACMP应用于RS/6000系列 的单处理器机型、对称多处理器机型或SP的节 点，可以检测系统故障并快速恢复服务，使最 终用户只感受到很小的中断时间。HACMP （High Availability Cluster Multi-Processing） 有两个主要的组成部分：高可用技术（HA） 和群集多处理技术（CMP）
在其它节点上建立LVM实体
• 用SMIT导入VG的配置信息，SMIT路径是smit vg→Import a Volume Group • 用chvg –a n命令禁止VG自动Vary-on • Mount 文件系统，确认操作成功
系统平台部培训手册
-18-

配置镜像的JFS日志
系统平台部培训手册
-15-

LVM组件设计
LVM组件的设计目标－没有单点故障，
• • • • 所有逻辑卷，包括JFS日志，均使用LVM镜像 将镜像放在不同的物理卷上 使用多块磁盘卡 使用多个电源
系统平台部培训手册
-16-

LVM配置要点
系统平台部培训手册
-14-

存储系统设计
• 设计高可用的配置的主要部分之一是共享的磁盘存储 设备。RS/6000具有全系列的磁盘存储设备可用于 HACMP，这些设备可分成以下三类： • 常规SCSI磁盘，包括SCSI-2 Differential和SCSI-2 Differential Fast/Wide磁盘。 • RAID磁盘阵列 • SSA磁盘子系统
• • • • • • • •
系统平台部培训手册
-10-

资源组
• • • • • • • • • • • • • Cascading资源组 Cascading资源组可以被一个或多个节点接管。 所有被指定参与接管一个资源组的节点都是该资源组的资源链的一部分，每个参与的节点都 被指定了接管优先级，优先级代表了接管可用资源的顺序。 当接管发生时，具有最高优先级的活动节点将获得资源组。如果该节点不可用，则由具有次 高优先级的节点获得资源组，依此类推。 当对该资源组具有更高优先级的节点重新回到群集后，它将取回它的资源组。 Rotating 资源组 一个Rotating 资源组和一组节点相关联。资源组在所有被定义的节点之间轮转。每个节点可 以拥有一个资源组。 开始时，第一个加入群集的节点获得第一个资源组，第二个加入群集的节点获得第二个资源 组，依此类推，直到所有的资源组都被节点获得。剩余的节点作为备份节点。 当一个控制资源的节点故障时，可用节点中对资源组具有最高优先级的节点将接管资源组。 当故障节点重新加入群集后，成为备份节点，不再取回资源组。 Concurrent 资源组 Concurrent 资源组由多个节点共享。所有并发访问资源组的节点在加入群集后都获得该资源 组。节点之间没有优先级的区别。 由于AIX JFS 不支持并发访问，应用就必须用生设备（逻辑卷）。因此Concurrent 资源组的 资源只能有应用、磁盘和卷组。 Concurrent 资源组的共享磁盘必须是SSA盘或RAID盘。
系统平台部培训手册
-9-

HACMP群集资源
• • • HACMP for AIX软件通过以下途径提供高可用性环境： 定义一组必须的群集资源，资源可以是硬件，也可以是软件。 定义群集节点访问这些资源的关系。这些关系确定哪个节点控制资源以 及当该节点放弃资源的控制权后哪个节点接管资源。当一个节点离开群 集时，Cluster Manager能够将这个节点的资源转移到群集中的其它节点 上。 资源的类型 高可用资源可以是以下几种实体： 应用 磁盘 卷组 文件系统 NFS文件系统 IP地址
系统平台部培训手册

-11-

建立高可用系统――避免单点故障
• • 高可用系统的主要特点是具有检测和响应可能影响到关键服务的 事件的能力。HACMP for AIX软件使群集在遇到系统的关键组件 （例如网卡）发生故障的情况下仍能继续对外提供服务。 HACMP for AIX软件通过避免单点故障的方式建立高可用的和可 扩展的群集。单点故障点是指一个关键的群集功能只由单一的组 件提供，当这个组件故障时，群集没有其它的途径提供关键的服 务。 在群集中，有可能出现单点故障的群集组件是： ★ 节点 ★ 网络和网卡 ★ 磁盘和磁盘控制卡 ★ 应用 HACMP可以检测和响应三种类型的故障：节点故障、网卡故障 和网络故障。
• • • • • • • 通常，当第一个文件系统添加到卷组时，系统自动建立JFS日志。 在HACMP环境中，为确保JFS日志逻辑卷的名字唯一且逻辑卷 镜像，应按如下方式建立JFS日志： 用smit mkvg来建立VG，指定唯一名字如“sharedvg” 建立一个逻辑卷，类型为“jfslog”，大小为1个LP，每个LP指定 2-3个拷贝 指定唯一名字如“sharevglog” 用命令logform /dev/sharevglog将逻辑卷格式化为日志逻辑卷 建立另外的逻辑卷，指定唯一的名字 在LV上建文件系统
在一个节点上建立所有的LVM实体
• • • • • 共享VG只能使用外置磁盘 建文件系统之前，先建立JFS日志 将VG配置为系统启动时非自动Vary--on状态 配置文件系统为系统启动时非自动mount状态 VG、LV、FS都建立好后，执行命令 varyoffvg
系统平台部培训手册
-17-

系统平台部培训手册
-19-

维护HACMP LVM组件
• • • • • • • 卷组的定义信息保存在以下位置：磁盘上的VGDA、ODM、 /etc/vg/vg*和内存中，在维护LVM时，要保证共享此VG的所有 节点上，此信息必须一致。 如果LVM实体需要改变，包括增加/删除PV、增加/删除LV、扩展 LV或FS、为LV或FS重命名等操作，应遵循以下步骤进行： ★ 在一个节点上进行配置，然后测试 ★ 在所有其它节点上输出旧的VG定义：exportvg sharedvg ★ 重新导入VG定义：impoitvg –v (major number) –y (VG name) –f (hdisk#) ★ 修改VG的属性：chvg –a n (VG name) ★ 检查、修改LV的属主和权限
系统平台部培训手册
-4-

高可用技术
在HA产品出现之前，在UNIX领域实现高可用性的最有效途径是通过容错技术。 容错技术依靠专门的硬件设备检测到硬件的故障， 然后立即切换至冗余的硬件设备上，不管故障设备是处理器、内存板、电源、 I/O子系统还是存储子系统。尽管这种切换能够无缝地提供不间断的服务，但 却在硬件费用和性能上付出了很高的代价，因为冗余的设备不能处理事务。更 重要的是，容错系统不能处理软件故障，而这却是宕机的最常见的原因。 高可用技术并不是通过将可用性当作一系列重复的物理设备来实现高可用性， 它将高可用性看作是一个全系统范围的、共享的资源的集合，这些资源相互协 作来保证关键的服务。高可用技术将软件和工业标准的硬件结合起来，在系统、 设备或应用发生故障时通过快速恢复关键服务来使宕机时间减至最小。尽管不 能立即切换，恢复服务也是很快的，通常在1分钟之内。 容错技术和高可用技术的区别在于服务中断的时间。当硬件发生故障时，容错 环境没有宕机时间，而高可用环境有很小的宕机时间。但是，在容错环境中， 由于软件故障无法被检测，有可能造成系统的严重破坏。而在高可用环境中， 软件故障只会造成很小的宕机时间。 现在，大多数的公司都愿意忍受一小段的宕机时间，采用高可用技术，而不愿 意花费高得多的代价采用只能检测硬件故障的容错技术。另外，在高可用配置 中，备份机还可承担其他应用。
系统平台部培训手册——
HACMP for AIX 原理、设计及实现
北京神州数码思特奇信息技术股份有限公司 系统平台部 2006年08月
系统平台部培训手册
目 录
• • • • HACMP的概念和原理 HACMP群集的设计 HACMP群集的实现 HACMP群集的管理
系统平台部培训手册
-2-

系统平台部培训手册
• • • • • •
系统平台部培训手册
-12-

HACMP群集的设计
系统平台部培训手册
-13-

高可用性设计要点
• 努力做到“没有单点故障”：这是设计的前提，应贯穿 设计的始终 • 自动故障恢复：故障恢复应无需人工干预 • 权衡投资、性能和可用性的关系：在保证可用性和性 能的条件下，使硬件投资最大程度地发挥效力 • 考虑应用软件： 认真编写启动和停止脚本，使应用在 故障时能自动恢复 • 设计高可用网络 • 考虑客户机：使客户机受群集故障影响最小 • 其它需要考虑的问题：各节点的用户帐号和用户目 录，批处理、打印队列、邮件、备份等其他应用和服 务
系统平台部培训手册
-6-

HACMP中术语的定义
• • 群集（Cluster）：多个服务器节点一起工作，使用TCP/IP进行通讯，每个节点 上运行Cluster Manager进程。 节点（Node）：群集中的每个运行Cluster Manager进程的独立的机器。节点是 HACMP的核心部分，节点上运行AIX操作系统和HACMP for AIX软件。在 HACMP群集中，每个节点有一个唯一的节点名。一个节点可能拥有一组资源 --――磁盘、卷组、文件系统、网络、网络地址和应用。节点上一般运行着访问 共享磁盘上数据的“后台”应用。 资源（Resources）：由一个节点控制的实体，当节点发生故障时能够被其它节 点接管。可以被当作资源的实体有： ★ 磁盘、卷组、文件系统 ★ NFS输出的文件系统 ★ IP地址 ★ 应用程序 关键应用（Critical Application）：由HACMP控制其启动和停止的应用程序， 例如数据库的后台进程。 事件（Event）：群集中发生的一些事情，即群集状态的改变，包括节点 up/down，网络up/down，网卡故障等等。 行为（Behavior）：事件发生时群集的响应动作。事件是由shell脚本控制的。 重聚（Reintegration）：将故障节点、网络、网卡重新带回群集的过程。