SUSE 11 SP3 for SAP HA设置图解(ESXi环境)

虚拟机环境检查：

⏹每台虚拟机至少2张网卡（1张业务，1张心跳）；

⏹两台虚拟机共享一块100M硬盘用来做sbd fence设备；

⏹两台虚拟机应共享2.6T存储空间模拟3Par SAP映射存储（由

于本实验环境存储空间有限，用2.6G代替之）

主机名及IP规划：

⏹主机名：HA01、HA02

⏹业务IP：192.168.1.101（HA01）、192.168.1.102（HA02）

⏹Oracle虚拟IP：192.168.1.103

⏹SAP虚拟IP：192.168.1.104

⏹心跳IP：192.168.100.1（HA01）、192.168.100.2（HA02）

⏹业务IP在eth0上，心跳IP在eth1上

共享100M SBD设备

这样就添加完了一块共享盘。

注意要点：

⏹硬盘模式：独立—>持久；

⏹设备节点：SCSI（1：0）

⏹SCSI总线共享：虚拟或物理

第二台虚拟机添加流程如下：

两台虚拟机如上所述流程，完成共享盘的添加。

共享存储2.6T添加模拟

为了与现实环境类似，还需要添加2.6G硬盘（分别为：800M、800M、800M、200M），过程与上一致。完成后的截图如下所示：

虚拟机主机名及相关IP设置以2号虚拟机为例，设置如下：

两台虚拟机设置完毕后，测试如下：

修改HA02虚拟机/etc/hosts文件，并SCP至另一台虚拟机HA01上：

另一台虚拟机HA01上检查如下：

群集框架搭建

以HA01为主，配置群集如下：

通道Bind Network Address选择“心跳IP”段，其余默认。

配置完的同步主机列表：

配置主机心跳网卡：

配置群集服务，注意打开管理工具和关闭防火墙：

配置群集完成后，把配置文件/etc/corosync/corosync.conf同步到另一台虚拟主机HA02上：

两台虚拟主机均打开服务，并修改hacluster用户密码：

并通过crm_gui或者Yast2 Pacemaker GUI观察是否正常，如下：

也可以通过crm_mon观察如下：

Fence设备设置

由于本环境为虚拟机，因此采用SBD方式来通过共享100M的存储盘做Fence设备，如果是物理机可以通过IPMI管理口完成设置。

添加SBD stonith 配置，在两台虚机的/etc/sysconfig/kernel文件中查找BOOT并添加softdog 内核模块，完成后如下所示：

两台虚拟机同时设置共享SBD分区：

格式化/dev/sdb1

完成后，到另一台虚拟机HA01上检查，应该分区也同样可以查到：

创建SBD并关联相关群集节点：

创建/etc/sysconfig/sbd文件并同步到另一虚拟机HA01节点中：

两台虚机（HA01、HA02）重启群集服务：

检查群集服务状态如下：

添加Fence SBD资源到HA中

为保证Fence资源正常切换，CRM配置如下更改：相关SBD资源添加命令如下：

Commit提交完毕后，群集资源组如下所示：

cLVM 配置

1、将LVM2 的锁定类型更改为群集感知的。

编辑文件/etc/lvm/lvm.conf 并找到以下行：

locking_type = 3

将锁定类型如不是3则更改为3（默认为3，不需修改），并将配置写入磁盘。将此配置复制到所有节点。

2、将clvmd 资源作为克隆品包含在Pacemaker 配置中，并让它依赖于DLM克隆资源。

创建PV、VG、LV

把共享的/dev/sdc、/dev/sdd、/dev/sde、/dev/sdf创建PV；

Oravg 由/dev/sdc、/dev/sdd、/dev/sde 3个PV（800M）组成2.4G；Sapvg由/dev/sdf 1个PV（200M）组成200M；

创建LV

原要求如下所示，实际建的时候缩小1/1024，即TB→GB，GB→MB；

每次重启系统后，在启动群集文件系统后，需要把vg激活才可使用。vgchange -a y sapvg

vgchange -a y oravg

LV格式化ext3文件系统，以便后面使用

创建资源VIP、FS、SCRIPT

创建虚拟业务IP

创建文件系统之前，先在两台虚拟机上把对应的目录建完。

建完对应目录，创建群集文件系统

全部完成的文件系统：

在两个虚拟机/etc/init.d/ 中创建脚本文件

在两个虚拟机上授权刚创建的脚本文件chmod 775 <file>

创建SCRIPT脚本文件

创建资源组

SAP资源组类似上面操作，完成如图所示

创建clone ping

添加一块新网卡，以模拟业务IP的上层交换机，IP设为192.168.1.100

创建r_ping 及clone PING

说明：

⏹r_ping表示clone ping的资源名称；

⏹Multiplier是一个增效器，以100这个值为基准，两个节点ping

数据包有丢失时就会从100减去相应的值，以此来判断节点的业务网卡的通迅情况

⏹dampen表示每5秒ping一次

⏹192.168.1.100代表上层交换机的IP地址（可以用网关来代替），

这里用虚拟机增加的一块网卡设定静态IP代替

⏹monitor表示监控资源；interval表示若15秒ping不到上升交换设

备，最迟60秒(timeout)就会迁移资源(start)

创建约束条件：