小型机双机安装文档

POWER HA实施安装文档
目录
一、硬件环境.......................................................................................................................
二、实施标准.......................................................................................................................
三、实施步骤.......................................................................................................................
1、安装AIX 5.3.1.0操作系统补丁绑定包语言包 ...........................................................
2、设置VG ...................................................................................................................
3、设置主机名及IP地址.................................................................................................
4、设置Hosts表...........................................................................................................
5、添加串口设配............................................................................................................
6、安装HA软件和HAFIX ..............................................................................................
7、配置HA 集群...........................................................................................................
8、配置HA节点............................................................................................................
9、配置HA网络............................................................................................................
10、配置HA通讯接口....................................................................................................
11、配置添加HA 永久IP ...............................................................................................
12、配置ha Service IP ..................................................................................................
13、配置HA资源组.......................................................................................................
14、配置ha Resource Groups 资源 ..............................................................................
15、配置ha 同步..........................................................................................................
16、启动/停止ha .........................................................................................................
四、结束 .............................................................................................................................
1.永久ip和service ip为一个网段,都是生产环
境中使用的网段。

2.Ha以及补丁、HOST表、tty、脚本（只包括VI
部分）两台机器都要做，其他设置主机做完，同
步即可。

3.HACMP：高可用性多处理群集
4.一个service ip对应一个VG对应一个资源组。

并发HA无service ip，一个资源组可对应多个
VG。

一、硬件环境
IBM P550小机2台2块硬盘
IBM DS4300 1台3块硬盘
二、实施标准
实现如下需求：
安装AIX 5.3.1.0操作系统（disk0）
安装基础补丁文件
安装中文语言包
设置两台主机名：
第一台（master）第二台（backup）
设置IP 设置IP
192.168.0.10 192.168.0.11
255.255.255.0 255.255.255.0
设置IP 设置IP
192.168.3.10 192.168.3.11
255.255.255.0 255.255.255.0
设置Hosts表
添加串口设配
安装HA软件和HAFIX
配置HA 集群
配置HA节点
配置HA网络
配置HA通讯接口
配置添加HA 永久IP
- 3 -
配置ha Service IP
配置HA资源组
配置HA资源组的资源
配置ha 同步
启动/停止ha
三、实施步骤
1.安装AIX 5.3.1.0操作系统
安装过程请参考《AIX操作系统安装指导》。

2．主机先创建VG，然后关闭自动激活。

smitty chvg
注意要把Activate volume group AUTOMATICALLY at system restart? 选为此项为是否创建并发且LV要建裸设备raw
1.主建完VG后 varyoffvg vg名
3.设置IP 主机名
两台小机分别主机名分别设置为 master 和 backup
主机IP设置为 192.168.0.10 第2个网口设置为 192.168.3.10
另一台IP设置 192.168.0.11 第2个网口设置为 192.168.3.11
并发HA
要把alias选为不启动
每台机器上en0 为192.168.0.10（公有ip） en1为10.10.10.3（私有ip）
- 5 -
4.配置HOSTS表
使用命令 VI /etc/hosts
#master
192.168.0.10 master_boot1 master（此标注用于侦听）
192.168.3.10 master_boot2
10.10.10.3 master_priv（永久IP）
#backup
192.168.0.11 backup_boot1 backup
192.168.3.11 backup_boot2
10.10.10.4 backup_pirv
#service
10.10.10.6 service
配置完成后netstat –in查看，并使用ping测试
这里需要编写2台小机的网口IP 永久IP Serviceip IP
注：两台都需要配置HOSTS表
互备的模式需要填写2个service IP
并发模式HOSTS表无永久IP和service的IP,bootip为公网ip，standby为
私有ip，vip为oracle的ip
#master
192.168.0.10 master_boot1 master
10.10.10.3 master_standby
#backup
192.168.0.11 backup_boot1 backup
10.10.10.4 backup_ standby
#vip
192.168.0.12 master_vip
#vip
192.168.0.13 backup_vip
5.添加串口设配
使用命令 smitty tty
选择add tty
选择tty rs232 Asynchronous Terminal
选择sa0 Available 09-00 4 Port Async EIA-232 PCIe Adapter
进入之后在PORT number 这项中填写 0 其余默认端口速率调制为9600 不用执行
使用命令 cat /etc/hosts > /dev/tty0 看添加的串口是否添加成功通讯
在另一台小机上使用cat < /dev/tty0 看是否能接收
注：两台需要都添加串口设配
6.安装HA软件和HA补丁
一．安装HA软件
使用命令 smitty install
选择Install and Update Software
选择Install Softwae
在 INPUT device / directory for software 选择 /dev/cd0 (SATA DVD-RAM Drive)
在SOFTWARE to install 选项中F4 进入如图：
cluster.hativoli和cluster.haview rsct.opt.storagerm不选，注意查看有没有需要安装的aix包，如果有则另行安装
把ACCEPT new license agreements 选为YES
二．安装HAfix
注：如果使用光盘安装补丁，补丁以文件形式存在，需要先建立CD的文件系统。

如果是iso则可以直接安装，同打系统补丁
使用命令smitty fs
选择Add / Change / Show / Delete File Systems
选择 CDROM File Systems
选择Add a CDROM File System
在DEVICE name 按F4选择cd0
MOUNT POINT 里选择节点 /hacmp
建立完之后需要使用命令 mount /hacmp
使用完之后需要Umount /hacmp 取出光盘
使用命令 smitty install
- 7 -
选择Update Installed Software to Latest Level (Update All)
在INPUT device / directory for software 手动填写/hacmp/hafix5310 把ACCEPT new license agreements 改成YES
注：两台都需要安装
7.配置HA 集群
1.使用smitty hacmp
2.选择Extended Configuration扩展配置
3.选择Extended Topology Configuration扩展拓扑配置
4.选择Configure an HACMP Cluster（集群）
5.选择Add/Change/Show an HACMP Cluster
在Cluster Name 里随意起出集群的名字这里取 ha1
8.配置HA节点
注：与配置集群的前三步一致
选择Configure HACMP Nodes（节点）
选择Add a Node to the HACMP Cluster
在Node Name 随意取名字这里取Node1
在Communication Path to Node 按F4 选择网口master的1个IP（boot1）如图：
注：这里需要配置两个节点node1和 node2，node2要加backup的boot1 跟以上操作一致
9.配置HA网络
注：与配置集群的前三步一致
选择Configure HACMP Networks
选择Add a Network to the HACMP Cluster
进入之后分别2次选择ether （以太网） | rs232（串口）
10.配置HA通讯接口
注：与配置集群的前三步一致
选择Configure HACMP Communication Interfaces
选择Add Communication Interfaces/Devices
选择Add Pre-defined Communication Interfaces and Devices
分别选择 Communication Interfaces进入 net_ether_01
Communication Devices 进入 net_rs232_01
一．配置网络接口
1.IP Label/Addres选择master的IP
Node Name是node1
2. IP Label/Addres选择Backup的IP
Node Name是node2
- 9 -
注：node1和node2为一个网段的ip，只需配一对即可。

Network Interface 里需要填写网卡名字例如 en0 |en2 这里的配置是之前节点里配置的IP，对照相同的节点IP添加
二．配置串连接口
需要分别添加2个串口 tty0 tty1
Device Name 里随意填写名字这里是tty0 | tty1
Node Name 填写节点的名字 node1 | node2
Device Path 填写/dev/tty0 | /dev/tty0
图一
图二
11.配置添加HA 永久IP （并发模式不需要配置）
注：与配置集群的前三步一致
选择 Configure HACMP Persistent Node IP Label/Addresses
选择 Add a Persistent Node IP Label/Address o
分别选择节点 node1 node2
分别添加永久IP到组里
12.配置ha Service IP （并发模式不需要配置）
使用命令 smitty hacmp
选择 Extended Configuration
选择 Extended Resource Configuration
选择 HACMP Extended Resources Configuration
选择 Configure HACMP Service IP Labels/Addresses
选择 Add a Service IP Label/Address
选择 Configurable on Multiple Nodes
选择 net_ether_01
在IP Label/Address选项中选择 service
注：互备模式的双机这里需要添加多个Service的IP数量等于VG数
13.配置HA资源组
使用命令 smitty hacmp
选择 Initialization and Standard Configuration
选择Configure HACMP Resource Groups
选择 Add a Resource Group
1.Resource Group Name 随意起个名字这里去group1
2.Participating Nodes (Default Node Priority) 里添加2个节点
主备中Fallback（返回）如果选nerve to fallback时主机恢复运行后 ha不会把备机资源自动切回主机需要客户手动切回
- 11 -
3.互备的模式需要如果添加2个资源组第2个资源组要把node1 node2 的位置互换 node2 node1 这样填写
需要把 Startup Policy 改成Online On All Available Nodes由所有启动的节点启动资源
Fallover Policy 改成 Bring Offline (On Error Node Only一旦有问题资源组全部下线)
Fallback Policy 改成 Never Fallback
例如：node1下线，node1的资源会在目前在线的资源组启动，也就是node2上启动，反之一样。

即使node1恢复正常，资源也不切回。

Policy的组合方式多种多样，没有一定之规，只要不前后矛盾就OK。

如图：（下图为互备模式设置）
14. 配置ha Resource Groups 资源
使用命令smitty hacmp>
进入Initialization and Standard Configuration
进入Configure HACMP Resource Groups
进入Change/Show a Resources Group
选择
- 13 -
F4选择Group
1.主备模式为图一
在这项Service IP Labels/Addresses 添加 service
图一
主备模式支持Service IP和App Server资源。

互备模式有几个VG建几个资源组，这里需要分别添加Service-IP 及对应的VG，。

2.并发模式为图二
图二
注：并发模式只支持VG资源,可将多个VG同时加入Concurrent Volume Group。

15. 配置ha 同步
使用命令smitty hacmp>
进入Initialization and Standard Configuration>
进入Verify and Synchronize HACMP Configuration
16. 启动/停止ha
smitty clstop 停
smitty clstart 起
tail –f /var/hacmp/log/hacmp.out 查看ha启动或停止时的详细信息
- 15 -
添加HA脚本
建立脚本之前需要建2个文件如下：
# cd /usr
# mkdir script
# cd script
# vi start.sh 建立之后：wq
# vi stop.sh ：wq
# ls
start.sh stop.sh
# ls -l
total 16
-rw-r--r-- 1 root system 1 May 03 15:42 start.sh -rw-r--r-- 1 root system 1 May 03 15:46 stop.sh
# chmod +x *.sh
建立完成之后
Smitty hacmp
Extended Configuration
Extended Resource Configuration
HACMP Extended Resources Configuration
选两次Configure HACMP Application Servers
Add an Application Server 如图：
注：如果有2个VG的互备模式需要再次建立启动和停止2个脚本如：appstart.sh appstop.sh 。

可建立在同一目录下。

需要再次建立脚本组app2
建立完脚本组之后需要去资源组添加在application service 这项里添加脚本组分别填写2个脚本组
查看数据库指令：Ps -ef |grep 0ra_
查看以安装补丁：instfix -i|grep ML
查看安装软件：lslpp –l|grep 软件名
两台都需要写脚本。

磁盘心跳
1.需要建立一个并发VG，建立并发之前需要在系统里打包 bos.lvm 打完这个
包之后才可以建立并发VG ·建立完成之后需要2台机器都看到VG VG状态为不激活。

2.Add /usr/sbin/rsct/bin/ to /etc/environment 里的path 中
3.重新login test1 和test2 使path 生效
4.在test1 上运行：dhb_read -p hdisk5 –r
5.在test2 上运行：dhb_read -p hdisk7 –t
在test1 上：test1:/>dhb_read -p hdisk5 -r
Receive Mode:
Waiting for response . . .
Link operating normally
在test2上：
test2:/usr/sbin/rsct/bin>dhb_read -p hdisk7 -t
Transmit Mode:
Detected remote utility in receive mode. Waiting for response . . . Link operating normally
6.现在检查hdisk 网络的状况，在一个节点上向hdisk 写数据，从另一个节点
上读数据，很像我们在配置tty 网络之前，检查一下tty 是否连通。

7.添加hdisk heart beat 网络和设备
Initialization and Standard Configuration
Extended Configuration
System Management (C-SPOC)
Problem Determination Tools
Discover HACMP-related Information from Configured Nodes
Extended Topology Configuration
Extended Resource Configuration
Extended Event Configuration
Extended Performance Tuning Parameters Configuration
Security and Users Configuration
Snapshot Configuration
Extended Verification and Synchronization
Configure an HACMP Cluster
Configure HACMP Nodes
Configure HACMP Sites
Configure HACMP Networks
Configure HACMP Communication Interfaces/Devices
- 17 -
Configure HACMP Persistent Node IP Label/Addresses
Configure HACMP Global Networks
Configure HACMP Network Modules
Configure Topology Services and Group Services
Show HACMP Topology
Add a Network to the HACMP Cluster
Change/Show a Network in the HACMP Cluster
Remove a Network from the HACMP Cluster
# Pre-defined Serial Device Types
diskhb
rs232
tmscsi
tmssa
* Network Name[m [net_diskhb_01]
* Network Type diskhb
添加设备：
Extended Configuration〉〉Extended Topology Configuration〉〉Configure HACMP Communication Interfaces/Devices〉〉Add Communication Interfaces/Devices 〉〉Add Pre-defined Communication Interfaces and Devices 〉〉Communication Devices 〉〉net_diskhb_01 〉〉
* Device Name [heartbeatdisk5]
* Network Type diskhb
* Network Name net_diskhb_01
* Device Path [/dev/hdisk5]
* Node Name [test1]
* Device Name [heartbeatdisk7]
* Network Type diskhb
* Network Name net_diskhb_01
* Device Path [/dev/hdisk7]
* Node Name [test2]
四、结束
至此，IBM P550 HA配置安装实施完成。

最后说明
一、Ha分为主备、轮训、并发三种。

主备：资源从第一个节点（主机）起（主备衍生出互备模式：每台机器1个资源组，每个资源组占用一块独立的磁盘空间（盘阵上），以对方为自己的备机）
轮训：资源从第一个好用节点起
并发：每一个节点都能看到资源组
二、Ha导致关机的原因
当主机因为硬件故障（多为配置低无法满足应用）时，瞬间down 机，资源切回备机后，主机资源释放立即正常，此时主机上资源组也会恢复，ha为防止资源冲突，会关闭主机。

一般此时errpt会发现一条nimback的报错，应该建议客户更新硬件。

三、一个资源组只能有一个service的ip
四、心跳作用
1.网线：通过tcp/ip协议，以秒的反应速度，甄别机器是否能继续工作，需不需要切资源。

2.心跳线：通过独有的协议，以毫秒的反应速度，甄别机器是否能继续工作，需不需要切资源。

3.两种线同时存在的时候，保证网络或机器本身一方有问题时，仍能切资源。

如果只做网络心跳，当断网时无法切资源。

还可以做磁盘心跳，见文档。

五、删除HA
Smitty install
Software maintenance and util
Remove install software
Software name F4 选择HA
Preview 选NO
六、切换资源组
- 19 -
当node1资源切至node2以后，由于资源组策略为不回切，当node1正常后，在node2上做如下操作：
运行Smitty hacmp
回车
回车
回车
选需要切换资源的vg
选择目标节点
- 21 -
回车完成
此时资源从node2回切至node1，一切恢复到初始状态。

如果node1的HA已经关闭，需要先打开node1。

七、HA灾备测试（假设策略为故障恢复也不回切）
1.断电（不推荐）后，本节点资源自动切至下一节点。

通常用Smitty clstop来代替，节点选择本节点，选择MOVE。

主节点Smitty clstart后，下一节点在线把资源切回。

2.断网同断电，需要在线切回资源。

3.通过设置HA监控软件性能来智能切换资源的功能，一旦数据库或应用瘫痪，HA也会切换资源，等主节点回复后，下一节点在线切回资源。

该功能设置如下：将数据库监控脚本monitor.script加到HACMP中去
#smitty hacmp
Extended Configuration
Extended Resource Configuration
HACMP Extended Resources Configuration
Configure HACMP Application Servers
Configure HACMP Application Monitoring
Configure Custom Application MonitorAdd
Add a Custom Application Monitor
就是在SMITTY中配置一下，然后同步一下
八、故障恢复
故障产生原因：当系统正在做数据镜像时，切换资源组，会造成如下故障：
1.lsvg –o以后发现HA用到的VG仍然存活在本节点中
2.该VG对应的文件系统丢失
3.本机serviceIP丢失
4.以上资源均未切换至下一节点，此时切换资源的进程处于冻结状态，也许这是HA6.1的BUG。

解决方法：
进入该菜单，选择第一项，会发现需要切换的VG有两份且都是OFFLINE状态。

F3退回本菜单，选择，选中该VG，选择本地节
- 23 -
点为目标地址。

再次进入
后，发现VG只有一份，且状态为ONLINE，一切恢复正常，只需重新切换即可。