SAP系统升级及集群扩展实施计划方案v1.2

SAP系统升级及集群
实施方案
目录
一、前言 (2)
二、相关配置信息 (3)
1、主机信息 (3)
2、主机卷信息 (3)
3、存储信息 (3)
4、系统及软件规划 (4)
5、IP规划 (4)
三、AIX系统安装调试 (5)
1、安装系统 (5)
2、系统安装设置 (5)
3、扩展软件包安装 (7)
四、EtherChannel（以太通道）的配置及规划 (11)
1、配置前要考虑的事项： (11)
2、配置EtherChannel (12)
3、配置备份网卡 (12)
五、HACMP安装配置 (13)
1、HACMP及补丁安装 (13)
2、HACMP配置 (14)
3、HACMP启动 (18)
4、HACMP关闭 (19)
5、配置HAMCP后EMC存储的性能调整 (20)
六、主机软硬件详细信息 (21)
1、sapprd00主机详细信息 (21)
2、sapprd01主机详细信息 (21)
一、前言
三一重工之前的SAP系统平台在IBM P561小型机上运行，考虑到现有的硬件环境已经不能满足业务的需要，决定进行设备更新换代新购买两台IBM P570小型机加EMC存储系统，将SAP系统移到P570上，并且建立高可用的HA集群环境。

此方案详细记录了系统升级后的拓扑图和硬件设备配置；实施过程中的AIX 系统安装配置、enthchnnal的配置及规划、HACMP安装配置；用于提供P series系统硬件平台的重要信息备份，为日后维护硬件平台提供重要数据记录，从而进一步提高此硬件平台的高可用性，高可靠性以及高可维护性。

系统结构图
二、相关配置信息
1、主机信息
2、主机卷信息
3、存储信息
4、系统及软件规划
分类项目描述备注
主机节点名sapprd00/ sapprd01 AIX版本5300-06
HA版本HACMP 5.3
共享卷组datavg
网卡en0：1.1.1.1/24
2.2.2.1/24
en2：1.1.1.2/24
2.2.2.2/24
数据库Oracle版本9.2.0.6 归档模式归档
实例名ORCL
数据库名ORCL
存储方式裸设备
磁盘阵列管理IP
数据库用户名/密码oracle/
sys/ 超级用户
5、IP规划
主机名IP地址别名说明
sapprd00 1.1.1.1 sapprd00_boot1 sapprd00节点boot1IP
2.2.2.1 sapprd00_boot2 sapprd00节点boot2IP
sapprd00_per sapprd00节点管理IP
sapprd_svc 服务IP
sapprd01 1.1.1.2 sapprd01_boot1 sapprd01节点boot1IP
2.2.2.2 sapprd01_boot2 sapprd01节点boot2IP
sapprd01_per sapprd01节点管理IP
三、AIX系统安装调试
1、安装系统
将设备上电，插入操作系统光盘开始进行操作系统的安装。

2、系统安装设置
在开始正式的操作系统之前，我们需要对操作系统的安装控制台、安装方式、安装时的语言环境等参数进行设置，其具体步骤如下：
1、在小机加电后按‘F5’键，设置光驱引导，出现下面的安装界面中首先按‘F1’
键，然后按回车键设置系统控制台
3、在如下的BOS系统的安装界面选择“2”，即选择“Change/Show Installation
Settings and Install”安装方式。

说明：
选项1：按照缺省方式安装操作系统。

选项2：如果要改变安装方式和系统设置。

选项3：进入系统维护模式。

4、在如下的安装界面中选择“1”，重新设置系统的安装方式
说明：在如上的安装界面中选择“1”，重新设置系统的安装方式后有两个功能选项可以供安装者
对系统的安装方式进行重新设置。

A、“Method of Installation”（安装方式），其中有三种安装方式可供选择：
- New and Complete Overwrite Installation.(完全覆盖)
- Migration Installation.（升级安装）
- Preservation Installation.（保护安装）
为了保证安装一个干净的操作系统，这里我们选择第一种安装方法以全新、完全覆盖的方式来安装操作系统，即选择“1”。

B、“Disk Where You Want To Install”菜单项，选择hdisk0作为安装的目标盘。

5、在完成系统安装方式后将正式开始从光盘安装操作系统
行操作系统扩展包的安装。

3、扩展软件包安装
1、以root登录
2、安装AIX5.3 Fileset
#smitty installp
选择 INPUT device / directory for software 为[/dev/cd0](按F4选择)
进入 SOFTWARE to install选择所需安装的软件
开头有""符即已安装过
开头有"+"符即未安装过
以下必须装:
安装以bos、rsct、X11打头的所有文件集
F7 确认/选择 / 为搜索倒数2项选择 YES
3、升级系统
#smitty update_all
在“INPUT device / directory for software”处输入TL包所在位置
在“software to update”处选择要安装的包
在“commit software updates?”处可选择NO
在“ACCEPT new license agreements?”处选择YES
●异步I/O设置
# smitty chgaio
MINIMUM number of servers [1]
MAXIMUM number of servers [10]
STATE to be configured at system restart available
●系统时区设置
东八区,时间(不用“夏令时”)，时间和日期为当前时间和日期
修改成当前的日期和时间
# smitty
system environments ――》Change / Show Date and Time ――》Change / Show Date & Time 修改成东八区,时间(不用“夏令时”)
# smitty
system environments ――》Change / Show Date and Time ――》Change Time Zone using system defined values
出现如下的提示
Use DAYLIGHT SAVINGS TIME？选择No，出现提示菜单选择(BEIST-8) Peoples Rep. China (CUT +8)
●用户最大进程数、water mark设置
# smitty chgsys
Maximum number of PROCESSES allowed per user [4096]
HIGH water mark for pending write I/Os per file [33]
LOW water mark for pending write I/Os per file [24]
●换页空间设置
Page Space默认的hd6大小为512M，对于数据库服务器，可扩大到8G或与存大小一样
根据业务的运行状况可配置1个Page Space01，并且Page Space01位于本地磁盘hdisk2，再删除hd6
新增Page Space01
#smitty mkps ------新增Page Space01
Paging space name page00
Volume group name [rootvg]
Physical volume name [hdisk2]
NUMBER of additional logical partitions [32]
#smitty swapon ------激活新增Page Space01
删除hd6交换空间
运行命令使hd6交换空间处于非活动状态
#smitty swapoff
删除ps交换空间，采用命令删除hd6交换空间
#smitty rmps
●配置文件属性修改
将/etc/security/limits文件中nofiles配置项改为8192，fsize配置项改为 -1
●rootvg镜像
（1）#extendvg rootvg hdisk1
（2）镜像rootvg #mirrorvg rootvg（时间比较长）
（3）#bosboot -ad /dev/hdisk0
#bosboot -ad /dev/hdisk1
(4) #bootlist -m normal hdisk0 hdisk1
四、EtherChannel（以太通道）的配置及规划
AIX集成了EtherChannel功能，可以实现2块网卡以上的负载均衡和冗余，EtherChannel技术的最主要好处是他能够累加所有成员网卡的带宽。

如果一个成员网卡失效，EtherChannel会自动调整流量分配策略，从而只使用剩余的网卡进行工作。

失效的网卡修复后，EtherChannel会重新启用他。

1、配置前要考虑的事项：
a)对于每个EtherChannel您可以配置多达8个主以太网适配器，每个EtherChannel仅具有一
个备份以太网适配器。

同一个EtherChannel的所有成员网卡都需要连接在同一个交换机上。

如果这个交换机出现故障，整个EtherChannel就都会失效。

为了解决这个问题，可以配置
备份网卡。

用户能为整个EtherChannel指定一块备份网卡，这块网卡连接在不同的交换机
上。

当整个EtherChannel失效时，这块网卡会自动顶替EtherChannel的功能。

b)您可以在一个系统上配置多个EtherChannel，但是每个EtherChannel会组建一个附加的以太
网接口。

c)在EtherChannel中可以使用任何受支持的以太网适配器。

然而，以太网适配器必须连接到
一个支持EtherChannel的交换机。

请参阅随交换机一起提供的文档以确定它是否支持
EtherChannel（交换机文档可能也将该能力称作“链路聚集”或“中继”）。

d)在EtherChannel中的所有适配器都应该配置为相同的速度（例如，100 Mbps），而且应该是
全双工的。

e)配置完EtherChannel后，系统不能访问EtherChannel中使用的适配器。

要修改它们的任何
属性，如介质速度，传送或接收排队大小等等，则在将它们包含在“EtherChannel”之前必
须进行这些操作。

f)计划用于EtherChannel的适配器不应该给它们配置IP 地址。

当使用拥有IP地址的适配器
配置以太通道时，请确保它们的接口处于拆离（detach）状态。

要添加到EtherChannel的适
配器不能具有up状态的接口（如果它们的IP地址是使用SMIT 配置的就会发生这种情
况）。

这会导致机器在重新引导时提示EtherChannel产生问题，因为在DOM中底层接口在
EtherChannel启用之前就使用了。

因此，配置EtherChannel时，它会发现它的其中一个适配
器已经在使用。

要改变这种状况，请在创建EtherChannel之前，输入smit chinet，选择
EtherChannel中所要包括的适配器的每一个接口，将它的state值更改为detach。

这样就会
确保机器重新引导时可以正确地配置EtherChannel。

（请注意，不要用ifconfig命令去做，
这样将不会修改ODM）
g)如果计划使用超常帧（Jumbo Frames），则在创建EtherChannel之前您可能需要启用每个适
配器以及EtherChannel本身的这一功能。

在命令行中输入smitty chgenet。

将Enable Jumbo
Frames值更改为yes 然后按下Enter 键。

请为您要启用“超长帧”的每一个适配器执行这
一操作。

稍后，您还要启用EtherChannel自身的超长帧。

注:在AIX 5.2 及后续版本中，一旦超常帧在EtherChannel本身中启用，则不必启用每个底层适配器中的超常帧。

如果将启用超常帧属性设置为yes，则该功能将自动启用。

2、配置EtherChannel
1)用root登录, 在命令行运行smitty etherchannel。

2)选择Add an etherchannel。

3)选择etherchannel的成员网卡。

4)按照以下说明输入下列信息：
Mode中选择Round Robin模式:
在这种模式下各个成员网卡被轮流使用，每轮每个网卡发送一个数据包。

5)在更改了希望更改的字段后按Enter 键来创建EtherChannel。

6)使用smit chinet为EtherChannel设备（entx）设置IP地址
7)从列表中选择新的“etherchannel”接口。

8)填充所有需要的字段并按Enter 键。

3、配置备份网卡
1)用root 权限，在命令行上输入smit etherchannel。

2)从列表中选择Change/Show Characteristics of an EtherChannel/Link Aggregation
并按下Enter 键。

3)选择Add Backup Adapter并按Enter 键。

4)增加备份网卡到EtherChannel设备（entx）中。

五、HACMP安装配置
1、HACMP及补丁安装
将安装文件和patch通过ftp工具上传到主机，所在目录如下：
安装文件所在目录：/media/hacmp/hacmp53
patch所在目录：/media/hacmp/patch
#smitty installp
Install Software
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
*INPUT device / directory for software /media/hacmp/hacmp53
* SOFTWARE to install [_all_latest] +
PREVIEW only? (install operation will NOT occur) no +
COMMIT software updates? yes +
SAVE replaced files? no +
AUTOMATICALLY install requisite software? yes +
EXTEND file systems if space needed? yes +
OVERWRITE same or newer versions? no +
VERIFY install and check file sizes? no +
Include corresponding LANGUAGE filesets? yes +
DETAILED output? no +
Process multiple volumes? yes +
ACCEPT new license agreements? yes +
Preview new LICENSE agreements? no +
说明：按F4进入软件产品选择，除cluster.hativoli、cluster.haview和rsct.exp文件集外都安装#smitty update_all
Update Installed Software to Latest Level (Update All)
Type or select values in entry fields.
Press Enter AFTER making all desired changes. [Entry Fields]
* INPUT device / directory for software /media/hacmp/patch
* SOFTWARE to update _update_all
PREVIEW only? (update operation will NOT occur) no +
COMMIT software updates? yes +
SAVE replaced files? no +
AUTOMATICALLY install requisite software? yes +
EXTEND file systems if space needed? yes +
VERIFY install and check file sizes? no +
DETAILED output? no +
Process multiple volumes? yes +
ACCEPT new license agreements? yes Preview new LICENSE agreements? no +
2、HACMP配置
编辑/etc/hosts文件，容如下：
1.1.1.1 sapprd00_boot1
1.1.1.2 sapprd00_boot2
0.0.0.0 sapprd00_per
2.2.2.1 sapprd01_boot1
2.2.2.2 sapprd01_boot2
0.0.0.0 sapprd01_per
0.0.0.0 sapprd_svc
说明：hosts文件在所有节点上必须保持一致。

编辑/usr/es/sbin/cluster/etc/rhosts文件，容如下：
sapprd00_boot1
sapprd00_boot2
sapprd00_per
sapprd01_boot1
sapprd01_boot2
sapprd01_per
sapprd_svc
说明：rhosts文件在所有节点上必须保持一致。

#smitty hacmp
Extended Configuration
→Extended Topology Configuration
→Configure an HACMP Cluster→Add/Change/Show an HACMP Cluster
* Cluster Name [cl_sapprd]
Extended Configuration
→Extended Topology Configuration
→ Configure HACMP Nodes→ Add a Node to the HACMP Cluster
* Node Name [sapprd00]
Communication Path to Node [sapprd00]
Extended Configuration
→Extended Topology Configuration
→ Configure HACMP Nodes→ Add a Node to the HACMP Cluster
* Node Name [sapprd01]
Communication Path to Node [sapprd01]
Extended Configuration
→Discover HACMP-related Information from Configured Nodes
Extended Configuration
→Extended Topology Configuration→Configure HACMP Networks→Add a Network to the HACMP Cluster
# Discovered IP-based Network Types
ether
Add an IP-Based Network to the HACMP Cluster
* Network Name [net_ether_01]
* Network Type ether
* Netmask [255.255.255.0]
* Enable IP Address Takeover via IP Aliases [Yes]
IP Address Offset for Heartbeating over IP Aliases
Extended Configuration
→Extended Topology Configuration→Configure HACMP Networks→Add a Network to the HACMP Cluster
# Discovered Serial Device Types ?
rs232
* Network Name [net_rs232_02]
* Network Type rs232
Extended Configuration
→Extended Topology Configuration→ Configure HACMP Communication Interfaces/Device→Add Communication Interfaces/Devices→Add Discovered Communication Interface and Devices→Communication Interfaces→ net_ether_01
# Node / Network
# Interface IP Label IP Address
# net_ether_01 / sapprd00
> en0 sapprd00_boot1 1.1.1.1
> en2 sapprd00_boot2 1.1.1.2
# net_ether_01 / sapprd01
> en0 sapprd01_boot2 2.2.2.1
> en2 sapprd01_boot1 2.2.2.2
Extended Configuration
→Extended Topology Configuration→ Configure HACMP Communication Interfaces/Device→Add Communication Interfaces/Devices→Add Discovered Communication Interface and Devices→Communication Device→ net_ether_01
Extended Configuration
→Extended Topology Configuration→ Configure HACMP Communication Interfaces/Device→Add Discovered Communication Interface and Devices→Communication Interfaces→net_rs323_02
* Device Name [sapprd00_tty0_01]
* Network Type rs232
* Network Name net_rs323_02
* Device Path [/dev/tty0]
* Node Name [sapprd00]
* Device Name [sapprd01_tty0_01]
* Network Type rs232
* Network Name net_rs323_02
* Device Path [/dev/tty0]
* Node Name [sapprd01]
Extended Configuration
→Extended Topology Configuration→Configure HACMP Persistent Node IP Label/Addresses→Add a Persistent Node IP Label/Address→ sapprd00&sapprd01
* Node Name sapprd00
* Network Name [net_ether_01] +
* Node IP Label/Address [sapprd00_per] +
* Node Name sapprd01
* Network Name [net_ether_01] +
* Node IP Label/Address [sapprd01_per] +
Extended Configuration
→ HACMP Extended Resources Configuration→ Configure HACMP Applications→Configure HACMP Application Server→Add an Application Server
[Entry Fields]
* Server Name [app]
* Start Script [/hascripts/dbstart.sh]
* Stop Script [/hascripts/dbstop.sh]
Application Monitor Name(s) +
Extended Configuration
→ HACMP Extended Resources Configuration→ Configure HACMP Service IP
Labels/Addresses→Add a Service IP Label/Address→Configurable on Multiple
Nodes→net_ether_01
* IP Label/Address [sapprd_svc] +
* Network Name net_ether_01
Alternate Hardware Address to accompany IP Label/A ddress []
Extended Configuration
→HACMP Extended Resource Configuration→HACMP Extended Resource Group Configuration→
Add a Resource Group
[Entry Fields]
* Resource Group Name [rg]
* Participating Nodes (Default Node Priority) [sapprd00 sapprd01]
Startup Policy Online On All Available Nodes
Fallover Policy Bring Offline (On Error Node Only)
Fallback Policy Never Fallback
Extended Configuration
→ HACMP Extended Resource Configuration→HACMP Extended Resource Group
Configuration→Change/Show Resources and Attributes for a Resource Group→ rg
Resource Group Name rg
Participating Nodes (Default Node Priority) sapprd00 sapprd01
Startup Policy Online On Home Node O>
Fallover Policy Fallover To Next Prio>
Fallback Policy Never Fallback
Service IP Labels/Addresses [sapprd_svc] +
Application Servers [app] +
Volume Groups [datavg ] +
Use forced varyon of volume groups, if necessary false +
Automatically Import Volume Groups false +
Filesystems (empty is ALL for VGs specified) [ ] +
Filesystems Consistency Check fsck +
Filesystems Recovery Method sequential +
Filesystems mounted before IP configured false +
Filesystems/Directories to Export [] +
Extended Configuration
→Extended Verification and Synchronization
[Entry Fields]
* Verify, Synchronize or Both [Both] * Automatically correct errors found during verification? [Yes]
说明：1、待校验和同步提示OK后，至此HACMP配置完毕。

2、HACMP配置过程只需在一个节点上完成，本例中为sapprd00节点。

3、HACMP启动
#smitty clstart
Start Cluster Services
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Start now, on system restart or both now + Start Cluster Services on these nodes [sapprd00 sapprd01] + BROADCAST message at startup? true +
Startup Cluster Information Daemon? false +
Reacquire resources after forced down ? false +
Ignore verification errors? false +
Automatically correct errors found during Interactively + cluster start?
#ifconfig -a
en0: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT
,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 1.1.1.1 netmask 0xffffff00 broadcast 1.1.1.255
inet 0.0.0.0 netmask 0xffffff00 broadcast 0.0.0.255
inet 0.0.0.0 netmask 0xffffff00 broadcast 0.0.0.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en2: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT
,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 2.2.2.1 netmask 0xffffff00 broadcast 2.2.2.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT
>
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
说明：HACMP启动成功后，会出现172.17.161.38服务IP地址。

#lspv
hdisk0 0007e07178c6be96 rootvg active
hdisk1 0007e07187e36324 rootvg active
hdisk2 0007e0d38e043874 datavg active
hdisk3 0007e0d38e0439b0 datavg active
说明：HACMP启动成功后，datavg的状态显示为active。

4、HACMP关闭
#smitty clstop
Stop Cluster Services
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Stop now, on system restart or both now +
Stop Cluster Services on these nodes [sapprd00 sapprd01] + BROADCAST cluster shutdown? true +
* Shutdown mode graceful +
#ifconfig -a
en0: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT
,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 1.1.1.1 netmask 0xffffff00 broadcast 1.1.1.255
inet 0.0.0.0 netmask 0xffffff00 broadcast 0.0.0.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en2: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT
,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 2.2.2.1 netmask 0xffffff00 broadcast 2.2.2.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT
>
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
说明：HACMP关闭成功后，0.0.0.0 服务IP地址将会消失。

#lspv
hdisk0 0007e07178c6be96 rootvg active
hdisk1 0007e07187e36324 rootvg active
hdisk2 0007e0d38e043874 datavg
hdisk3 0007e0d38e0439b0 datavg
说明：HACMP关闭成功后，datavg的状态将为inactive。

5、配置HAMCP后EMC存储的性能调整
配置hacmp，如果存储是EMC，则需要运行以下命令
#/usr/sbin/cluster/utilities/clcustomdisk -c -tdisk/pseudo/power -Ndisk/pseudo/power -gSCSI3 -hSCSI_TUR -b/usr/lpp/EMC/Symmetrix/bin/emcpowerreset -ptrue -mMKDEV
并验证：
#odmget HACMPdisktype
HACMPdisktype:
PdDvLn = "disk/pseudo/power"
ghostdisks = "SCSI3"
checkres = "SCSI_TUR"
breakres = "/usr/lpp/EMC/Symmetrix/bin/emcpowerreset"
parallel = "true"
makedev = "MKDEV"
reserved1 = ""
reserved2 = ""
reserved3 = ""
六、主机软硬件详细信息
1、sapprd00主机详细信息
2、sapprd01主机详细信息。