详细的IBM HACMP及Oracle RAC安装过程

合集下载

HACMP 5.2 的安装、配置、测试完全手册

HACMP 5.2 的安装、配置、测试完全手册摘要：IBM HACMP 自从出了5.2 版本后，到了5.205比较稳定，并已经过充分的测试（见测试篇）和实践证明（已有多个系统成功自动切换）。

这里我整理了一下，以比较复杂的双机互备情况为例，其他类似设置可适当简化。

样例为AIX5304+HACMP5205.第一章规划篇第二章安装篇1、安装前提1) 操作系统版本要求：AIX５.203以上2) 环境要求用户确认HA要求所有切换需要用到的用户必须一一对应，userid完全相同。

如tlg1d0上oracle用户为orarun，tlg1a0上的orarun必须为切换保留，sid均为209平时用的oracle用户就改为oraclt[tlg1a0][root][/]lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204tuxrun id=205oraclt id=208orarun id=209sshd id=211bsx1 id=210[tlg1d0][root][/]>lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204orarun id=209tuxrun id=205oraclt id=208bsx1 id=210Ø 文件系统确认HA要求切换相关的文件系统不能重名，如tlg1d0上oracle软件目录为/ora10msrun，tlg1a0上的/ora10msrun必须为切换保留，改为/ora10msclt[tlg1d0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 524288 487820 7% 3276 3% //dev/hd2 7077888 1868516 74% 91290 18% /usr/dev/hd9var 524288 458364 13% 991 1% /var/dev/hd3 917504 826700 10% 120 1% /tmp/dev/hd1 655360 524856 20% 291 1% /home/proc - - - - - /proc/dev/hd10opt 1179648 589072 51% 11370 8% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 130724 1% 4 1% /tftpboot/dev/fslv00 6684672 3719036 45% 6 1% /export/eznim/dev/ora10msrunlvbak 8912896 5165508 43% 24814 3% /ora10msrunbak /dev/msrundatalvbak 13107200 2895980 78% 32 1% /msrundatabak/dev/msrunloglvbak 5242880 3094480 41% 8185 2% /msrunlogbak/dev/mksysblv 13107200 6238868 53% 5 1% /mksysb/dev/tlg1d0_baklv 26214400 17495848 34% 1111 1% /tlg1d0_bak/dev/msrundatalv 13107200 2896000 78% 31 1% /msrundata/dev/msrunloglv 5242880 3112216 41% 7996 2% /msrunlog/dev/ora10msrunlv 8912896 5173252 42% 23406 2% /ora10msrun[tlg1a0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 655360 93968 86% 3450 14% //dev/hd2 8650752 3779000 57% 90347 10% /usr/dev/hd9var 1179648 1001248 16% 1164 1% /var/dev/hd3 1179648 1136192 4% 143 1% /tmp/dev/hd1 655360 587592 11% 489 1% /home/proc - - - - - /proc/dev/hd10opt 1835008 1244528 33% 11374 4% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 118800 10% 7 1% /tftpboot/dev/fslv00 7733248 960696 88% 27298 12% /export/eznim/dev/fslv02 15335424 1143804 93% 4525 2% /soft_ins/dev/tlg1a0_baklv 26214400 20751500 21% 16 1% /tlg1a0_bak/dev/ora10mscltlvbak 13107200 9386904 29% 16852 1% /ora10mscltbak /dev/tux81msrunlvbak 655360 407932 38% 2685 3% /tux81msrunbak /dev/meslvbak 8912896 4815640 46% 6349 1% /BSMesWare/BSX1bak /dev/xcomlvbak 5242880 5186260 2% 4178 1% /xcombak/dev/ora10mscltlv 13107200 9386748 29% 16852 1% /ora10msclt/dev/tux81msrunlv 786432 538952 32% 2685 3% /tux81msrun/dev/meslv 14155776 10057876 29% 6343 1% /BSMesWare/BSX1/dev/xcomlv 5242880 5186280 2% 4178 1% /xcom3) 安装包要求：RSCT 2.3.6.0 或更高版本。

Oracle RAC安装实录

Oracle RAC安装实录本系列文章全程记录安装过程中碰到的所有问题和解决手段。

1.准备环境2.准备环境（续）3.HACMP安装配置4.OracleRac安装前准备5.安装oracle软件6.Oracle建库7.RAC使用和测试<下一篇>一、准备环境。

搭设的硬件环境如下：44p270主机一台：375MHz PowerPC_POWER3 CPU一颗、512 MB内存、18.2GB内置硬盘、主板内置网卡+2968以太网卡、6230 SSA卡；f80主机一台：450MHz PowerPC RS64III CPU四颗、2048MB内存、36.4GB内置硬盘、主板内置网卡+2968以太网卡、6230 SSA卡；7133-D40磁盘阵列：2块36.4B 1万转硬盘构成RAID1阵列。

最后的软件环境如下：AIX 5L V5.2、ML04+IY64978+IY63366HACMP V5.1+U4981141.操作系统安装问题安装过程中发现一个奇怪的问题，很多执行文件的存取属性被清空（变成----------）而导致无权限执行，这首先严重影响了打ML04补丁，bos.rte补丁中的一个script总是运行不成功，报/usr/lib/methods/cfgsf命令执行失败（bos.rte.config_u[42]: /usr/lib/methods/cfgsf: 0403-006 Execute permission denied.update: Failed while executing the bos.rte.config_u script.），结果bos.rte及依赖其的几个文件集补丁无法实施。

因为cfgsf文件本身就属于bos.rte，installp在安装bos.rte的时候先把它的存取属性清除了（覆盖原文件），然后再执行它，所以在installp之前修改cfgsf的属性没有意义。

解决方法比较笨拙，写一个死循环shell程序，不断地执行chmod 500 /usr/lib/methods/cfgsf 命令（见下）。

HACMP Oracle Rac安装设置手册

HACMP Oracle Rac安装设置手册版本v1.0二零一二年十月北京华胜天成科技股份有限公司文档控制更改记录审阅发布目录目录 (3)第1章HACMP v5.4安装配置 (5)1.1、IP规划 (5)1.2、安装HACMP软件 (5)1.2.1、操作系统版本 (5)1.2.2、安装依赖的软件包 (5)1.2.3、安装HACMP v5.4 (6)1.3、HACMP配置规划 (9)1.3.1、配置IP和网络 (9)1.3.2、编辑/etc/hosts文件 (9)1.3.3、创建共享卷组和文件系统 (10)1.4、HACMP Standard配置 (11)1.4.1、添加cluster和节点 (12)1.4.2、创建并配置资源组 (12)1.4.3、同步HACMP的配置 (13)1.5、HACMP启动 (14)1.5.1、启动HACMP (14)第2章Oracle RAC安装配置 (14)2.1、规划 (14)2.2、安装检查 (16)2.3、安装前配置 (18)2.4、安装CRS (21)2.5、安装数据库 (38)2.6、创建数据库 (44)2.7、数据测试 (54)第1章HACMP v5.4安装配置1.1、IP规划1.2、安装HACMP软件完成HACMP安装配置规划后，可以开始安装HACMP软件，安装版本为HACMP v5.4。

1.2.1、操作系统版本# oslevel -r5300-061.2.2、安装依赖的软件包检查系统的软件安装包，请参照IBM红皮书中《High Availability Cluster Multi-Processing for AIX 5L Installation Guide》。

这里我们建议安装软件束APP-DEV和SERVER，其中包括的红皮书要求的大部分软件包。

安装rsct软件包：rsct.basicpat.basicpat.clientsrsct.opt.storagerm（可选）安装其它软件包：bos.clvm（使用并行资源组时需要，RAC下必须安装此包）bos.data#smitty install_latestInstall SoftwareType or select values in entry fields.Press Enter AFTER making all desired changes.[Entry Fields]INPUT device / directory for software /dev/cd0SOFTWARE to install [_all_latest]PREVIEW only? (install operation will NOT occur) noCOMMIT software updates? yesSA VE replaced files? noAUTOMA TICALL Y install requisite software? yesEXTEND file systems if space needed? yesOVERWRITE same or newer versions? noVERIFY install and check file sizes? noInclude corresponding LANGUAGE filesets? yesDETAILED output? noProcess multiple volumes? yesACCEPT new license agreements? yesPREVIEW new LICENSE agreements? no在“SOFTWARE to install”一栏中选择要安装的软件包，“ACCEPT new license agreements”中接受许可协议，即完成安装软件包。

OracleRac裸设备-安装配置以及表空间的创建

Oracle 10G RAC on Windows with rawBy selina前言：Oracle 10g 的RAC 比Oracle 9i 的RAC 在性能上有了很大的提高,同时Oracle 开发了自己的HA 软件CRS 并且支持所有平台包括Microsoft Windows，Ibm Aix,Sun Solaris, HP-UX等等。

另外VIP 网络资源的的使用对TAF 的改善性能也是非常明显。

Oracle 10g 的RAC 基本安装步骤:一:了解系统的软硬件情况并且做相应安装前的准备操作系统：Microsoft Windows 2003 简体中文企业版Oracle 版本：10.2.0每台主机2 块CPU，4G 内存两块千兆以太网卡二: Cluster Ready Service(CRS)的安装（存储：RAW）Oracle 10g 数据库系统软件安装（存储：本地硬盘）VIP 网络的配置CRS 的补充,cluster 网络资源的定义.三:Oracle 10g RAC 数据库的建立（存储：本地硬盘）四：使用dbca 工具建立数据库。

（存储：RAW）详细步骤：一、安装前准备1、修改网卡名（两个节点）分别在两台主机的“网络连接“中，将第一块显示在网络适配器的网卡对应的网络名字改为public，作为公共网络访问使用和作为将来VIP 地址的绑定网卡，第二块显示在网络适配器的网卡对应的名字改为private，作为私有网络访问使用（包括心跳）。

Oracle 10G RAC For Windows 官方文档注明：第一块能够访问网络服务的网卡必须设置作为public 公共网络访问。

否则Oracle 的CRS 安装过程的Cluster 集群检查会报错，同样做一遍可以pass Cluster 检查，但是安装的时候第一个节点无法copy 到远程第二个节点上，log 日志会一直报错。

但是第二版会一直说cluster 检查错误，不让你继续安装。

详解Oracle RAC在Linux下的安装

Oracle Real Application Server，真正应用集群，简称Oracle RAC ，是Oracle的并行集群，位于不同服务器系统的Oracle实例同时访问同一个Oracle数据库，节点之间通过私有网络进行通信，所有的控制文件、联机日志和数据文件存放在共享的设备上，能够被集群中的所有节点同时读写。

系统配置1、创建用户和组 oinstall dba 组用户1.oracle -g oinstall -G dba匿名用户：确认匿名用户 nobody 存在与系统中，在安装完成后nobody 用户必须执行一些扩展任务（extjob）确认nobody用户是否存在：1.#id nobody如果用户不存在则需要添加该用户。

注意给oracle用户设置密码2、配置网络ip地址的规划，通过修改 /etc/sysconf/network-script/ifcfg-ethx配置网卡的静态ip地址主机名的永久修改： /etc/network本地DNS的配置： /etc/hosts配置/etc/host.conf 该文件用来指定域名解析方法的顺序：1.order hosts,bind它说明，首先通过/etc/hosts文件解析，如果在该文件中没有相应的主机名与IP 地址的对应关系，再通过域名服务器bind进行解析3、配置安全SSH 通道，针对ORACLE用户，在每个节点创建 rsa 和dsa 的密钥1.rac1#su - oracle2.rac1#mkdir .ssh3.rac1#chmod 700 .ssh4.rac1#cd .sshrac1#ssh-keygen -t rsa 创建密钥对，其他默认同样在另一台主机上执行相应的操作。

1.rac2#su - oracle2.rac2#mkdir .ssh3.rac2#chmod 700 .ssh4.rac2#cd .ssh5.rac2#ssh-keygen -t rsa 创建密钥对，其他默认rac1#ssh rac1 cat /home/oracle/.ssh/id_rsa.pub >> authorized_keys 把节点1 的共钥从定向到一个文件因为现在还没有密钥对，所以会提示输入密码。

ORACLE10gRAC（RAW）安装文档

ORACLE10gRAC（RAW）安装⽂档1.安装oracle10g RAC1.1. 安装需要的软件10201_clusterware_linux_x86_64.cpio.gz10201_database_linux_x86_64.cpio.gz1.2. 系统设置注意，以下所说步骤如果没有特别强调，则要求在每个节点上执⾏。

1.2.1.系统参数1.内核参数在/etc/sysctl.conf中添加如下项⽬：然后⽤执⾏/sbin/sysctl –p1.2.2.oracle⽤户和组# /usr/sbin/groupadd oinstall# /usr/sbin/groupadd dba# /usr/sbin/useradd -m -g oinstall -G dba oracle# id oracleuid=1000(oracle) gid=1000(oinstall) groups=1000(oinstall),6(disk),1001(dba) 设置oracle 帐户的⼝令：# passwd oracleChanging password for user oracle.New password:Retype new password:passwd:all authentication tokens updated successfully.设置oracle的shell限制：在/etc/security/limits.conf⽂件中加⼊1.2.3. ⽹络设置RAC要求机群内的每个节点⾄少有两块⽹卡，⼀个设置为公⽤（公⽹），对外提供服务；⼀个设置为私⽤（专⽤），提供节点内的告诉传输。

此外还需要为公⽤⽹卡配置⼀个虚拟地址，oracle需要借此为⽤户提供透明的⾼可⽤服务。

具体介绍如下：专⽤⽹络每个集群节点通过专⽤⾼速⽹络连接到所有其他节点，这种专⽤⾼速⽹络也称为集群互联或⾼速互联(HSI)。

Oracle 的Cache Fusion 技术使⽤这种⽹络将每个主机的物理内存(RAM)有效地组合成⼀个⾼速缓存。

AIX5300-08 HACMP5_4_1 ORACLE10204 RAC 安装

环境P610主机2台，共享磁盘存储1个安装系统注意进去后，选New and Complete Overwrite，开启64位核心，创建JFS2文件系统注意，默认是修复安装那种！重装系统的时候一定要注意扩展文件系统# smitty jfs2-> Add an Enhanced Journaled File System->创建u01# smitty jfs2-> Change / Show Characteristics of an Enhanced Journaled File System ->选择一个目标文件系统->修改Number of units升级系统维护级别# oslevel -r5300-01# instfix -i | grep MLAll filesets for 5.3.0.0_AIX_ML were found.All filesets for 5300-01_AIX_ML were found.Not all filesets for 5300-02_AIX_ML were found.Not all filesets for 5300-03_AIX_ML were found.Not all filesets for 5300-04_AIX_ML were found.Not all filesets for 5300-05_AIX_ML were found.Not all filesets for 5300-06_AIX_ML were found.Not all filesets for 5300-07_AIX_ML were found.Not all filesets for 5300-08_AIX_ML were found.从IBM网站下载相应的维护包/support/fixcentral/main/System+p/AIX执行命令inutoc创建.toc以便于update系统维护级别#inutoc /fix/aix_5200_07开始升级系统维护级别#smitty update_all选择升级所有软件包,在升级执行完成后,执行shutdown -Fr来重新启动一次主机.参见/eserver/support/fixes/fixcentral/pseriesinstal l/5300-09-00-0846创建用户# smit user创建ORACLE用户 USERID 601ORACLE用户的HOME文件夹指向/u01/app/oracle（该目录需要先创建）# smit group创建dba（701）, oinstall（702）, hagsuser（801）组，在USER list中，把ORACLE用户加进去mkgroup -'A' id='701' users='oracle' dbamkgroup -'A' id='702' users='oracle' oinstallmkgroup -'A' id='703' users='oracle' hagsuser设置oinstall为ORACLE的primary group# id oracleuid=601(oracle) gid=702(oinstall) groups=1(staff),701(dba),801(hagsuser)网络配置网卡绑定（待验证）irdb1和irdb2两台主机均有四块光纤网卡,两两做成EtherChannel模式,并对EtherChannel 的网卡ent4和ent5配置IP地址.将网卡做成EtherChannel模式,使用命令:#smitty etherchannel→Add An EtherChannel / Link Aggregation→按F7选择ent0和ent3做成通道ent4按F7选择ent1和ent2做成通道ent5修改主机名# smit hostname设置上面机器为P61A，下面机器为P61B修改IP# smit inet-> Change / Show Characteristics of a Network Interface ->选择一个网络接口，进行IP配置P61A en1 10.10.1.61 255.255.255.0en0 12.0.0.61 255.0.0.0P61B en1 10.10.1.62 255.255.255.0en0 12.0.0.62 255.0.0.0查看IP设置# ifconfig -a# netstat -in修改/etc/hosts127.0.0.1 loopback localhost10.10.1.61 P61A12.0.0.61 P61A_priv10.10.1.101 P61A_vip10.10.1.62 P61B12.0.0.62 P61B_priv10.10.1.102 P61B_vip修改/etc/hosts.equiv###### add by zhangqiaoc ######+ root+ oracle###### end by zhangqiaoc ######修改root oracle用户HOME目录下的.rhosts文件###### add by zhangqiaoc ######+###### end by zhangqiaoc ######测试：rsh P61A datersh P61B datercp tmp.txt P61A:/u01/app/oraclercp tmp.txt P61B:/u01/app/oracle配置NTP在server端:62bash-3.00# vi /etc/ntp.conf#broadcastclientserver 127.127.1.0driftfile /etc/ntp.drifttracefile /etc/ntp.trace"/etc/ntp.conf" 42 lines, 1017 charactersbash-3.00# startsrc -s xntpd0513-059 The xntpd Subsystem has been started. Subsystem PID is 274488.bash-3.00# lssrc -ls xntpdProgram name: /usr/sbin/xntpdVersion: 3Leap indicator: 11 (Leap indicator is insane.)Sys peer: no peer, system is insaneSys stratum: 16Sys precision: -16Debug/Tracing: DISABLEDRoot distance: 0.000000Root dispersion: 0.000000Reference ID: no refid, system is insaneReference time: no reftime, system is insaneBroadcast delay: 0.003906 (sec)Auth delay: 0.000122 (sec)System flags: pll monitor filegenSystem uptime: 17 (sec)Clock stability: 0.000000 (sec)Clock frequency: 0.000000 (sec)Peer: 127.127.1.0flags: (configured)(refclock)stratum: 3, version: 3our mode: client, his mode: serverSubsystem Group PID Statusxntpd tcpip 274488 activebash-3.00# lssrc -ls xntpd|grep "Sys peer"Sys peer: no peer, system is insanebash-3.00# lssrc -ls xntpd|grep "Sys peer"Sys peer: 127.127.1.0在client端: 61bash-3.00# vi /etc/ntp.confserver 10.10.1.62driftfile /etc/ntp.drifttracefile /etc/ntp.trace"/etc/ntp.conf" 42 lines, 1023 charactersbash-3.00# startsrc -s xntpd0513-059 The xntpd Subsystem has been started. Subsystem PID is 282860.bash-3.00# lssrc -ls xntpd|grep "Sys peer"Sys peer: P61B安装需要的Packages（Filesets）bos.adt.basebos.adt.libbos.adt.libmbos.adt.syscalls.tcp.client.tcp.serverbos.rte.SRCbos.rte.libcbos.rte.libcfgbos.rte.libcurbos.rte.libpthreadsbos.rte.odmbos.databos.content_listbos.dosutilbos.perf.gtoolsbos.cifs_fs.*bos.rte.lvmbos.clvm.enhrsct.basic.hacmppatrsct.basicrsct.exp.cimrmxlC.rte查看是否已经安装# lslpp -l bos.dataFileset Level State Description----------------------------------------------------------------------------Path: /usr/share/lib/objreposbos.data 5.3.0.0 COMMITTED Base Operating System Data 安装# smitty install_latest删除软件# smitty install_remove需要修改PREVIEW only? (remove operation will NOT occur)为NO打需要的APAR参见：METALINK 282036.1 169706.1 309769.1/eserver/support/fixes/fixcentral/main/pseries/ aix检查一个补丁是否已经安装# instfix -ik IX75893Not all filesets for IX75893 were found.使用SMIT安装单独的补丁#smitty instfix#smitty update_by_fix# instfix -k IX75893 -d /dev/cd0AIX 5.3需要的补丁(5308包含了这些补丁)●IY68989: “WRITE TO MMAPPED SPACE HANGS”●IY68874: An application that is run with mandatory large page data (LDR_CNTRL=LARGE_PAGE_DATA=M)may core-dump on the AIX V5.3 64-bit kernel in a LPAR environment.●IY70031: “CORRUPTION FROM SIMULTANEOUS CIO WRITES WITH O_DSYNC ON JFS2”If using the IBM Journal File System Version 2 (JFS2) for Oracle Database files.●NOTE: All Oracle 9i Database and Oracle 10g Database customers who are running on AIX 5L V5.3Technology Level 5 (TL 5300-05) must install the IBM AIX PTF for APAR IY89080. In addition, Oracle customers should contact Oracle support to obtain the fix for Oracle Bug 5496862.●IZ03260: LIO_LISTIO FAILS TO UPDATE AIO CONTROL BLOCKS ON ERROR APPLIES TO AIX 5300-06 (forAIX V5.3 TL06 customers ).●IZ03475: LIO_LISTIO FAILS TO UPDATE AIO CONTROL BLOCKS ON ERROR APPLIES TO AIX 5300-07 (forAIX V5.3 TL07 customers).JDK需要的补丁（参见METALINK309769.1，5308已经包含了）●SDK 1.4 64-bit 1.4.2.1 IY63533●SDK 1.4 32-bit 1.4.2.2 IY65305●SDK 1.3.1.16 32-bit IY58350验证其他信息Certify - Additional Info RAC for Unix Version 10gR2 64-bit On IBM AIX based Systems (RAC only)Operating System:IBM AIX based Systems (RAC only)Version5LRAC for Unix Version10gR2 64-bitHACMP Version5.4.1Status:CertifiedProduct Version Note:None available for this product.Certification Note:Use of HACMP 5.4 requires minimum service levels of the following:o AIX5L 5.3 TL 6 or later, specifically bos.rte.lvm must be at least 5.3.0.60o HACMP V5.4.1 (Available in media or APAR IZ02620)o RSCT (rsct.basic.rte)version 2.4.7.3 and ifix for APAR IZ01838 This APAR is integrated into V2.4.8.1Certified with AIX 5L 5.3 TL06 and above only∙Requires a minimum of Oracle 10.2.0.3 plus CRS bundle patch 6160398 (or newer)and rootpre.sh patch 6718715 is required when using HACMP5.4.1 with a fresh install of Oracle RAC clusterware or whenupgrading from Oracle 10gR1 to Oracle 10gR2∙Please review Metalink note404474.1for additional information修改ORACLE用户.profile文件为了使用bash，在/etc/shells和/etc/security/login.cfg中，将bash添加到可以使用的shell列表里，然后用smit user修改# User specific environment and startup programsalias cp='cp -i'alias l='ls -lA'alias ll='ls -l'alias mv='mv -i'alias rm='rm -i'exportAIXTHREAD_SCOPE=S########################################################################export ORACLE_SID=rac1########################################################################export ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORA_CRS_HOME=$ORACLE_BASE/product/crsexport TNS_ADMIN=$ORACLE_HOME/network/adminexport BDUMP=$ORACLE_BASE/admin/$ORACLE_SID/bdumpexport UDUMP=$ORACLE_BASE/admin/$ORACLE_SID/udumpexport TEMP=/tmpexport TMP=/tmpexport TMPDIR=/tmpPATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/binexport PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/libexport LIBPATH=$ORACLE_HOME/libumask=022export PS1="[`whoami`@`hostname`:\$PWD]$"export NLS_LANG="AMERICAN_AMERICA.ZHS16GBK"export DISPLAY=10.10.1.128:0.0操作系统参数修改vi /etc/security/limits修改ORALCE用户下：oracle:fsize = -1data = -1stack = -1cpu = -1---------------------------------------------------# smit chgsys修改Maximum number of PROCESSES allowed per user的值，要求大于等于2048---------------------------------------------------修改VMM参数查询：vmo -a |grep -E "lru_file_repage|perm|client"vmo -a |grep -E "minfree|maxfree"ioo -a |grep -E "maxpgahead|j2_maxPageReadAhead"压缩文件系统使用的内存，保证数据库的内存使用lru_file_repage=0 在内存页面进行替换时，只替换文件使用的页面minperm%=5 为文件系统保留的至少5%的物理内存的大小maxperm%=20 普通日志文件系统最大可用的内存大小strict_maxperm=0 普通日志文件能最大使用的内存上线为软上限，如果有更多的，可以超过上限使用maxclient%=20 增强型日志文件系统最大使用的内存strict_maxclient=1 增强型日志文件系统的上限时硬上限maxfree minfree 内存页面替换的阀值，这两个值告诉LRUD合适开始/停止页面替换操作minfree = 120 * #logical CPUsmaxfree = minfree + (max(maxpgahead,j2_maxPageReadAhead) * #logical CPUs)vmo -p -o lru_file_repage=0vmo -p -o minperm%=5vmo -p -o maxclient%=20vmo -p -o maxperm%=20vmo -p -o strict_maxperm=0vmo -p -o maxclient%=20vmo -p -o strict_maxclient=1vmo -p -o minfree=120vmo -p -o maxfree=248为设置lock_sga=true,需要修改参数(ORACLE不建议设置，但我没设置这个，在9i 10g都遇到了很严重的内存泄漏，通过设置该参数解决)vmo -p -o v_pinshm=1---------------------------------------------------异步IO配置：lsdev -C -t aio 如果状态为defined那么mkdev -l aio0chdev -P -l aio0 -a autoconfig='available'如果无返回，需要安装bos.rte.aio# smit aio需要修改：minservers = 10* #CPUsmaxservers = 10*#disks/#cpusmaxreqs = 4096的倍数，该值要大于4*#disks*queue_depth典型设置：minservers=100,maxservers=100,maxreqs=16384数据库需要设置：disk_asynch_io=true,filesystemio_options=asynch---------------------------------------------------网络参数查询：# no -a |grep -E "sb_max|tcp_sendspace|tcp_recvspace|rfc1323"rfc1323 = 1sb_max >= 1MBtcp_sendspace >= 262144tcp_recvspace >= 262144udp_sendspace = max(db_block_size * db_file_multiblock_read_count,65536) udp_recvspace >= min(4* sendspace,sb_max)no -p -o rfc1323=1no -p -o sb_max=1048576no -p -o tcp_sendspace=262144no -p -o tcp_recvspace=262144no -p -o udp_sendspace=65536no -p -o udp_recvspace=262144---------------------------------------------------修改ncargs到128bash-3.00#chdev -l sys0 -ancargs=128bash-3.00# lsattr -El sys0 |grep carncargs 128 ARG/ENV list size in 4K byte blocks True 操作系统检查操作系统内存：# lsattr -El sys0 -a realmem硬件处理器是否为64位# getconf HARDWARE_BITMODE检查OS核心是否为64位#bootinfo -K检查用户最大进程数maxuproc是否大于等于2048# lsattr -El sys0 -a maxuproc检查网卡配置# ifconfig -a测试HOSTS是否正确# ping -c 1 P61A# ping -c 1 P61A_priv# ping -c 1 P61B# ping -c 1 P61B_priv查看ORACLE用户限制su - oracle[oracle@P61A:/u01/app/oracle]$ulimit -acore file size (blocks, -c) 1048575data seg size (kbytes, -d) unlimitedfile size (blocks, -f) unlimitedmax memory size (kbytes, -m) 32768open files (-n) 2000pipe size (512 bytes, -p) 64stack size (kbytes, -s) hardcpu time (seconds, -t) unlimitedmax user processes (-u) 2048virtual memory (kbytes, -v) unlimited检查用户的nofiles是否为2000，而不是-1# cat /etc/security/limits检查/tmp空间是否大于400M# df -m /tmphagsuser组是否创建# cat /etc/group确认每个系统中存在nobody用户$ id nobody检查是否存在默认路由bash-3.00# netstat -rnRouting tablesDestination Gateway Flags Refs Use If Exp GroupsRoute Tree for Protocol Family 2 (Internet):default 10.10.1.1 UG 0 0 en1 - - 10.10.1.0 10.10.1.62 UHSb 0 0 en1 - - => 10.10.1/24 10.10.1.62 U 4 1933858 en1 - -10.10.1.62 127.0.0.1 UGHS 0 43 lo0 - - 10.10.1.255 10.10.1.62 UHSb 0 4 en1 - - 12.0.0.0 12.0.0.62 UHSb 0 0 en0 - - => 12/8 12.0.0.62 U 0 12 en0 - - 12.0.0.62 127.0.0.1 UGHS 0 5 lo0 - - 12.255.255.255 12.0.0.62 UHSb 0 4 en0 - - 127/8 127.0.0.1 U 12 307 lo0 - -Route Tree for Protocol Family 24 (Internet v6):::1 ::1 UH 0 0 lo0 - -HACMP安装配置需要在2台机器上都进行HACMP安装，而且安装的文件集需要相同配置只需要在1台机器上进行，配置完成后进行同步操作安装软件# smit install_latest在SOFTWARE to install选择需要安装的软件包cluster.hativoli，cluster.haview不安装，其他都选修改ACCEPT new license agreements? 为YES安装完成后注意看日志，看最后是否标识全部成功了检查：lppchk -v和lppchk -c cluster*如果正确安装，应该无返回安装补丁包/webapp/set2/sas/f/hacmp/home.html由于我们使用的SCSI磁盘，需要修改HA脚本，否则HA启动无法挂载磁盘修改/usr/es/sbin/cluster/events/utils/cl_mode3281行，409行，STA TUS=0配置磁盘如果在重装系统前没有清除卷组，那么需要格式化磁盘格式化操作必须在存储连上机器30分钟后才能进行# diag-> Task Selection (Diagnostics, Advanced Diagnostics, Service Aids, etc.)-> Format Media也可以把该磁盘先exportvg，在把VG清除掉查看磁盘是否已经被识别，而且PVID相同# lspvhdisk0 0003c1be68e57349 rootvg activehdisk1 0052a6ee7ec6da95两台机器上分别运行，注意，hdisk0为内置磁盘，hdisk1为共享磁盘两台机器上显示的该磁盘应该同样命名为hdisk1,而且PVID（0052a6ee7ec6da95）必须是相同的创建VG( P61A上执行)# smit mkvg-> Add a Scalable V olume GroupAdd a Scalable V olume GroupType or select values in entry fields.Press Enter AFTER making all desired changes.[Entry Fields] VOLUME GROUP name [oravg]Physical partition SIZE in megabytes 128 +* PHYSICAL VOLUME names [hdisk1] + Force the creation of a volume group? no +Activate volume group AUTOMATICALLY no+ at system restart?V olume Group MAJOR NUMBER [] +# Create VG Concurrent Capable? enhanced concurrent+Max PPs per VG in units of 1024 32 +Max Logical V olumes 256 +创建LV( P61A上执行)varyonvg oravgmklv -y 'tcrs_ocr_01' -t 'raw' oravg 2mklv -y 'tcrs_vote_01' -t 'raw' oravg 2mklv -y 'trac_ctrl_1' -t 'raw' oravg 1mklv -y 'trac_ctrl_2' -t 'raw' oravg 1mklv -y 'trac_ctrl_3' -t 'raw' oravg 1mklv -y 'trac_redo1_11' -t 'raw' oravg 1mklv -y 'trac_redo1_21' -t 'raw' oravg 1mklv -y 'trac_redo2_11' -t 'raw' oravg 1mklv -y 'trac_redo2_21' -t 'raw' oravg 1mklv -y 'trac_spfile' -t 'raw' oravg 1mklv -y 'trac_pwdfile' -t 'raw' oravg 1mklv -y 'trac_indx_01' -t 'raw' oravg 5mklv -y 'trac_users_01' -t 'raw' oravg 5mklv -y 'trac_tools_01' -t 'raw' oravg 5mklv -y 'trac_system_01' -t 'raw' oravg 10mklv -y 'trac_sysaux_01' -t 'raw' oravg 10mklv -y 'trac_temp_01' -t 'raw' oravg 10mklv -y 'trac_undotbs_01' -t 'raw' oravg 10mklv -y 'trac_undotbs_02' -t 'raw' oravg 10检查bash-3.00# lsvg -l oravgoravg:LV NAME TYPE LPs PPs PVs LV STA TE MOUNT POINT tcrs_ocr_01 raw 2 2 1 closed/syncd N/Atcrs_vote_01 raw 2 2 1 closed/syncd N/Atrac_ctrl_1 raw 1 1 1 closed/syncd N/Atrac_ctrl_2 raw 1 1 1 closed/syncd N/Atrac_ctrl_3 raw 1 1 1 closed/syncd N/Atrac_redo1_11 raw 1 1 1 closed/syncd N/Atrac_redo1_21 raw 1 1 1 closed/syncd N/Atrac_redo2_11 raw 1 1 1 closed/syncd N/Atrac_redo2_21 raw 1 1 1 closed/syncd N/Atrac_spfile raw 1 1 1 closed/syncd N/Atrac_pwdfile raw 1 1 1 closed/syncd N/Atrac_indx_01 raw 5 5 1 closed/syncd N/Atrac_users_01 raw 5 5 1 closed/syncd N/Atrac_tools_01 raw 5 5 1 closed/syncd N/Atrac_system_01 raw 10 10 1 closed/syncd N/Atrac_sysaux_01 raw 10 10 1 closed/syncd N/Atrac_temp_01 raw 10 10 1 closed/syncd N/Atrac_undotbs_01 raw 10 10 1 closed/syncd N/Atrac_undotbs_02 raw 10 10 1 closed/syncd N/Aexport卷组( P61A上执行)# varyoffvg oravg# exportvg oravg在P61B上，import卷组# importvg -y oravg hdisk1在P61A上，import卷组# importvg -y oravg hdisk1现在在P61A，P61B上运行lspv，应该为如下：# lspvhdisk0 0003c1be68e57349 rootvg active hdisk1 0052a6ee7ec6da95 oravg现在在P61B上单独varyon oravg# varyonvg oravg在P61B上查看卷组属性，确保该卷组不是在机器启动时varyon# lsvg oravg|grep "AUTO ON"ACTIVE PVs: 22 AUTO ON: no在P61B上varyoff vg# varyoffvg oravg修改LV属主CRS文件/dev/rtcrs_ocr_01，/dev/rtcrs_vote_01的文件属主为oracle:oinstall其他数据库文件/dev/rtrac_*的文件属主为oracle:dbabash-3.00# chown oracle.oinstall /dev/rtcrs_*bash-3.00# chown oracle.dba /dev/rtrac_*bash-3.00# ls -l /dev |grep rtcrw-rw---- 1 oracle oinstall 51, 1 Apr 20 21:43 rtcrs_ocr_01 crw-rw---- 1 oracle oinstall 51, 2 Apr 20 21:43 rtcrs_vote_01 crw-rw---- 1 oracle dba 51, 3 Apr 20 21:43 rtrac_ctrl_1 crw-rw---- 1 oracle dba 51, 4 Apr 20 21:43 rtrac_ctrl_2 crw-rw---- 1 oracle dba 51, 5 Apr 20 21:43 rtrac_ctrl_3crw-rw---- 1 oracle dba 51, 12 Apr 20 21:43 rtrac_indx_01 crw-rw---- 1 oracle dba 51, 11 Apr 20 21:43 rtrac_pwdfile crw-rw---- 1 oracle dba 51, 6 Apr 20 21:43 rtrac_redo1_11 crw-rw---- 1 oracle dba 51, 7 Apr 20 21:43 rtrac_redo1_21 crw-rw---- 1 oracle dba 51, 8 Apr 20 21:43 rtrac_redo2_11 crw-rw---- 1 oracle dba 51, 9 Apr 20 21:43 rtrac_redo2_21 crw-rw---- 1 oracle dba 51, 10 Apr 20 21:43 rtrac_spfilecrw-rw---- 1 oracle dba 51, 16 Apr 20 21:43 rtrac_sysaux_01 crw-rw---- 1 oracle dba 51, 15 Apr 20 21:43 rtrac_system_01 crw-rw---- 1 oracle dba 51, 17 Apr 20 21:43 rtrac_temp_01 crw-rw---- 1 oracle dba 51, 14 Apr 20 21:43 rtrac_tools_01 crw-rw---- 1 oracle dba 51, 18 Apr 20 21:43 rtrac_undotbs_01 crw-rw---- 1 oracle dba 51, 19 Apr 20 21:43 rtrac_undotbs_02 crw-rw---- 1 oracle dba 51, 13 Apr 20 21:43 rtrac_users_01配置HACMP1.创建集群# smitty hacmpInitialization and Standard ConfigurationConfigure an HACMP Cluster and Nodes* Cluster Name [rac10g]New Nodes (via selected communication paths) [P61A P61B](节点名一定要和hostname命令返回值一样。

Oracle10gRAC在IBM-AIX5.3上的安装手册

Oracle10gRAC在IBM-AIX5.3上的安装手册一、安装概述Oracle10gRAC的软件版本号为10.2.0.1，补丁版本号为10.2.0.2。

AIX操作系统版本号为5300-05。

Oracle10g的安装介质为三个tar文件：crsinstall.tar、oracle10g.tar和p10202_AIX64-5L.tar。

请联系工程部陈晓静获取安装介质。

全部安装，包括安装crs软件，安装oracle软件，安装10202补丁和创建数据库，大约需要3个小时左右。

在安装过程中，操作系统和硬件的厂方工程师最好在场，如果出现问题，大家一起解决会比较容易。

二、硬件需求1、机器需求CPU数目不低于2个，内存不低于2G，硬盘空间不小于20G。

这些要求目前的工程机器一般都能满足。

需要注意的是以下几点：●SWAP虚拟内存对换区不低于物理内存的两倍，如果物理内存大于8G，则虚拟内存可以配置成和物理内存相同大小。

●临时空间目录/tmp不低于500M，建议为1G以上●需要为Oracle软件建立单独的分区/users/oracle，大小建议为20G。

最少应为10G。

●机器名称不能超过8位，最好不要包含“-”号。

上面的要求在两台库服务器上都需要满足，如果有不满足的，请让厂方工程师协助解决。

2、网络需求两个光纤网口，用于连光纤交换机和阵列连接。

至少三个，最好四个千兆网口(电口、光口均可)，用于外网连接和心跳连接。

建议将机器主板上的内置网卡用于心跳连接，将PCI插槽上的外接网卡用于外网连接。

为了满足OracleRAC中vip的需求，需要将连接外网的两个网口使用etherchannel技术虚拟成一个虚网口，vip的地址需要和这个虚网口配置在同一个网段。

如果有四个网口，建议将剩余的两个网口也使用etherchannel技术虚拟成一个虚网口，用于心跳连接。

Oracle建议心跳使用单独的交换机连接，或者使用交换机上一个单独的vlan连接，避免使用交叉线直接连接。

AIX5.3_HACMP+oracle双机安装配置(IP心跳)

AIX5.3 HACMP和oracle双机安装过程1引言1.1HACMP 工作原理HACMP 是High Availability Cluster Multi-Processing 的缩写。

HACMP 是IBM 公司在P 系列AIX 操作系统上的高可靠集群软件，配置冗余，消除单点故障，保证整个系统连续可用性和安全可靠性。

HACMP 是利用网络来侦测主机及网卡的状况，搭配AIX 所提供的硬盘镜像等功能，在主机、网卡、硬盘控制卡、硬盘或网络发生故障时，自动切换到另一套备用元件上重新工作; 若是主机故障还切换至备份机上继续应用系统的运行。

作为双机系统的两台服务器同时运行HACMP 软件。

两台服务器的备份方式有二种:●一台服务器运行应用，另外一台服务器做为备份●两台服务器除正常运行本机的应用外，同时又作为对方的备份主机;●两台主机系统在整个运行过程中，通过" 心跳线" 相互监测对方的运行情况( 包括系统的软硬件运行、网络通讯和应用运行情况等);●一旦发现对方主机的运行不正常( 出故障) 时，故障机上的应用就会立即停止运行，本机( 故障机的备份机) 就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源( 包括用到的IP 地址和磁盘空间等) 接管过来，使故障机上的应用在本机继续运行;●应用和资源的接管过程由HACMP 软件自动完成，无需人工干预;●当两台主机正常工作时，也可以根据需要将其中一台机上的应用人为切换到另一台机( 备份机) 上运行。

1.2心跳设计配置HACMP 的过程中，除了TCP/IP 网络之外，您也可以在其它形式的网络上，如串行网络和磁盘总线上配置心跳网络。

●TCP/IP 网络优点：要求低，不需要任何额外硬件或软件，即可实现。

缺点：占用IP 地址，不能避免由于TCP/IP 的软件问题导致HACMP 崩溃，系统不可用。

●串口网络优点：真正实现高可用性，不占用IP 地址。

IBM_HACMP及Oracle_RAC安装过程

HACMP的安装于补丁使用smitty 的安装功能，参考安装HACMP的如下软件包：cluster.adt.es.*cluster.doc.*cluster.es.*cluster.licensecluster.man.en_US.es.datacluster.msg.en_US.*（说明：安装操作系统时必须把rsct.*所有文件集安装上去）使用系统补丁安装的方法，参考以下文档,安装HACMP最新补丁。

第一章HACMP的安装配置P570 HACMP配置说明：因和oracle数据库rac的兼容性问题，以下版本重新安装为5.2版本，步骤相同。

时间：2007-09-07号，HACMP配置信息（1）安装软件55A主机光驱，安装HACMP软件，除了cluster.hativoli, cluster.haview的包以外都安装。

HA5.3附加安装AIX Expansion Pack光盘上的rsct.exp.cimrm .0（2）配置文件系统#smitty chfs分别选择不同文件系统修改大小：file system lv size / hd4 2G/usr hd2 4G/var hd9var 3G/tmp hd3 3G/home hd1 2G （3）在2台主机上配置DS4800的卷组6、HA准备工作（1）配置2台主机的网卡#smitty tcpip设置ent2和ent5的ip地址1号机hostname: db1Ent2 （db1_boot1）Ent5 （db1_boot2）2号机hostname: db2Ent2 （db2_boot1）Ent5 （db2_boot2）（2）在2台主机上编辑/etc/hosts文件和添加/.rhosts文件#vi /etc/hosts127.0.0.1 loopback localhost db1db1_boot1.1 db1_boot2db2_boot1.2 db2_boot2172.27.242.5 db1_vip db1172.27.242.7 db2_vip db2127.0.0.1 loopback localhost db2db1_boot1.1 db1_boot2db2_boot1.2 db2_boot2172.27.242.5 db1_vip db1172.27.242.7 db2_vip db2#vi /.rhosts/.rhosts文件内容为db1_boot1db1_boot2db2_boot1db2_boot2db1_vipdb2_vip#chmod 644 /.rhosts修改文件权限为644（4）在2台主机的用户指定目录下添加启动、停止脚本文件在启动文件中加入路由网关脚本route add 0#pwd确认目录在/app后#chmod 755 *.sh修改文件权限为755（5）分别在2台主机上增加TTY，且测试tty是否连通#smitty tty用：#lsdev –Cc tty 查看心跳线设置情况用：先在A机# cat </dev/tty0再在B机# cat /etc/hosts >/dev/tty0 7、在1号机上配置HA（1）添加一个HA#smitty hacmp* Cluster Name [db_cluster] （2）添加2个node网络* Node Names [db1_node] * Node Names [db2_node] （3）添加一个ip网络*NetworkName [ipnet] *NetworkType ether *Netmask []*Enable IP Address akeover via IP Aliases [no] （4）添加一个tty网络* Network Name [ttynet]* Network Type rs232(5)分别配置两台机的boot1，boot2，IP地址及tty路径（需要配置4个boot IP和2个tty设备的内容)添加2个节点的4个boot地址*IP Label/Address [db1_boot1]+ *Network Type ether*Network Name ipnet*Node Name [db1_node]+ Network Interface []同上操作，添加：db1_boot2，db2_boot1，db2_boot2添加2个tty设备(db1_tty和db2_tty)*Device Name [db1_tty]*Network Type rs232*Network Name ttynet* Device Path [/dev/tty0]*Node Name [db1_node] (6)设置2个主机service名称和地址(db1_vip,db2_vip)*IP Label/Address [db1_vip] +*Network Name [ipnet] + (7) 添加1个应用服务oracle_srv，配置启动停止脚本的完整路径* Server Name [oracle_srv] * Start Script []* Stop Script []（8）添加和配置1个资源组(db1_gr)*Resource Group Name [db1_gr]*Participating Node Names (Default Node Priority) [db1_node db2_node] *Resource Group Name [db2_gr]*Participating Node Names (Default Node Priority) [db2_node db1_node] 配置资源组Resource Group Name [db2_rg] Participating Node Names (Default Node Priority) [db2_node was_node] Concurrent Volume Groups [datavg]Use forced varyon of volume groups, if necessary falseApplication Servers [oracle_srv]（9）把A机的HACMP配置同步到B机启动HACMP在主机db1和db2 db1[/]#lsvg -odatavgrootvgP55A hacmp配置1.1 AIX 5300-061.2 HAMCP 5.32. 硬件环境P55A两台DS4300存储一台串口线一根3. 系统环境3.1 /etc/hosts127.0.0.1 loopback localhost app2 # loopback (lo0) name/address172.27.242.18 app1_boot app1.3 app1_stdby7.242.20 app2_boot app2.4 app2_stdby172.27.242.19 app_srv4. 配置HACMP 以下操作只需在一个节点上操作即可4.1 配置网络拓朴配置Cluster Name# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure an HACMP ClusterAdd/Change/Show an HACMP Cluster* Cluster Name [app_cluster]配置Cluster节点# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NodesAdd a Node to the HACMP Cluste*NodeName [app1]Communication Path to Node [app1_boot] + 以同样方法将App2添加到Cluster中*NodeName [app2]Communication Path to Node [app2_boot] + 配置HACMP网络.1 创建IP网络# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster* NetworkName [net_ether_01] * NetworkType ether* Netmask [255.255.255.0] +* Enable IP Address Takeover via IP Aliases [NO] +IP Address Offset for Heartbeating over IP Aliases [].2 创建串口心跳网络# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster* NetworkName [net_rs232_01]* Network Type rs232.1 创建IP通信接口# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksConfigure HACMP Communication Interfaces/DevicesAdd Communication Interfaces/DeviceAdd Pre-defined Communication Interfaces and DevicesCommunication Interfaces* IP Label/Address [app1_boot] +* Network Type ether* Network Name net_ether_01* Node Name [App1] +Network Interface []同样方法添加另一个通信接口到”net_ether_01”* IP Label/Address [app2_boot] +* Network Type ether* Network Name net_ether_01* Node Name [App2] +Network Interface []同样方法创建另一个通信接口* IP Label/Address [app1_ stb] +* Network Type ether* Network Name net_ether_02* Node Name [App1] +Network Interface []* IP Label/Address [app2_ stb] +* Network Type ether* Network Name net_ether_02* Node Name [App2] +Network Interface [].2 创建串口通信设备# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksConfigure HACMP Communication Interfaces/DevicesAdd Communication Interfaces/DeviceAdd Pre-defined Communication Interfaces and DevicesCommunication Devices* Device Name [rs232_node_a]* Network Type rs232* Network Name net_rs232_01* Device Path [/dev/tty0]* Node Name [app1] +以同样方法创建另一个串口通信设备* Device Name [rs232_node_b]* Network Type rs232* Network Name net_rs232_01* Device Path [/dev/tty0]* Node Name [app2] +4.2 配置HACMP资源配置资源.1 创建Applications Servers# smitty hacmpExtended ConfigurationExtended Resource ConfigurationHACMP Extended Resources ConfigurationConfigure HACMP Applications ServersAdd an Application Server* Server Name [appserver]* Start Script [/hascript/clstart.sh]* Stop Script [/hascript/clstop.sh]需要手动在两个节点上建立“”、“”并保证其有执行权限。

Oracle RAC 安装图解

oracle 10g rac 安装图解规划：所用linux系统以虚拟化方式安装在esx上，配置有内网的yum源，各分配有16G存储，下面为简单拓扑图一，下载软件1,地址：/technology/software/products/database/oracle10g/htdocs/10201linx8 664soft.html10201_database_linux_x86_64.cpio.gz10201_clusterware_linux_x86_64.cpio.gz2,地址：/technology/software/tech/linux/asmlib/rhel5.html oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpmoracleasmlib-2.0.4-1.el5.x86_64.rpmoracleasm-support-2.1.3-1.el5.x86_64.rpm二，安装环境1，系统：centos 5.4 x86_642，外部存储：linux下的iscsi3, iscsi服务器配置#下载iSCSI Enterprise Targetwget/sourceforge/iscsitarget/iscsitarget-0.4.17.ta r.gz#解压缩tar-zxvf iscsitarget-0.4.17.tar.gzcd iscsitarget-0.4.17#编译、安装makemake install#配置服务chkconfig --level2345 iscsi-target onservice iscsi-target start#配置第一个iSCSI设备#在/opt/下生成64G大的空洞设备文件#请将opt修改为实际的目录，并根据实际情况设置设备文件大小#生成空洞文件速度很快的，且在真正使用之前不占用磁盘实际空间dd if=/dev/zero of=/opt/iscsi.[配置文件中Target的名称].img bs=1G count=64seek=64#cout是从什么开始，一般设置为0#生成256G的例子dd if=/dev/zeroof=/opt/iscsi/.haoyuan-inc:storage.disk.oracle.01.img bs=1G count=0seek=256vim/etc/ietd.conf#编辑Target名称，例如：.haoyuan-inc:storage.disk.share.01#编辑LUN段内容，例如：Lun 0Path=/opt/.haoyuan-inc:storage.disk.share.01.image,Type =fileio#不要设置XXXUser，允许任何人访问#重启iscsi-targetservice iscsi-target restart三，安装准备1，检查必须软件yum install jdk binutils elfutils-libelf elfutils-libelf-devel glibcglibc-common glibc-devel gcc gcc-c++ libaio libaio-devel libgcc libstdc++ libstdc++-devel make sysstat unixODBC unixODBC-devel libXp libXp-devel#其中jdk是我在yum服务器中添加的2，修改内核参数编辑/etc/sysctl.confkernel.shmall = 2097152kernel.shmmax = 2147483648kernel.shmmni = 4096kernel.sem = 25032000100128fs.file-max = 65536net.ipv4.ip_local_port_range = 102465000net.core.rmem_default = 262144net.core.rmem_max = 262144net.core.wmem_default = 262144net.core.wmem_max = 262144#生效/sbin/sysctl -p3，修改系统shell限制vi/etc/security/limits.conforacle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 655364，配置Hangcheck 计时器所有RHEL 版本：cat >> /etc/rc.d/rc.local <<eof/sbin/insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180EOF5，添加相应用户和组</eof/usr/sbin/groupadd oinstall/usr/sbin/groupadd dba/usr/sbin/useradd -m-g oinstall -G dba oraclepasswd oracle6，配置网络每个机器需要两块网卡，一个设置为公共IP，一个设置为私有IP，另外另需配置一虚拟IP，虚拟IP不用手工添加到系统，只需预先定义好，一般是和公共IP在同一子网。

HACMP Oracle Rac安装设置办法

HACMP Oracle Rac安装设置手册版本 v1.0二零一二年十月北京华胜天成科技股份有限公司文档操纵更改记录版本创建/修改时刻编制/修改者文件/修改内容审批人V1.0 2012.10批阅姓名职位公布姓名职位目录目录 (5)第1章 HACMP v5.4安装配置 (7)1.1、 IP规划 (7)1.2、安装HACMP软件 (7)1.2.1、操作系统版本 (7)1.2.2、安装依靠的软件包 (7)1.2.3、安装HACMP v5.4 (10)1.3、 HACMP配置规划 (15)1.3.1、配置IP和网络 (15)1.3.2、编辑/etc/hosts文件 (16)1.3.3、创建共享卷组和文件系统 (16)1.4、 HACMP Standard配置 (19)1.4.1、添加 cluster和节点 (21)1.4.2、创建并配置资源组 (21)1.4.3、同步HACMP的配置 (24)1.5、 HACMP启动 (24)1.5.1、启动HACMP (24)第2章 Oracle RAC安装配置 (25)2.1、规划 (25)2.2、安装检查 (27)2.3、安装前配置 (33)2.4、安装CRS (38)2.5、安装数据库 (62)2.6、创建数据库 (69)2.7、数据测试 (80)第1章HACMP v5.4安装配置1.1、IP规划Node InterfaceNameType IP Address Registered Inibm03 ibm03 Public 192.168.1.48 Hosts fileibm03 ibm03-vip Virtual 192.168.1.210 Hosts fileibm03 ibm03-priv Private 172.16.1.48 Hosts fileibm04 ibm04 Public 192.168.1.49 Hosts fileibm04 ibm04-vip Virtual 192.168.1.211 Hosts fileibm04 ibm04-priv Private 172.16.1.49 Hosts file1.2、安装HACMP软件完成HACMP安装配置规划后，能够开始安装HACMP软件，安装版本为HACMP v5.4。

AIX、HACMP(含RAC)安装实施(含oracle参数).

AIX 安装规范 (AIX 5L、 AIX 6L2014.051AIX 系统安装设置 (3)1.1准备工作 (3)1.2BOS 安装 . (3)1.3AIX 操作系统配置 (8)2HACMP 安装设置 (20)2.1安装 HACMP 软件 ................................................................................................................. 20 2.2HACMP 配置规划(在两个节点上分别部署 (23)2.3HACMP 配置(在一个节点上部署 ..................................................................................30 2.4HACMP 启停和测试 (41)3HACMP-RAC 安装设置 . (43)3.1安装 HACMP 软件 (43)3.2HACMP-RAC 配置规划(在两个节点上分别部署 . .......................................................... 46 3.3HACMP-RAC 配置(在一个节点上部署 (52)4部署 ORACLE 所需 AIX 的参数设置 . (61)4.1ORACLE 10GRAC . (61)4.2ORACLE 11GRAC . (77)1 AIX 系统安装设置1.1 准备工作为了保证操作系统安装工作的正常进行,在安装之前需要做以下准备工作: 1. 检查随系统部件附带的文档、软件是否齐全。

2. 确保硬件、包括所有的外接设备的安装都已完成,如:图形终端、键盘、鼠标、光驱、硬盘、磁带机等硬件设备。

3. 检测所有硬件的电源是否符合要求 (包括图形终端、主机 ,并连接正确。

在做完安装前必要的准备工作之后, 正式开始安装操作系统, 首先通过操作系统安装光盘启动系统。

oracle RAC安装流程文档

export ORACLE_SID=rac2
export PATH=/u01/oracle/product/database/bin:$ORACLE_BASE/product/crs/bin:$PATH
//////////////////////////////////////////////////////////////////////////////////////////////////////////
//////////////////////////////////////////////////////////////////////////////////////////////////////
***重启网卡服务
service network restart
//////////////////////////////////////////////////////////////////////////////////////////////////////
diskLib.dataCacheMaxSize = "0"
scsi1.sharedBus = "virtual"
//////////////////////////////////////////////////////////////////
***修改电脑CPU设置
your host's bios does not have valid NUMA information. please update the host's Bios or associate the virtual machine with the processors in a single NUMA node(CEC). please read VMware Knowledge Base articles 928 and 1236.

【精编推荐】HACMOracleRac安装配置手册

【精编推荐】HACMOracleRac安装配置手册HACMP Oracle Rac安装设置手册版本v1.0二零一二年十月北京华胜天成科技股份有限公司文档控制更改记录审阅发布目录目录 (4)第1章HACMP v5.4安装配置 (5)1.1、IP规划 (5)1.2、安装HACMP软件 (5)1.2.1、操作系统版本 (5)1.2.2、安装依赖的软件包 (5)1.2.3、安装HACMP v5.4 (6)1.3、HACMP配置规划 (9)1.3.1、配置IP和网络 (9)1.3.2、编辑/etc/hosts文件 (9)1.3.3、创建共享卷组和文件系统 (10)1.4、HACMP Standard配置 (11)1.4.1、添加cluster和节点 (12)1.4.2、创建并配置资源组 (12)1.4.3、同步HACMP的配置 (13)1.5、HACMP启动 (14)1.5.1、启动HACMP (14)第2章Oracle RAC安装配置 (14)2.1、规划 (14)2.2、安装检查 (16)2.3、安装前配置 (18)2.4、安装CRS (21)2.5、安装数据库 (38)2.6、创建数据库 (44)2.7、数据测试 (54)第1章HACMP v5.4安装配置1.1、IP规划1.2、安装HACMP软件完成HACMP安装配置规划后，可以开始安装HACMP软件，安装版本为HACMP v5.4。

这里我们建议安装软件束APP-DEV和SERVER，其中包括的红皮书要求的大部分软件包。

HACMP安装、配置，施实全过程

HACMP安装、配置，施实全过程环境：两台P630：P630_1，P630_2磁盘陈列：7133-D40共享卷组：oravg1、在两台计算（1）在p630_1机上：A. 配置第一块boot网卡->#smitty->Communications 机上设置IP地址地址（Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [p630_1]* Internet ADDRESS (dotted decimal) [10.10.9.1]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [] B. 配置第二块boot网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en1* HOSTNAME [p630_1]* Internet ADDRESS (dotted decimal) [10.10.10.1]Network MASK (dotted decimal)[255.255.255.0]* Network INTERFACE en3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [] （2）在p630_2机上：A. 配置第一块boot网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [p630_2]* Internet ADDRESS (dotted decimal) [10.10.9.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [] B. 配置第二块boot网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en1* HOSTNAME [p630_2]* Internet ADDRESS (dotted decimal)[10.10.10.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACEen3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [] 2、修改/etc/hosts文件，内容如下：127.0.0.1 loopback localhost p630_1 10.10.9.1 boot_11 p630_110.10.10.1 boot_12 p630_1192.168.1.1service110.10.9.2 boot_21 p630_210.10.10.2 boot_22 p630_2192.168.1.2 service23、在p630_1上建立共享卷组建立oravg共享卷组->#smitty ->System Storage Management (Phisical & Logical Storage)->Logical Volume Manager->Volume Groups->Add a Volume GroupVOLUME GROUP name [oravg]Physical partition SIZE in megabytes [128]* PHYSICAL VOLUME names [hdisk2]Activate volume group AUTOMATICALLY [no]at system restart?Volume Group MAJOR NUMBER []Create VG concurrent Capable? [yes]Auto-varyon in Concurrent Mode? [no]4、在p630_2上import共享卷组（1） import oravg共享卷组->#smitty->System Storage Management (Phisical & Logical Storage)->Logical Volume Manager->Volume Groups->Import a Volume GroupVOLUME GROUP name [oravg]* PHYSICAL VOLUME name [hdisk2]Volume Group MAJOR NUMBER []Make this VG Concurrent Capable noMake default varyon of VG Concurrent? no（2）修改oravg共享卷组属性->#smitty->System Storage Management (Phisical & Logical Storage)->Logical Volume Manager->Volume Groups->Set Characteristics of a Volume Group->Change a Volume Groupselect * VOLUME GROUP name [oravg]VOLUME GROUP name [oravg]* ACTIVATE volume group AUTOMATICALLY [no]at system restart?* A QUORUM of disks required to keep the volume [yes]group on-line?Convert this VG to Concurrent Capable? [no]* Autovaryon VG in Concurrent Mode? [no]5、在p630_1 和p630_2上配置非TCP/IP网络->#smitty->Devices->TTY->Add a TTYselect tty rs232 Asynchronous TerminalTTY type [tty]TTY interface [rs232]Description [Terminal asynchrone]Parent adapter [sa3]* PORT number [0]BAUD rate [9600]PARITY [none]BITS per characte Number of STOP BITS [1]TERMINAL type [dumb]STATE to be configured at boot time [available]......EnableLOGIN [disable]用Serial to Serial Cable 连接一号机和二号机的COM3,作为HACMP 的心跳线测试心跳线:1) 在p630_1机上执行: cat < /dev/tty02) 在p630_2上执行: cat /etc/hosts >/dev/tty03) 在p630_1上若显示出p630_2的/etc/hosts 文件内容,说明心跳线配置正确6、建立应用服务器启动脚本脚本在在/etc/hascript 下分别建立dbstart.sh, dbstop.sh, 然后修改文件属性为755:#chomd 755 *7、 HACMP 的设置（1）定义CLUSTER->Initialization and Standard Configuration->Add Nodes to an HACMP ClusterAdd/Change/Show an HACMPCluster[输入字段]* Cluster Name [wly]NOTE: HACMP must be RESTARTEDon all nodes in order for change to take effect （2）定义p630_1节点-> Extended Configuration->Extended Topology Configuration->Configure HACMP Nodes-> Add a Node to the HACMP ClusterAdd a Node to the HACMP Cluster[输入字段]* Node Name[p630_1]Communication Path to Node [] +（2）定义p630_2节点-> ExtendedConfiguration-> Extended Topology Configuration->Configure HACMP Nodes-> Add a Node to the HACMP ClusterAdd a Node to the HACMP Cluster[输入字段]* Node Name[p630_1]Communication Path to Node [] +(3) 定义网络A. 定义IP 网络-> ExtendedConfiguration->Extended Topology Configuration->Configure HACMP Networks-> Add a Network to the HACMP Cluster Add an IP-Based Network to the HACMP Cluster[输入字段] * Network Name [net_ether_01] * Network Type ether* Netmask [255.255.255.0]+* Enable IP Address Takeover via IP Aliases [Yes] +IP Address Offset forHeartbeating over IP Aliases []B. 定义非IP 网络-> Extended Configuration->Extended Topology Configuration->Configure HACMP Networks-> Add a Network to the HACMP Cluster 选择# Pre-defined Serial Device Types 中的rs232Add a Serial Network to the HACMP Cluster[输入字段]* Network Name [net_rs232_01]* Network Type rs232(4) 定义网络接口A. 定义IP 网络接口接口定定义Boot_11接口:-> Extended Configuration-> Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices-> Add Communication Interfaces/Devices 选择 Add Pre-defined Communication Interfaces and Devices 选择 Communication Interfaces 选择net_ether_01 (0.0.0.0/0) Add a Communication Interface[输入字段]* IP Label/Address [boot_11] +* Network Type ether* Network Name net_ether_01* Node Name [p630_1] +Network Interface [] 定义Boot_12接口:-> Extended Configuration-> Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices-> Add CommunicationInterfaces/Devices 选择 Add Pre-defined Communication Interfaces and Devices 选择Communication Interfaces 选择net_ether_01 (0.0.0.0/0) Add a CommunicationInterface[输入字段]* IP Label/Address [boot_12] +* Network Type ether* Network Name net_ether_01* Node Name [p630_1] +Network Interface [] 定义boot_21接口:->Extended Configuration-> Extended Topology Configuration->Configure HACMPCommunication Interfaces/Devices-> Add Communication Interfaces/Devices 选择 Add Pre-defined Communication Interfaces and Devices 选择 Communication Interfaces 选择net_ether_01 (0.0.0.0/0) Add a Communication Interface[输入字段]* IP Label/Address[boot_21] +* Network Type ether* Network Name net_ether_01* Node Name [p630_2]+Network Interface [] 定义boot_22接口:-> Extended Configuration-> ExtendedTopology Configuration->Configure HACMP Communication Interfaces/Devices-> Add Communication Interfaces/Devices 选择 Add Pre-defined Communication Interfaces and Devices 选择 Communication Interfaces 选择net_ether_01 (0.0.0.0/0) Add a Communication Interface[输入字段]* IP Label/Address [boot_22] +* Network Type ether* Network Name net_ether_01* Node Name [p630_2] +Network Interface [] B. 定义非IP 网络接口接口定定义p630_1tty 接口:-> Extended Configuration-> Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices-> AddCommunication Interfaces/Devices选择 Add Pre-defined Communication Interfaces and Devices选择 Communication Device选择 net_rs232_01Add a Communication Device[输入字段]* Device Name [p630_1tty]* Network Type rs232* Network Namenet_rs232_01* Device Path [/dev/tty0]* Node Name [p630_1] 定义p630_2tty接口:-> Extended Configuration-> Extended Topology Configuration->Configure HACMP Communication Interfaces/Devices-> Add Communication Interfaces/Devices选择 Add Pre-defined Communication Interfaces and Devices选择 Communication Device选择net_rs232_01Add a Communication Device[输入字段]* Device Name [p630_2tty]* Network Type rs232* Network Name net_rs232_01* Device Path [/dev/tty0]* Node Name [p630_2] (5) 定义应用服务器定义wlyapp应用服务器:->Initialization and Standard Configuration->Configure Application Servers->Add an Application ServerAdd Application Server[输入字段]* Server Name [wlyapp]* Start Script[/etc/hascript/dbstart.sh]* Stop Script [/etc/hascript/dbstop.sh](6) 定义共享资源组定义wlyres资源组->Initialization and Standard Configuration->Configure HACMP Resource Group->Add a Resource Group选择CascadingAdd a Resource Group with a Cascading Management Policy (standard)[输入字段]* Resource Group Name [wlyres]*Participating Node Names (Default Node Priority) [p630_1 p630_2] +(7) 修改资修改wlyres资源组属性:->Initialization and Standard Configuration->Configure 源组属性属性修改HACMP Resource Group-> Change/Show Resources for a Cascading ResourceGroup(standard)Change/Show Resources for a Cascading Resource Group[输入字段]Resource Group Name wlyresParticipating Node Names (Default Node Priority)p630_2 p630_1 * Service IP Labels/Addresses [] +Volume Groups [oravg]+Filesystems (empty is ALL for VGs specified) [] +Application Servers [wlyapp] +(8) 定义Service IP定义p630_1的service IP地址:->Initialization and Standard Configuration->Configure Resources to Make Highly Available->Configure Service IPLabeles/Addresses->Add a service IP Labeles/AddressesAdd a Service IPLabel/Address (standard)[输入字段]* IP Label/Address [service1] +* Network Name [net_ether_01] +8、同步HACMP配置->Initialization and Standard Configuration-> Verify and Synchronize HACMP ComfigurationVerify and Synchronize HACMP Comfiguration[输入字段]* Verify, Synchronize or Both [Both] +Force synchronization if verification fails? [No] +* Verify changes only? [No] +* Logging [Standard] +9、和停止启启动:#smitty clstartStart Cluster Services[输入字段]* Start HACMP服务的启动和停止now, on system restart or both now +Start Cluster Services on these nodes [p630_1] +BROADCAST message at startup? true +Startup Cluster Lock Services? false+Startup Cluster Information Daemon? false +Reacquire resources after forced down false +停止:#smitty clstopStop Cluster Services[输入字段]* Stop now, on system restart or both now +Stop Cluster Services on these nodes [p630_1] +BROADCAST cluster shutdown? true +* Shutdown mode graceful+。

Oracle_RAC_群集安装图解(改)

Oracle 10g RAC数据库安装及维护手册目录目录 (2)第一部分系统硬件、软件配置说明及配置图 (3)一、总体配置说明 (3)二、网络设置说明 (3)三、数据库环境概况 (3)四、存储配置概况 (4)五、总体配置原理图 (4)第二部分操作系统配置（以下过程如无特殊说明，则在两节点上均进行） (5)第三部分 Cluster和数据库的安装、配置及升级 (11)一、安装Cluster ware软件 (11)二、安装database软件 (23)三、标识ASM驱动器 (28)四、升级数据库版本 (30)五、使用dbca安装数据库 (39)第四部分集群数据库的日常管理 (50)一、检查RAC各组件运行的状态。

(50)二、启动和停止RAC数据库。

(50)三、启动、停止、管理数据库EM监控 (51)四、如何增加表空间 (51)五、数据库管理注意事项 (51)第一部分系统硬件、软件配置说明及配置图一、总体配置说明二、网络设置说明三、数据库环境概况四、存储配置概况五、总体配置原理图第二部分操作系统配置（以下过程如无特殊说明，则在两节点上均进行）1. 将两块网卡名改为public和private，检查被网络服务访问的连接顺序，确保public 位于第一位，在网上邻居上右键点属性→菜单栏上点高级→点高级设置。

2. 修改Host文件和主机名，主机名分别为winRAC1和winRAC2，hosts文件位置：C:\windows\system32\drivers\etc\hosts10.1.3.105winrac110.1.3.107winrac1-vip10.10.10.1winrac1-priv10.1.3.106winrac210.1.3.108winrac2-vip10.10.10.2winrac2-priv测试节点之间的连通性：两台主机winRAC1和winRAC2互相ping公共主机名和专用节点名，看是否ping的通，这个时候是ping不通VIP地址的。

IBM HACMP 配置

IBM HACMP 系列-- 安装和配置一规划是成功的实现的一半，就 HACMP 而言，如何强调正确规划的重要性都不过分。

如果规划做得不正确，您可能会在以后某个时候发现自己陷入种种限制之中，而要摆脱这些限制可能是非常痛苦的经历。

因此，请保持镇定从容，并使用产品附带的规划工作表；这些工作表对于任何迁移或问题确定情形或者对于为规划做文档记录都是非常有价值的。

一. HACMP 软件安装HACMP 软件提供了一系列可用于使应用程序高度可用的功能。

务必记住，并非所有的系统或应用程序组件都受到 HACMP 的保护。

例如，如果某个关键应用程序的所有数据都驻留在单个磁盘上，并且该磁盘发生了故障，则该磁盘就成了整个集群的单点故障，并且未受到 HACMP 的保护。

在此情况下，必须使用 AIX 逻辑卷管理器或存储子系统保护功能。

HACMP 仅在备份节点上提供磁盘接管，以使数据可继续使用。

这就是 HACMP 规划是如此重要的原因，因为整个规划过程中的主要目标是消除单点故障。

当关键集群功能由单个组件提供时，就存在单点故障。

如果该组件发生故障，集群没有提供该功能的其他途径，依赖该组件的应用程序或服务就会变得不可用。

还要记住，规划良好的集群非常容易安装，可提供更高的应用程序可用性，能够按预期执行，并且比规划不当的集群需要更少的维护。

1.1 检查先决条件在完成规划工作表以后，请验证您的系统是否满足 HACMP 所必需的要求；执行这项额外的工作可以消除许多潜在的错误。

HACMP V5.1 需要下列操作系统组件之一：（1）带 RSCT V2.2.1.30 或更高版本的 AIX 5L V5.1 ML5。

（2）带 RSCT V2.3.1.0 或更高版本（建议使用 2.3.1.1）的 AIX 5L V5.2 ML2。

（3）C-SPOC vpath 支持（需要 SDD 1.3.1.3 或更高版本）。

有关先决条件和 APAR 的最新信息，请参考产品附带的自述文件和以下 IBM 网站：/server/cluster/1.2 全新安装HACMP 支持网络安装管理（Network Installation Management，NIM）程序，包括“备选磁盘迁移”(Alternate Disk Migration) 选项。