IBM GPFS for AIX 5.3
GPFS安装实施和维护
GPFS安装实施和维护2015.10GPFS安装实施和维护AIX下GPFS安装配置及维护邹旭⽬录1.概述 (3)1.1 IBM GPFS功能介绍 (3)1.2 GPFS体系架构介绍 (3)磁盘 (3)⽹络共享磁盘（NSD） (4)GPFS ⽂件设备 (4)连接模式：如下图 (4)1.3 GPFS的优势 (5)2.GPFS安装配置步骤 (5)2.1 GPFS安装准备 (5)2.2 GPFS软件的安装 (6)A. GPFS 软件放在⽬录 (6)B. 升级包 (6)C. 通过SMIT 安装命令进⾏安装和升级 (6)D. 成功的安装完GPFS 之后 (7)E. 添加/etc/environment 的执⾏路径 (7)3.创建GPFS ⼼跳地址 (7)4.配置GPFS集群 (8)4.1 配置节点⽂件 (8)4.2 建⽴GPFS 集群 (8)4.3 确认查看GPFS 集群 (9)4.4 激活GPFS 授权 (9)5 配置GPFS 的共享盘 (10)5.1 建⽴NSD（Network Shared Disk）⽂件 (10) 5.2 ⽣成NSD 盘 (10)5.3确认结果 (11)5.4启动GPFS 系统 (11)6 配置GPFS 的共享⽂件系统 (11)6.1 建⽴GPFS ⽂件系统 (11)6.2 确认⽂件系统 (12)6.3 装载⽂件系统 (13)6.4 建⽴⽬录 (13)7 配置GPFS 的属性 (13)7.1 配置GPFS选项属性 (13)实施结果 (15)8.GPFS管理和维护 (16)8.1主机应⽤的启动顺序 (16)8.2 GPFS的启动和关闭 (16)节点状态 (16)8.3 GPFS 的⽂件系统管理 (17)8.4 GPFS 的集群管理 (17)8.5 GPFS 的磁盘管理 (17)8.6 GPFS的⽇志和安装路径 (18)其他有⽤的GPFS操作 (18)1. 新增⼀个节点 (18)2. 更换硬盘 (18)3. 停掉节点 (19)4. 修改inode数量 (19)5. 清除GPFS (19)1.概述1.1 IBMGPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第⼀个共享⽂件系统，起源于IBM SP 系统上使⽤的虚拟共享磁盘技术( VSD )。
IBM GPFS并行文件系统安装与配置
IBM GPFS文件系统安装与配置目录1概述 (4)1.1IBM GPFS功能介绍 (4)1.2GPFS体系架构介绍 (2)1.3GPFS的优势 (5)2GPFS安装配置步骤 (6)2.1GPFS安装准备 (6)2.2GPFS的安装软件 (6)2.3配置GPFS集群 (6)1概述1.1IBM GPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。
而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
它提供了许多标准的UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。
GPFS 也支持UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS 的文件系统，唯一不同的在于管理GPFS 文件系统的命令。
GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。
1.2GPFS体系架构介绍GPFS 文件系统基本上由三层架构组成：磁盘，网络共享磁盘（NSD），GPFS 文件设备，如下图所示。
•磁盘GPFS 文件系统最底层的是物理磁盘设备。
原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。
从物理连接上来看，GPFS 支持使用所有方式连接的磁盘。
包括本地IDE 磁盘，本地SCSI 磁盘，光纤SAN 磁盘，iSCSI 磁盘，等等。
•网络共享磁盘（NSD: network share disk）NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。
GPFS安装测试记录
******G P F S安装测试记录思创数码科技股份有限公司二零零九年十月********GPFS安装测试小结1.硬件结构配置：本文主要描述基于双DS4800存储、双P570小机的GPFS的集群。
下文所涉及的全部参数设置和配置步骤源于IBM 红皮书《Deploying Oracle 10g RAC on AIX V5 with GPFS》节点使用双IBM P570小机，硬件配置8CPU、32G内存。
存储使用双IBM DS4800存储，存储A（DS4800A）分配数据磁盘、仲裁磁盘个两块、存储B(DS4800B)分配两块数据磁盘一块仲裁磁盘。
网络每节点分别连接到公网和私网，私网用于RAC内部通讯和GPFS数据传输，公网用于实际对外应用接口。
下图是安装测试的基本环境图示。
2.操作系统配置：系统包安装要求bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstatbos.perf.perfstatbos.perf.proctoolsrsct.basic.rtepat.clients.rtexlC.aix50.rte 7.0.0.4 or 8.xxxxlC.rte 7.0.0.1 or 8.xxxbos.adt.profabos.cifs_fs（注：由于没有GPFS for aix6.0的官方说明，上面提出的系统包是针对AIX V5.3 系统的，但经过验证GPFS for aix6.0也同样适用）主机信任关系ORACLE RAC和GPFS集群都要求配置SSH或RSH,本文将采用RSH信任方式。
编辑或修改以下文件：_ /etc/hosts_ /etc/hosts.equiv_ Oracle或root 用户的~/.rhosts 文件文件内容大致如下：---------/etc/hosts--------# Public network10.158.116.140 ncst0110.158.116.141 ncst02# GPFS interconnect network192.168.100.1 ncst01-gpfs192.168.100.2 ncst02-gpfs/etc/hosts.equiv和~/.rhosts文件内容ncst01ncst02ncst01-gpfsncst02-gpfs3. GPFS安装配置：IBM的GPFS文件系统提供并行和串行应用。
在文件系统中使用 NFSv4 ACL
在文件系统中使用 NFSv4 ACL 管理 NFSv4 ACL级别： 中级 Samyak Jain , 高级软件工程师, IBM2009 年 7 月 15 日 在不同的文件系统上使用不同的命令管理 NFSv4 ACL 可能很困难。
本文讨论并对比的命令可能你在对不同的文件系统操作时会用到。
使用 NFSv4 ACL 的文件系统NFSv4 (Network File System – Version 4) 协议引入了一种新的 ACL （访问控制列表）格式，这种格式扩展了现有的其他 ACL 格式。
NFSv4 ACL 很容易使用，还引入了更详细的文件安全属性，因此 NFSv4 ACL 更安全。
IBM® AIX®、Sun Solaris 和 Linux® 等操作系统已经在文件系统中实现了 NFSv4 ACL 。
当前，IBM AIX 5L version 5.3 和更高版本中支持 NFSv4 ACL 的文件系统是 NFSv4、JFS2 with EAv2 (Extended Journaled Filesystem with Extended Attributes format version 2) 和 General Parallel Filesystem (GPFS)。
在 Sun Solaris 中，ZFS 支持这种 ACL 模型。
在 RedHat Linux 中，NFSv4 支持 NFSv4 ACL 。
什么是 ACL ？访问控制列表 (ACL) 用来指定文件系统对象（比如文件和目录）的访问权限。
它是由许多访问控制项 (ACE) 组成的列表，每个访问控制项定义一个用户或组及其权限。
关于 ZFS ACLSun 通过 Solaris 10 操作系统补丁包引入了 ZFS 文件系统。
ZFS 支持 NFSv4 ACL 模型，并通过现有的 ls 和 chmod 命令的新选项实现了相关命令。
AIX 性能调优
IBM TRAINING®A26AIX Performance TuningJaqui LynchLas Vegas, NVAIX Performance TuningUpdated Presentation will be at:/papers/pseries-a26-aug06.pdfJaqui LynchSenior Systems EngineerMainline Information SystemsAgenda•AIX v5.2 versus AIX v5.3•32 bit versus 64 bit •Filesystem Types•DIO and CIO•AIX Performance Tunables •Oracle Specifics •Commands•ReferencesNew in AIX 5.2•P5support•JFS2•Large Page support (16mb)•Dynamic LPAR•Small Memory Mode–Better granularity in assignment of memory to LPARs •CuOD•xProfiler•New Performance commands–vmo, ioo, schedo replace schedtune and vmtune •AIX 5.1 Status–Will not run on p5 hardware–Withdrawn from marketing end April 2005–Support withdrawn April 2006AIX 5.3•New in5.3–With Power5 hardware•SMT•Virtual Ethernet•With APV–Shared Ethernet–Virtual SCSI Adapter–Micropartitioning–PLMAIX 5.3•New in5.3–JFS2 Updates•Improved journaling•Extent based allocation•1tb filesystems and files with potential of 4PB•Advanced Accounting•Filesystem shrink for JFS2•Striped Columns–Can extend striped LV if a disk fills up•1024 disk scalable volume group–1024 PVs, 4096 LVs, 2M pps/vg•Quotas•Each VG now has its own tunable pbuf pool–Use lvmo commandAIX 5.3•New in5.3–NFSv4 Changes•ACLs–NIM enhancements•Security•Highly available NIM•Post install configuration of Etherchannel and Virtual IP –SUMA patch tool–Last version to support 32 bit kernel–MP kernel even on a UP–Most commands changed to support LPAR stats–Forced move from vmtune to ioo and vmo–Page space scrubbing–Plus lots and lots of other things32 bit versus 64 bit•32 Bit•Up to 96GB memory •Uses JFS for rootvg •Runs on 32 or 64 bit hardware •Hardware all defaults to 32 bit•JFS is optimized for 32 bit• 5.3 is last version of AIX with 32 bit kernel •64 bit•Allows > 96GB memory •Current max is 256GB (arch is 16TB) except 590/595 (1TB & 2TB)•Uses JFS2 for rootvg •Supports 32 and 64 bit apps•JFS2 is optimized for 64 bitFilesystem Types•JFS•2gb file max unless BF •Can use with DIO •Optimized for 32 bit •Runs on 32 bit or 64 bit •Better for lots of small file creates and deletes •JFS2•Optimized for 64 bit •Required for CIO •Can use DIO•Allows larger file sizes •Runs on 32 bit or 64 bit •Better for large files and filesystemsGPFSClustered filesystemUse for RACSimilar to CIO –noncached, nonblocking I/ODIO and CIO•DIO–Direct I/O–Around since AIX v5.1–Used with JFS–CIO is built on it–Effectively bypasses filesystem caching to bring data directlyinto application buffers–Does not like compressed JFS or BF (lfe) filesystems•Performance will suffer due to requirement for 128kb I/O –Reduces CPU and eliminates overhead copying data twice–Reads are synchronous–Bypasses filesystem readahead–Inode locks still used–Benefits heavily random access workloadsDIO and CIO•CIO–Concurrent I/O–Only available in JFS2–Allows performance close to raw devices–Use for Oracle dbf and control files, and online redo logs,not for binaries–No system buffer caching–Designed for apps (such as RDBs) that enforce writeserialization at the app–Allows non-use of inode locks–Implies DIO as well–Benefits heavy update workloads–Not all apps benefit from CIO and DIO –some arebetter with filesystem caching and some are saferthat wayPerformance Tuning•CPU–vmstat, ps, nmon•Network–netstat, nfsstat, no, nfso•I/O–iostat, filemon, ioo, lvmo•Memory–lsps, svmon, vmstat, vmo, iooNew tunables•Old way–Create rc.tune and add to inittab•New way–/etc/tunables•lastboot•lastboot.log•Nextboot–Use –p –o options–ioo–p –o options–vmo–p –o options–no –p –o options–nfso–p –o options–schedo-p –o optionsTuneables1/3•minperm%–Value below which we steal from computational pages -default is 20%–We lower this to something like 5%, depending on workload•Maxperm%–default is 80%–This is a soft limit and affects ALL file pages (including those in maxclient)–Value above which we always steal from persistent–Be careful as this also affects maxclient–We no longer tune this –we use lru_file_repage instead–Reducing maxperm stops file caching affecting programs that are running•maxclient–default is 80%–Must be less than or equal to maxperm–Affects NFS, GPFS and JFS2–Hard limit by default–We no longer tune this –we use lru_file_repage instead•numperm–This is what percent of real memory is currently being used for caching ALL file pages •numclient–This is what percent of real memory is currently being used for caching GPFS, JFS2 and NFS •strict_maxperm–Set to a soft limit by default –leave as is•strict_maxclient–Available at AIX 5.2 ML4–By default it is set to a hard limit–We used to change to a soft limit –now we do notTuneables2/3•maxrandwrt–Random write behind–Default is 0 –try 32–Helps flush writes from memory before syncd runs•syncd runs every 60 seconds but that can be changed–When threshhold reached all new page writes are flushed to disk–Old pages remain till syncd runs•Numclust–Sequential write behind–Number of 16k clusters processed by write behind•J2_maxRandomWrite–Random write behind for JFS2–On a per file basis–Default is 0 –try 32•J2_nPagesPerWriteBehindCluster–Default is 32–Number of pages per cluster for writebehind•J2_nRandomCluster–JFS2 sequential write behind–Distance apart before random is detected•J2_nBufferPerPagerDevice–Minimum filesystem bufstructs for JFS2 –default 512, effective at fs mountTuneables3/3•minpgahead, maxpgahead, J2_minPageReadAhead & J2_maxPageReadAhead–Default min =2 max = 8–Maxfree–minfree>= maxpgahead•lvm_bufcnt–Buffers for raw I/O. Default is 9–Increase if doing large raw I/Os (no jfs)•numfsbufs–Helps write performance for large write sizes–Filesystem buffers•pv_min_pbuf–Pinned buffers to hold JFS I/O requests–Increase if large sequential I/Os to stop I/Os bottlenecking at the LVM–One pbuf is used per sequential I/O request regardless of the number of pages–With AIX v5.3 each VG gets its own set of pbufs–Prior to AIX 5.3 it was a system wide setting•sync_release_ilock–Allow sync to flush all I/O to a file without holding the i-node lock, and then use the i-node lock to do the commit.–Be very careful –this is an advanced parameter•minfree and maxfree–Used to set the values between which AIX will steal pages–maxfree is the number of frames on the free list at which stealing stops (must be >=minfree+8)–minfree is the number used to determine when VMM starts stealing pages to replenish the free list–On a memory pool basis so if 4 pools and minfree=1000 then stealing starts at 4000 pages– 1 LRUD per pool, default pools is 1 per 8 processors•lru_file_repage–Default is 1 –set to 0–Available on >=AIX v5.2 ML5 and v5.3–Means LRUD steals persistent pages unless numperm< minperm•lru_poll_interval–Set to10–Improves responsiveness of the LRUD when it is runningNEW Minfree/maxfree•On a memory pool basis so if 4 pools andminfree=1000 then stealing starts at 4000pages•1 LRUD per pool•Default pools is 1 per 8 processors•Cpu_scale_memp can be used to changememory pools•Try to keep distance between minfree andmaxfree<=1000•Obviously this may differvmstat -v•26279936 memory pages•25220934 lruable pages•7508669 free pages• 4 memory pools•3829840 pinned pages•80.0 maxpin percentage•20.0 minperm percentage•80.0 maxperm percentage•0.3 numperm percentage All filesystem buffers•89337 file pages•0.0 compressed percentage•0 compressed pages•0.1 numclient percentage Client filesystem buffers only•80.0 maxclient percentage•28905 client pages•0 remote pageouts scheduled•280354 pending disk I/Os blocked with no pbuf LVM –pv_min_pbuf •0 paging space I/Os blocked with no psbuf VMM –fixed per page dev •2938 filesystem I/Os blocked with no fsbuf numfsbufs•7911578 client filesystem I/Os blocked with no fsbuf•0 external pager filesystem I/Os blocked with no fsbuf j2_nBufferPerPagerDevice •Totals since boot so look at 2 snapshots 60 seconds apart•pbufs, psbufs and fsbufs are all pinnedno -p -o rfc1323=1no -p -o sb_max=1310720no -p -o tcp_sendspace=262144no -p -o tcp_recvspace=262144no -p -o udp_sendspace=65536no -p -o udp_recvspace=655360nfso -p -o nfs_rfc1323=1nfso -p -o nfs_socketsize=60000nfso -p -o nfs_tcp_socketsize=600000vmo -p -o minperm%=5vmo -p -o minfree=960vmo -p -o maxfree=1088vmo -p -o lru_file_repage=0vmo -p -o lru_poll_interval=10ioo -p -o j2_maxPageReadAhead=128ioo -p -o maxpgahead=16ioo -p -o j2_maxRandomWrite=32ioo -p -o maxrandwrt=32ioo -p -o j2_nBufferPerPagerDevice=1024ioo -p -o pv_min_pbuf=1024ioo -p -o numfsbufs=2048ioo -p -o j2_nPagesPerWriteBehindCluster=32Increase the following if using raw LVMs (default is 9)Ioo –p –o lvm_bufvnt=12Starter Set of tunablesNB please test these before putting intoproduction vmstat -IIGNORE FIRST LINE -average since bootRun vmstat over an interval (i.e. vmstat 2 30)System configuration: lcpu=24 mem=102656MB ent=0kthr memory page faults cpu---------------------------------------------------------------------------r b avm fre re pi po fr sr cy in sy cs us sy id wa pc ec 56 1 18637043 7533530 0 0 0 0 0 0 4298 24564 986698 2 0 0 12.00 100.057 1 18643753 7526811 0 0 0 0 0 0 3867 25124 9130 98 2 0 0 12.00 100.0System configuration: lcpu=8 mem=1024MB ent=0.50kthr memory page faults cpu------------------------------------------------------------------------------r b p avm fre fi fo pi po fr sr in sy cs us sy id wa pc ec1 1 0 170334 968 96 163 0 0 190 511 11 556 662 1 4 90 5 0.03 6.81 1 0 170334 1013 53 85 0 0 107 216 7 268 418 02 92 5 0.02 4.4Pc = physical processors consumed –if using SPPEc = %entitled capacity consumed –if using SPPFre may well be between minfree and maxfreefr:sr ratio 1783:2949 means that for every 1783 pages freed 2949 pages had to be examined. ROT was 1:4 –may need adjustingTo get a 60 second average try: vmstat 60 2Memory and I/O problems•iostat–Look for overloaded disks and adapters•vmstat•vmo and ioo(replace vmtune)•sar•Check placement of JFS and JFS2 filesystems and potentially the logs•Check placement of Oracle or database logs•fileplace and filemon•Asynchronous I/O•Paging•svmon–svmon-G >filename•nmon•Check error logsioo Output•lvm_bufcnt= 9•minpgahead= 2•maxpgahead= 8•maxrandwrt = 32 (default is 0)•numclust= 1•numfsbufs= 186•sync_release_ilock= 0•pd_npages= 65536•pv_min_pbuf= 512•j2_minPageReadAhead = 2•j2_maxPageReadAhead = 8•j2_nBufferPerPagerDevice = 512•j2_nPagesPerWriteBehindCluster = 32•j2_maxRandomWrite = 0•j2_nRandomCluster = 0vmo OutputDEFAULTS maxfree= 128 minfree= 120 minperm% = 20 maxperm% = 80 maxpin% = 80 maxclient% = 80 strict_maxclient = 1 strict_maxperm = 0OFTEN SEEN maxfree= 1088 minfree= 960 minperm% = 10 maxperm% = 30 maxpin% = 80 Maxclient% = 30 strict_maxclient = 0 strict_maxperm = 0numclient and numperm are both 29.9So numclient-numperm=0 aboveMeans filecaching use is probably all JFS2/NFS/GPFSRemember to switch to new method using lru_file_repageiostatIGNORE FIRST LINE -average since bootRun iostat over an interval (i.e. iostat2 30)tty: tin tout avg-cpu: % user % sys % idle % iowait physc% entc0.0 1406.0 93.1 6.9 0.0 0.012.0 100.0Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk1 1.0 1.5 3.0 0 3hdisk0 6.5 385.5 19.5 0 771hdisk14 40.5 13004.0 3098.5 12744 13264 hdisk7 21.0 6926.0 271.0 440 13412 hdisk15 50.5 14486.0 3441.5 13936 15036 hdisk17 0.0 0.00.00 0iostat–a AdaptersSystem configuration: lcpu=16 drives=15tty: tin tout avg-cpu: % user % sys % idle % iowait0.4 195.3 21.4 3.3 64.7 10.6Adapter: Kbps tps Kb_read Kb_wrtnfscsi1 5048.8 516.9 1044720428 167866596Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk6 23.4 1846.1 195.2 381485286 61892408 hdisk9 13.9 1695.9 163.3 373163554 34143700 hdisk8 14.4 1373.3 144.6 283786186 46044360 hdisk7 1.1 133.5 13.8 628540225786128 Adapter: Kbps tps Kb_read Kb_wrtnfscsi0 4438.6 467.6 980384452 85642468Disks: % tm_act Kbps tps Kb_read Kb_wrtn hdisk5 15.2 1387.4 143.8 304880506 28324064 hdisk2 15.5 1364.4 148.1 302734898 24950680 hdisk3 0.5 81.4 6.8 3515294 16043840 hdisk4 15.8 1605.4 168.8 369253754 16323884 iostat-DExtended Drive Reporthdisk3 xfer: %tm_act bps tps bread bwrtn0.5 29.7K 6.8 15.0K 14.8Kread: rps avgserv minserv maxserv timeouts fails29.3 0.1 0.1784.5 0 0write: wps avgserv minserv maxserv timeouts fails133.6 0.0 0.3 2.1S 0 0 wait: avgtime mintime maxtime avgqsz qfull0.0 0.00.2 0.0 0iostat Otheriostat-A async IOSystem configuration: lcpu=16 drives=15aio: avgc avfc maxg maif maxr avg-cpu: % user % sys % idle % iowait150 0 5652 0 12288 21.4 3.3 64.7 10.6Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk6 23.4 1846.1 195.2 381485298 61892856hdisk5 15.2 1387.4 143.8 304880506 28324064hdisk9 13.9 1695.9 163.3 373163558 34144512iostat-m pathsSystem configuration: lcpu=16 drives=15tty: tin tout avg-cpu: % user % sys % idle % iowait0.4 195.3 21.4 3.3 64.7 10.6Disks: % tm_act Kbps tps Kb_read Kb_wrtnhdisk0 1.6 17.0 3.7 1190873 2893501Paths: % tm_act Kbps tps Kb_read Kb_wrtnPath0 1.6 17.0 3.7 1190873 2893501lvmo•lvmo output••vgname= rootvg(default but you can change with –v)•pv_pbuf_count= 256–Pbufs to add when a new disk is added to this VG •total_vg_pbufs= 512–Current total number of pbufs available for the volume group.•max_vg_pbuf_count= 8192–Max pbufs that can be allocated to this VG•pervg_blocked_io_count= 0–No. I/O's blocked due to lack of free pbufs for this VG •global_pbuf_count= 512–Minimum pbufs to add when a new disk is added to a VG •global_blocked_io_count= 46–No. I/O's blocked due to lack of free pbufs for all VGslsps–a(similar to pstat)•Ensure all page datasets the same size although hd6 can be bigger -ensure more page space than memory–Especially if not all page datasets are in rootvg–Rootvg page datasets must be big enough to hold the kernel •Only includes pages allocated (default)•Use lsps-s to get all pages (includes reserved via early allocation (PSALLOC=early)•Use multiple page datasets on multiple disks –Parallelismlsps outputlsps-aPage Space Physical Volume Volume Group Size %Used Active Auto Typepaging05 hdisk9 pagvg01 2072MB 1 yes yes lvpaging04 hdisk5 vgpaging01 504MB 1 yes yes lvpaging02 hdisk4 vgpaging02 168MB 1 yes yes lvpaging01 hdisk3 vgpagine03 168MB 1 yes yes lvpaging00 hdisk2 vgpaging04 168MB 1 yes yes lvhd6 hdisk0 rootvg512MB 1 yes yes lvlsps-sTotal Paging Space Percent Used3592MB 1%Bad Layout aboveShould be balancedMake hd6 the biggest by one lp or the same size as the others in a mixedenvironment like thisSVMON Terminology•persistent–Segments used to manipulate files and directories •working–Segments used to implement the data areas of processesand shared memory segments•client–Segments used to implement some virtual file systems likeNetwork File System (NFS) and the CD-ROM file system•/infocenter/pseries/topi c/com.ibm.aix.doc/cmds/aixcmds5/svmon.htmsvmon-Gsize inuse free pin virtualmemory 26279936 18778708 7501792 3830899 18669057pg space 7995392 53026work pers clnt lpagepin 3830890 0 0 0in use 18669611 80204 28893 0In GB Equates to:size inuse free pin virtualmemory 100.25 71.64 28.62 14.61 71.22pg space 30.50 0.20work pers clnt lpagepin 14.61 0 0 0in use 71.22 0.31 0.15 0General Recommendations•Different hot LVs on separate physical volumes•Stripe hot LV across disks to parallelize•Mirror read intensive data•Ensure LVs are contiguous–Use lslv and look at in-band % and distrib–reorgvg if needed to reorg LVs•Writeverify=no•minpgahead=2, maxpgahead=16 for 64kb stripe size•Increase maxfree if you adjust maxpgahead•Tweak minperm, maxperm and maxrandwrt•Tweak lvm_bufcnt if doing a lot of large raw I/Os•If JFS2 tweak j2 versions of above fields•Clean out inittab and rc.tcpip and inetd.conf, etc for things that should not start–Make sure you don’t do it partially–i.e. portmap is in rc.tcpip and rc.nfsOracle Specifics•Use JFS2 with external JFS2 logs(if high write otherwise internal logs are fine)•Use CIO where it will benefit you–Do not use for Oracle binaries•Leave DISK_ASYNCH_IO=TRUE in Oracle•Tweak the maxservers AIO settings•If using JFS–Do not allocate JFS with BF (LFE)–It increases DIO transfer size from 4k to 128k–2gb is largest file size–Do not use compressed JFS –defeats DIOTools•vmstat –for processor and memory•nmon–/collaboration/wiki/display/WikiPtype/nmon–To get a 2 hour snapshot (240 x 30 seconds)–nmon-fT-c 30 -s 240–Creates a file in the directory that ends .nmon•nmon analyzer–/collaboration/wiki/display/WikiPtype/nmonanalyser–Windows tool so need to copy the .nmon file over–Opens as an excel spreadsheet and then analyses the data•sar–sar-A -o filename 2 30 >/dev/null–Creates a snapshot to a file –in this case 30 snaps 2 seconds apart •ioo, vmo, schedo, vmstat–v•lvmo•lparstat,mpstat•Iostat•Check out Alphaworks for the Graphical LPAR tool•Many many moreOther tools•filemon–filemon -v -o filename -O all–sleep 30–trcstop•pstat to check async I/O–pstat-a | grep aio| wc–l•perfpmr to build performance info forIBM if reporting a PMR–/usr/bin/perfpmr.sh300lparstatlparstat-hSystem Configuration: type=shared mode=Uncapped smt=On lcpu=4 mem=512 ent=5.0 %user %sys %wait %idle physc%entc lbusy app vcsw phint%hypv hcalls0.0 0.5 0.0 99.5 0.00 1.0 0.0 -1524 0 0.5 154216.0 76.3 0.0 7.7 0.30 100.0 90.5 -321 1 0.9 259Physc–physical processors consumed%entc–percent of entitled capacityLbusy–logical processor utilization for system and userVcsw–Virtual context switchesPhint–phantom interrupts to other partitions%hypv-%time in the hypervisor for this lpar–weird numbers on an idle system may be seen/infocenter/pseries/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/lparstat.htmmpstatmpstat–sSystem configuration: lcpu=4 ent=0.5Proc1Proc00.27%49.63%cpu0cpu2cpu1cpu30.17%0.10% 3.14%46.49%Above shows how processor is distributed using SMTAsync I/OTotal number of AIOs in usepstat–a | grep aios| wc–lOr new way is:ps–k | grep aio| wc-l4205AIO max possible requestslsattr –El aio0 –a maxreqsmaxreqs4096 Maximum number of REQUESTS TrueAIO maxserverslsattr –El aio0 –a maxserversmaxservers 320 MAXIMUM number of servers per cpu TrueNB –maxservers is a per processor setting in AIX 5.3Look at using fastpathFastpath can now be enabled with DIO/CIOSee Session A23 by Grover Davidson for a lot more info on Async I/OI/O Pacing•Useful to turn on during backups (streaming I/Os)•Set high value to multiple of (4*n)+1•Limits the number of outstanding I/Osagainst an individual file•minpout–minimum•maxpout–maximum•If process reaches maxpout then it issuspended from creating I/O untiloutstanding requests reach minpoutNetwork•no –a & nfso-a to find what values are set to now•Buffers–Mbufs•Network kernel buffers•thewall is max memory for mbufs•Can use maxmbuf tuneable to limit this or increase it–Uses chdev–Determines real memory used by communications–If 0 (default) then thewall is used–Leave it alone–TCP and UDP receive and send buffers–Ethernet adapter attributes•If change send and receive above then also set it here–no and nfso commands–nfsstat–rfc1323 and nfs_rfc1323netstat•netstat–i–Shows input and output packets and errors foreach adapter–Also shows collisions•netstat–ss–Shows summary info such as udp packets droppeddue to no socket•netstat–m–Memory information•netstat–v–Statistical information on all adaptersNetwork tuneables•no -a•Using no–rfc1323 = 1–sb_max=1310720(>= 1MB)–tcp_sendspace=262144–tcp_recvspace=262144–udp_sendspace=65536(at a minimum)–udp_recvspace=655360•Must be less than sb_max•Using nfso–nfso-a–nfs_rfc1323=1–nfs_socketsize=60000–nfs_tcp_socketsize=600000•Do a web search on “nagle effect”•netstat–s | grep“socket buffer overflow”nfsstat•Client and Server NFS Info •nfsstat–cn or –r or –s–Retransmissions due to errors•Retrans>5% is bad–Badcalls–Timeouts–Waits–ReadsUseful Links• 1. Ganglia–• 2. Lparmon–/tech/lparmon• 3. Nmon–/collaboration/wiki/display/WikiPtype/nmon• 4. Nmon Analyser–/collaboration/wiki/display/WikiPtype/nmonanalyser • 5. Jaqui's AIX* Blog–Has a base set of performance tunables for AIX 5.3 /blosxomjl.cgi/• 6. vmo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds6/vmo.htm •7. ioo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •8. vmstat command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •9. lvmo command–/infocenter/pseries/v5r3/index.jsp?topic=/com.ibm.aix.doc/cmds/aixcmds3/ioo.htm •10. eServer Magazine and AiXtra–/•Search on Jaqui AND Lynch•Articles on Tuning and Virtualization•11. Find more on Mainline at:–/ebrochureQuestions?Supplementary SlidesDisk Technologies•Arbitrated–SCSI20 or 40 mb/sec–FC-AL 100mb/sec–Devices arbitrate for exclusive control–SCSI priority based on address •Non-Arbitrated–SSA80 or 160mb/sec–Devices on loop all treated equally–Devices drop packets of data on loopAdapter Throughput-SCSI100%70%Bits Maxmby/s mby/s Bus DevsWidth •SCSI-15 3.588•Fast SCSI10788•FW SCSI20141616•Ultra SCSI201488•Wide Ultra SCSI 4028168•Ultra2 SCSI402888•Wide Ultra2 SCSI80561616•Ultra3 SCSI1601121616•Ultra320 SCSI3202241616•Ultra640 SCSI6404481616•Watch for saturated adaptersCourtesy of /terms/scsiterms.htmlAdapter Throughput-Fibre100%70%mbit/s mbit/s•13393•266186•530371• 1 gbit717• 2 gbit1434•SSA comes in 80 and 160 mb/secRAID Levels•Raid-0–Disks combined into single volume stripeset–Data striped across the disks•Raid-1–Every disk mirrored to another–Full redundancy of data but needs extra disks–At least 2 I/Os per random write•Raid-0+1–Striped mirroring–Combines redundancy and performanceRAID Levels•RAID-5–Data striped across a set of disks–1 more disk used for parity bits–Parity may be striped across the disks also–At least 4 I/Os per random write(read/write to data and read/write toparity)–Uses hot spare technology。
IBM--AIX命令
IBM pSeries服务器AIX系统的常用命令1.如何移动与重命名文件?要将文件和目录从一个目录移动到另一个目录，或重命名一个文件或目录，使用mv 命令。
如果将一个文件或目录移动到新的目录而不指定新的名字，则其保留原来的名字。
注意: 如果不指定-i 标志，mv 命令可能会覆盖许多已存在的文件。
-i 标志会在覆盖文件之前提示确认。
而-f 标志则不会提示确认。
如果一起指定了-f 和-i 两个标志，则后一个指定的标志优先。
以下是如何使用mv 命令的示例：1.要将文件移动到另一个目录并给它一个新名字，请输入：# mv intro manual/chap1按下Enter 键。
该命令将intro 文件移动到manual/chap1 目录。
名字intro 从当前目录被除去，同样的文件在manual 目录中以chap1 的名字出现。
2.要将文件移动到另一个目录，且不改变名字，请输入：# mv chap3 manual按下Enter 键。
该命令将chap3 移动到manual/chap3。
用mv 命令重命名文件可以使用mv 命令改变文件的名字而不将其移动到另一目录。
3.要重命名文件，请输入：# mv appendix apndx.a按下Enter 键。
该命令将appendix 文件重命名为apndx.a。
如果名为apndx.a 的文件已存在，则旧的内容被appendix 文件的内容替换。
2.如何在系统中移动或者重命名目录?如果需要移动或者重命名目录，可以在系统中使用mvdir 命令。
例如，如果需要移动目录，可以在命令行中输入下面的命令：# mvdir book manual然后按下Enter（回车）键。
如果manual 目录在系统中已经存在，则上面的命令会将book 目录移动到名为manual 的目录下面。
否则，book 目录会被重新命名为manual。
例如，如果需要移动和重命名目录，请在命令行中输入下面的命令：# mvdir book3 proj4/manual然后按下Enter（回车）键。
4-在IBM小型机P55A安装和配置HACMP操作步骤
在IBM小型机P55A安装和配置HACMP操作步骤操作环境：硬件：IBM P55A 小型机（3块硬盘U320 72.4G）阵列卡：PCI-X SCSI 阵列卡光盘：HACMP for AIX 5L,V5.3操作系统：IBM AIX5.3操作目标：利用HACMP安装光盘，在小型机上安装HACMP并进行配置以实现系统双机功能操作步骤第1步：在2台主机上安装HACMP1．# smitty inst2．在“Install and Update Software”界面中，选择第一项“Install Software”并回车3．在“Install Software”界面中，在选项“INPUT device / directory for software”上按“F4”，在列表中选择设备“/dev/cd0”并回车4．在“Install Software”界面中，在“Sofeware to install”选项上按“F4”选择所需安装的软件包，在需要安装的软件包上按“F7”来进行选择。
安装HACMP除2个软件包：Cluster.hativoliCluster.haview外都需选择安装,选择完成后回车5．在“Install Software”界面中进行设置，选项“Commit software updates”选择“No”，选项“Save replace files”选择“Yes”，选项“accept new licences agreement”选择“Yes”，然后回车进行HACMP的安装6．在“COMMAND STA TUS”界面，观察左上角“Command”状态，变为“OK”表示安装成功，完成后按“F10”退出备注：安装完AIX操作系统并打上相应的补丁后，接着安装HACMP安装可能会提示失败，那只是有部分包装不上的原因，但并不影响HA。
7．HACMP安装完成！安装完成后需要重新启动计算机！# shutdown –Fr第2步：为2台主机配置IP地址1．# smitty tcpip2．在“TCP/IP”界面选择第一项“Minimum Cofiguration a Startup”并回车，在出现的选项框中选择网卡所在的端口（实例中网卡所在端口为en0和en3）并回车3．在“Minium Configuration & Startup”界面中进行设置，HOSTNAME [Test1] --自定义Node名称Internet ADDRESS（dotted decimal）[192.168.10.121] --根据实际IP输入Network MASK（dotted decimal）[255.255.255.0]STRAT Now yes设置完成后回车4．在“COMMAND STA TUS”界面，观察左上角“Command”状态，变为“OK”表示设置成功，完成后按“F10”退出5．重复前4点分别设置en3和另一个主机（Test2）上的网卡（en0，en3），网卡全部设置好后，IP设置完成第3步：在2台主机上修改hosts文件1．＃vi /etc/hosts2．用方向键移动光标，找到“loopback localhost”在其后面输入刚在设置IP步骤中定义的主机（Test1）名称，然后分别输入2个主机的IP地址，别名，主机名和Sevice IP的IP和别名，修改后文件应如下图3．在另一台主机（Test2）上重复以上2步，除“loopback localhost”后的自定义主机名不同，2个文件应完全一致。
IBM-AIX小型机常用指令
IBM－AIX小型机常用指令1. 小型机系统软件安装：1.放入AIX 5L光盘到服务器中，修改bootlist用光盘引导，可两台机同时安装。
#bootlist -m normal hdisk1 cd2.重启后，按提示new paging space=1024M3.smitty easy_install，在file bundle中选安装server，装完后再选CDE，APP-DEV主要是这三个,最好把file bundle全装完。
4.smitty chjfs修改一下文件系统的大小。
5.smitty tcpip,smitty chinet设主机名，IP地址。
smitty hacmp--- Cluster Configuration--- Cluster Topology--- Configure Networks改双机的IP信息6.smitty ssaraid做磁盘阵列。
7.启动双机smitty clstart(或clstop)8.查看或更改双机互备信息smitty hacmp9.备份到磁带[1]把文件备份到磁带上:tar -cv /dev/rmt1 [filename]smitty lvm中savevg,恢复用restvg -f /dev/rmt1 hdisk2[2]查看磁带上的内容tar -tvf /dev/rmt1[3]恢复磁带内容到当前缺省目录下tar -xvf /dev/rmt1[4]定义磁带压缩模式(20G/40G)smitty tape2. 主机投用后，smitty hacmp投入双机先在主机上通过smitty hacmpy 启动主机上的双机，启动后再在副机上通过smitty hacmpy 启动副机上的双机。
监视双机运行状态：tail -f /tmp/hacmp.out3. 双机启动后启动主机上的数据库a) 切换到oracle用户下#su – oracleb) 启动机器上的所需的数据库，dbstart批处理文件在oracle/OraHome1/bin/ 路径下$dbstart4. 磁带备份：1. 数据库冷备份，此时所有的数据库要停下。
GPFS文件系统介绍
Disk02
Disk03
2005 Technical Support Service
GPFS介绍----与NFS,SAN File System比较
客户端-服务器结构的网络文件系统 客户端 服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 存在单个服务器”瓶颈” 网络协议导致额外开销
2005 Technical Support Service
GPFS 特点 --- 高可用的文件系统
GPFS是一种日志文件系统，为不同节点建立各自独立的日志。日志种记录 Metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。 GPFS Fail-over功能通过规划，将数据分布到不同Failure Group内达到高可用 性，减少单点故障的影响。为了保证数据可用性，GPFS可以在多个Failure Group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的Failure Group内复制恢复日志。 GPFS对NSD的访问可用通过多路径进行，可用为每个NSD定义一个Primary NSD Server和一个Secondary NSD Server。在SAN环境下，对NSD的访问， 首先通过SAN进行，如果SAN不可访问，则通过网络访问Primary NSD Server， Primary NSD Server再访问NSD。如果Primary NSD Server不可用，则由 Secondary NSD Server完成对NSD的访问。
数据流
LAN
/gpfs1
Host02 Host03 Host04
Disk02
Disk03
2005 Technical Support Service
GPFS for AIX安装配置完全手册_作者完整版
GPFS3.1for AIX安装配置完全手册作者简介：辛旻，西安交通大学学士学位，上海宝信系统服务部技术支持中心IBM主机技术路线负责人，有从事AIX工作的多年实践经验，曾公开发表过《AIX操作系统的内存调度机制剖析》一文,对IBM psystem平台有较为深入的掌握，已通过8门AIX相关认证，同时获得CATE高级认证。
摘要:本文详细描述了AIX5.3环境下安装配置GPFS3.1的步骤，对于第一次安装GPFS的同仁可以快速入门，对于有安装过的同仁，有一定的参考意义。
第一章前言1.GPFS 的简介GPFS 是IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术(VSD )。
作为这项技术的核心，GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
与NFS 相比，GPFS 在SAN 环境下可以提供更好的性能。
2.实验环境说明1）实验示意图：N J S 21A J S 21N 2J S 21A J S 21A J S 21A J S 21D S 8100S A Np N S D serv ers N S D serv erclien tclien tclien tclien t2）机器配置表：序号主机名用途ip地址用户系统环境1NSD1主NSD服务器10.66.3.982CPU/4G/AIX5305 2NSD2备用NSD服务器10.66.3.992CPU/4G/AIX5305 3App1应用服务器110.66.5.51user1（501）2CPU/4G/AIX5305 4App2应用服务器210.66.5.52user2（502）2CPU/4G/AIX5305 5App3应用服务器310.66.5.53user3（503）2CPU/4G/AIX5305 6App4应用服务器410.66.5.54user4504)2CPU/4G/AIX53053）实验目的：由于应用软件有对共享文件系统读写的要求，需要建立一个/share的共享文件系统，在上面建立不同目录供不同的用户读写使用。
gpfs安装配置说明
GPFS系统配置(1)
▪ 支持1 to 8,192 个节点（V3.2 & V3.3） V3.1可达4096个节点 可多达 3794 个Linux节点和1530个AIX节点 有些用户实际环境已安装了超过500个节点GPFS
▪ 能mount多个文件系统 V3.2以上支持256个 V3.1.0.5开始支持64个 V3.1开始支持32个
Configuration data Servers角色
– 注： 对GPFS集群做变更配置必需这些节点
mmcrcluster命令
▪ Usage:
▪ mmcrcluster -N {NodeDesc[,NodeDesc...] | NodeFile
▪
-p PrimaryServer
▪
[-s SecondaryServer]
– Installp命令安装如下安装包(前面已经介绍了dsh，我们可以dsh对 多个节点进行同步安装，在节点数非常多时，可以节省很多工作量) ▪ gpfs.base ▪ gpfs.docs.data ▪ gpfs.msg.en_US ▪ gpfs.gui
安装GPFS介质—LINUX节点(Power 服务器)
安装前准备— 存储配置
▪ 将存储LUN/disk 配置映射到GPFS集群节点
– 依据系统需求的不同，disk连接拓扑可能会有差异 ▪ SAN存储模式是将所有节点直接映射到所有节点 ▪ NSD模式只需由作为NSD Server的节点链接disk ▪ 混合模式可以是部分节点直接连接存储，部分做为NSD Client，它们通过NSD Server，通过IP网络进行IO访问 (Network Block IO)
▪
tracedev
▪
dumpconv
gpfs
GPFS是IBM推出的行业领先的并行分布式集群文件系统，从1995年投入商用至今已经有10多年的历史。
GPFS是一个共享磁盘的文件系统，集群内的所有节点可以并行地访问所有共享磁盘，并通过分布式的Token管理机制和条带化技术来管理和优化节点的访问。
GPFS的应用范围非常广泛，从多节点文件共享服务、实时多媒体处理、到大型的高性能计算集群，我们都可以看到GPFS的优秀表现。
GPFS也应用在众多的企业应用里面，比如HACMP、Oracle RAC、SAP。
GPFS在这些应用里面都表现出了非常出色的性能和高可用性。
本文向大家介绍GPFS最新版本3.1版本基本概念及其在AIX环境下的安装和基本配置。
1．GPFS的版本历史1995年: GPFS前身Tiger Shark发布，应用于实时媒体处理行业，采用了数据条带化技术；1998年: GPFS1.4版发布，开始应用于高性能计算领域，并支持标准Posix语义；2002年: GPFS2.1版发布，开始支持Linux，并应用于IBM虚拟带库产品中；2005年: GPFS2.3版发布，开始支持32位/64位互操作性和广域网连接等特性；2006年: GPFS3.1版发布，新增信息生命周期管理和分布式锁管理功能。
除了主要版本发布外，GPFS还有多个不断更新的维护级别（ML）升级包，截至本文发稿时，GPFS3.1的当前维护级别（ML）为3.1.0.12,本文的安装和配置基于该版本。
2．GPFS的基本概念在安装和配置GPFS之前，需要先了解一下GPFS的一些基本概念和相关术语。
SAN:这里指的是磁盘存储设备通过光纤交换机连接到服务器的HBA卡，为服务器提供逻辑存储LUN的模式，在GPFS集群里面，可以通过将同一个LUN同时划分给多台服务器的方式为GPFS提供共享磁盘。
Disk:磁盘，指的是LUN在服务器上识别出的设备，对于单HBA卡LUN,AIX操作系统将其识别为hdisk，在多HBA卡多路径模式下有以下几种:1) MPIO on AIX = hdisk2) SDD (non-MPIO) on AIX = vpath3) PowerPath by EMC = hdiskpower4) HDLM by Hitatchi = dlmfdrvNSD:是Network Shared Disk的缩写，最早应用在GPFS的Linux集群上面。
IBM小型机AIX基本操作命令文档
IBM小型机AIX基本操作命令文档
一、文件操作
1.ls 显示文件列表
语法：ls [-l，-a，-d，-t，-F] [文件或目录]
-l以长列表模式显示文件或目录的详细信息
-a显示文件夹中所有文件和目录，包括以.开头的文件
-d显示目录本身
-t按时间排序显示文件
-F显示文件类型
2.cd 切换目录
语法：cd [路径]
将当前目录改变到路径 path：cd .. 回到上一级目录；cd / 返回到根目录；cd 切换到当前用户的宿主目录
3.mkdir 创建目录
语法：mkdir [-p] [路径]
-p递归建立所有的目录，若中间目录不存在则创建
例：mkdir -p /tmp/dir1/dir2/dir3
4.rm 删除文件或目录
语法：rm [-i，-f] [文件或目录]
-i交互模式，每删除一个文件或目录前都会要求用户确认
-f强制删除模式，不需要交互，但有可能会错误的删除文件
注：rm 默认只能删除普通文件，不能删除目录。
必须使用 -r 参数才能够递归删除目录
5.touch 更改文件时间
语法：touch [文件名]
此命令可以更改指定文件创建时间和最后修改时间，但不影响文件内容
6.cp 复制文件
语法：cp [-i，-R，-f] [源文件] [目标文件]
-i交互模式，每次复制前都会要求用户确认
-R递归模式，复制目录时会将其中的所有文件复制
-f强制复制模式，不需要交互，但有可能会错误的复制文件。
AIX5.3安装操作指南
AIX5.3安装操作指南AIX 5.3操作系统安装流程1.目的 (2)2.适用范围 (2)3.定义、缩写和分类 (2)4.流程描述与控制要求 (2)4.1 BOS的安装 (2)4.2 Bundle的安装 (7)4.3 修改.dtprofile和.profile (8)4.4 调整页面空间大小 (8)4.5 时区及时间的修改 (9)4.6 修改异步IO (10)4.7 安装中文语言包 (10)4.8 修改最大进程数 (10)4.9 修改limits文件 (11)4.10 创建光盘文件系统 (11)4.11 更改主机名 (12)4.12 设置网络地址 (12)4.13 修改操作系统安全审计配置 (13)5.依据文件 (13)6、记录表单 (14)7.文件版本控制 (14)1.目的本流程旨在规范 AIX 5.3操作系统的安装流程。
2.适用范围适用于AIX操作系统的安装步骤。
3.定义、缩写和分类无4.流程描述与控制要求4.1 BOS的安装与以往版本的AIX版本不同，AIX5.3已经取消了对MCA机器的支持，AIX5.3只能安装在PCI总线机器上。
步骤1：由光盘进行引导外部设备加电，按下Power键，将操作系统的第一张光盘插入CD-ROM驱动器待keyboard字样或图标出现在控制台上后，按F1/1键进入SMS中选择Multiboot修改bootlist，选择从光盘引导或直接在SMS选择Multiboot选择Install from中的cd0来进行安装或者直接通过按5/F5键（新的机器只支持5）直接从光盘进行引导步骤2：选择主控台从光盘引导以后出现的第一个界面如下：****** Please define the System Console. ******Type The F1 key and press to use this displaysthe System Console.按F1选择当前设备为主控台（console）步骤3：选择安装系统时所用的语言1 Type 1 and press Enter to have English during install………………………………按1选择英语步骤4：进入BOS安装设置菜单Welcome to Base Operating SystemInstallation and MaintenanceType the number of your choice and press Enter. Choice indicated by >>>>>>1 Start Install now with Default Settings2 Change/Show Installation Settings and Install3 Start Maintenance Mode for System Recovery88 Help ?99 Previous Menu>>> Choice [1]:按2选择修改安装设置步骤5：更改安装设置Installation SettingsEither type 0 or press Enter to install with current settings, or type thenumber of the setting you want to change and press Enter1 System SettingsMethod of installation ……………… New and Complete OverwriteDisk where you want to Install ……… hdisk02 Primary Language Environment Settings (AFTER install)Cultural Convention …………………… English (United States)Language ………………………………… English (United States)Keyboard ………………………………… English (United States)Keyboard Type………………………………Default3 More Options (Desktop,Security,Kernel,Software,…)>>>0 Install with the settings listed above+----------------------------------------------------88 Help ? |WARNING:Base Operating System Installation will99 Previous Menu |destroy or impair recovery of ALL data on the>>> Choice [1]:_ | destination disk hdisk0按1修改安装方式以及安装rootvg的硬盘介质步骤6：选择安装模式Change Method of InstallationType the number of your choice and press Enter.1 New and Complete OverwriteOverwrites EVERYTHING on the disk selected for installation.Warning: Only use this method if the disk is totally empty or there is nothingon the disk you want to preserve.2 Preservation InstallPreserves SOME of the existing data on the disk selected for Installation.Warning: This method overwrites the user (/usr), variable (/var), temporary(/tmp), and root (/) file systems. Other product (application) files andconfiguration data will be destroyed.3 Migration InstallUpgrades the Base Operating System to current release. Other product(application) files and configuration data will be spared.88 Help ?99 Previous Menu>>> Choice [3]:按1选择新装系统.注:如果是安装新机器,则没有这个界面,直接进入步骤7.步骤7:选择目的硬盘Change Disk(s) Where You Want to InstallType one or more numbers for the disk(s) to be used for installation and press Enter.To cancel a choice,type the corresponding unmber and Press Enter.At least one bootable disk must be selected.The current choice is indicated by>>>.Name Location Code Size(MB) VG Status Bootable>>> 1 hdisk0 10-6—00-8,0 8678 none Yes2 hdisk1 10-60-00-11,0 8678 none Yes3 MORE CHOICES …>>> 0 Continue with choices indicated above66 Devices not known to Base Operating System Installation77 Display More Disk Information88 Help ?99 Previous Menu>>>Choice [0]:按数字键选择或取消所要安装的硬盘介质，现在选中的是hdisk0。
IBM小型机AIX操作系统安装指导书
IBM 小型机操作系统安装指导书V1.0-201006001-A上海楚星信息技术有限公司版权所有侵权必究修订记录目录第1章软件相关概念 (4)1.1 基本介绍 (4)1.2 重要概念介绍 (4)1.2.1软件产品的命名格式： (4)1.2.2 FILE_SET (4)1.2.3 PACKAGE (4)1.2.4 LPP (5)1.2.5 ML (5)1.2.6 RML (5)1.2.7 PTF & APAR (6)第2章硬件安装及微码 (8)2.1 安装前准备 (8)2.1.1检查机房环境 (8)2.1.2检查设备的外包装 (8)2.1.3开箱 (8)2.1.4 清点设备 (8)2.2硬件连接 (8)2.2.1主机定位 (8)2.2.2 主机连接 (9)2.3 上电检测 (9)2.4 升级系统Firmware微码 (10)2.4.1 检查系统使用的Firmware版本 (10)2.4.2下载并升级最新的Fireware程序 (10)第3章软件安装和配置 (11)3.1 软件安装前提 (11)3.2 操作系统软件安装过程 (11)3.2.1 安装基本操作系统包（BOS） (11)3.2.2 系统自动重启，并自动运行配置助手 (26)3.2.3 补充安装需要的包 pakage (35)3.2.4 安装 RML(ML) 推荐维护包 (维护包) (39)3.2.5安装必要的APAR 以及 PTF（instfix –I ,smitty update_all） (45)3.2.6系统备份mksysb –i /dev/rmt0 (45)3.2.7重启系统 (46)3.3安装HACMP 机群软件 (46)3.3.1安装HACMP软件（smitty installp） (46)3.3.2安装HACMP软件补丁包（smitty installp） (47)3.3.3再次系统备份mksysb –i /dev/rmt0 (47)3.3.4重启系统 (47)3.4 AIX操作系统配置 (47)3.4.1修改主机名 (47)3.4.2修改时间 (47)3.4.3检查网卡及设置 IP地址 (47)3.4.4如何做rootvg镜象: (48)3.4.5如何将操作系统内核改为64Bit (48)3.4.6如何清除小型机上由于告警造成的黄灯 (49)3.4.7如何修改系统参数 (49)3.4.8如何设置本地磁盘空间 (53)3.4.9如何设置PAGINGSPACE (54)3.4.10如何设置系统提示符带主机名及路径 (54)3.4.11如何CDE配置环境 (54)第4章常用AIX命令 (54)第5章常用网址 (55)关键词：AIX HACMP 安装指导书摘要：缩略语清单：参考资料清单：《AIX 5L 系统管理技术》电子工业出版社IBM Redbook: /说明：本文档仅供上海楚星信息技术有限公司内部参考，作为公司技术文档，请勿外传！IBM 小型机操作系统安装指导书第1章软件相关概念1.1 基本介绍AIX 操作系统系统是 IBM 公司专为 IBM pSeries 和 RS6000服务器开发的unix操作系统。
IBM小型机逻辑分区动态资源调整方案(LPAR)
IBM小型机逻辑分区动态资源调整方案（LPAR）简介： 本文详细描述了 IBM 小型机的动态逻辑分区的资源调整功能遇到的问题，由于之前此方面的专题论述很少，相信对大多数遇到类似问题的工程师有非常好的参考意义。
同时本文还涵盖了远程控制 HMC，远程图形连接 AIX 系统，安装 ssh，安装 DNS 这些非常有使用价值的内容，相信对很多读者有较大帮助。
前言LPAR 既逻辑分区，指的是将一个物理的服务器划分成若干个虚拟的或逻辑的服务器，每个虚拟的或逻辑的服务器运行自己独立的操作系统，有自己独享的处理器、内存和 I/O 资源。
动态逻辑分区 (DLPAR) 允许在不中断应用操作的情况下，增加或减少分区占用的资源。
IBM 将这些灵活的技术从大型机（mainframe）平台带到了基于 POWER 4 处理器的 IBM pSeries 平台上从而极大的降低了该技术的价格和成本，到了 POWER 5 处理器，该项技术得到进一步发展，并引入了微分区技术。
动态逻辑分区的资源调整功能让系统管理员可以自由添加、删除或在分区之间移动系统资源，例如 CPU、内存、I/O 适配器的分配，而不需要像原来修改之后重新启动分区。
这样，微分区技术的引入，更使得动态逻辑分区的资源调整功能不但可以移动物理资源，还可移动、增减虚拟资源，具有广阔的应用场景。
这样系统管理员就可以根据分区系统负荷和分区业务运行特点，随时将资源动态分配到需要的地方，从而大大提供资源的利用效率和灵活性。
对于服务器是否可以使用动态 LPAR，是要看安装在服务器上的软件是否支持。
如果希望实现动态 LPAR 需要在相关的分区安装 AIX 5L 5.2 及以上版本，并且 HMC recovery 软件必须至少是 3.1 版本 ( 或更高 )。
如果分区运行的是 AIX 5L 5.1 以下版本，动态逻辑分区不可用。
每个 LPAR 至少需要一些资源，下面是每个 LPAR 的最小需求：Power 4 系列小型机•每个分区至少有一个处理器。
GPFS_Introduction
高 可 用 性
–先进的仲裁管理机制，确保系统最大程度的可用性，没有单一故障 点 –管理服务器在manager资源池内实现自动故障切换 –支持多路径磁盘访问，一条路径访问失败，可以通过其它路径实现 ，每个NSD可以支持8个NSD Server –支持对元数据和用户数据做replication，保证系统稳定可靠 –Rolling Update，不停机升级 –支持日志功能，实现系统快速恢复
DFS Y N Y Y Y Y N
GFS Y N N N ? Y N
PVFS Y Y Y N N Y N
GPFS Y Y Y Y Y Y Y
GPFS V3.2新特性一览
Rolling Update（滚动升级） 每个NSD的NSD server支持到8个 支持超大pagepool缓存（256G） 并行碎片整理 更好的目录锁力度，增强同一目录下并行创建文件的性能 支持InfiniBand上RDMA的通信方式 支持SNMP管理
GPFS工作方式和扩展方式
Ethernet InfiniBand
可能瓶颈点2
SAN
可能瓶颈点1
GPFS可以在线添加存储和服务器，不影响应用正常运行 GPFS在IO服务器和磁盘存储两层都有很好的线性扩展能力
GPFS – 历史
GPFS 3.1 Video Streaming ILM - Storage Pools - Filesets - Policy Engine Ease of Administration Multiplenetworks Distributed Token Management
GPFS与NFS,SAN File System系统结构的比较(1)
客户端-服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 网络协议导致额外开销
GPFS文件系统介绍
GPFS (General Parallel File System) 介绍
2005 Technical Support Service
议程 1. GPFS介绍 介绍
2005 Technical Support Service
GPFS（General Parallel File System)介绍 背景 （ 介绍----背景 介绍
GPFS cluster
ห้องสมุดไป่ตู้
Quorum
Quorum是保障GPFS资源可用和完整性的机制。 在一个GPFS系统中，如果半数以上节点上的 GPFS守护进程正常工作，此机制就被激活。 GPFS文件系统就处于可用状态。
LUN1a 存储1 存储
LUN1b 存储2 存储
2005 Technical Support Service
GPFS 架构 – 文件系统结构
一个GPFS文件系统包含一组磁盘，称为一个条带组（ stripe group）。用于存储 MetaData, Quota Files, GPFS recovery log, User data。这些磁盘配置信息放置 在每个磁盘的 file system descriptor area区，FSDA也包含文件系统状态信息。 MetaData
GPFS介绍 概述 介绍----概述 介绍
在高性能运算群集系统中，一个用户 作业需要在多台主机上并行运行，每 个主机有单独的CPU和内存，但需要 共享的磁盘系统来存放作业的中间数 据。 文件系统的共享最常见有两种手段： NFS和GPFS。 NFS (Network File System)，I/O性 能差，没有高可用性，锁机制管理， 并发性差。 GPFS，一个文件系统能够横跨在所 有主机上，分布在所有磁盘上，条带 化读写，高性能。信令管理机制，并 发性好。有高可用性。 GPFS和AIX紧密结合，在高性能运算 领域占据举足轻重的地位，有着广大 的客户群；Oracle RAC支持GPFS文 件系统，在国内外也有大量的客户。
IBM Spectrum Scale 调整指南，适用于在 IBM Power 服务器上部署 SAS说
IBM Spectrum Scale general tuning guidelines for deployingSAS on IBM Power servers with AIXLast updated: Oct 2016NarayanaPattipati(***************.com)IntroductionIBM® Power® servers along with IBM enterprise storage and IBM Spectrum Scale™ (formerly IBM GPFS™), provide a highly resilient and high performance infrastructure required for deploying SAS in a distributed grid environment.This paper is a quick-reference guide for general configuration and tuning guidelines for deploying IBM Spectrum Scale on IBM Power servers with IBM AIX® for SAS.Important note: The tunable given in the paper are based on a SAS mixed analytics workload run on a four-node SAS Grid, deployed on an IBM Power Systems™ server running AIX 7.1 or AIX 7.2 with storage area network (SAN) attached IBM XIV Storage System or IBM FlashSystem. Refer to the paper SAS 9.3 grid deployment on IBM Power servers with IBM XIV Storage System and IBM GPFS published at /support/techdocs/atsmastr.nsf/WebIndex/WP102192 for detailed description of these tunable and tune them based on your workload and back-end storage system.Spectrum Scale configuration and tunable parametersSAS applications perform large sequential read and write operations. Some of the new SAS business intelligence (BI) applications do some random access, but for the most part, SAS workloads can be characterized as predominately large sequential I/O requests with high volumes of data.Important Spectrum Scale tunable and their values include:∙Block size:o Choose based on storage stripe size and keep it multiple of SAS BUFSIZEo Use 1 MB block size for IBM XIV Storage Systemo User 256 or 512 KB for IBM FlashSystem∙Block allocation type: Clustero Cluster allocation works well for SAS I/O, which is predominantly sequential ∙pagepool: At least 4 GB (per node in the cluster)∙seqDiscardThreshold: 1 GBo Maximum size of the file for caching during sequential access. Changedepending on the typical size of the files in workload∙prefetchPct: 40 (default 20)o Increasing to 40 can help SAS I/O, which is predominantly sequential ∙maxMBpS: 5000∙maxFilesToCache: 20000∙Spectrum Scale file system mount options: rw, mtime, atime, dev∙Separate file system metadata from data while creating Network Shared Disks (NSDs) o For example, when storage has solid-state drives (SSDs), separate metadata to NSDs with SSD caching enabledIBM Spectrum Scale tuning guidelines for deploying SAS on IBM Power servers© Copyright IBM Corporation, 2016∙Number of logical unit numbers (LUNs): 8 or more per file system∙scatterBuffers: Applicable for Spectrum Scale 3.5 version only. The scatterBuffers parameter affects how Spectrum Scale organizes file data in the pagepool. The defaultis scatterBuffers=yes (Starting in Spectrum Scale 3.5). If your workload is mostlysequential disable the scatterBuffers feature by running mmchconfig scatterBuffers=no. If you are not observing full blocksize IO's being sent to the storage during sequential IOoperations disabling scatterBuffers or increasing scatterBufferSize may help (SeescatterBufferSize below). This is an undocumented feature.∙scatterBufferSize: The scatterBufferSize parameter sets the size of the scatter buffer use by Spectrum Scale. The default is 32KB (Starting in Spectrum Scale 3.5). When tuningfor sequential IO workloads it may help to increase scatterBufferSzie to be the same asthe file system blocksize. If you are not observing full blocksize IO's being sent to thestorage during sequential IO operations disabling scatterBuffers or increasingscatterBufferSize may help.∙Recommended version (as of April 2016): Spectrum Scale 4.1.1.3 or later version if you are using Spectrum Scale 4.1. Although Spectrum Scale version 3.5 is supported till end of life, it is recommended to use 4.1.Other relevant tunable∙SAS configuration: If you are using SAS release 9.4, there is no need to change any of the SAS options. If you are using SAS release 9.3, it is recommended to use thefollowing SAS options.∙AIX tunable: Refer to SAS AIX 5L, AIX 6, and AIX 7 Tuning Guide published at /support/techdocs/atsmastr.nsf/WebIndex/WP101529∙FC adapter and LUN tunable: It is important to tune Fibre Channel (FC) adapters and LUNs along with Spectrum Scale tuning to achieve optimal performance. Refer to theSAS 9.3 grid deployment on IBM Power servers with IBM XIV Storage System and IBMGPFS paper published at /support/techdocs/atsmastr.nsf/WebIndex/WP102192.Changing Spectrum Scale tunable: Changing just one tunable may not help in performance. It is important to understand how different tunable work with each other and find the right combination by running tests. For example, for the workload used in testing, setting thiscombination - seqDiscardThreshold=1GB, pagepool=8GB, prefetchPct=40, gave a slightly better performance.Spectrum Scale licensing guidelines: A Spectrum Scale cluster requires a minimum of one node running a Spectrum Scale server license for cluster management. All other nodes can run with a Spectrum Scale client license. However, to ensure fault tolerance, licensing a minimum of two server nodes (or more, depending on customer availability requirements) per cluster is recommended. Refer to Spectrum Scale wiki for more details: https:///Bd4MJb Spectrum Scale performance monitoringRefer to the subsection GPFS specific performance monitoring tools and techniques under Appendix A of the SAS 9.3 grid deployment on IBM Power servers with IBM XIV Storage System and IBM GPFS paper published at/support/techdocs/atsmastr.nsf/WebIndex/WP102192.SummaryThe paper describes the summary of Spectrum Scale configuration and tuning parameters for SAS deployment on IBM Power servers with AIX OS. The tunable values might vary depending on your workload and back-end storage.ResourcesAdditional resources for Spectrum Scale tunable:∙Spectrum Scale wiki tuning parameters/developerworks/community/wikis/home?lang=en#!/wiki/General Parallel FileSystem (GPFS)/page/Tuning Parameters∙Spectrum Scale tunable for SAS Software∙/developerworks/community/wikis/home?lang=en#!/wiki/General Parallel File System (GPFS)/page/SAS SoftwareSAS Business Analytics Deployment on IBMPOWER8 Processor-Based Systems: With IBM XIV Storage System and IBMFlashSystem/Redbooks.nsf/RedbookAbstracts/redp5288.html Trademarks and special noticesReferences in this document to IBM products or services do not imply that IBM intends to make them available in every country.IBM, the IBM logo, and are trademarks or registered trademarks of International Business Machines Corporation in the United States, other countries, or both. If these and other IBM trademarked terms are marked on their first occurrence in this information with a trademark symbol (® or ™), these symbols indicate U.S. registered or common law trademarks owned by IBM at the time this information was published. Such trademarks may also be registered or common law trademarks in other countries. A current list of IBM trademarks is available on the Web at "Copyright and trademark information" at /legal/copytrade.shtml.Other company, product, or service names may be trademarks or service marks of others. Information is provided "AS IS" without warranty of any kind.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IBM GPFS for AIX 5.3
一：GPFS 的简介
GPFS 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
与 NFS 相比，GPFS 在 SAN 环境下可以提供更好的性能。
二：安装并升级GPFS
1． 加载GPFS 安装images ，执行安装过程：
#mount –rv cdrfs /dev/cd0 /mnt #smitty installp 2． 升级GPFS 软件：
GPFS Update Pack Download Link ：
/webapp/set2/sas/f/gpfs/download/aix.html #gzip –d filename.tar.gz #tar –xvf filename.tar #smitty update_all
3． 确认软件包是否升级成功：
#lslpp –l | grep gpfs
三：配置GPFS
1． 在两个节点配置共享磁盘：
#lspv
这里，共享磁盘为hdisk2、hdisk3、hdisk4、hdisk5。
2． 配置/etc/hosts 文件：
#cat /etc/hosts
3． 更改系统环境变量：
#vi /etc/profile 在最后一行加入：
PATH=$PATH:/usr/lpp/mmfs/bin export PATH
A i
x W
i n d
在两个节点上分别执行，这样，可以让后面的操作更方便些。
4． 建立主机信认机制
#vi /.rhosts rac1 rac2 rac1-priv rac2-priv
在两个节点上分别执行。
5．创建GPFS 群集：
5.1：在/tmp 目录下，创建GPFS 群集节点文件：
#vi gpfs_node rac1:quorum rac2:quorum
5.2：新建GPFS 群集
# mmcrcluster -C oracle -N /tmp/gpfs_node -p rac1 -s rac2
其中：-C ：群集名
-N ：群集节点文件 -p ：群集主节点名 -s ：群集从节点名 5.3：查看GPFS 群集 #mmlscluster
6． 配置GPFS 群集系统共享盘
6.1：在/tmp 目录下，创建GPFS 群集共享盘文件 #vi gpfs_disk1
hdisk2:rac1:rac2:dataAndMetadata::ora_disk1
hdisk3:rac1:rac2:dataAndMetadata::ora_disk2 #vi gpfs_disk2
hdisk4:rac1:rac2:dataAndMetadata::ora_disk3 hdisk5:rac1:rac2:dataAndMetadata::ora_disk4
6.2：生成NSD 磁盘 #mmcrnsd –F /tmp/gpfs_disk1
A i
x W
i n d
#mmcrnsd –F
/tmp/gpfs_disk2
6.3：查看NSD 磁盘 #lspv
#mmlsnsd
7． 启动GPFS 群集服务
#mmstartup –a
#mmgetstate –a
8． 建立GPFS 文件系统
8.1：建立GPFS 文件系统挂载点 #mkdir /ora1 #mkdir /ora2
8.2：建立GPFS 文件系统
# mmcrfs /ora1 ora1_lv -F /tmp/gpfs_disk1 -A no -B 64K -n 10 -v no
A i
x W
i n d
其中：/ora1：GPFS 文件系统挂载点 ora1_lv ：GPFS 文件系统LV 名 -F ：指定NSD 的文件名 -A ：是否自动加载 -B ：文件系统块大小
-n ：挂载文件系统的节点数
-v ：校验建立磁盘是否已有文件系统 8.3：挂载已建立的GPFS 文件系统
#mmlsnsd
#mount /ora1 #df –g
另一个文件系统gpfs_disk2建立同上，最后结果如下：
9． 显示 GPFS 选项属性 #mmlsconfig
至此，GPFS 群集文件系统在AIX 5.3的安装全部完成。
四：删除GPFS 群集文件系统
A i
x W
i n d
1． 卸载GPFS 文件系统
#umount /ora1 #umount /ora2
在两个节点上分别执行 2． 删除GPFS 文件系统
#mmlsfs all 查看现有所有文件系统
#mmdelfs ora1_lv
ora2_lv 同上， #mmdelfs ora2_lv
3． 删除GPFS 群集NSD 磁盘
#mmdelnsd ora_disk1
ora_disk2、ora_disk3、ora_disk4同上。
#mmlsnsd
4． 停止GPFS 群集系统
#mmshutdown –a
#mmgetstate –a
A i
x W
i n d
5． 删除GPFS 群集文件系统
5.1：在/tmp 目录下，新建一个文件，并写入将要删除的节点名 #vi rmgpfs_node rac1 rac2
5.2：删除GPFS 群集文件系统 #mmdelnode –N /tmp/rmgpfs_node
#mmdelnode –f
至此，GPFS 群集文件系统已从您的机器中删除。
结束语
该文档大体上描述了IBM GPFS 群集文件系统在AIX5.3系统上的安装、配置及删除等相关操作。
详细步骤，敬请参阅IBM redbook 或登陆IBM 官方网站查询，如发现文档中有错误之处，请及时联系，谢谢！作者E-mail ：ibm1188@
附录：
GPFS 3.1 for AIX 安装配置完全手册 /developerworks/cn/aix/library/au-gpfs/index.html GPFS V3.1 Administration and Programming Reference
/infocenter/clresctr/vxrx/index.jsp?topic=/com.ibm.cluster.gpfs.doc/gpfs31/bl1adm1112.html
A i
x W
i n d。