黑龙江移动GPFS技术方案

黑龙江移动经分数据库GPFS技术方案建议书

国际商业机器中国服务有限公司

2022年04月

目录

1.1系统架构介绍 (1)

1.2O RACLE RAC运行在裸设备上的技术架构 (2)

1.3O RACLE RAC运行在GPFS上的系统架构 (4)

1.3.1GPFS（General Parallel Files System）介绍 (4)

1.3.2方案实施基本流程 (8)

1.3.3主机间高可用性的实现 (10)

1.3.4SAN网络高可用性的实现 (11)

1.3.5网络高可用性的实现 (11)

1.4IBM对技术方案的建议 (12)

1.4.1GPFS和裸设备在接管速度上的比较 (12)

1.4.2GPFS和裸设备在管理上的比较 (12)

1.4.3GPFS和裸设备在性能上的比较 (14)

1.4.4结论 (17)

1.5GPFS上的其它重要功能 (17)

1.5.1本地存储容灾功能 (17)

1.5.2实现高效的文件并发访问 (18)

1.5.3备份某个时间点的数据 (19)

1.6成功案例 (19)

1.1 系统架构介绍

黑龙江移动经分数据库系统架构如下图所示。

2台数据库服务器（IBM p570）和1台存储设备（IBM DS8300，512块146G 硬盘，做成64个RAID5。其中32个是6+P+S 的RAID5，有效容量779G ；32个是7+P 的RAID5，有效容量是909G ）组成集群系统，采用SAN 网络存储体系结构。正常情况下ORACLE 9I RAC 数据库在两台服务器上并行运行。当一台主机故障时，另外一台主机自动接管运行故障主机的资源组。

在AIX 平台上，Oracle RAC 可以运行在并发卷组（Concurrent Volume Group ）的裸设备上，也可以运行在IBM 的通用并行文件系统上（GPFS ，General Parallel File System ）上。GPFS 是和AIX 操作系统一起产生的、紧密结合的、支持从多台主机对

IBM DS8300 存储阵列

512块146G 硬盘，RAID5 S

P570-1 P570-2

2-Nodes HACMP

Cluster 光纤交换机

光纤交换机

16 16

文件进行并发访问的高性能文件系统，在高性能运算领域占据着举足轻重的地位。Oracle RAC运行在GPFS上，和运行在裸设备上相比，具有更快的接管速度、超强的可管理性和更好的I/O条带化性能。更快的接管速度使故障的接管时间更短，提高了系统的持续服务能力；超强的易管理性大大降低系统管理的工作量，减少人为出错的几率，增加系统的稳定性，管理简单意味着更稳定；对于容量在T级别的数据库，GPFS的条带化能够提供比裸设备更好的I/O性能；GPFS的I/O条带化原理保证无论是随着业务模式的变化，还是存储的扩容，系统性能能够一直保持在最优状态。考虑到黑龙江移动的数据库是一个海量的数据库（50T左右），对系统性能和管理都存在在巨大的挑战，GPFS的优势正好能够定位于解决这两方面的问题，IBM推荐黑龙江移动的经分数据库采用GPFS架构。

为更充分理解GPFS的优势，在后面的章节中，我们对两种方案的技术细节进行详细介绍。

1.2Oracle RAC运行在裸设备上的技术架构

Oracle RAC运行在裸设备上的技术架构如下图所示。

在当前黑龙江移动环境下，DS8300共有512块146G硬盘，做成64个RAID5。其中32个是6+P+S的RAID5，有效容量为779G；另外32个是7+P的RAID5，有效容量为909G。在使用裸设备的情况下，为存储空间使用上的有效性和灵活性，每个RAID分成若干个128G的LUN，这样总共分为378个128G的LUN，在AIX 5.3操作系统中对应378个vpath。在378个vpath上，创建40个卷组（并发卷组和普通卷组），在卷组上再创建逻辑卷（Logical Volume），在逻辑卷上创建文件系统或者直接作为裸设备来使用。ORACLE 9I RAC数据库的数据文件存放在并发卷组的裸设备上，通过HACMP来管理。

可以想象，如此海量的数据，无论是数据库的物理规划，还是日常维护，对系统管理员都是非常繁重的工作，而且，即使最初花费了大量的精力进行I/O分布的规划，随着业务运行模式的不同，I/O冲突随时也可能会出现。由于 vpath数目众多、

VG 数目众多、LV 数目众多，系统启动、HACMP 的启动都需要花费大量的时间。对海量数据库，使用裸设备的架构是令人苦恼的。

LUN1a

LUN2a

DS8300

hdisk1b Logical Volume Device Drive datavg(并发卷组) lv1 lv2 lv3 Raw Dev Raw Dev Raw Dev Oracle RAC 数据库 应用程序 File System fsvg1 LVDD 数据文件 数据文件

HACMP Daemon p570-1 AIX 5.3 应 用 层 逻 辑卷管理

物 理

层 hdisk1b

hdisk1a Logical Volume Device Drive datavg(并发卷组) lv1 lv2 lv3 Raw Dev Raw Dev Raw Dev

Oracle RAC 数据库 应用程序 File System fsvg2 LVDD 数据文件 数据文件 HACMP Daemon p570-2

AIX 5.3 网络交换机-1 网络交换机-2 p5701_svc p5701_stb p5702_svc p5702_stb

Oracle Interconnection EtherChannel Oracle Interconnection

EtherChannel

图一 Oracle RAC on Raw Device 系统逻辑架构图

hdisk1a