GPFS文件系统介绍

GPFS (General Parallel File System) 介绍
2005 Technical Support Service
议程 1. GPFS介绍 介绍
2005 Technical Support Service
GPFS（General Parallel File System)介绍 背景 （ 介绍----背景 介绍
GPFS cluster
ห้องสมุดไป่ตู้
Quorum
Quorum是保障GPFS资源可用和完整性的机制。 在一个GPFS系统中，如果半数以上节点上的 GPFS守护进程正常工作，此机制就被激活。 GPFS文件系统就处于可用状态。
LUN1a 存储1 存储
LUN1b 存储2 存储
2005 Technical Support Service
GPFS 架构 – 文件系统结构
一个GPFS文件系统包含一组磁盘，称为一个条带组（ stripe group）。用于存储 MetaData, Quota Files, GPFS recovery log, User data。这些磁盘配置信息放置 在每个磁盘的 file system descriptor area区，FSDA也包含文件系统状态信息。 MetaData
GPFS介绍 概述 介绍----概述 介绍
在高性能运算群集系统中，一个用户 作业需要在多台主机上并行运行，每 个主机有单独的CPU和内存，但需要 共享的磁盘系统来存放作业的中间数 据。 文件系统的共享最常见有两种手段： NFS和GPFS。 NFS (Network File System)，I/O性 能差，没有高可用性，锁机制管理， 并发性差。 GPFS，一个文件系统能够横跨在所 有主机上，分布在所有磁盘上，条带 化读写，高性能。信令管理机制，并 发性好。有高可用性。 GPFS和AIX紧密结合，在高性能运算 领域占据举足轻重的地位，有着广大 的客户群；Oracle RAC支持GPFS文 件系统，在国内外也有大量的客户。
SAN文件系统(Veritas, CXFS等): 元数据服务器是一个潜在的瓶颈
2005 Technical Support Service
GPFS 架构 --- General
GPFS Cluster
GPFS群集是指多个节点的集合，它们共享同一 个或者多个并行文件系统；群集里的节点可以并 发访问这些文件系统里的数据。
GPFS节点 节点
通用性：向应用提供与标准UNIX文件系统一 文件系统一 通用性：向应用提供与标准
致的数据访问接口。 致的数据访问接口。
SAN交换网络 交换网络
并行性：在分布式锁管理器的控制下， 并行性：在分布式锁管理器的控制下，各
GPFS节点将数据和元数据并行地写入到各 节点将数据和元数据并行地写入到各 节点将数据和元数据并行 个磁盘（或由各个磁盘读出）。 个磁盘（或由各个磁盘读出）。
Disk02
Disk03
2005 Technical Support Service
GPFS介绍----与NFS,SAN File System比较
客户端-服务器结构的网络文件系统 客户端 服务器结构的网络文件系统 (NFS, DFS, or AFS): 存在单个服务器”瓶颈” 存在单个服务器”瓶颈” 网络协议导致额外开销
– The same as UNIX file systems, inode, indirect blocks are considered Metadata.
Quota Files
– 用于文件系统 的限额功能
GPFS Recovery Log
当创建文件系统时，就自动会创建 当创建文件系统时，就自动会创建GPFS recovery logs。 GPFS recovery logs 一定是被复制 。 并且可以通过位于FSDA内的指针找到它们。 GPFS recovery logs 被平均分布在所有磁盘上，通 内的指针找到它们。 被平均分布在所有磁盘上， 的，并且可以通过位于 内的指针找到它们 常情况下是不可见的。 为每一个访问这个文件系统的用户分配一个GPFS 常情况下是不可见的。 The file system manager 为每一个访问这个文件系统的用户分配一个 Recovery Log。 。
The Metadata Node
– 为维持文件 Metadata的一致性每一个被打开的文件都有一个MetaNode，任何一 个访问该文件的节点都可以对该文件进行读写，但只有MetaNode 可以更新该文件 的MetaData。 – MetaNode是随机的，通常是访问该文件时间最长的节点担当。
2005 Technical Support Service
NFS模式 模式
/nfs1 Host01
数据流
LAN
/nfs1
Host02 Host03
/nfs1
Host04
Disk01
Disk02
Disk03
I/O性能差， 没有高可用性， 锁机制管理，并发 性差。
GPFS模式 模式
数据流
LAN
/gpfs1
Host01 Host02 Host03 Host04
Disk01
2005 Technical Support Service
GPFS 特点 --- 高可用的文件系统
GPFS是一种日志文件系统，为不同节点建立各自独立的日志。日志种记录 Metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。 GPFS Fail-over功能通过规划，将数据分布到不同Failure Group内达到高可用 性，减少单点故障的影响。为了保证数据可用性，GPFS可以在多个Failure Group内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的Failure Group内复制恢复日志。 GPFS对NSD的访问可用通过多路径进行，可用为每个NSD定义一个Primary NSD Server和一个Secondary NSD Server。在SAN环境下，对NSD的访问， 首先通过SAN进行，如果SAN不可访问，则通过网络访问Primary NSD Server， Primary NSD Server再访问NSD。如果Primary NSD Server不可用，则由 Secondary NSD Server完成对NSD的访问。
GPFS /gpfs1
NSD1a hdisk1a NSD1b hdisk1b NSD1a hdisk1a NSD1b hdisk1b
Primary/Secondary NSD Server Failure Group
Failure Group是一个磁盘的集合，一个单点故障 会引起集合内部的所有磁盘同时失效。
GPFS 特点 --- 更好的系统性能
一个GPFS文件系统可以横跨在群集内的所有 GPFS 主机上，分布在所有磁盘上。GPFS文件系统 在读写文件时采用条带化技术，将数据分成条 带并行写入到该GPFS下的所有NSD中。在有 Host01 高速数据通道（例如IBM High Performance Swith，网络带宽可达500MB/s）的GPFS配置 下，读写文件时可以通过所有主机的光纤通道 访问所有的磁盘，I/O条带化性能无可比拟。 Disk01 GPFS的条带化原理保证同一个GPFS下所有 磁盘的I/O负载是均衡的，没有一块磁盘会比 其它磁盘更繁忙。 GPFS支持超大文件系统。GPFS2.3版本对 GPFS文件系统的大小已经没有限制，IBM实 验室测试过的GPFS文件系统大小为200T。而 在AIX5.2中，JFS2文件系统的最大尺寸为1T。 GPFS支持对文件的并发访问。它允许任何节 点上的并行应用同时访问同一个文件或者不同 的文件。
gpfs节点san交换网络共享磁盘gpfs介绍概述2005technicalsupportservicegpfs介绍概述在高性能运算群集系统中一个用户作业需要在多台主机上并行运行每个主机有单独的cpu和内存但需要共享的磁盘系统来存放作业的中间数文件系统的共享最常见有两种手段
Technical Support Group
源自IBM全球八大研究中心之一的美国 全球八大研究中心之一的美国Almaden研究中心 源自 全球八大研究中心之一的美国 研究中心 1993年开始研究，1997年产品化。最初产品名称：虎鲨 年开始研究， 年产品化。 年开始研究 年产品化 最初产品名称：虎鲨(Tiger Shark) 最初目标: 数字视频、大规模交互式多媒体（交互式电视、视频点播） 最初目标 数字视频、大规模交互式多媒体（ 交互式电视、视频点播） –服务质量(QoS)：带宽、磁盘I/O –共享磁盘模型：多个多媒体流同时访问同一文件内容 (striping) –高可用性: 日志(journaling)、块(block)级复制 应用范围逐渐拓展 –高性能计算、大规模web服务器、数据挖掘、生命科学、数字化图书馆等领域 IBM美国 美国Poughkeepsie Unix开发实验室（“深蓝的故乡”）协助，对GPFS进一 开发实验室（ 深蓝的故乡” 协助， 美国 开发实验室 进一 步完善并产品化。 步完善并产品化。
共享磁盘： 共享磁盘：所有元数据和数据物理上分布在
通过SAN交换网络连接的共享磁盘上。 交换网络连接的共享磁盘上。 通过 交换网络连接的共享磁盘上
共享磁盘
集群： 集群：通过光纤网络或高速数据网络连接起
来的所有节点，共同组成一个 集群。 来的所有节点，共同组成一个GPFS集群。 集群
2005 Technical Support Service
File System Manger
– – – – 处理文件系统配置的改变，例如增加删除磁盘等。 进程靠FSM和发请求节点共同执行。 和发请求节点共同执行。 处理文件系统配置的改变，例如增加删除磁盘等。Mount进程靠 进程靠 和发请求节点共同执行 磁盘空间分配管理：控制磁盘区域的分配，运行并发的空间分配。 磁盘空间分配管理：控制磁盘区域的分配，运行并发的空间分配。 信令管理功能：实现多个节点对同一文件同一区域的并发访问。 信令管理功能：实现多个节点对同一文件同一区域的并发访问。 Quota管理功能：用户限额功能。 管理功能： 管理功能 用户限额功能。
2005 Technical Support Service
GPFS介绍 概述 介绍----概述 介绍
GPFS (General Parallel File System)： ： IBM GPFS是一个可扩展、高性能、基于共 是一个可扩展、 是一个可扩展 高性能、 享磁盘的通用并行文件系统，它能为GPFS 享磁盘的通用并行文件系统，它能为 集群系统中的所有节点提供并行、高速、 集群系统中的所有节点提供并行、高速、安 可靠的数据存取。 全、可靠的数据存取。
GPFS 架构 – 特殊管理功能节点
通常情况下，GPFS集群内所有节点执行相同的功能，例如管理和访问GPFS文件系 统。但有三种类型的节点执行一些具有全局性的特殊功能，它们是： GPFS Configuration Manger
– 处理当节点失效时，判断是否满足 处理当节点失效时，判断是否满足Quorum，从而决定 系统是否持续可用 ，从而决定FS系统是否持续可用 – 为文件系统选择File Manger节点，每个文件只有一个 节点， 为文件系统选择 节点 每个文件只有一个FSM，从而保证数据的一致性。 ，从而保证数据的一致性。
User Data
The remaining space is allocated from the block allocation map as needed and is used for user data and directories.
2005 Technical Support Service
网络交换机-1 网络交换机 网络交换机-2 网络交换机 GPFS Admin LAN EtherChannel
P570-1
AIX 5.3 AIX 5.3
p570-2
GPFS Admin LAN Network Share Disk (NSD)
NSD是GPFS一个虚拟的磁盘子系统，提供对 GPFS内共享磁盘全局命名的功能。
数据流
LAN
/gpfs1
Host02 Host03 Host04
Disk02
Disk03
2005 Technical Support Service
GPFS 特点 --- 准确的系统一致性
GPFS通过一套复杂的信令管理机制提供数据一致性；通过这套机制 允许任意节点通过各自独立的路径访问同一个文件。即使节点无法正 常工作，GPFS也可以找到其它的路径。 和传统的锁机制相比，信令管理机制也确保了文件并发访问的高效性。