lustre文件系统简介PPT课件
合集下载
第3章Linux文件系统管理精品PPT课件
些对shell来说有特殊含义的字符，如： !$#*&?\,;<>[]{}()^@%|“‘` ➢ 文件名区分大小写字母, 如: sample.txt、Sample.txt和SAMPLE.TXT都代表不同的文件。 ➢ 文件名最长可达到256个字符。 ➢ 文件名以句点开头，则该文件就成为隐藏文件。
3.2.3 文件路径
/
bin boot dev etc home lib mnt root proc sbin tmp usr var
passwd inittab ……
bin lib ……
3.2.2 文件名
文件名是文件的唯一标识符。Linux中文件名遵循以下约定： ➢ 可以使用除“/”以外的所有ASCII字符，但不能包含空格和一
3.1 Linux文件系统类型 3.2 Linux的目录和文件 3.3 文件类型与文件权限 3.4 常用文件系统操作命令 3.5 输入/输出重定向及管道 3.6 文本编辑器vi
3.2.1 Linux系统的目录结构
Linux文件系统由文件和目录组成，文件是 专门用来存储数据的对象，而目录是一种用来组 织文件和其他目录的容器。
显示当前目录下每个文件的属性信息，其显
示格式及各列的含义如图所示:
Linux系统将文件大致分成四种类型：普通 文件、目录文件、链接文件和设备文件。
❖ 普通文件 ❖ 目录文件 ❖ 链接文件 ❖ 设备文件
3.3.2 文件权限的概念
❖访问权限
用户对文件的访问权限分为可读、可写、可执行三种，分别用r、w、x表 示。若用户无某个权限，则在相应权限位置用“-”表示。
3.3.3 修改文件或目录的权限
1.chmod命令 格式：chmod [-R] 模式 文件或目录 功能：修改文件或目录的访问权限
3.2.3 文件路径
/
bin boot dev etc home lib mnt root proc sbin tmp usr var
passwd inittab ……
bin lib ……
3.2.2 文件名
文件名是文件的唯一标识符。Linux中文件名遵循以下约定： ➢ 可以使用除“/”以外的所有ASCII字符，但不能包含空格和一
3.1 Linux文件系统类型 3.2 Linux的目录和文件 3.3 文件类型与文件权限 3.4 常用文件系统操作命令 3.5 输入/输出重定向及管道 3.6 文本编辑器vi
3.2.1 Linux系统的目录结构
Linux文件系统由文件和目录组成，文件是 专门用来存储数据的对象，而目录是一种用来组 织文件和其他目录的容器。
显示当前目录下每个文件的属性信息，其显
示格式及各列的含义如图所示:
Linux系统将文件大致分成四种类型：普通 文件、目录文件、链接文件和设备文件。
❖ 普通文件 ❖ 目录文件 ❖ 链接文件 ❖ 设备文件
3.3.2 文件权限的概念
❖访问权限
用户对文件的访问权限分为可读、可写、可执行三种，分别用r、w、x表 示。若用户无某个权限，则在相应权限位置用“-”表示。
3.3.3 修改文件或目录的权限
1.chmod命令 格式：chmod [-R] 模式 文件或目录 功能：修改文件或目录的访问权限
Lustre文件系统
✓ 文件数据
✓ 文件元数据
文件数据分配布局策略 – (本地文件系统)
数据 数据
数据块
数据
. . . 块号码
块分配 基于块,分配器尝试分配
顺序块 Ext2
一级索引 二级索引 三级索引
. . . 块号码
范围(extent)分配 基于范围分配,
描述: 逻辑偏移/长度/物理偏移三元组 B+ 树
VxFS, JFS, reiserfs, xFS…
CMD --元数据分配方法
➢ Lustre结合了目前目录子树分区法和哈希法 的优点，提出了一种管理元数据的混合方法
创建新目录时总是通过哈希法选择一个与父目 录不同的元数据服务器
当一个目录变得很大或者非常繁忙时，Lustre 通过目录分割策略将该目录拆分成由若干个不 同的元数据服务器管理的子目录
Write (obj 2)
OST 2
OST 3
Achieve parallel Bandwidth to all OST’s
Odd blocks, even blocks
Lustre文件系统数据分布布局
➢ 由于Lustre采用了数据和元数据分离的基于 对象存储的体系结构，下面将从这两个方面 分别讨论Lustre数据的分布布局：
File open & write
Lustre Client
Linux VFS Lustre client FS
LOV
OSC OSC
1
3
MDC
Meta-data Server
File open request File meta-data Inode A (obj1, obj2)
MDS
Write (obj 1) OST 1
✓ 文件元数据
文件数据分配布局策略 – (本地文件系统)
数据 数据
数据块
数据
. . . 块号码
块分配 基于块,分配器尝试分配
顺序块 Ext2
一级索引 二级索引 三级索引
. . . 块号码
范围(extent)分配 基于范围分配,
描述: 逻辑偏移/长度/物理偏移三元组 B+ 树
VxFS, JFS, reiserfs, xFS…
CMD --元数据分配方法
➢ Lustre结合了目前目录子树分区法和哈希法 的优点，提出了一种管理元数据的混合方法
创建新目录时总是通过哈希法选择一个与父目 录不同的元数据服务器
当一个目录变得很大或者非常繁忙时，Lustre 通过目录分割策略将该目录拆分成由若干个不 同的元数据服务器管理的子目录
Write (obj 2)
OST 2
OST 3
Achieve parallel Bandwidth to all OST’s
Odd blocks, even blocks
Lustre文件系统数据分布布局
➢ 由于Lustre采用了数据和元数据分离的基于 对象存储的体系结构，下面将从这两个方面 分别讨论Lustre数据的分布布局：
File open & write
Lustre Client
Linux VFS Lustre client FS
LOV
OSC OSC
1
3
MDC
Meta-data Server
File open request File meta-data Inode A (obj1, obj2)
MDS
Write (obj 1) OST 1
第4章Linux文件系统精品PPT课件
• （5）/boot：该目录用于存放内核和其它系统启动时使用 的文件。
• （6）/lost+found：该目录被fsck用于存放零散文件（没 有名称的文件）。
• （7）/lib：该目录用于存放被 /bin 和 /sbin 中的程序使 用的库文件。 目录 /usr/bin 中含有更多库文件。
• （9）/etc：该目录用于存放许多配置文件和目录。
• 目录文件 • 设备文件： /dev/tty1 • 连接文件：存放文件系统中通向文件的路径 • file 文件名
4.2 Linux系统的文件操作命令
• ls
显示目录中的内容
• pwd 显示当前和工作目录
• cd 改变用户工作目录
• mkdir 建立用户目录
• rmdir 删除目录
列出目录内容命令ls
• “..”代表上一级目录 # cd .. #pwd /home
• 进入user的注册目录 #cd ~user #pwd /home/user
• 回到注册登陆后的初始目录 #cd # pwd /root
建立用户目录命令mkdir
• mkdir可以建立目录同时还可以给目录设置 权限。
• （10）/var：该目录用于存放系统中不断扩充、变化的文 件，例如日志文件和锁定文件。
• （11）/usr：该目录用于存放与系统用户直接有关的文件 和目录。
• （12）/proc：该目录是一个虚拟的文件系统（不是实际 贮存在磁盘上的），它包括被某些程序使用的系统信息。
• （13）/initrd：该目录用于存放在计算机启动时挂载 initrd.img 映像文件的目录以及载入所需的设备模块。
‘“ • 不能以 “+”或者“-”开头 • 区分大小写 • 最长文件名 255
• （6）/lost+found：该目录被fsck用于存放零散文件（没 有名称的文件）。
• （7）/lib：该目录用于存放被 /bin 和 /sbin 中的程序使 用的库文件。 目录 /usr/bin 中含有更多库文件。
• （9）/etc：该目录用于存放许多配置文件和目录。
• 目录文件 • 设备文件： /dev/tty1 • 连接文件：存放文件系统中通向文件的路径 • file 文件名
4.2 Linux系统的文件操作命令
• ls
显示目录中的内容
• pwd 显示当前和工作目录
• cd 改变用户工作目录
• mkdir 建立用户目录
• rmdir 删除目录
列出目录内容命令ls
• “..”代表上一级目录 # cd .. #pwd /home
• 进入user的注册目录 #cd ~user #pwd /home/user
• 回到注册登陆后的初始目录 #cd # pwd /root
建立用户目录命令mkdir
• mkdir可以建立目录同时还可以给目录设置 权限。
• （10）/var：该目录用于存放系统中不断扩充、变化的文 件，例如日志文件和锁定文件。
• （11）/usr：该目录用于存放与系统用户直接有关的文件 和目录。
• （12）/proc：该目录是一个虚拟的文件系统（不是实际 贮存在磁盘上的），它包括被某些程序使用的系统信息。
• （13）/initrd：该目录用于存放在计算机启动时挂载 initrd.img 映像文件的目录以及载入所需的设备模块。
‘“ • 不能以 “+”或者“-”开头 • 区分大小写 • 最长文件名 255
Linux操作系统-文件系统管理PPT
32
文件系统扫描工具有 fsck fsck.ext2 fsck.jfs fsck.msdos fsck.vfat fsck.ext3 fsck.reiserfs（reiserfsck）其中fsck 默认支 持文件系统ext2，如果想支持ext3文件系统的扫 描，应该加-j 参数，最好是我们应该根据不同的文 件系统来调用不同的扫描工具，比如 fsck.ext2， fsck.jfs，fsck.msdos，fsck.ext3， fsck.reiserfs（reiserfsck）等。
30
格式：
# fsck [选项][-t 文件系统类型] <设备名> [附加选项]
• 提示：一般情况下，无需用户手动执行fsck 命令。在系统启动过程中， 一旦系统检测到 了不一致就会自动运行fsck命令。
31
fsck 扫描文件系统时一定要在单用户模式、 修复模式或把设备umount后进行。
警告：如果扫描正在运行中的系统，会造 成系统文件损坏；如果系统是正常的，请 不要用扫描工具，它可能会把系统搞坏掉， fsck运行是有危险的。
33
du 命令 功能：用于查看文件或目录的容量。 使用举例
• 显示当前目录总的使用量（不显示目录中每个文件的使用量）。
# du -s
• 显示目录/root和目录/boot总的使用量。
# du -s /root /home
/dev/sda5
2483 2609 1020096 82 Linux swap
可以估算一个存储设备是否被完全划分。
12
Disk /dev/sda: 1035 MB, 1035730944 bytes 256 heads, 63 sectors/track, 125 cylinders Units = cylinders of 16128 * 512 = 8257536 bytes
文件系统扫描工具有 fsck fsck.ext2 fsck.jfs fsck.msdos fsck.vfat fsck.ext3 fsck.reiserfs（reiserfsck）其中fsck 默认支 持文件系统ext2，如果想支持ext3文件系统的扫 描，应该加-j 参数，最好是我们应该根据不同的文 件系统来调用不同的扫描工具，比如 fsck.ext2， fsck.jfs，fsck.msdos，fsck.ext3， fsck.reiserfs（reiserfsck）等。
30
格式：
# fsck [选项][-t 文件系统类型] <设备名> [附加选项]
• 提示：一般情况下，无需用户手动执行fsck 命令。在系统启动过程中， 一旦系统检测到 了不一致就会自动运行fsck命令。
31
fsck 扫描文件系统时一定要在单用户模式、 修复模式或把设备umount后进行。
警告：如果扫描正在运行中的系统，会造 成系统文件损坏；如果系统是正常的，请 不要用扫描工具，它可能会把系统搞坏掉， fsck运行是有危险的。
33
du 命令 功能：用于查看文件或目录的容量。 使用举例
• 显示当前目录总的使用量（不显示目录中每个文件的使用量）。
# du -s
• 显示目录/root和目录/boot总的使用量。
# du -s /root /home
/dev/sda5
2483 2609 1020096 82 Linux swap
可以估算一个存储设备是否被完全划分。
12
Disk /dev/sda: 1035 MB, 1035730944 bytes 256 heads, 63 sectors/track, 125 cylinders Units = cylinders of 16128 * 512 = 8257536 bytes
操作系统LINUX文件系统ppt课件
3. 文件file：存放打开文件与进程之间进 行交互的有关信息
4. 目录项dentry：保存目录项与相应文件 进行链接的信息
.
16
1.VFS的超级块super-block 每个文件系统分配一个超级块，用
双向循环链组成一个链表。 主要成员：略 P250 超级块操作：struct super-
operations描述，地址存放在s_op中。 每个具体的文件系统，都要提供超
备有关的 系统信息
bin boot dev etc home lib media mnt proc root sbin sys tmp usr
设备子目 录
存放
配置 文件
Zhang
存放系
liu
统管理 程序
bin doc etc include lib local
图10.1 LINUX
.
3
路径名确定一个文件在文件系统 中的位置。
对设备文件的读、写操作实际上为 对设备的操作，而对设备文件的保护 也将变成对设备的保护。
例如：#cp (设备文件 /dev/tty1是用户终端1) 读入，并把 它们复制到文件 terminalread上。
11
4.有名管道（FIFO） 5.软链接 6.UNIX域套接字
为基于dentry的一个目录项对象。目 录项对象将每个目录与其对应的索引 节点相联系。
19
10.4 进程与文件系统的联系
从系统内部的角度来说，需要有相 应的数据结构来记录和控制打开文件 的用户进程以及记录和控制那些共享 同一文件的用户进程。为此LINUX系统 设置了用户打开文件表和系统打开文 件表。
一个完整的路径名由代表根目录 的斜杠开始，到所指定的文件为止。
例如在图10.1中，“/usr/bin/man”确 定了文件 man在文件系统中的位置。 (绝对路径)
4. 目录项dentry：保存目录项与相应文件 进行链接的信息
.
16
1.VFS的超级块super-block 每个文件系统分配一个超级块，用
双向循环链组成一个链表。 主要成员：略 P250 超级块操作：struct super-
operations描述，地址存放在s_op中。 每个具体的文件系统，都要提供超
备有关的 系统信息
bin boot dev etc home lib media mnt proc root sbin sys tmp usr
设备子目 录
存放
配置 文件
Zhang
存放系
liu
统管理 程序
bin doc etc include lib local
图10.1 LINUX
.
3
路径名确定一个文件在文件系统 中的位置。
对设备文件的读、写操作实际上为 对设备的操作，而对设备文件的保护 也将变成对设备的保护。
例如：#cp (设备文件 /dev/tty1是用户终端1) 读入，并把 它们复制到文件 terminalread上。
11
4.有名管道（FIFO） 5.软链接 6.UNIX域套接字
为基于dentry的一个目录项对象。目 录项对象将每个目录与其对应的索引 节点相联系。
19
10.4 进程与文件系统的联系
从系统内部的角度来说，需要有相 应的数据结构来记录和控制打开文件 的用户进程以及记录和控制那些共享 同一文件的用户进程。为此LINUX系统 设置了用户打开文件表和系统打开文 件表。
一个完整的路径名由代表根目录 的斜杠开始，到所指定的文件为止。
例如在图10.1中，“/usr/bin/man”确 定了文件 man在文件系统中的位置。 (绝对路径)
Lustre文件系统资料
体系结构 - 总体模块结构图
Client File System(CFS) Ext2
VFS
Lustre llite LOV (logical object volume)
OSC OSC OSC
…
Ext3
LMV(logic metadata volume)
MDC
Portals
MDC
MDC
MDC
OSC
文件数据 文件元数据
文件数据布局策略 – (本地文件系统)
数据 数据 数据
多数据块
. . . 块号
. . . 块号、长度
块分配 分配器尝试分配顺序块
如Ext2 一级索引 二级索引辑偏移/长度/物理偏移三元 组 B+树
如：VxFS, JFS, reiserfs, xFS…
File System Ext3, Reiserfs，xFS
Fig Overview of mudular Luster
MDS
OST
体系结构—— Lustre子系统交互图
体系结构—— Lustre子系统交互图
Client同OST进行文件数据的交互，包括文件数据的 读写、对象属性的改变等. 同MDS进行元数据的交互，包括目录管理、命名空间 管理等 . OST负责对象数据的存储，将I/O数据保存到由它管 理的后端基于对象存储设备(OBD, Object Based Device)中 . MDS负责向客户端提供整个文件系统的元数据，管理 整个文件系统的全局命名空间，维护整个文件系统 的目录结构、用户权限，并负责维护文件系统的元 数据一致性
背景-- Lustre文件系统
第二章-linux文件系统PPT
在Linux系统中主要根据文件头信息来判断文件类型，Linux系统的文件类型
有：
•普通文件
文本文件内容可以直接读取，一般都是字母、 数字以及一些符号等。可以使用cat、vi命令直
•纯文本文件
接查看文件内容。
•目录文件
通常访问的文件，由ls –l命令显示出
•设备文件
来的属性中，第一个属性为 “-”
2.3 文件操作命令 显示文件内容命令 显示目录内容及更改目录命令 建立、删除文件命令 建立、删除目录命令 复制、移动命令 压缩备份命令 权限管理命令 Linux文件查找命令
Linux文件结构
•文件结构是文件存放在磁盘等存贮设备上的组织方法。主要体现在对文件和 目录的组织上。目录提供了管理文件的一个方便而有效的途径。 •Linux采用的是树型结构。最上层是根目录，其他的所有目录都是从根目录 出发而生成的。无论操作系统管理几个磁盘分区，这样的目录树只有一个。
Linux主要文件类型
选项：cat命令中的常用选项如下
选项 -n 或 – number
-b
-s
作用
由1开始对所有输出的行数编号
和-n 相似，只不过对于空白行不编号 当遇到有连续两行以上的空白行，就代换为
一行的空白行
显示文件内容命令
2. cat命令
例：查看/etc/network/interfaces文件内容，并对 所有输出行编号
建立、删除文件命令 例：在工作目录下，建立一个名为c-language的子目录
建立、删除文件命令
2. rmdir 命令
功能描述：删除空目录 语法：rmdir [选项] [目录名] 选项: -p :当子目录被删除后其父目录为空目录时，
也一同被删除
Linux文件系统PPT课件
34 = /dev/sdc2 第2个分区
...
10 char 非串口鼠标，各种杂项设备和特性
1 = /dev/psaux PS/2鼠标
135 = /dev/rtc
实时时钟(Real Time Clock)
13 char
核心输入设备 32 = /dev/input/mouse0 33 = /dev/input/mouse1
...
180 char USB 字符设备 96 = /dev/usb/hiddev0 第1个USB人机界面设备(鼠标/键盘/游戏杆/手写版等) ... 111 = /dev/usb/hiddev15 第16个USB人机界面设备
3 = /dev/null
空设备。任何写入都将被直接丢弃，任何读取都将得到EOF。
5 = /dev/zero
零字节源，只能读取到无限多的零字节。
8 = /dev/random 随机数发生器。完全由用户的输入来产生随机数。
如果用户停止所有动作，则停止产生新的随机数。
9 = /dev/urandom 更快，但是不够安全的随机数发生器。尽可能由用户的输入来产生 随机数，
1 = /dev/fb1
第2个帧缓冲设备
设备文件的命名ຫໍສະໝຸດ 89 charI2C 总线接口 0 = /dev/i2c-0 1 = /dev/i2c-1 ...
第1个 I2C 适配器 第2个 I2C 适配器
136-143
char
Unix98 PTY slave
这些设备节点是自动生成的(伴有适当的权限和模式)，不能手动创建。
4 char
TTY(终端)设备 0 = /dev/tty0 1 = /dev/tty1 ...
当前虚拟控制台 第1个虚拟控制台
Lustre详解
Lustre详解Lustre是一个大规模并行分布式文件系统，一般用于大规模集群计算。
名称Lustre是一个混成词来自L inux和CL USTER。
[1]可根据GNU GPL的，该项目提供了一个高性能的文件系统数万集群节点与PB级的存储容量。
Lustre文件系统的使用范围从小型工作组集群，以大规模，多站点集群计算机集群。
排名前30位的超级计算机在世界上使用Lustre文件系统，包括世界上最快的的15个，K电脑Top500超级计算机。
[ 2]Lustre文件系统，可以支持数万客户端系统，几十PB的存储和数以百计的每秒千兆字节（GB / S）的I / O吞吐量（ PBS）。
由于Lustre的高可扩展性，如互联网服务提供商，金融机构，以及石油和天然气行业部署Lustre文件系统在其数据中心的企业。
[3 ]历史Lustre文件系统架构的开发作为一个研究项目于1999年由Peter Braam，是一个高级系统科学家在卡耐基梅隆大学。
Braam去发现自己的公司集群文件系统，在2003年发布的Lustre 1.0。
2007年，Sun微系统收购集群文件系统公司[4][5]包括与Sun的意图带来的Lustre技术的好处，其高性能的硬件产品的Lustre ，ZFS文件系统和Solaris操作系统。
2008年11月，Braam离开Sun微系统的工作在另一个文件系统，离开Lustre的架构和开发的主管埃里克巴顿和安德烈亚斯狄杰。
甲骨文公司在2010年，其2010年收购Sun的方式，开始管理和发布的Lustre。
2010年4月，甲骨文公司宣布，它会限制支付新的Lustre 2.0部署到Oracle硬件，或经批准的第三方供应商提供的硬件支持。
[6]Lustre保持在GPL许可下提供给所有用户，和现有的Lustre 1.8的客户将继续从甲骨文的支持。
在2010年12月，甲骨文公司宣布停止Lustre的发展。
Lustre的1.8版本，放到维护只支持[7]围绕创建文件系统的未来发展的不确定性。
lustre文件系统简介PPT课件
• OSS负责客户端和物理存储之间的交互及数 据的存储 ，向外提供数据的 I/O接口
• 每个OSS管理一个或者多个OST，存储文件 数据对象
• Client通过OSS访问保存在OST上的文件数据
• Client挂载了Lustre文件系统的任意节点，实 现了可移植POSIX文件系统接口
• 用户通过client可以透明的访问整个文件系
• ldiskfs是Linux ext3和ext4文件系统 的超集，用在服务器端，作为底层 的本地文件系统
• 锁请求交由分布式锁管理器Ldlm处
9ቤተ መጻሕፍቲ ባይዱ
Lustre文件系统逻辑结构
2021/3/9
• 客户端节点的Llite模块主要 提供与支持标准可移植 POSIX语法的linux的VFS层 相兼容的接口；
• 分布式文件系统主要分为三大类：
– 网络文件系统（瓶颈在存储服务器端）
• NFS、Coda、Sprite LFS
– 存储区域网文件系统（瓶颈在元数据服务器）
• GPFS
– 基于对象的分布式文件系统
• Lustre、Google File System和 HDFS
2021/3/9
1
什么是Lustre
2021/3/9
11
Lustre客户端缓存机制
• Lustre在客户端的内存空间开辟一段缓存区， 客户端把首次访问的文件对象保存在自己 的高速缓存中，尽量减少与服务器的交互 次数，从而降低网络开销。
• 客户端执行文件读取操作时
– 1.向MDS发送元数据请求，获得元数据信息，
2021/3/9 并保存到客户端本地的高速缓存中；
• 基于对象存储的分布式文件系统 • 基于廉价的SATA磁盘驱动器构建超大规模存
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 每个OSS管理一个或者多个OST，存储文件数据 对象
• Client通过OSS访问保存在OST上的文件数据 • Client挂载了Lustre文件系统的任意节点，实现
了可移植POSIX文件系统接口 • 用户通过client可以透明的访问整个文件系统
的数据
• 客户端与MDS之间进行元数据的 交互、目录管理、文件的打开和 关闭、并发访问控制等。
储集群，不需要专门的硬件支持 • 支持大多数高速网络类型 • 高吞吐量、高扩展性和高性能 • 有效的数据管理机制、全局数据共享、失
效替代和系统可快速配置等功能
Lustre文件系统体系结构
• 元数据服务器 MDS(Meta Data Server) • 对象存储服务器 OSS(Object Storage Server) • 客户端(Client) • 元数据目标设备MDT(Meta Data Target) • 对象存储目标设备 OST(Object storage Target) • 连接这些组件的高速网络
Lustre客户端缓存一致性问题
一致性问题解决方法
• 并发写造成的不一致：
– 采用分布式锁管理机制LDLM，通过对元数据加意图锁， 对数据加范围锁，保证元数据并发操作的一致性
– 对长期占有锁资源的进程，采用锁回调callback机制释 放锁资源
• 读写读造成的不一致：
– 客户端对本地已经缓存过的文件进行再次访问时，仍 需要与MDS进行一次交互获得最新的元数据信息，之后 再和本地缓存的元数据信息进行比对
• OBDfilter模块主要实现Lustre和其运行 平台的高效通信，结合ldiskfs可以提供 应用层一般的文件操作接口
• ldiskfs是Linux ext3和ext4文件系统的超 集，用在服务器端，作为底层的本地 文件系统
• 锁请求交由分布式锁管理器Ldlm处理， 获得文件的范围锁
Lustre文件系统逻辑结构
• 客户端与OSS之间进行文件数 据的交互，包括文件I/O锁操作 和数据的读写等。
Lustre文件系统逻辑结构
• LNET责将这些信息送到实际的网络 传输线路中
• PTR-RPC负责处理三部分之间的RPC 请求与应答
• MDS模块将客户端请求进行分发
• 元数据请求交由日志模块Journal处 理，记录元数据操作日志
Lustre文件系统简介
• 分布式文件系统主要分为三大类：
– 网络文件系统（瓶颈在存储服务器端）
• NFS、Coda、Sprite LFS
– 存储区域网文件系统（瓶颈在元数据服务器）
• GPFS
– 基于对象的分布式文件系统
• Lustre、Google 和 HDFS
什么是Lustre
• 基于对象存储的分布式文件系统 • 基于廉价的SATA磁盘驱动器构建超大规模存
高能所的 Lustre 部署有四个特点： • (1) 元数据服务器 MDS 分为主从，但是无法在线备份和容错； • (2) 采用万兆以太网； • (3) 没有采用分片存储，一个文件仅存储在一个 OST 上； • (4) 存储设备采用廉价的SATA 盘，通过 RAID6 实现数据可靠性。
提问与解答环节
Questions And Answers
谢谢聆听
·学习就是为了达到一定目的而努力去干, 是为一个目标去 战胜各种困难的过程,这个过程会充满压力、痛苦和挫折
Learning Is To Achieve A Certain Goal And Work Hard, Is A Process To Overcome Various Difficulties For A Goal
元数据服务器MDS
• 负责元数据服务，同时管理整个文件系统 的命名空间
• 多个MDS之间共享访问一个MDT • 每个MDT保存文件元数据对象，例如文件名
称、目录结构和访问权限等 • Client通过MDS读取到保存于 MDT 上的元数
据
OSS 和Client
• OSS负责客户端和物理存储之间的交互及数据 的存储 ，向外提供数据的 I/O接口
• 客户端节点的Llite模块主要提供与支持 标准可移植POSIX语法的linux的VFS层相 兼容的接口；
• 逻辑对象卷LOV模块主要通过其下层的 对象存储客户端OSC为Llite提供对象存 储的API接口；
• 元数据客户端MDC模块主要被Llite用来 与元数据服务器进行通信，为用户提供 与各个元数据服务器进行命名空间操作 交互的元数据对象API接口；
• OSC模块主要用来与对象存储设备进行 文件数据I/O以及锁服务的交互，每一 个OSC都对应一个OST
ห้องสมุดไป่ตู้
Lustre的分布式锁管理者(LDLM)
• 意图锁：用于文件元数据的访问，通过执 行锁的意图减少元数据访问所需的消息传 递次数，从而减少每次操作的延迟
• 范围锁：保护细粒度的文件数据并发访问， 为所有用户提供一致性的文件系视图
Lustre客户端缓存机制
• Lustre在客户端的内存空间开辟一段缓存区，客户 端把首次访问的文件对象保存在自己的高速缓存中， 尽量减少与服务器的交互次数，从而降低网络开销。
• 客户端执行文件读取操作时
– 1.向MDS发送元数据请求，获得元数据信息，并保存到 客户端本地的高速缓存中；
– 2.客户端与相应的OST建立连接，将实际的文件数据读 入高速缓存，应用程序再从高速缓存中执行文件读取 操作。
• 将元数据操作由Fsfilt wrapper模块记 录在后端存储端
• 锁请求交由Ldlm处理，获得文件的 意图锁
• Fsflit定义了一个一般性API，从而将 Lustre特有的请求翻译为后端文件系 统特有的请求
Lustre文件系统逻辑结构
• OST模块主要将来自客户端的请求进行 分发，其中的数据请求交给OBDfilter 模块处理；
– 如果一致就从本地缓存中读取文件数据，否则就与相 应的OST建立连接重新获取文件数据
备份服务器Failover
• Lustre系统中的每个节点(MDS/OST)一般都可以配置备 份服务器
• 两个服务器采用共享磁盘存储的方式来存放数据 • 当服务器或网络连接发生失效时，就会导致客户端数
据访问超时，客户端会查询备份服务器的数据 • 得到信息后，立即将后续的请求重定向到备份服务器
• Client通过OSS访问保存在OST上的文件数据 • Client挂载了Lustre文件系统的任意节点，实现
了可移植POSIX文件系统接口 • 用户通过client可以透明的访问整个文件系统
的数据
• 客户端与MDS之间进行元数据的 交互、目录管理、文件的打开和 关闭、并发访问控制等。
储集群，不需要专门的硬件支持 • 支持大多数高速网络类型 • 高吞吐量、高扩展性和高性能 • 有效的数据管理机制、全局数据共享、失
效替代和系统可快速配置等功能
Lustre文件系统体系结构
• 元数据服务器 MDS(Meta Data Server) • 对象存储服务器 OSS(Object Storage Server) • 客户端(Client) • 元数据目标设备MDT(Meta Data Target) • 对象存储目标设备 OST(Object storage Target) • 连接这些组件的高速网络
Lustre客户端缓存一致性问题
一致性问题解决方法
• 并发写造成的不一致：
– 采用分布式锁管理机制LDLM，通过对元数据加意图锁， 对数据加范围锁，保证元数据并发操作的一致性
– 对长期占有锁资源的进程，采用锁回调callback机制释 放锁资源
• 读写读造成的不一致：
– 客户端对本地已经缓存过的文件进行再次访问时，仍 需要与MDS进行一次交互获得最新的元数据信息，之后 再和本地缓存的元数据信息进行比对
• OBDfilter模块主要实现Lustre和其运行 平台的高效通信，结合ldiskfs可以提供 应用层一般的文件操作接口
• ldiskfs是Linux ext3和ext4文件系统的超 集，用在服务器端，作为底层的本地 文件系统
• 锁请求交由分布式锁管理器Ldlm处理， 获得文件的范围锁
Lustre文件系统逻辑结构
• 客户端与OSS之间进行文件数 据的交互，包括文件I/O锁操作 和数据的读写等。
Lustre文件系统逻辑结构
• LNET责将这些信息送到实际的网络 传输线路中
• PTR-RPC负责处理三部分之间的RPC 请求与应答
• MDS模块将客户端请求进行分发
• 元数据请求交由日志模块Journal处 理，记录元数据操作日志
Lustre文件系统简介
• 分布式文件系统主要分为三大类：
– 网络文件系统（瓶颈在存储服务器端）
• NFS、Coda、Sprite LFS
– 存储区域网文件系统（瓶颈在元数据服务器）
• GPFS
– 基于对象的分布式文件系统
• Lustre、Google 和 HDFS
什么是Lustre
• 基于对象存储的分布式文件系统 • 基于廉价的SATA磁盘驱动器构建超大规模存
高能所的 Lustre 部署有四个特点： • (1) 元数据服务器 MDS 分为主从，但是无法在线备份和容错； • (2) 采用万兆以太网； • (3) 没有采用分片存储，一个文件仅存储在一个 OST 上； • (4) 存储设备采用廉价的SATA 盘，通过 RAID6 实现数据可靠性。
提问与解答环节
Questions And Answers
谢谢聆听
·学习就是为了达到一定目的而努力去干, 是为一个目标去 战胜各种困难的过程,这个过程会充满压力、痛苦和挫折
Learning Is To Achieve A Certain Goal And Work Hard, Is A Process To Overcome Various Difficulties For A Goal
元数据服务器MDS
• 负责元数据服务，同时管理整个文件系统 的命名空间
• 多个MDS之间共享访问一个MDT • 每个MDT保存文件元数据对象，例如文件名
称、目录结构和访问权限等 • Client通过MDS读取到保存于 MDT 上的元数
据
OSS 和Client
• OSS负责客户端和物理存储之间的交互及数据 的存储 ，向外提供数据的 I/O接口
• 客户端节点的Llite模块主要提供与支持 标准可移植POSIX语法的linux的VFS层相 兼容的接口；
• 逻辑对象卷LOV模块主要通过其下层的 对象存储客户端OSC为Llite提供对象存 储的API接口；
• 元数据客户端MDC模块主要被Llite用来 与元数据服务器进行通信，为用户提供 与各个元数据服务器进行命名空间操作 交互的元数据对象API接口；
• OSC模块主要用来与对象存储设备进行 文件数据I/O以及锁服务的交互，每一 个OSC都对应一个OST
ห้องสมุดไป่ตู้
Lustre的分布式锁管理者(LDLM)
• 意图锁：用于文件元数据的访问，通过执 行锁的意图减少元数据访问所需的消息传 递次数，从而减少每次操作的延迟
• 范围锁：保护细粒度的文件数据并发访问， 为所有用户提供一致性的文件系视图
Lustre客户端缓存机制
• Lustre在客户端的内存空间开辟一段缓存区，客户 端把首次访问的文件对象保存在自己的高速缓存中， 尽量减少与服务器的交互次数，从而降低网络开销。
• 客户端执行文件读取操作时
– 1.向MDS发送元数据请求，获得元数据信息，并保存到 客户端本地的高速缓存中；
– 2.客户端与相应的OST建立连接，将实际的文件数据读 入高速缓存，应用程序再从高速缓存中执行文件读取 操作。
• 将元数据操作由Fsfilt wrapper模块记 录在后端存储端
• 锁请求交由Ldlm处理，获得文件的 意图锁
• Fsflit定义了一个一般性API，从而将 Lustre特有的请求翻译为后端文件系 统特有的请求
Lustre文件系统逻辑结构
• OST模块主要将来自客户端的请求进行 分发，其中的数据请求交给OBDfilter 模块处理；
– 如果一致就从本地缓存中读取文件数据，否则就与相 应的OST建立连接重新获取文件数据
备份服务器Failover
• Lustre系统中的每个节点(MDS/OST)一般都可以配置备 份服务器
• 两个服务器采用共享磁盘存储的方式来存放数据 • 当服务器或网络连接发生失效时，就会导致客户端数
据访问超时，客户端会查询备份服务器的数据 • 得到信息后，立即将后续的请求重定向到备份服务器