对象存储技术

A Lustre Cluster
Lustre Systems
• Clients
– 1000’s now, 10,000’s future – Obtain access to Lustre file system – Typical role: Linux compute server
• OSS
对象存储技术
网络存储需要解决的主要问题
• 随着网络技术的发展，网络化存储逐渐成为主流 随着网络技术的发展， 技术。其需要解决的主要问题如下： 技术。其需要解决的主要问题如下：
–提供高性能存储，在I/O级和数据吞吐率方面能满足成 提供高性能存储， I/O级和数据吞吐率方面能满足成 提供高性能存储 百上千台集群服务器访问请求； 百上千台集群服务器访问请求； –提供安全的共享数据访问，便于集群应用程序的编写 提供安全的共享数据访问， 提供安全的共享数据访问 和存储的负载均衡； 和存储的负载均衡； –提供强大的容错能力，确保存储系统的高可用性。 提供强大的容错能力，确保存储系统的高可用性。 提供强大的容错能力
Lustre Retrospective
• 1999 Initial ideas @CMU • Seagate: management aspects, prototypes
– Much survives today
• 2000 National Labs
– Can Lustre be next generation FS?
• Very high metadata and I/O performance
– 5,000 file creations/sec in 1 dir, 1,000 nodes – Single clients up to 290MB/sec. – Aggregate up to 11GB/sec
• Scalable to 1,000’s of nodes • In production now on such clusters
– 为客户端提供认证
• 为了增强系统的安全性，MDS为客户端提供认证方 式。OSD将依据MDS的认证来决定是否为客户端提 供服务。
5. 网络连接
网络连接是对象存储系统的重要组成 部分。它将客户端、 连接起来， 部分。它将客户端、MDS和OSD连接起来， 和 连接起来 构成了一个完整的系统。
对象存储与传统存储的对比
文件系统读访问实例： 文件系统读访问实例：
1) 客户端应用发出读请求 客户端应用发出读请求; 2) 文件系统向元数据服务器发送请求，获取要读取 文件系统向元数据服务器发送请求， 的数据所在的OSD; 的数据所在的 3) 然后直接向每个 然后直接向每个OSD发送数据读取请求； 发送数据读取请求； 发送数据读取请求 4) OSD得到请求以后，判断要读取的Object，并 得到请求以后，判断要读取的 得到请求以后 ， 根据此Object要求的认证方式，对客户端进行 要求的认证方式， 根据此 要求的认证方式 认证，如果此客户端得到授权，则将Object的 认证，如果此客户端得到授权，则将 的 数据返回给客户端； 数据返回给客户端； 5) 文件系统收到 文件系统收到OSD返回的数据以后，读操作完 返回的数据以后， 返回的数据以后 成。
4.元数据服务器 4.元数据服务器 (Metadata Server)
为客户端提供元数据，主要是文件的逻辑视 图，包括文件与目录的组织关系、每个文 件所对应的OSD等。
4.元数据服务器 4.元数据服务器 (Metadata Server)
• 在传统的文件系统中，元数据由本机或者文件服 务器负责维护，每次对数据块的操作都要Hale Waihona Puke Baidu取元 数据。 • 在对象存储系统中，由于每次操作只有一次对元 在对象存储系统中， 数据的访问，具体的数据传输都由OSD和客户端 数据的访问，具体的数据传输都由 和客户端 通过直接连接进行，大大减少了元数据的操作， 通过直接连接进行，大大减少了元数据的操作， 降低了元数据服务器的负担， 降低了元数据服务器的负担，从而为系统的扩展 提供了可能性。 提供了可能性。
– 100’s now, 1000’s future – Object storage servers – Linux servers handling (stripes of) file data
• MDS
– 10‘s, 100’s nodes – Metadata request transaction engine. – Linux server handling metadata requests
• 100 GB/sec, trillion files, 10,000’s clients, secure, PBs
• 2002 – 2003
– Many partners: Dell, HP, Cray, LNXI, DDN others – Production use, 1.0 released
• 文件系统
– 文件系统运行在客户端上，将应用程序的文件系统请 求传输到MDS和OSD上
• 元数据服务器 元数据服务器(Metadata Server，MDS) ，
– 系统提供元数据、Cache一致性等服务
• 网络连接
1. 对象(Object) 对象(Object)
对象存储的基本单元。每个Object是数据和数据 属性集的综合体。数据属性可以根据应用的需求 进行设置，包括数据分布、服务质量等。在传统 的存储中，块设备要记录每个存储数据块在设备 上的位置。Object维护自己的属性，从而简化了 存储系统的管理任务，增加了灵活性。Object的 大小可以不同，可以包含整个数据结构，如文件、 数据库表项等。
数据存储和安全访问
OSD使用Object对所保存的数据进行管理。 OSD使用Object对所保存的数据进行管理。它将数据存 使用Object对所保存的数据进行管理 放到磁盘的磁道和扇区， 放到磁盘的磁道和扇区，将若干磁道和扇区组合起来 构成Object 并且通过此Object Object， Object向外界提供对数据的 构成Object，并且通过此Object向外界提供对数据的 访问。每个Object同传统的文件相似， Object同传统的文件相似 访问。每个Object同传统的文件相似，使用同文件类 似的访问接口，包括Open Read、Write等 Open、 似的访问接口，包括Open、Read、Write等。但是两者 并不相同，每个Object可能包括若干个文件， Object可能包括若干个文件 并不相同，每个Object可能包括若干个文件，也可能 是某个文件的一部分，且是独立于操作系统的。 是某个文件的一部分，且是独立于操作系统的。除了 具体的用户数据外，OSD还记录了每个Object的属性信 还记录了每个Object 具体的用户数据外，OSD还记录了每个Object的属性信 主要是物理视图信息。将这些信息放到OSD OSD上 息，主要是物理视图信息。将这些信息放到OSD上，大 大减轻了元数据服务器的负担， 大减轻了元数据服务器的负担，增强了整个存储系统 的并行访问性能和可扩展性。 的并行访问性能和可扩展性。
4.元数据服务器 4.元数据服务器 (Metadata Server)
• 特点
– 客户端采用 客户端采用Cache来缓存数据 来缓存数据
• 当多个客户端同时访问某些数据时，MDS提供分布的 当多个客户端同时访问某些数据时，MDS提供分布的 锁机制来确保Cache的一致性。 Cache的一致性 锁机制来确保Cache的一致性。
如:NAS, 扩展性好、 开销高、带宽低、延迟 扩展性好、 开销高、带宽低、 易于管理、 易于管理、价格便宜 大,不利于高性能集群中 应用
对象
块存储设备 ＋文件系统 ＋定位逻辑 ＋应用程序
支持高并行性、 处于发展阶段, 支持高并行性、可伸 处于发展阶段,相应的硬 缩的数据访问, 缩的数据访问, 管理 件、软件支持有待进一 性好、安全性高、 性好、安全性高、适 步完善 合高性能集群使用
对象分类
2、OSD（Object-based Storage Device) OSD（Object每个OSD都是一个智能设备，具有自己的存储介 质、处理器、内存以及网络系统等，负责管理本 地的Object，是对象存储系统的核心。OSD同块 设备的不同不在于存储介质，而在于两者提供的 访问接口。
OSD的主要功能 OSD的主要功能
对象存储结构
传统块存储与对象存储
对象存储结构
传统的访问层次和虚拟数据访问模型
对象存储结构
对象存储系统组成
• 对象 对象(Object)
– 包含了文件数据以及相关的属性信息，可以进行自我 管理
• OSD（Object-based Storage Device) （
– 一个智能设备，是Object的集合
Key Design Issue : Scalability
• I/O throughput
– How to avoid bottlenecks
• Metadata scalability
– How can 10,000’s of clients work on files in same folder
• Cluster Recovery
– If sth fails, how can transparent recovery happen
• Management
– Adding, removing, replacing, systems; data migration & backup
Reference
3、文件系统
文件系统对用户的文件操作进行解释， 文件系统对用户的文件操作进行解释，并在元数 据服务器和OSD间通信，完成所请求的操作。 间通信， 据服务器和 间通信 完成所请求的操作。
现有的应用对数据的访问大部分都是通过POSIX文 现有的应用对数据的访问大部分都是通过POSIX文 POSIX 件方式进行的， 件方式进行的，对象存储系统提供给用户的也是标准 POSIX文件访问接口 文件访问接口。 的POSIX文件访问接口。 接口具有和通用文件系统相同的访问方式， 接口具有和通用文件系统相同的访问方式，同时为 了提高性能，也具有对数据的Cache功能和文件的条带 了提高性能，也具有对数据的Cache功能和文件的条带 Cache 功能。 功能。 同时，文件系统必须维护不同客户端上Cache Cache的一 同时，文件系统必须维护不同客户端上Cache的一 致性， 致性，保证文件系统的数据一致
对象存储的特性（总结） 对象存储的特性（总结）
• • • • •
性能优势 存储设备的智能化 数据的共享更容易 管理更方便 更好的安全性
对象存储系统实例：Lustre 对象存储系统实例：
• A shared file system for HPC clusters
– Open Source software (GPL) – linux cluster
存储接口 块 级 存 储 存储系统 优点 如: SAN , 提供高 性能的随机I/O I/O和数 性能的随机I/O和数 据吞吐率 缺点 可扩展性和可管理性较 价格较高、 差、价格较高、不能满 足成千上万CPU 足成千上万CPU 规模的 系统
块
块存储设备
文 件 储 存 对 象 存 储
文件
块存储设备 ＋文件系统
主流网络存储结构的问题
• 存储区域网（SAN）： 存储区域网（ ）：
– 高性能 – 容错性 – 安全共享？ 安全共享？
• 附网存储（NAS）： 附网存储（ ）：
– 扩展性 – 共享 – 性能？ 性能？
对象存储结构
对象存储（Object-Based Storage, OBS)综合 对象存储（ ) NAS和SAN的优点 同时具有SAN 的优点， SAN的高速直接访问 了NAS和SAN的优点，同时具有SAN的高速直接访问 NAS的数据共享等优势 提供了具有高性能、 的数据共享等优势， 和NAS的数据共享等优势，提供了具有高性能、高 可靠性、 可靠性、跨平台以及安全的数据共享的存储体系 结构。 结构。