分布式存储对象存储概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 性能优越。 • 扩展性很好。 • 成本低廉。
精选课件
9
对象存储 Object-Based Storage
精选课件
10
2.1 对象存储技术
• 对象存储是综合了NAS和 SAN的优点，同时具备了 SAN直接高速访问和NAS 的数据共享等优势。
• 提供了具有高性能，高 可用性，跨平台，以及 安全的数据共享的存储 体系结构。
存储接口
块
级
块
存
储
存储系统 块存储设备
优点
S如:AN , 提供高性 能的随机I/O和数据 吞吐率
缺点
可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU 规模的 系统
文
块存储设备 如:NAS, 扩展性好、 开销高、带宽低、延迟
件
文件
＋文件系统 易于管理、价格便宜 大,不利于高性能集群中
储
应用
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects
负责存储和查找对象， 27
3.6：Ceph 使用场景举例---Rados GW
RadosGW位于Librados 之上，它主要提供 RESTful接口并且兼容S3 、Swfit的接口。
精选课件
28
3.7：S3 使用案例
精选课件
29
3.8：性能检测
[root@cephclient ~]# rados bench -p cephfs_data 10 write -no-cleanup
精选课件
23
3.3: Ceph架构图
精选课件
底层Rados -- Ceph实现
分布式存储的根 本，所有存储接 口都是基于 Rados实现的
-- Rados本身 就是一个对象存 储接口，维护了 一个集群状态和 实现了数据分发 的要求
24
(2)基础库librados -- 对RADOS进行抽象和封
目前主流的存储方式
精选课件
7
1.5:分布式存储历程.分布式存储
• 性能优越。 • 扩展性很好。 • 成本低廉。
缺点： • 平台稳定性需要考
虑。 • 技术支持的问题。
精选课件
8
1.6:分布式存储优势
个人理解分布式存储就是多台横向连接的计算机同时 运行，共同处理完成同一件client的应用工作请求任 务。可灵活的增加，或减少节点，
更高的上层接口，分别对应 对象存储、块存
储和文件存储。
精选课件
（4）应用层 这一层就是不同场景下对 于Ceph各个应用接口的 各种应用方式，例如基于 librados直接开发的对象 存储应用，基于RADOS GW开发的对象存储应用 ，基于RBD实现的云硬盘 等等。
25
3.4: 传统 VS ceph
分布式存储对象存储 --CEPH概述
精选课件
1
分布式存储 对象存储 CEPH
精选课件
2
分布式存储系统
精选课件
3
1.1:分布式存储历程.DAS
用于操作系统和应用程 序的本地存储。
缺点：
• 1对1，单点
• 数据无法再服务器之 间共享。
精选课件
4
1.2:分布式存储历程.SAN
• 多对1。 • 数据大集中在SAN存储。
精选课件
11
2.2 对象存储解释优 势
对象存储就是分布式系统，也可理解为依托于分布式存储架 构的一个特性，高级功能
1）传统的块存储读写快而不利于共享， 2 ）文件存储读写慢但利于共享 对象存储则集成二者优点，是一个利于共享、读写快的“云 存储”技术。作为一种分布式存储，最重要的一点是能解决 对非结构化数据快速增长带来的问题。
存
对
块存储设备 支持高并行性、可伸 处于发展阶段,相应的硬
象 对象
＋文件系统 缩的数据访问, 管理 件、软件支持有待进一
存 储
＋定位逻辑 ＋应用程序
性好、安全性高、适 步完善 合高性能集群使用
精选课件
20
CEPH概述
精选课件
21
3.1：ceph简介
企业级存储产品的需求
精选课件
22
3.2: Ceph可提供：
传统：
Ceph:
精选课件
26
3.5: Rቤተ መጻሕፍቲ ባይዱdos组件
-- Monitor: 维护集群的 成员和状态(cluster map) ，提供强一致性 的决策
-- MDS metdata数据服 务器
-- OSD: 每一个disk、
SSD或者RAID group或者
其他一个物理存储设备
都成为一个OSD，主要
精选课件
精选课件
12
2.3 对象存储结构
精选课件
13
精选课件
14
2.4 对象存储组件
• 对象(Object) 包含了文件数据以及相关的属性信息，可以进行自我管理
• OSD（Object-based Storage Device) 一个智能设备，OSD 为存储对象数据的设备， 它是一个智能设备，包
括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件 • MDS 元数据服务器(Metadata Server)
• 跨平台数据共享：由于在对象存储系统上部署基于 对象的分布式文件系统比较容易，所有能够实现不 同平台下的设备和数据的共享。
• 可伸缩性：对象存储模式具有分布式结构的特性。
由于OSD 是独立的智能设备，可以通过增加OSD 数
量，使存储系统的聚合I/O 带宽、存储容量和处理
精选课件
19
2.9：与传统存储的对比：
装，并向上层提供API，以便 直接基于RADOS（而不是整 个Ceph）进行应用开发
(3)高层应用接口
-- 这一层包括了三个部分：RADOS GW（
RADOS Gateway）、 RBD（Reliable Block
Device）和Ceph FS（Ceph File System），
其作用是在librados库的基础上提供抽象层次
缺点： • 性能好 • 横向扩展 性受限。 • 不能共享。 • 成本高
精选课件
5
1.3:分布式存储历程.NAS
• 实现不同服务器之间传 统文件系统数据共享。
• 多对1。 • 数据集中。
缺点： • 多台服务器不能同时访
问修改，性能有限 • 横向扩展 性受限。 • 成本高
精选课件
6
1.4: NAS.SAN网络存储方 式
系统提供元数据、Cache一致性等服务
精选课件
15
2.5：传统存储数据存储过 程
传统文件储存过程。
精选课件
16
2.6：对象存储数据储存过 程
对象文件储存过程。
精选课件
17
2.7：Inodes vs Objects
精选课件
18
2.8：对象存储模式用于海量数据存储的优势：
• 高性能数据存储：访问节点有独立的数据通路和元 数据访问通路，可以对多个OSD 进行并行访问
精选课件
9
对象存储 Object-Based Storage
精选课件
10
2.1 对象存储技术
• 对象存储是综合了NAS和 SAN的优点，同时具备了 SAN直接高速访问和NAS 的数据共享等优势。
• 提供了具有高性能，高 可用性，跨平台，以及 安全的数据共享的存储 体系结构。
存储接口
块
级
块
存
储
存储系统 块存储设备
优点
S如:AN , 提供高性 能的随机I/O和数据 吞吐率
缺点
可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU 规模的 系统
文
块存储设备 如:NAS, 扩展性好、 开销高、带宽低、延迟
件
文件
＋文件系统 易于管理、价格便宜 大,不利于高性能集群中
储
应用
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects
负责存储和查找对象， 27
3.6：Ceph 使用场景举例---Rados GW
RadosGW位于Librados 之上，它主要提供 RESTful接口并且兼容S3 、Swfit的接口。
精选课件
28
3.7：S3 使用案例
精选课件
29
3.8：性能检测
[root@cephclient ~]# rados bench -p cephfs_data 10 write -no-cleanup
精选课件
23
3.3: Ceph架构图
精选课件
底层Rados -- Ceph实现
分布式存储的根 本，所有存储接 口都是基于 Rados实现的
-- Rados本身 就是一个对象存 储接口，维护了 一个集群状态和 实现了数据分发 的要求
24
(2)基础库librados -- 对RADOS进行抽象和封
目前主流的存储方式
精选课件
7
1.5:分布式存储历程.分布式存储
• 性能优越。 • 扩展性很好。 • 成本低廉。
缺点： • 平台稳定性需要考
虑。 • 技术支持的问题。
精选课件
8
1.6:分布式存储优势
个人理解分布式存储就是多台横向连接的计算机同时 运行，共同处理完成同一件client的应用工作请求任 务。可灵活的增加，或减少节点，
更高的上层接口，分别对应 对象存储、块存
储和文件存储。
精选课件
（4）应用层 这一层就是不同场景下对 于Ceph各个应用接口的 各种应用方式，例如基于 librados直接开发的对象 存储应用，基于RADOS GW开发的对象存储应用 ，基于RBD实现的云硬盘 等等。
25
3.4: 传统 VS ceph
分布式存储对象存储 --CEPH概述
精选课件
1
分布式存储 对象存储 CEPH
精选课件
2
分布式存储系统
精选课件
3
1.1:分布式存储历程.DAS
用于操作系统和应用程 序的本地存储。
缺点：
• 1对1，单点
• 数据无法再服务器之 间共享。
精选课件
4
1.2:分布式存储历程.SAN
• 多对1。 • 数据大集中在SAN存储。
精选课件
11
2.2 对象存储解释优 势
对象存储就是分布式系统，也可理解为依托于分布式存储架 构的一个特性，高级功能
1）传统的块存储读写快而不利于共享， 2 ）文件存储读写慢但利于共享 对象存储则集成二者优点，是一个利于共享、读写快的“云 存储”技术。作为一种分布式存储，最重要的一点是能解决 对非结构化数据快速增长带来的问题。
存
对
块存储设备 支持高并行性、可伸 处于发展阶段,相应的硬
象 对象
＋文件系统 缩的数据访问, 管理 件、软件支持有待进一
存 储
＋定位逻辑 ＋应用程序
性好、安全性高、适 步完善 合高性能集群使用
精选课件
20
CEPH概述
精选课件
21
3.1：ceph简介
企业级存储产品的需求
精选课件
22
3.2: Ceph可提供：
传统：
Ceph:
精选课件
26
3.5: Rቤተ መጻሕፍቲ ባይዱdos组件
-- Monitor: 维护集群的 成员和状态(cluster map) ，提供强一致性 的决策
-- MDS metdata数据服 务器
-- OSD: 每一个disk、
SSD或者RAID group或者
其他一个物理存储设备
都成为一个OSD，主要
精选课件
精选课件
12
2.3 对象存储结构
精选课件
13
精选课件
14
2.4 对象存储组件
• 对象(Object) 包含了文件数据以及相关的属性信息，可以进行自我管理
• OSD（Object-based Storage Device) 一个智能设备，OSD 为存储对象数据的设备， 它是一个智能设备，包
括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件 • MDS 元数据服务器(Metadata Server)
• 跨平台数据共享：由于在对象存储系统上部署基于 对象的分布式文件系统比较容易，所有能够实现不 同平台下的设备和数据的共享。
• 可伸缩性：对象存储模式具有分布式结构的特性。
由于OSD 是独立的智能设备，可以通过增加OSD 数
量，使存储系统的聚合I/O 带宽、存储容量和处理
精选课件
19
2.9：与传统存储的对比：
装，并向上层提供API，以便 直接基于RADOS（而不是整 个Ceph）进行应用开发
(3)高层应用接口
-- 这一层包括了三个部分：RADOS GW（
RADOS Gateway）、 RBD（Reliable Block
Device）和Ceph FS（Ceph File System），
其作用是在librados库的基础上提供抽象层次
缺点： • 性能好 • 横向扩展 性受限。 • 不能共享。 • 成本高
精选课件
5
1.3:分布式存储历程.NAS
• 实现不同服务器之间传 统文件系统数据共享。
• 多对1。 • 数据集中。
缺点： • 多台服务器不能同时访
问修改，性能有限 • 横向扩展 性受限。 • 成本高
精选课件
6
1.4: NAS.SAN网络存储方 式
系统提供元数据、Cache一致性等服务
精选课件
15
2.5：传统存储数据存储过 程
传统文件储存过程。
精选课件
16
2.6：对象存储数据储存过 程
对象文件储存过程。
精选课件
17
2.7：Inodes vs Objects
精选课件
18
2.8：对象存储模式用于海量数据存储的优势：
• 高性能数据存储：访问节点有独立的数据通路和元 数据访问通路，可以对多个OSD 进行并行访问