分布式存储对象存储概述ppt课件
云计算——分布式存储 ppt课件
5.1.3 分布式存储的发展历史
4．21世纪的代表：Cassandra、HBase、MongoDB、DynamoDB （3） MongoDB：文档型数据库同键值（Key-Value）型的数据 库类似，是键值型数据库的升级版，允许嵌套键值，Value值是 结构化数据，数据库可以理解Value的内容，提供复杂的查询， 类似于RDBMS的查询条件。 （4） DynamoDB：Amazon公司的一个分布式存储引擎，是一 个经典的分布式Key-Value存储系统，具备去中心化、高可用性、 高扩展性的特点。
• 大型数据中心在数据存储和数据访问方面有着与先前的应用非常不同 的需求特征，主要包括：数据量庞大、访问的并发度高、文件数量巨 大、数据访问语义和访问接口不同于传统的文件系统、数据共享与数 据安全的保障越来越重要等。
28
云计算——分布 式存储
阶段
产生的技术 背景
负载特征
单机文件系统
分时操作系统 多用户共享 磁盘
• 为解决UNIX文件系统I/O性能低的问题，先后出现了1984年的快速文 件系统（Fast ，FFS）和1992年的日志结构文件系统（Log-Structured File，LFS）。
• 20世纪90年代至今，出现了很多单机文件系统。包括SGI公司于1994 年发布的XFS，以及Sun公司于2004年发布的ZFS。
24
云计算——分布式存储
• NFS（Network ，网络文件系统）由Sun公司在1984年开发，被认为是 第一个广泛应用的现代网络文件系统。NFS的设计目标是提供跨平台 的文件共享系统。由于NFS的实现和设计思想都相对简单，该协议很 快被纳入到RFC标准，并开始大量应用。然而，NFS单一服务器的结 构也决定了它的扩展性有限。
分布式对象存储的概念及原理
分布式对象存储的概念及原理分布式对象存储（Distributed Object Storage）是一种以对象为单位存储和管理数据的分布式存储系统。
与传统的文件系统或块存储系统不同，分布式对象存储是基于对象的访问模式，每个对象都有一个唯一的标识符和相关的元数据。
分布式对象存储系统由多个节点组成，每个节点都运行在不同的物理服务器上。
每个节点都负责存储和管理一部分数据，形成一个分布式的存储网络。
用户可以通过网络接口（如HTTP或API）访问和操作存储在对象存储系统中的对象。
1.**可扩展性**：分布式对象存储系统可以根据需要无限扩展，通过添加更多的节点来增加存储容量和处理能力。
系统可以自动将数据分散到新节点上，实现均衡负载和不间断的扩展。
2.**容错性**：分布式对象存储系统通过数据冗余和副本机制来提高数据的容错性。
数据会被分散存储在多个节点上，当一些节点发生故障时，系统可以自动修复或重新分配数据，保证数据的可用性和持久性。
3. **数据一致性**：分布式对象存储系统需要保证数据的一致性和一致性模型。
通常采用分布式一致性协议来协调多个节点之间的数据一致性，如Paxos、Raft或分布式事务等。
4.**性能优化**：分布式对象存储系统通过数据分片、数据局部性和负载均衡等策略来提高系统的性能和效率。
数据分片可以并行处理和存储，提高数据的读写速度。
数据局部性可以将访问频率较高的数据存储在靠近用户的节点上，减少数据的网络传输时间。
5.**元数据管理**：每个对象都有相关的元数据，如对象的标识符、大小、创建时间、访问权限等。
分布式对象存储系统需要提供有效的元数据管理机制，保证元数据的可靠性和一致性。
分布式对象存储系统的应用场景非常广泛，特别适用于大规模数据的存储和处理。
它可以用于云存储、大数据分析、备份和灾难恢复、内容分发等领域。
与传统的存储系统相比，分布式对象存储系统具有更高的可用性、可扩展性和弹性，可以适应不断增长的数据量和访问需求。
分布式对象存储概念
分布式对象存储概念分布式对象存储（Distributed Object Storage）是一种用于存储和管理大规模数据的技术。
它通过将数据分散存储在多个节点上，实现了高可用性、高性能和可扩展性。
在分布式对象存储系统中，数据被切分成小块，并以对象的形式存储在不同的节点上，每个对象都有一个唯一的标识符。
分布式对象存储系统的核心思想是将数据分散存储在多个节点上，以提高数据的可用性和性能。
与传统的集中式存储系统相比，分布式对象存储系统具有以下几个特点：1. 高可用性：分布式对象存储系统将数据复制到多个节点上，当某个节点发生故障时，系统可以自动切换到其他可用节点，保证数据的可用性。
2. 高性能：分布式对象存储系统可以将数据并行存储和读取，提高数据的访问速度。
同时，系统可以根据数据的访问模式和负载情况，动态调整数据的分布和复制策略，进一步提高性能。
3. 可扩展性：分布式对象存储系统可以根据需求动态扩展存储容量和计算资源。
当数据量增加时，可以通过增加节点来扩展存储容量；当访问负载增加时，可以通过增加计算资源来提高性能。
4. 数据一致性：分布式对象存储系统通过采用一致性哈希算法或副本一致性协议，保证数据的一致性。
当数据写入系统时，系统会将数据复制到多个节点上，并通过一致性协议来保证数据的一致性。
5. 数据安全性：分布式对象存储系统通过数据加密、访问控制和数据备份等手段，保证数据的安全性。
同时，系统还可以提供数据的冗余备份和容灾功能，以应对节点故障和数据丢失的情况。
分布式对象存储系统通常由多个存储节点和一个元数据服务组成。
存储节点负责存储和管理数据，而元数据服务负责管理对象的元数据信息，包括对象的标识符、位置和访问权限等。
当用户需要访问数据时，可以通过元数据服务获取对象的位置信息，并直接访问存储节点获取数据。
在实际应用中，分布式对象存储系统被广泛应用于云存储、大数据分析和内容分发网络等领域。
它可以提供高可用性、高性能和可扩展性的存储服务，满足不同应用场景的需求。
分布式对象存储，块存储，文件存储minio，ceph,glusterfs,openstac。。。
分布式对象存储，块存储，⽂件存储minio，ceph,glusterfs,openstac。
对象存储不是什么新技术了，但是从来都没有被替代掉。
为什么？在这个⼤数据发展迅速地时代，数据已经不单单是简单的⽂本数据了，每天有⼤量的图⽚，视频数据产⽣，在短视频⽕爆的今天，这个数量还在增加。
有数据表明，当今世界产⽣的数据，有80%是⾮关系型的。
那么，对于图⽚，视频等数据的分析可以说是⼤数据与⼈⼯智能的未来发展⽅向之⼀。
但是如何存储这些数据呢？商⽤云⽅案往往价格昂贵，⽽传统的⼤数据解决⽅案并不能充分⽀撑图⽚，视频数据的存储与分析。
本⽂将详细的介绍开源的对象存储解决⽅案Minio的部署与实践，⽂章将分为以下⼏部分进⾏介绍。
本⽂基于2021年10⽉Minio最新版本整理，后续⽂档更新，请关注⼤数据流动⽂档版权所有公众号⼤数据流动，请勿做商⽤，如需转载与作者独孤风联系。
1、对象存储从本质上讲，对象存储是⼀种数据存储架构，允许以⾼度可扩展的⽅式存储⼤量⾮结构化数据。
如今，我们需要在关系或⾮关系数据库中存储的可不仅仅是简单的⽂本信息。
数据类型包括电⼦邮件、图像、视频、⽹页、⾳频⽂件、数据集、传感器数据和其他类型的媒体内容。
也就是⾮结构化的数据。
区别于传统的存储，对象存储⾮常适合图⽚视频等数据的存储。
这⾥就不得不提到另外两种存储⽅式。
⽂件存储 vs 块存储 vs 对象存储⽂件存储是⽹络附加存储，其中数据存储在⽂件夹中。
当需要访问⽂件时，计算机必须知道找到它的完整路径。
块存储将数据保存在原始块中，与⽂件存储不同，它可以通过存储区域⽹络访问，低延迟⾼性能，⼀般⽤于数据库相关操作。
很明显，⽂件存储便于共享，但是性能很差。
块存储性能好，但是⽆法灵活的共享。
那么，有没有⼀种⽅案可以兼顾呢？对象存储对象存储是⼀种全新体系结构，其中每个⽂件都保存为⼀个对象，并且可以通过 HTTP 请求访问它。
这种类型的存储最适合需要管理⼤量⾮结构化数据的场景。
存储技术入门介绍ppt课件
12
12
2.1Raid相关技术
Raid产生的原因
• CPU运算速度飞速 提高，数据读写速 度不应该成为计算 机系统处理的瓶颈
容量
性能
可靠性
• 计算机发展初期， 大容量硬盘价格非 常高，而需要存储 的数据量越来越大
13
• 信息时代，数据对 企业和个人的重要 性越来越大，数据 存储安全更需要保 障
RAID
•JBOD：AS300J、AS500J、FF4G16
•单控制器阵列：如AS300N-M1、AS500N2-M2、AS500N6
•双控制器阵列：如AS500G、AS500E、AS500H、 AS600G3、AS1000G3、AS1000G6、AS2000
按主机接口的类型分
•FC阵列：AS500E、AS500G、AS600G3、 AS1000G3、AS1000G6、AS2000
4、存储系统的产品组成 5、存储应用
5.1 存储前端应用技术介绍 5.2 存储发展趋势及相关热点 5.3 存储应用方案简析
11
11
2.1Raid相关技术
RAID基本概念——定义
RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵 列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而 提高了硬盘的读写性能和数据安全性
存储连接设备
✓光纤HBA卡 ✓SAS RAID卡 ✓SCSI卡 ✓光纤交换机 ✓光纤连接线缆
6
存储软件
存储内置软件
✓存储管理软件 ✓数据镜像软件 ✓数据复制软件 ✓路径冗余软件 ✓数据快照软件
其他存储软件
✓双机高可用 ✓存储虚拟化 ✓数据备份容灾 ✓数据归档 ✓数据迁移
分布式对象存储的概念及原理
分布式对象存储的概念及原理分布式对象存储（Distributed Object Storage）是一种数据存储和访问的方式，它将数据对象分散存储在多个节点上，通过网络进行访问和传输。
每个节点都可以是一个独立的服务器，它们共同协作以提供高可用性、可伸缩性和容错性。
分布式对象存储的概念包括以下几个要点：1. 对象存储：与传统的文件存储和块存储不同，对象存储不以文件或块为单位，而是将数据保存为对象。
每个对象都有一个唯一的标识符（通常是一个全局唯一的ID），并且包含一系列元数据和实际数据。
2. 分布式存储：数据对象在存储时被分割成多个片段，并分散存储在多个节点上。
这种分布式存储方式可以提供更好的性能和容量扩展性，以及容错和高可用性。
3. 高可用性：当一个节点发生故障时，其他节点可以接替其服务，确保数据的可访问性。
通常采用数据冗余和复制的方法来实现高可用性。
4. 可伸缩性：分布式对象存储可以方便地扩展，可以根据数据量的变化增加或减少节点的数量来满足需求，而无需对整个系统进行大规模的改变或迁移。
5. 容错性：分布式对象存储采用多重备份、数据校验和冗余存储等机制，可以容忍节点故障和数据损坏，从而保证数据的完整性和可恢复性。
分布式对象存储的原理涉及以下几个方面：1. 数据切分和分片：将大规模的数据对象切分成较小的数据片段，同时生成数据片段的散列或索引，用于标识和定位数据片段。
分片的目的是将数据均匀地分布在多个节点上，以实现负载均衡和数据并行访问。
2. 元数据管理：每个数据对象都有一系列的元数据，包括对象的唯一标识符、所在节点的地址、数据片段的位置等。
元数据管理负责维护和查询这些元数据，并提供对象的查找和定位服务。
3. 数据复制和冗余：为了提供数据的高可用性和容错性，分布式对象存储通常采用数据复制和冗余的机制。
即将数据片段复制到多个节点上，并进行数据校验，以保证数据的完整性和可恢复性。
4. 数据访问和传输：用户通过网络访问分布式对象存储系统，可以根据对象的唯一标识符定位并获取数据对象。
分布式存储对象存储概述
分布式存储对象存储概述在传统的存储架构中，数据通常被分割成块并存储在一组服务器上。
这种方式存在一些问题，例如，单个服务器的故障可能导致数据的丢失或不可用，并且当数据量增加时，系统性能可能会下降。
而分布式存储对象存储通过将数据存储为对象（Object）来解决这些问题。
对象是一个独立的实体，它包含了数据本身以及与之相关的元数据。
每个对象都有一个唯一的标识符，可以用来访问和管理。
对象存储提供了一个高级别的接口，可以让用户方便地存储和检索对象，而不需要关心底层存储的细节。
分布式存储对象存储架构通常由多个存储节点组成，每个节点都有自己的存储空间和计算资源。
这些节点通过高速网络连接在一起，形成一个分布式存储系统。
数据被划分成对象，并根据其唯一标识符进行散列，在不同的节点上进行存储。
这种方式可以实现数据的冗余存储，提高系统的可靠性和容错能力。
分布式存储对象存储采用了一种名为“数据分散存储”的策略，这种策略可以确保数据在存储节点上均匀分布。
当用户请求访问一些对象时，系统会根据对象的标识符找到对应的存储节点，并从该节点上检索数据。
由于数据是分散存储的，系统可以并行地从多个节点上检索数据，提高了系统的性能和吞吐量。
分布式存储对象存储还具有可扩展性的优势。
当需要扩展存储容量时，只需要添加新的存储节点即可，系统会自动将数据重新分布到新的节点上。
这种方式可以避免传统存储架构中的单点故障问题，并且可以根据需求灵活调整存储容量。
除了可靠性和可扩展性，分布式存储对象存储还具有更好的性能。
由于数据被并行地存储和检索，并且系统具有高速网络连接，可以提供更快的数据读写速度。
此外，分布式存储对象存储可以通过数据分散存储和数据副本技术来提供更好的数据访问性能。
总的来说，分布式存储对象存储是一种新兴的存储架构，它可以提供更高的可靠性、可扩展性和性能。
它适用于存储大量数据的场景，例如云计算、大数据分析和物联网等。
随着技术的不断进步，分布式存储对象存储将会在未来得到更广泛的应用和发展。
分布式存储对象存储概述
分布式存储对象存储概述对象存储是一种存储数据的方式，将数据作为对象进行存储，每个对象都有唯一的标识符，可以通过标识符来访问和获取对象。
与传统的文件系统或块存储相比，对象存储具有更高的可伸缩性和可靠性。
对象存储的基本原则是将数据划分为固定大小的块，然后将这些块分散存储在不同的节点上。
每个块都有一个全局唯一的标识符，用于标识和访问这些数据块。
对象存储提供了高度并行和并发的读写操作，可以在多个节点上同时进行数据的存储和访问，从而提高存储系统的性能和可扩展性。
对象存储通常由三个主要组件构成：1.存储节点：存储实际的数据块，并负责维护和管理这些数据块。
每个存储节点都有自己的存储设备和存储介质，可以根据需要进行扩展和添加。
2.元数据存储：存储对象的元数据信息，包括对象的标识符、大小、创建时间等。
元数据存储可以是一个数据库或者一个分布式的键值存储系统，用于快速查询和检索对象的信息。
对象存储有以下几个特点：1.弹性可伸缩：对象存储可以根据需要动态扩展和收缩存储能力，可以方便地处理数据的增长和变化。
2.高可靠性：对象存储使用冗余存储技术，数据块会被复制到不同的节点上，即使一些节点发生故障，也能保证数据的完整性和可访问性。
3.高性能：对象存储能够提供高并发和高吞吐量的访问性能，可以处理大规模的数据访问请求。
4.全局唯一标识符：每个对象都有唯一的标识符，可以通过标识符来精确访问和管理对象，而不需要关心物理位置。
对象存储在云计算、大数据分析、备份与恢复等领域有广泛应用。
由于对象存储能够提供高可靠性和高性能的存储服务，它成为了云计算中的重要组成部分。
许多云存储提供商如亚马逊S3、谷歌云存储和微软Azure Blob存储等都基于对象存储提供了强大的云存储服务。
总而言之，分布式存储的目标是通过将数据分散存储在多个节点上来提高存储系统的可伸缩性和可靠性，对象存储则是分布式存储的一种重要实现方式。
对象存储通过将数据划分为对象并分散存储在多个节点上，提供了高度并行和并发的读写操作，具有弹性可伸缩、高可靠性、高性能和全局唯一标识符等特点，广泛应用于云计算和大数据领域。
分布式存储对象存储概述--ppt课件
优点
S如:AN , 提供高性 能的随机I/O和数据 吞吐率
缺点
可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU 规模的 系统
文
块存储设备 如:NAS, 扩展性好、 开销高、带宽低、延迟
件
文件
＋文件系统 易于管理、价格便宜 大,不利于高性能集群中
储
应用
存
对
块存储设备 支持高并行性、可伸 处于发展阶段,相应的硬
ppt课件
11
2.2 对象存储解释优势
对象存储就是分布式系统，也可理解为依托于分布式存储架 构的一个特性，高级功能
1）传统的块存储读写快而不利于共享， 2 ）文件存储读写慢但利于共享 对象存储则集成二者优点，是一个利于共享、读写快的“云 存储”技术。作为一种分布式存储，最重要的一点是能解决 对非结构化数据快速增长带来的问题。
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
8 16 247 231 115.464 108 0.357958 0.53742
9 16 274 258 114.633 108 0.449163 0.539057
括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件 • MDS 元数据服务器(Metadata Server)
系统提供元数据、Cache一致性等服务
ppt课件
15
2.5：传统存储数据存储过程
传统文件储存过程。
ppt课件
16
2.6：对象存储数据储存过程
对象文件储存过程。
ppt课件
Stddev Bandwidth: 41.2795
云计算中的分布式存储与对象存储
云计算中的分布式存储与对象存储云计算是指通过网络提供各种计算资源和服务的一种模式。
在云计算环境中，分布式存储和对象存储是两个重要的存储方式。
本文将探讨云计算中的分布式存储和对象存储的概念、特点以及应用。
一、分布式存储的概念与特点分布式存储是将数据分散存储在不同的物理节点上，通过网络进行管理和访问的一种存储方式。
与传统的集中式存储相比，分布式存储具有以下特点：1. 可扩展性强：分布式存储可以根据需要轻松扩展存储容量，只需增加节点即可，无需对整个存储系统进行改造。
2. 高可靠性：由于数据被分散存储在多个节点上，即使有节点发生故障，系统仍能保证数据的完整性和可用性。
3. 高性能：分布式存储可以通过并行访问多个节点来提高读写效率，从而提供更快的存储和检索速度。
4. 数据均衡：通过数据分片和数据迁移等机制，分布式存储可以实现数据在节点之间的均衡分布，避免节点负载过重或者过轻。
二、分布式存储的应用分布式存储在云计算环境中有广泛应用，主要体现在以下几个方面：1. 云存储服务：云存储服务提供商一般采用分布式存储技术来实现海量数据的存储和管理。
用户可以通过云存储服务将数据上传到云端，并随时随地进行访问和共享。
2. 大数据分析：大数据分析需要处理大量的数据，而传统的存储方式已经无法满足需求。
分布式存储可以提供高扩展性和高性能的存储解决方案，支持大规模的数据存储和分析。
3. 备份与恢复：分布式存储可以实现数据的备份和恢复，确保数据的安全性和可靠性。
通过将数据复制到多个节点上，即使某个节点出现故障，数据仍能够恢复。
三、对象存储的概念与特点对象存储是一种将数据以对象的形式存储的方式。
与传统的文件系统存储相比，对象存储具有以下特点：1. 扁平命名空间：对象存储使用扁平的命名空间，不需要像传统的文件系统一样建立复杂的目录结构。
每个对象通过唯一的ID进行标识。
2. 元数据富集：对象存储可以为每个对象添加大量的元数据信息，包括对象的类型、大小、创建时间等。
分布式块存储介绍46页PPT
36、“不可能”这个字(法语是一个字 )，只 在愚人 的字典 中找得 到。--拿 破仑。 37、不要生气要争气，不要看破要突 破，不 要嫉妒 要欣赏 ，不要 托延要 积极， 不要心 动要行 动。 38、勤奋，机会，乐观是成功的三要 素。(注 意：传 统观念 认为勤 奋和机 会是成 功的要 素，但 是经过 统计学 和成功 人士的 分析得 出，乐 观是成 功的第 三要素 。
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
39、没有不老的誓言，没有不变的承 诺，踏 上旅途 ，义无 反顾。 40、对时间的价值没有没有深切认识 的人， 决不会 坚吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
分布式存储技术PPT课件
Virtual SAN-利用缓存提升性能
1
写入(30%)
VSAN vSphere
1
2 读取(70%)
VSAN vSphere
SSD
2
硬盘
VSAN 数据存储
SSD
硬盘
VSAN 数据存储
所有虚拟机 I/O 均指向 SSD。写入内容稍后会转储到 HDD。 如果请求的读取数据块不在缓存中，会将该请求定向到 HDD
虚拟机存储配置方式比较
需要操作
Raid组创建
传统 存储
VSAN
LUN划分
更快速
• 通过SSD缓存加速技术，IO性能大幅提升 • 分布式弹性扩展，节点内垂直扩展，容量和性能线性
扩展
更可靠
分布式存储架构，节点冗余技术，消除存储单点故障风险
更高效
• 融合部署，提升资源利用率 • 最短存储路径，虚拟机感知的虚拟化存储池
• 将 HDD/SSD 池化为共享数据存储
• 提供企业级的可扩展性和性能
• 基于策略的自动化，满足SLA，可 按虚机甚至vmdk级别的颗粒度设 置存储策略
• 与VMware产品体系深度集成
用来取代vSphere后端的传统外置磁盘阵列
存储策略决定服务级别（包括确定数据如何布局）
从上至下，围绕着业务/虚机为中心
Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等； • 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大 道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有 OpenvStorage（类似Nutanix架构）； • 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是 分布式文件系统，如GPFS、Lustre、Panasas等； • 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还 有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
底层Rados -- Ceph实现
分布式存储的根 本，所有存储接 口都是基于 Rados实现的
-- Rados本身 就是一个对象存 储接口，维护了 一个集群状态和 实现了数据分发 的要求
24
(2)基础库librados -- 对RADOS进行抽象和封
装，并向上层提供API，以便 直接基于RADOS（而不是整 个Ceph）进行应用开发
• 对象存储是综合了NAS和 SAN的优点，同时具备了 SAN直接高速访问和NAS 的数据共享等优势。
• 提供了具有高性能，高 可用性，跨平台，以及 安全的数据共享的存储 体系结构。
11
2.2 对象存储解释优势 对象存储就是分布式系统，也可理解为依托于分布式存储架 构的一个特性，高级功能
1）传统的块存储读写快而不利于共享， 2 ）文件存储读写慢但利于共享 对象存储则集成二者优点，是一个利于共享、读写快的“云 存储”技术。作为一种分布式存储，最重要的一点是能解决 对非结构化数据快速增长带来的问题。
分布式存储对象存储 --CEPH概述
1
分布式存储 对象存储 CEPH
2
分布式存储系统
3
1.1:分布式存储历程.DAS
用于操作系统和应用程 序的本地存储。
缺点：
• 1对1，单点
• 数据无法再服务器之间 共享。
4
1.2:分布式存储历程.SAN
• 多对1。 • 数据大集中在SAN存储。 缺点： • 性能好 • 横向扩展 性受限。 • 不能共享。 • 成本高
12
2.3 对象存储结构
13
14
2.4 对象存储组件
• 对象(Object) 包含了文件数据以及相关的属性信息，可以进行自我管理
• OSD（Object-based Storage Device) 一个智能设备，OSD 为存储对象数据的设备， 它是一个智能设备，包
括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件 • MDS 元数据服务器(Metadata Server)
27
3.6：Ceph 使用场景举例---Rados GW
RadosGW位于Librados 之上，它主要提供 RESTful接口并且兼容S3 、Swfit的接口。
28
3.7：S3 使用案例
29
3.8：性能检测
[root@cephclient ~]# rados bench -p cephfs_data 10 write -no-cleanup
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects
(3)高层应用接口 -- 这一层包括了三个部分：RADOS GW（
RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System）， 其作用是在librados库的基础上提供抽象层次 更高的上层接口，分别对应 对象存储、块存
5
1.3:分布式存储历程.NAS
• 实现不同服务器之间传 统文件系统数据共享。
• 多对1。 • 数据集中。
缺点： • 多台服务器不能同时访
问修改，性能有限 • 横向扩展 性受限。 • 成本高
6
1.4: NAS.SAN网络存储方式
目前主流的存储方式
7
1.5:分布式存储历程.分布式存储
• 性能优越。 • 扩展性很好。 • 成本低廉。 缺点： • 平台稳定性需要考
系统提供元数据、Cache一致性等服务
15
2.5：传统存储数据存储过程
传统文件储存过程。
16
2.6：对象存储数据储存过程
对象文件储存过程。
17
2.7：Inodes vs数据存储的优势：
• 高性能数据存储：访问节点有独立的数据通路和元数据 访问通路，可以对多个OSD 进行并行访问
虑。 • 技术支持的问题。
8
1.6:分布式存储优势 个人理解分布式存储就是多台横向连接的计算机同时 运行，共同处理完成同一件client的应用工作请求任务。 可灵活的增加，或减少节点， • 性能优越。 • 扩展性很好。 • 成本低廉。
9
对象存储 Object-Based Storage
10
2.1 对象存储技术
• 跨平台数据共享：由于在对象存储系统上部署基于对象 的分布式文件系统比较容易，所有能够实现不同平台下 的设备和数据的共享。
• 可伸缩性：对象存储模式具有分布式结构的特性。由于 OSD 是独立的智能设备，可以通过增加OSD 数量，使存 储系统的聚合I/O 带宽、存储容量和处理能力得到提高， 这种平衡扩展模式使得存储系统能够具有良好的可伸缩 性。
19
2.9：与传统存储的对比：
存储接口
块
级
块
存
储
存储系统 块存储设备
优点
S如:AN , 提供高性 能的随机I/O和数据 吞吐率
缺点
可扩展性和可管理性较 差、价格较高、不能满 足成千上万CPU 规模的 系统
文
块存储设备 如:NAS, 扩展性好、 开销高、带宽低、延迟
件
文件
＋文件系统 易于管理、价格便宜 大,不利于高性能集群中
-- Monitor: 维护集群的 成员和状态(cluster map) ，提供强一致性的 决策 -- MDS metdata数据服务 器 -或- O者SDR:A每ID一gr个oudpi或sk、者S其SD 他一个物理存储设备都 成为一个OSD，主要负 责存储和查找对象，并 且负责向该对象的复制 节点分发和恢复。
储
应用
存
对
块存储设备 支持高并行性、可伸 处于发展阶段,相应的硬
象
对象
＋文件系统 缩的数据访问, 管理 件、软件支持有待进一
存 储
＋定位逻辑
性好、安全性高、适 步完善 合高性能集群使用
＋应用程序
20
CEPH概述
21
3.1：ceph简介
企业级存储产品的需求
22
3.2: Ceph可提供：
23
3.3: Ceph架构图
储和文件存储。
（4）应用层 这一层就是不同场景下对 于Ceph各个应用接口的 各种应用方式，例如基于 librados直接开发的对象 存储应用，基于RADOS GW开发的对象存储应用 ，基于RBD实现的云硬盘 等等。
25
3.4: 传统 VS ceph
传统：
Ceph:
26
3.5: Rados组件