海量分布式存储的概念与技术

Page 17
2.3 对象存储技术
对象存储模式用于海量数据存储的优势：
可伸缩性：对象存储模式具有分布式结构的特性。由于OSD 是独立 的智能设备，可以通过增加OSD 数量，使存储系统的聚合I/O 带宽、 存储容量和处理能力得到提高，这种平衡扩展模式使得存储系统能够 具有良好的可伸缩性。
智能的存储设备：OSD 中集成了部分的存储管理功能 方便安全的数据访问：I/O 通道的建立及数据的读写需要经过授权许 可才能进行，从而保证了数据访问的安全性；另一方面，任何Client 都可以通过对象存储系统提供的标准文件接口访问OSD 上的数据， 统一的命名空间使Client 访问数据的一致性得到了保证。
它是存储设备与服务器经由高速网络设备连接而形成的存储专 用网络。SAN 一般基于光纤通道FC(FibreChannel)或 iSCSI(internet SCSI )构建，它是块级的存储
Page 12
2.2.2 存储区域网络(SAN)
优缺点：
SAN的优点是高容量、高可靠性、低延迟
缺点是SAN 没有一个统一的存储系统接口，对存储设备的共享访问 存在数据的完整性与安全性问题，设备的跨平台性较差
存储这些海量信息不但要求存储设备有很大的储存容量，且还需要大 规模数据库来存储和处理这些数据，在满足通用关系数据库技术要求 的同时，更需要对海量存储的模式、数据库策略及应用体系架构有更 高的设计考虑。
Page 4
二、存储模式的选择
存储系统的存储模式影响着整个海量数据存储系统的性能，为了提供 高性能的海量数据存储系统，应该考虑选择良好的海量存储模式 对于海量数据而言，实现单一设备上的存储显然是不合适的，甚至是 不可能的。分布式是解决这种问题的一个很好的解决方案。
无论直连式存储还是服务器主机的扩展，从一台服务器扩展为 多台服务器组成的群集，或存储阵列容量的扩展，都会造成业务系统 的停机，从而给企业带来经济损失
Page 7
2.1 直连式存储（DAS）
由于DAC本身弊端与网络技术的崛起，直连式存储(DAS)已显得非常 力不从心，存储模式从以服务器为中心转向以数据为中心的网络存储 模式，网络存储也成为目前典型存储技术
存储分类（根据服务器类型）
Page 5Leabharlann Baidu
2.1 直连式存储（DAS）
其存储设备通过电缆（通常是 SCSI接口电缆）或者光纤直接连 到服务器，I/O请求直接发送到存 储设备，它依赖于服务器，本身不 带有任何存储操作系统。
Page 6
典型 DAS结构
2.1 直连式存储（DAS）
主要问题和不足： 直连式存储依赖服务器主机操作系统进行数据的IO读写和存储 维护管理，数据备份和恢复要求占用服务器主机资源（包括CPU、系 统IO等），数据备份通常占用服务器主机资源20-30%，因此许多企 业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影 响正常业务系统的运行。 直连式存储的数据量越大，备份和恢复的时间就越长，对服务 器硬件的依赖性和影响就越大。
跨平台数据共享：由于在对象存储系统上部署基于对象的分布式文件 系统比较容易，所有能够实现不同平台下的设备和数据的共享。 可伸缩性：对象存储模式具有分布式结构的特性。由于OSD 是独立 的智能设备，可以通过增加OSD 数量，使存储系统的聚合I/O 带宽、 存储容量和处理能力得到提高，这种平衡扩展模式使得存储系统能够 具有良好的可伸缩性。
分区技术：为了更精细地对数据库对象如表、索引及索引编排表进行管 理和访问。可以对这些数据库对象进行进一步的划分，这就是所谓的分 区技术 并行处理技术：为了提高系统性能，可以让多个处理器协同工作来执行 单个SQL 语句，这就是所谓的并行处理技术
Page 20
感谢您的关注
21
海量分布式存储的概念与技术
主讲：XXX PPT：XXX
目录
海量分布式存储的概念
存储模式选择
直连式存储技术
网络存储技术
对象存储技术 数据库策略
Page 2
一、概念
如今的互联网正处于一个信息爆炸 的时代。面对信息爆炸的互联网， 对信息的存储和处理也就产生了海 量的数据。
Page 3
概念
海量数据是指数据量极大，往往是Terabyte(10^12bytes)、 Petabyte(10^15bytes)甚至Exabyte(10^18bytes)级的数据集合。
Page 10
2.2.1 网络附加存储(NAS)
优缺点： NAS管理简单、扩容方便，统 一的文件系统使数据共享变得 非常简单，所以其最大的优点 是跨平台性很好，但NAS 服务 器在网络存储中处于数据通路 上，当服务请求激增时存在I/O 瓶颈，性能是NAS 的最大问题
Page 11
2.2.2 存储区域网络(SAN)
对象
块存储设备 ＋文件系统 ＋定位逻辑 ＋应用程序
Page 19
与传统存储方式对比
三、数据库策略
数据库管理系统(DBMS)是海量数据存储检索系统的核心部件，所有 对数据的控制都要通过DBMS来实现 基于海量数据环境，针对海量数据的有效存储方法为了实现高性能的 海量数据存储可采取的数据库策略有：
Page 18
2.3 对象存储技术
存储接口
块 级 存 储 文 件 储 存 对 象 存 储 块
存储系统
块存储设备
优点
如: SAN , 提供高 性能的随机I/O和 数据吞吐率
缺点
可扩展性和可管理性 较差、价格较高、不 能满足成千上万CPU 规模的系统
文件
块存储设备 ＋文件系统
如:NAS, 扩展性好、 开销高、带宽低、延 易于管理、价格便 迟大,不利于高性能集 宜 群中应用 支持高并行性、可 伸缩的数据访问, 管理性好、安全性 高、适合高性能集 群使用 处于发展阶段,相应的 硬件、软件支持有待 进一步完善
Page 13
2.3 对象存储技术
对象存储（Object-Based Storage, OBS)综合了NAS和 SAN的优点，同时具有SAN的 高速直接访问和NAS的数据共 享等优势，提供了具有高性能、 高可靠性、跨平台以及安全的 数据共享的存储体系结构。
Page 14
2.3 对象存储技术
对象存储系统组成
对象(Object) 包含了文件数据以及相关的属性信息，可以进行自我管理
OSD（Object-based Storage Device)
一个智能设备，OSD 为存储对象数据的设备， 它是一个智能设 备，包括处理器、RAM 内存、网络接口、存储介质等以及运行在其 中的控制软件 MDS 元数据服务器(Metadata Server) 系统提供元数据、Cache一致性等服务 网络连接
Page 8
2.2 网络存储方式
网络存储方式
网络附加存储(NAS)
存储区域网络(SAN)
单击此处添加文字
单击此处添加文字
单击此处添加文字
单击此处添加文字
Page 9
2.2.1 网络附加存储(NAS)
或称网络接入存储，采用网络技术，通过网络交换机连接存储系统和 服务器主机，建立专用于数据存储的存储私网。 它拥有自己的文件系统，通过NFS或CIFS这两种网络文件系统对外 提供文件访问服务。NAS 将存储设备通过标准的网络拓扑结构连接 到现有的网络上来提供数据和文件服务。
文件系统
文件系统运行在客户端上，将应用程序的文件系统请求传输到 MDS和OSD上
Page 15
2.3 对象存储技术
对象存储结构
传统块存储与对象存储
Page 16
2.3 对象存储技术
对象存储模式用于海量数据存储的优势：
高性能数据存储：访问节点有独立的数据通路和元数据访问通路，可 以对多个OSD 进行并行访问