分布式存储技术PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•软件定义的存储产品：是一个将硬件抽象化的解决方案，
它使你可以轻松地将所有资源池化并通过一个友好的用户界 面（UI）或API来提供给消费者。一个软件定义的存储的解决 方案使得你可以在不增加任何工作量的情况下进行纵向扩展 （Scale-Up）或横向扩展（Scale-Out）
软件定义存储是云数据中心的重要组成部分
Data Plane (数据平面)
1）基于商用的硬件 • 包括了IDC分类中VirtualStorage Appliance（简称VSA）和
PhysicalStorage Appliance （简称PSA）两类。 • Server SAN/HCI里有： VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL
Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等； • 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大 道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有 OpenvStorage（类似Nutanix架构）； • 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是 分布式文件系统，如GPFS、Lustre、Panasas等； • 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还 有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等
制平面开放API，支持存储策略驱动。
12
软件定义存储的发展： 过去、现在和未来 传统共享存储阵列的时代
SSD出现之前，CPU发展速度是磁盘的几十万倍
软件定义存储的现在
SSD和高速网络的出现，改变了存储的游戏规则–未来的主流是分布式
2014年04月30日, SanDisk发布世 界上第一款4TB SSD；
软件定义的存储 – 特点
目前的方式
• 软件定义 的存储
抽象与池化
LUN LUN
LUN
Array A
LUN LUN
Array B
Replication
Hypervisor Converged Pool
Snapshots
SAN/NAS Pool
Object-based Pool
以虚拟机为核心的 自动化SLA设定
1 Wikibon Server SAN Research Project 2014
软件定义的存储 – Server SAN 计算与存储的融合
当今
未来
Hot Edge
Flash
• 一切以计算为核心 • 与CPU/Memory 捆绑 • 低延时
• 通过虚拟化层访问虚拟化 存储
• 闪存主宰性能
SSD FC SATA
SSD FC SATA
SSD FC SATA
Cold Core
Cloud Object Storage
• 以提供容量为核心 • 白牌设备 • 弹性，跨地域 • 同时提供文件/对象访问 • 扩展到云
5
什么是软件定义存储？
•软件定义的存储：是将工业标准服务器的存储提供出来并
通过软件控制层面实现存储的自动化和池化。它将存储的置 备和管理的方法简化到了极致，并利用工业标准服务器的存 储大大降低了成本。
2015年3月，SanDisk推出的 InfiniFlash，单卡容量达8TB的闪 存卡（64个）；
云环境下的分布式存Hale Waihona Puke Baidu技术
内容
1 软件定义存储技术的发展 2 分布式存储技术 VSAN 介绍
存储形态的变化
25年之前
服务器直连存储
5年以前
服务器 直连
外部存储
现在
服务器 直连
外部存储
云 存储
变化的驱动力： • 服务器闪存 • 多核CPU • 虚拟化普及 • 云经济 • 数据增长
3
IT 基础架构迈向Server SAN和超融合架构
全球超融合系统市场状况
Traditional SAN/NAS CAGR1:
- 17.8%
$.8B
$1.6B
$2.4B
$3.2B
$3.9B
Enterprise Server SAN
CAGR1:
44.2%
2015 2016 2017 2018 2019
Source: IDC Hyperconverged Systems 2015-2019 Forecast
虚拟化层
以虚拟机为粒 度的数据服务
x86 Servers
虚拟 SAN
SAN / NAS
Cloud Object Storage
虚拟存储卷
8
软件定义存储的分布式扩展性
XX PB XXX TB XX TB
横向扩展
分布式可扩展性：
添加更多节点
纵向扩展
添加更多磁盘
弹性 – 按需伸缩
粒度 – 添加单个节点或磁 盘
11
软件定义存储的分类 (存储资源由软件来自动控制，也即存储策略驱动)
DataPlane (数据平面) （续） 2）传统的 SAN/NAS（ExternalStorage） • 支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的传统外置磁盘
阵列
3）Cloud/Object Storage • 做为DataPlane的组成部分，实际上是以后端存储的身份为VM/App提
供存储资源的。
• 私有云和公有云之间，能在存储级别，实现存储的备份、归档和容 灾。运行在公有云之上的VSA，即可与本地存储建立数据交换。
如：NetApp的CloudONTAP、SoftNAS、Zadara等 ControlPlane (控制平面) 1）VMware SPBM；2）OpenStack Cinder ；3）EMC ViPR；4）ProphetStor （希智）的Federator； • 未来几年内，会有越来越多的数据平面(Data Plane)的存储产品，向控
无干扰 – 无应用程序停机
简单且全自动
可预测
容量
IOPS
避免复杂预测以及前期大 量投资
9
软件定义存储分类： 控制平面 + 数据平面
控制平面是关键
根据不同的工作 负载来动态分配 存储资源。 Hypervisor/OS ，或者云管理软 件具有优势。
软件定义存储的分类 (存储资源由软件来自动控制，即存储策略驱动)
它使你可以轻松地将所有资源池化并通过一个友好的用户界 面（UI）或API来提供给消费者。一个软件定义的存储的解决 方案使得你可以在不增加任何工作量的情况下进行纵向扩展 （Scale-Up）或横向扩展（Scale-Out）
软件定义存储是云数据中心的重要组成部分
Data Plane (数据平面)
1）基于商用的硬件 • 包括了IDC分类中VirtualStorage Appliance（简称VSA）和
PhysicalStorage Appliance （简称PSA）两类。 • Server SAN/HCI里有： VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL
Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等； • 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大 道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有 OpenvStorage（类似Nutanix架构）； • 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是 分布式文件系统，如GPFS、Lustre、Panasas等； • 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还 有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等
制平面开放API，支持存储策略驱动。
12
软件定义存储的发展： 过去、现在和未来 传统共享存储阵列的时代
SSD出现之前，CPU发展速度是磁盘的几十万倍
软件定义存储的现在
SSD和高速网络的出现，改变了存储的游戏规则–未来的主流是分布式
2014年04月30日, SanDisk发布世 界上第一款4TB SSD；
软件定义的存储 – 特点
目前的方式
• 软件定义 的存储
抽象与池化
LUN LUN
LUN
Array A
LUN LUN
Array B
Replication
Hypervisor Converged Pool
Snapshots
SAN/NAS Pool
Object-based Pool
以虚拟机为核心的 自动化SLA设定
1 Wikibon Server SAN Research Project 2014
软件定义的存储 – Server SAN 计算与存储的融合
当今
未来
Hot Edge
Flash
• 一切以计算为核心 • 与CPU/Memory 捆绑 • 低延时
• 通过虚拟化层访问虚拟化 存储
• 闪存主宰性能
SSD FC SATA
SSD FC SATA
SSD FC SATA
Cold Core
Cloud Object Storage
• 以提供容量为核心 • 白牌设备 • 弹性，跨地域 • 同时提供文件/对象访问 • 扩展到云
5
什么是软件定义存储？
•软件定义的存储：是将工业标准服务器的存储提供出来并
通过软件控制层面实现存储的自动化和池化。它将存储的置 备和管理的方法简化到了极致，并利用工业标准服务器的存 储大大降低了成本。
2015年3月，SanDisk推出的 InfiniFlash，单卡容量达8TB的闪 存卡（64个）；
云环境下的分布式存Hale Waihona Puke Baidu技术
内容
1 软件定义存储技术的发展 2 分布式存储技术 VSAN 介绍
存储形态的变化
25年之前
服务器直连存储
5年以前
服务器 直连
外部存储
现在
服务器 直连
外部存储
云 存储
变化的驱动力： • 服务器闪存 • 多核CPU • 虚拟化普及 • 云经济 • 数据增长
3
IT 基础架构迈向Server SAN和超融合架构
全球超融合系统市场状况
Traditional SAN/NAS CAGR1:
- 17.8%
$.8B
$1.6B
$2.4B
$3.2B
$3.9B
Enterprise Server SAN
CAGR1:
44.2%
2015 2016 2017 2018 2019
Source: IDC Hyperconverged Systems 2015-2019 Forecast
虚拟化层
以虚拟机为粒 度的数据服务
x86 Servers
虚拟 SAN
SAN / NAS
Cloud Object Storage
虚拟存储卷
8
软件定义存储的分布式扩展性
XX PB XXX TB XX TB
横向扩展
分布式可扩展性：
添加更多节点
纵向扩展
添加更多磁盘
弹性 – 按需伸缩
粒度 – 添加单个节点或磁 盘
11
软件定义存储的分类 (存储资源由软件来自动控制，也即存储策略驱动)
DataPlane (数据平面) （续） 2）传统的 SAN/NAS（ExternalStorage） • 支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的传统外置磁盘
阵列
3）Cloud/Object Storage • 做为DataPlane的组成部分，实际上是以后端存储的身份为VM/App提
供存储资源的。
• 私有云和公有云之间，能在存储级别，实现存储的备份、归档和容 灾。运行在公有云之上的VSA，即可与本地存储建立数据交换。
如：NetApp的CloudONTAP、SoftNAS、Zadara等 ControlPlane (控制平面) 1）VMware SPBM；2）OpenStack Cinder ；3）EMC ViPR；4）ProphetStor （希智）的Federator； • 未来几年内，会有越来越多的数据平面(Data Plane)的存储产品，向控
无干扰 – 无应用程序停机
简单且全自动
可预测
容量
IOPS
避免复杂预测以及前期大 量投资
9
软件定义存储分类： 控制平面 + 数据平面
控制平面是关键
根据不同的工作 负载来动态分配 存储资源。 Hypervisor/OS ，或者云管理软 件具有优势。
软件定义存储的分类 (存储资源由软件来自动控制，即存储策略驱动)