软件定义存储技术及VSAN实践

软件定义存储是VMware软件定义数据中心 也即SDDC (Software Defined Data Center) 的五大组成部分之一
适用于混合云的理想体系结构
私有云 混合云 平台 公有云
• 所有基础构架服务均已虚拟化：计算、 网络、存储
• 数据中心由软件自动控制
（管理、安全性）
存储
管理和自动化
Virtual Data Plane (数据平面)
Hypervisor-converged Storage pool
SAN/NAS Pool
Object Storage Pool
SAN / NAS
x86 Servers
Virtual SAN
Virtual Volumes
Cloud Object Storage
2014
2018
1. Hyper-converged includes server and storage spend while other segments are storage spend only Source: MI / IDC Forecast January 2015
9
什么是软件定义存储？
SDS的现在 （分类）
一、Control Plane 1）VMware SPBM；2）OpenStack Cinder ；3）EMC ViPR；4）ProphetStor （希智）的Federator；5）FalconStor（飞康） 的 Freestor； 二、Data Plane 1）Based on Commodity Hardware （基于商用的硬件） 包括了IDC分类中Virtual Storage Appliance（简称VSA）和Physical Storage Appliance （简称PSA） 两类 超融合架构（HCI）是Server SAN的一个子集。超融合架构里有： VMware VSAN或EVO:RAIL、EMC ScaleIO、Nutanix、 Maxta、SimpliVity、Scale Computing、Pivot3；国内有：华为FusionStorage、志凌海纳SmartX；开源的有Open vStorage（ 类似Nutanix架构）； 在Server SAN里，非超融合架构（也即不提供计算资源）的有DELL Fluid Cache、HP StorVirtual、RedHat Inktank Ceph、 Microsoft Storage Spaces等，也包括分布式文件系统，如GPFS、Lustre、Panasas等； 其他SDS有：DataCore、Nexenta、国内的InfoCore(信核)，还有其他支持Solaris ZFS的存储，如开源的FreeNAS、 NAS4Free。 2）Traditional SAN/NAS（External Storage） 3）Cloud/Object Storage 做为Data Plane的组成部分，实际上是以后端存储的身份为VM/App提供存储资源的。 私有云和公有云之间，能在存储级别，实现存储的备份、归档和容灾。运行在公有云之上的VSA，也即虚拟存储控制器（其实 与在Hypervisor之上的VSA相类似），即可与本地存储建立数据交换。 如：NetApp的Cloud ONTAP、SoftNAS等
– 虚拟化+: 传统虚拟化增加虚拟机初始化+”是目前企业级私有云的真需求
• 越来越多的应用需要虚拟化，不只是提高效率，还有提高可用性、管理简单的原因
• 虚拟化比率 2016年将达84%，中国滞后几年 (意味着欧美现在的状况，中国几年后会发生)
• 越来越多关键应用转向虚拟化 (60%以上)
企业级Server SAN 预计达44.2的年复 合增长率； 2021年 企业级 Server SAN 将是 传统外置磁盘阵列 的1.24倍。
预计5年左右，Server SAN(SDS中主要的种类)，将占据整个全球存储市场份额的半壁江山！
2. The Rise of Server SAN, Jul 16, 2015 Source: /wiki/v/The_Rise_of_Server_SAN
SNIA SMI-S
(2012)
和 存储虚拟化的现状
以IBM SVC为例：
IBM SVC将DELL Compellent逻辑卷纳入之下，步骤 如下： 1、业务停机； 2、在Compellent图形管理界面中，去掉卷与主机 的映射关系(un-mapping)； 3、在Compellent图形管理界面中，创建新的服务 器对象：SVC Cluster； 4、在SVC图形管理界面中，执行MDisk发现操作； 5、将新发现的MDisk以Image Mode MDisk方式导 入； 6、将这个Image Mode MDisk映射到原主机上；
传统方式 – 手动传送数据需求
SNIA观点
“storage administrator” defined and implemented.
注：什么是virtual storage devices？ Block Storage Logical Units, File system Shares, Object Containers
软件定义存储技术及VSAN实践
虚拟化、云计算、 存储虚拟化、SDS的发展趋势
1
个人观点：企业IT趋势
• 混合云是王道，私有云至少还会继续发展25年 *
– 2015年外部公有云占整个IT的2%，2040年公有云大约占整个IT的37%；
• 云化必须先虚拟化 (云 = 一变多 + 多变一)
• 越来越多的专家深刻意识到：当前及未来几年内私有云是 “虚拟化+”占主流 *
* 乐生活与爱IT : 《25年内，公有云不会取代私有云》、《专访Zstack创始人张鑫：私有云大部分刚需在”虚拟化+” 》
2
越来越多的工作负载运行在虚拟化平台上 预计2015年全球将达到80%
截止2015年上半年，工作负载虚拟化率，全球已达75%
越来越多的关键业务应用运行在虚拟化环境里
VMware Customer Survey
理想方式 – 通过元数据传送数据需求
SNIA观点
让应用通过元数据来请求相应的数据服务，包括如下： 空间部署，数据保护(快照、克隆)，数据高可用(容灾、双活)，性能，安全等
什么是软件定义存储：VMware眼里的SDS 软件定义的存储：
• 是将工业标准服务器的存储提供出来并通过软件
控制层面实现存储的自动化和池化。它将存储的 置备和管理的方法简化到了极致，并利用工业标 准服务器的存储大大降低了成本。
4
从存储虚拟化走向软件定义存储
SDS
面向存储服务的管理
存储虚拟化
管理自动化
整合 &虚拟化
建立自我服务的门户 自动响应业务的变化 IT架构与业务管理紧密联系
减少设备投资成本(CAPEX) 提高资产利用率 节省空间

减少维护成本(OPEX) 资源部署从几个星期减少到几分钟 提高标准化水平 实现存储资源的自动管理
发现：
在SVC最新的红皮书《Implementing the IBM System Storage SAN Volume Controller V7.4》里， 找不到关于SVC驱动受管对象创建快照、克隆、镜 像的描述
软件定义存储技术发展趋势
7
存储发展趋势： Server SAN (软件定义存储中最大组成部分)
vSphere
Policy-driven Control Plane (控制平面)
Storage Policy Based Management (SPBM,基于存储策略的管理)
Virtual Data Services
Provisioning Performance Protection
软件定义的存储产品：
权威咨询机构-IDC市场分析报告：存储市场将引发巨变 (HCI)
中端市场 Mid-Market ($25-250K) External Storage Array Market, $B
$15.5 CAGR 5.6% Scale-Out NAS 19.9% Back-Up Appliances $∆ +$3.0
• Data Plane (数据平面): VSAN, vVol,
Cloud/Object Storage
得控制平面者，得SDS之天下
SDS分类： Control Plane + Data Plane
谁来做Control Plane 更有优势？
根据不同的工作负载来动态分 配存储资源。
Hypervisor/OS ，或者云管理 软件才具有优势。 所以，那些同时拥有 Hypervisor/OS，和SDS的公 司估计能够做得更大
12
什么是软件？ 什么是软件定义？ • 软件是用户与硬件之间的接口 • 软件定义其实是一个过程，不是一蹴而就 的目标，它分成不同阶段 • 软件定义就是要将特定的硬件与软件进行 解耦，将硬件的可操控成分按需求，分阶 段的，通过编程接口或者以服务的方式逐 步暴露给前端应用，分阶段地满足应用对 资源的不同程度、不同方面的灵活调用
Hyperconverged1 Converged Infrastructure Traditional Arrays
$2.4 (20%)
Most rapid growth in terms of CAGR and dollars
$6.1 (49%)
13.0% -26.4%
+$1.5 -$4.3 -10% CAGR, -$2.8B revenue loss
计算 网络 软件定义的数据中心
• 适用于现有应用和新应用的统一平台， 可交付至众多设备
抽象
池化
自动化
什么是软件定义存储 (Software Defined Storage)
全球网络存储工业协会(SNIA) 认为， SDS需要满足的是：提供自助的服务接口，用于分配和管理虚拟存储空间； 应该包括如下功能: 自动化 Automation – Simplified management that reduces the cost of maintaining the storage infrastructure. 标准接口 Standard Interfaces – APIs for the management, provisioning and maintenance of storage devices and services. 虚拟数据路径 Virtualized Data Path – Block, File and Object interfaces that support applications written to these interfaces. 扩展性 Scalability – Seamless ability to scale the storage infrastructure without disruption to availability or performance.
SDS的发展：过去、现状与未来；
• 为什么出现SDS？ 人类各项发明、创新，大多都是为了更加的高效、方便、灵活，并且节省成本。例如，从种植业、 畜牧业的出现，到蒸汽机的发明，到自来水、集中供电的出现，再到互联网的出现（信息传递更快 更高效，更省成本），无一不是如此。 伴随着需求，还有两大背景： 一是，随着个性化、物联网、万联网的发展，数据以前所未有的速度迅猛增长
3年
$12.4 $1.9 (15%)
$1.1(9%)
$0.6 (4%) $0.3 (3%)
$3.9 (25%) $1.6 (11%) $1.7 (11%) $2.5 (16%) $4.0 (26%) $1.8 (12%)
+$2.0
10.6% 31.4% 68.0%
+$0.5 +$1.1 +$2.2
All-Flash
• 是一个将硬件抽象化的解决方案，它使你可以轻
松地将所有资源池化并通过一个友好的用户界面 （UI）或API来提供给消费者。一个软件定义的 存储的解决方案使得你可以在不增加任何工作量 的情况下进行纵向扩展（Scale-Up）或横向扩 展（Scale-Out）
• 软件定义三阶段：抽象、池化、自动化 • Control Plane (控制平面): SPBM
二是，虚拟化、云计算和硬件技术的发展，使得软件定义成为可能
随着虚拟化和云计算的普及，用户的思维方式也发生了转变，逐渐意识到，快速、敏捷、灵活地获取计算资 源已经成为可能，并且逐渐要求能按需使用，按需付费。因此，做为虚拟化和云计算里重要的组成部分，存 储也应适应新的需求而不断完善，做到存储即服务，实现快速交付，动态调整。