FusionStorage存储资源池方案介绍
华为FusionStorage技术白皮书
华为FusionStorage技术白皮书文档版本V3.02发布日期2014-11-20版权所有© 华为技术有限公司2013。
保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：目录1 简介 (3)2 解决方案 (4)2.1 ServerSA N介绍 (5)2.2 ServerSA N形态 (5)3 FusionStorage介绍 (6)3.1 软件特点 (6)3.2 应用场景 (7)3.3 架构原理 (7)3.4 软件部署 (9)3.5 关键业务流程 (15)3.5.1 数据路由 (15)3.5.2 Cache机制 (16)3.5.3 读IO流程 (17)3.5.4 写IO流程 (18)3.6 特性介绍 (18)3.6.1 精简配置 (18)3.6.2 快照 (19)3.6.3 链接克隆 (19)3.6.4 弹性扩展 (20)3.6.5 高可靠 (23)3.6.6 同步容灾 (26)3.6.7 管理简便 (28)4 兼容性 (29)4.1 硬件平台 (29)4.2 虚拟化软件 (29)4.3 操作系统 (29)4.4 兼容列表 (29)5 规格参数 (30)6 缩略语表/Acronyms and Abbreviations (31)1 简介虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。
FusionStorage部署规划
大规模存储资源池场景： 至少12台服务器，至少3个
10GE交换机（板）
10GE交换机（板）
汇聚
40GE堆叠
汇聚
机柜，机柜级安全
1
1
1
Eth-Trunk
1
10GE交换机（板） 4x10GE10GE交换机（板）
接入
40GE堆叠
接入
Bond Bond 2x10GE 2x10GE
10GE
10GE
计算服务器
本节重点介绍FusionStorage的部署方式，组网设计，约束条 件直至容量及性能计算等内容。此部分内容和工作实践强相 关，需要基于实践完整掌握
学完本课程后，您将能够:
描述华为FusionStorage产品部署方式 掌握FusionStorage计算存储节点配置规格要求 掌握并描述FusionStorage配置规划约束 掌握FusionStorage有效容量及性能估算等
与VMware融合部署方案
计算网络(10GE/IB/RoCE)
融合Server1
融合Server2
融合Server3
OSD和VBS模块部署在Controller VM中，服务器 PCIE SSD或者SCSI Controller下的硬盘或者SSD盘 pass through到Controller VM中的OSD进行介质 管理， VBS通过iSCSI接口给ESXi提供块存储服务
FusionStorage硬件部署形态
FusionStorage在通用x86服务器上部署分布式存储软件，把所有服务器的本 地硬盘组织成一个虚拟存储资源池，提供块存储接口
典型硬件1：机架式服务器
典型硬件2：刀片式服务器
FusionStorage部署规划
48x10GE
48x10GE
GE Eth-trunk
堆叠
24x10GE
24x10GE
24x10GE
24xGE + 2x10GE LSW
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
融合Server3
VM
VM
融合部署：即将应用或虚拟机与存储同 时部署在同一台服务器上
VBS OSD
UVP/KVM
VBS和OSD安装在Hypervisor上
如果是华为UVP，则部署在Domain0里 面 如果是KVM，则部署在KVM宿主机OS 上面
第4页
硬件介质
版权所有© 2015 华为技术有限公司
GE组网时，硬件至少为4*1Gb组网，其中至少3*1Gb用于存储平面 10GE组网时，硬件至少为2*10Gb组网，其中至少2*6Gb用于存储平面 使用机柜级安全时，机柜间至少为4*10Gb带宽，每服务器为2*10Gb带宽，其中存储平面6*Gb及以上带宽
版权所有© 2015 华为技术有限公司
第11页
FusionStorage以太网组网之融合部署
through到Domain0中的OSD进行介质管理
VM
VM
Computing&Storage Server
Domain0
OSDs VBS
User VMs
VBS
OSD
UVP/KVM
Passthrough P C I E S S D
2.4 融合资源池解决方案-资源池管理能力特性介绍
系统周期检测虚拟机状态，当物理服务器宕机等引起虚拟机故障时，系统 可以将虚拟机迁移到其他物理服务器重新启动，保证虚拟机能够快速恢复 。目前系统能够检测到的引起虚拟机故障的原因包括物理硬件故障、系统 软件故障。
安全组（1）
虚拟机可以加入安全组，安全组用来实现组内和组间的访问控制， 加强虚拟机的安全保护，实现VPC内部的网络隔离。
可以将VPC内的虚拟机加入一个安全组，然后设定不同安全组间的 访问规则。
接入物理机是由全局业务管理员将物理机的信息手动录 入云管理平台中，并提供给用户进行申请。
目录
1. 计算资源 2. 存储资源 3. 网络资源 4. 统一资源管理
存储虚拟化
为云平台提供统一接口，按需分配的，持久化的块存储服务 （类似于Amazon EBS服务）
通过驱动的方式接入不同种类的后端存储（本地存储，网络 存储，FCSAN，IPSAN）
融合资源池解决方案-资源 池管理能力特性介绍
前言
数据中心融合资源池解决方案是华为云数据中心实现载体， 通过对融合资源池服务特性理解掌握，可以深刻理解华为云 数据中心解决方案。
目标
学完本课程后，您将能够：
理解计算资源管理特性； 理解存储资源管理特性； 理解网络资源管理特性； 掌握统一管理资源管理特性。
虚拟卷在线扩容&快照
虚拟卷在线扩容：针对容量达到上限的虚拟卷，传统方法是在虚拟 机关闭后，通过离线扩容虚拟卷的方式来增大磁盘空间，但这样会 造成虚拟机的业务中断。
为了解决这个问题，提供了在线扩容虚拟卷的功能。用户可以在虚拟机 运行时，实现增大磁盘可用空间的同时，达到虚拟机业务不中断的目的
FusionStorage安装部署简介
华为FusionStorage配置iSCSI映射步骤(1)
华为FusionStorage配置iSCSI映射步骤(2)
华为FusionStorage配置iSCSI映射步骤(3)
华为FusionStorage配置iSCSI映射步骤(4)
华为FusionStorage基础配置
华为FusionStorage创建控制集群
华为FusionStorage创建存储资源池
华为FusionStorage创建块客户端
华为FusionStorage创建卷
华为FusionStorage挂载卷
华为FusionStorage配置iSCSI映射流程 安装FSM主备VM规Fra bibliotek要求：项目
是否与主机绑定 •
操作系统 •
•
CPU
•
内存
• •
网卡
•
•
磁盘
•
•
QoS设置
• •
HA
•
启动方式 •
高级设置 •
其他选项 •
规格
是，并选择“始终为虚拟机预留资源” Novell SUSE Linux Enterprise Server 11 SP3 (64位) 3个～64个主机：设置CPU数量为4个 65个～4096个主机：设置CPU数量为16个
确保FusionStorage Agent软件所在主机已配置管理IP，用于CNA与 为主机添加管理接口
VRM间、FSA与FSM间通信
使用FusionStorage提供共享存储，需在每个主机上添加存储接口 为主机添加存储接口
若系统存储平面使用IB网络通信，则不需要为主机添加存储接口
与FusionSphere联合安装部署（2）
本节介绍FusionStorage的安装部署。学员需掌握安装部署的 准备和步骤，并通过亲身实践掌握
FusionStorage架构原理介绍
基础概念（1）
DHT： Distributed Hash Table，FusionStorage中指数据路由算法 Partition：代表了一块数据分区，DHT环上的固定Hash段代表的数据区 Key-Value：底层磁盘上的数据组织成Key-Value的形式，每个Value代表一个块存储
通知状态变化
获取IO View
获取元数据
VBS（Leader）
同步元数据
VBS集群 VBS
系统启动时，MDC与ZK互动决定主MDC。主MDC与其它MDC相互监控心跳，主MDC决定某MDC故障后接替者。 其它MDC发现主MDC故障又与ZK互动升任主MDC
OSD启动时向MDC查询归属MDC,向归属MDC报告状态，归属MDC把状态变化发送给VBS。当归属MDC故障，主 MDC指定一个MDC接管，最多两个池归属同一个MDC
VBS启动时查询主MDC，向主MDC注册（主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC， 以便MDC能将OSD的状态变化通知到VBS），向MDC确认自己是否为leader；VBS从主MDC获取IO View，主VBS向 OSD获取元数据，其它VBS向主VBS获取元数据
第14页
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
第5页
FusionStorage数据路由原理
Partition
Disk
P1
Disk 1
(LUN1,LBA1) Generate Key1=(LUN1,LBA1)
值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD FusionStorage预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存到SSD中
FusionCloud桌面云配置指南
华为 FusionCloud 桌面云配置报价指导课程大纲 1 Click to add Title FusionCloud Desktop V1R5C30 解决方案简介 Click to add Title 2桌面云一体机（FusionCube 6000） 4 标准桌面云（E9000+IPSAN ）5CompactVDI （RH2288H V3+本地存储） 6 配置报价演示Click to add Title 3桌面云一体机（FusionCube 9000）FusionCloud Desktop V1R5C30 解决方案FusionCloud Desktop V1R5C30 解决方案的硬件组合：桌面云一体机标准桌面云Compact桌面云E9000 + IPSAN (可配GPU)FusionCloud DesktopV1R5C30 解决方案FusionCube 6000FusionCube 9000 RH2288H V3 + 本地存储桌面云软件桌面云软件采用整体打包的报价方式，打包后的软件报价项目已经包含了桌面云解决方案所需要的虚拟化平台和分布式存储软件（FusionStorage ）的软件许可。
•FusionAccess 5.x-华为桌面云软件V5.0-桌面云企业版许可-每用户-含1年专享升级服务•FusionAccess 5.x-华为桌面云软件V5.0-桌面云企业版许可-每并发连接-含1年专享升级服务以上报价项除了包含桌面云软件License 外，还包含了FusionSphere 虚拟化平台和分布式存储软件（FusionStorage ）的软件许可。
在同一桌面云管理组件中，不能同时加载并发和用户两种License 授权，只能加载其中一种License 授权。
但是，License 授权都是用户数方式或者都是并发数方式下，桌面云企业版、应用虚拟化企业版、企业增强版的License 可以混合搭配。
FusionStorage分布式存储系统介绍
第8页
目录
1. FusionStorage方案介绍 2. FusionStorage架构原理 3. FusionStorage部署配置
第9页
FusionStorage逻辑架构 (1/2)
VM 1
FusionStorage Manager (主)
VM 2
FusionStorage Manager (备)
第4页
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
共享式存储资源池 计算、存储融合部署
容量和性能线性增长
第5页
华为Server SAN产品FusionStorage
分布式块存储软件
将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池。
服务器1 FusionStorage Agent
MDC VBS
OSD OSD
服务器2 FusionStorage Agent
MDC VBS
OSD OSD
服务器3 FusionStorage Agent
MDC VBS
OSD OSD
服务器4 FusionStorage Agent
VBS
OSD OSD
服务器5 FusionStorage Agent
第2页
认识Server SAN
概念
由多个独立服务器自带的存储组成一个存储资源池，同时融合 了计算和存储资源。
特征
专有设备变通用设备 计算与存储线性扩展 简单管理、低TCO
第3页
传统SAN架构
FC/IP
孤立的存储资源：存储通过 专用网络连接到有限数量的 服务器。
FusionStorage分布式存储解决方案介绍
...
FusionStorage分布式存储资源池
SSD HDD SSD HDD SSD HDD
典型硬件2： 刀片式服务器 典型硬件1：机架式服务器
8
通用X86服务器硬件要求
组件 物理形态 处理器 内存 存储 规格 机架服务器或刀片服务器，X86架构 Intel Xeon E5-2600/4600 系列处理器，Intel Xeon E7-4800/8800 系列处理器 按照每TB硬盘1GB内存，推荐》64G内存 1、存储节点至少部署3个，配置RAID卡，支持RAID0/1，每台存储节点至少预留2块本地硬盘用于安装OS 2、如果管理节点与存储节点器合部，分布式资源池至少15个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至少 12个硬盘用于资源池数据盘，至少3个硬盘用于部署ZK盘 如果管理节点与存储节点器分离部署，分布式资源池至少12个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至 少12个硬盘用于资源池数据盘，ZK盘采用分区的方式部署，与本地OS盘共用 每存储服务器用于FusionStorage存储平面带宽不低于4Gb，例如4×1Gb或者2×10Gb 至少有一个SSD卡或SSD盘作为写cache
5
Content
1 2 3
存储领域的技术现状与发展趋势 FusionStorage分布式存储系统 FusionStorage 核心价值
4
FusionStorage应用案例
6
FusionStorage分布式存储解决方案总体架构图
应 用 层
虚 拟 化 层
HANA
支持多种虚拟化平台 (FusionSphere/VMware)
管理平台
配置管理
Hale Waihona Puke SCSI驱动/iSCSI分布式链接克隆 分布式快照 卷管理 QOS管理 备份 容灾
FusionStorage技术白皮书
FusionStorage 技术白皮书FusionStorage 8.0 技术白皮书目录目录1概述 (1)2产品价值 (2)2.1分布式存储，随需而用 (2)2.2以弹性高效满足关键业务数据存储需求 (3)2.3丰富的企业级特性，助您构建高可用数据中心 (3)2.4开放兼容，下一代云基础设施的理想选择 (3)2.5智能数据服务与系统运维管理 (3)3产品架构 (5)3.1相关概念 (5)3.2软件架构 (6)3.3硬件架构 (7)3.4网络架构 (8)3.4.1以太网组网方案 (8)3.4.1.1部署方式 (8)3.4.1.2计算和存储分离部署 (8)3.4.1.3计算和存储融合部署 (11)3.4.2InfiniBand 组网方案 (13)3.4.2.1部署方式 (13)3.4.2.2计算和存储分离部署 (13)3.4.2.3计算和存储融合部署 (15)3.4.3RoCE 组网方案 (17)3.4.3.1部署方式 (17)3.4.3.2计算和存储分离部署 (17)3.4.3.3计算和存储融合部署 (19)3.5关键服务流程 (21)3.5.1组件描述 (21)3.5.2访问协议 (22)3.5.3数据路由 (23)3.5.4读IO 流程 (24)3.5.5写IO 流程 (24)4块存储特性 (26)4.1精简配置 (26)4.2重删压缩 (26)4.3多资源池 (28)4.4数据加密 (29)4.5QoS (30)4.6 快照 (32)4.7 克隆 (34)4.8异步复制 (34)4.9AA 双活 (35)5弹性扩展 (37)5.1DHT 算法 (37)5.2平滑扩容 (39)5.3性能扩展 (40)6高性能 (42)6.1分布式存储优化算法 (42)6.1.1动态智能分区和静态选盘算法 (42)6.1.2快速编码快速重构的弹性EC 算法 (43)6.2分布式SSD Cache 加速 (45)6.2.1Write Cache (46)6.2.2Read Cache (47)6.2.3大IO Pass Through (48)6.2.4动态Cache 调整 (49)7安全性 (50)7.1安全框架 (50)7.2设备安全 (51)7.3网络安全 (51)7.4业务安全 (52)7.5管理安全 (52)8可靠性 (53)8.1硬件可靠性 (53)8.2软件可靠性 (54)8.2.1节点冗余设计 (54)8.2.2网络链路聚合 (54)8.2.3亚健康管理 (55)8.2.3.1硬盘亚健康管理 (55)8.2.3.2网络亚健康管理 (56)8.2.3.3服务亚健康管理 (56)8.2.3.4快速换路重试 (56)8.3数据可靠性 (56)8.3.1数据保护 (56)8.3.1.1多副本 (57)8.3.1.2纠删码 (57)8.3.1.3多故障域 (58)8.3.1.4掉电保护 (59)8.3.1.5快速数据重建 (59)8.3.2数据一致性 (60)8.3.2.1强一致性复制协议 (60)8.3.2.2读修复技术 (60)8.3.2.3数据完整性保护 (60)8.4解决方案可靠性 (61)8.4.1本地数据保护 (61)8.4.2业务连续性保护 (62)8.4.2.1AA 双活 (62)8.4.2.2异步复制 (62)9开放兼容性 (64)9.1存储协议兼容性 (64)9.2虚拟化平台兼容性 (64)9.3云管平台兼容性 (65)9.3.1OpenStack 云管平台 (65)9.3.2非OpenStack 云管平台 (65)9.4综合网管平台兼容性 (65)9.5软件兼容性 (66)9.5.1操作系统兼容性 (66)9.5.2数据库软件兼容性 (66)9.5.3大数据应用兼容性 (66)9.6硬件兼容性 (66)9.6.1服务器硬件 (66)9.6.2存储介质兼容性 (67)9.6.3IO 板卡兼容性 (67)10存储永新 (68)10.1存储服务更新 (68)10.2系统滚动升级 (69)10.3新硬件替换 (69)10.3.1老平台纳管 (69)10.3.2新硬件加入 (70)11存储管理 (71)11.1块存储服务 (71)11.2块存储集群管理 (72)11.3eSight 数据中心级管理 (72)11.4eService 云化管理 (73)11.5SmartKit 智能巡检 (73)12缩略语 (74)1 概述随着数据不断增长以及互联网业务的兴起，新兴应用对存储需求的快速变化以及不确定性成为主要挑战，在金融行业，银行要抓住互联网、特别是移动互联网金融崛起带来的机遇，同时也不得不迎接由此带来的挑战：新业务天级甚至小时级上线；更精准的用户需求分析等。
FusionStorage分布式存储系统介绍和架构原理
传统SAN存储
Server1
Server2
Server3
10GE / FC
Server SAN的原理
定义：Server SAN is defined as a combined compute and pooled storage resource comprising more than one storage device directly attached to separate multiple servers (more than one). -- by wikibonServer SAN是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源。
EMC VMAX
HDS VSP G1000
Huawei 18000
*数据来源：Gartner 2013Q4报告
存储技术的发展趋势
每次技术发展,存储的性能 容量 可靠性都得到极大的提升
Network
传统存储在扩展性方面挑战仍非常大
Network
Controller
Controller
APP
APP
中低端存储只能垂直扩展
Page
华为云计算存储发展历程
Content
FusionStorage架构
FusionStorage特点
FusionStorage背景
FusionStorage应用场景
FusionStorage架构原理
以数据块为单元进行数据管理I/O在所有磁盘上负载均衡,无热点,磁盘性能最大化利用故障数据重构迅速,整体性能影响小支持精简配置,无需热备盘
据Wikibon评估，传统的企业存储在2013年虽然还占据95%的份额，但接下来的10年将持续下降，下降幅度是16.7%。而企业Server SAN存储将以40.9%的速度野蛮增长，Server SAN存储的收入将超过传统的存储（包括现在的SAN，NAS，DAS)。
HCCP-01FusionStorage整体介绍17
云资源池下的容灾方案
生产站点
容灾管理软件
VM1 VM2 VVRRGG
FusionSphere 虚拟化平台
容灾站点
容灾管理软件
VVRRGG VM2′ VM1′
FusionSphere 虚拟化平台
VM 1
FusionStorage Manager (主)
VM 2
FusionStorage Manager (备)
服务器1 FusionStorage Agent MDC VBS
OSD OSD
服务器2 FusionStorage Agent
MDC VBS
OSD OSD
服务器3 FusionStorage Agent
特征
专有设备变通用设备 计算与存储线性扩展 简单管理、低TCO
华为Server SAN产品FusionStorage
分布式块存储软件
将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池
对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口
FusionStorage 兼容性---硬件&软件
硬件兼容性主要包括： 服务器 HDD盘，SSD盘，PCIE SSD卡/盘 RAID卡，以太网卡， Infiniband卡
软件兼容性主要包括： 虚拟化平台 操作系统 数据库软件
FusionStorage 技术规格参数
…
DHT环 x86服务器
分布式Cache
强一致性算法
华为FusionStorage方案选择参考
核心系统
块/文件一体化
海量文件/ 备份/归档
云资源池和 OLAP数据库
FusionStorage智能分布式存储技术白皮书
以弹性高效满足关键业务数据存储需求FusionStorage 将HDD 、SSD 等存储介质通过分布式技术组织成大规模存储资源池，为上层应用和客户端提供工业界标准接口，消除传统数据中心烟囱式存储系统构建导致的硬件资源利用不均问题，实现存储资源的按需服务能力。
支持初始小规模部署，横向扩展至数千节点的大规模存储集群，提供性能容量的线性增长能力。
FusionStorage 采用独有的FlashLink®性能加速技术，通过智能分条聚合、I/O 优先级智能调度、智能Cache 算法、智能数据识别与处理等系列关键技术，结合NVMe SSD 介质，即使在开启数据缩减功能的情况下，也能提供低至1毫秒的稳定时延，更好地支撑关键业务云化。
无论您的数据中心在未来需要扩展I/O 密集型、时延敏感型或大容量需求业务，FusionStorage 提供的分布式块存储系统都可以应需承载。
丰富的企业级特性，助您构建高可用数据中心FusionStorage 采用端到端数据完整性校验（Data Integrity Field ，简称DIF ）、多类型数据冗余保护、全面的系统亚健康检测与自一个数据中心一套存储一个数据中心一套存储存储系统永新，数据免迁移实现数据智能产品特性双活、异步远程复制、快照、华为FusionStorage 新一代智能分布式存储提供数据缩减、Active-Active QoS 等丰富的企业级数据服务特性，助您轻松应对业务快速变化时的数据灵活、可靠存取需求；同时，兼容容器、各类主流虚拟化及云平台，提供基于标准接口协议的开放API ，支持融入OpenStack 云基础架构。
FusionStorag e广泛适用于金融、运营商、政府公共事业等行业云资源池、关键业务数据库等场景。
华为FusionStorage 是一款可大规模横向扩展的智能分布式存储产品，是既具备云基础架构的弹性按需服务能力、又满足企业级关键业务需求的全自研存储系统。
华为云计算解决方案架构概述
OS
VM
APP2
Runtime/ Framework
OS
VM
Hardware
APP1
Runtime/ Framework
APP1
Runtime/ Framework
OS Hardware
第14页
FusionCompute
⚫ FusionCompute 是 FusionSphere 的虚拟化部件，主要提供资源 虚拟化和虚拟化资源池管理功能。
⚫ 物理设备可以被上层集中管控。 ⚫ 通过上层软件解耦，用户无需关心物理设备。
第5页
虚拟资源层
⚫ 虚拟资源层由虚拟化软件提供，实现软硬件的解耦，包括：
计算虚拟化：FusionCompute 存储虚拟化：FusionStorage 网络虚拟化：FusionNetwork
⚫ 可以兼容第三方或开源虚拟化软件，包括KVM，vSphere等。
第2页
目录
1. 华为云DC解决方案架构 2. 华为云计算虚拟化层
第3页
开放兼容的基础设施云平台 - 华为 FusionSphere
应用
基础 设施 服务
虚拟 资源
物理 资源
…
CRM
ERP
办公系统
数据中心管理平台(ManageOne/ 3rd）
Keystone Glance Swift
基础设施云平台 FusionSphere
计算虚拟化 存储虚拟化 网络虚拟化
第12页
计算虚拟化理论
⚫ 虚拟化（Virtulization）是一个广义的术语，通常可以理解为 一种对计算机资源的抽象方法。
⚫ 系统虚拟化的目的通过使用虚拟化管理器（Virtual Machine Manager，简称VMM），在一台物理机上虚拟和运行一台或 多台虚拟机。
华为FusionStorage技术建议书分布式存储
华为FusionStorage分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有侵权必究Revision record 修订记录为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。
它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。
FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。
FusionStorage功能架构图如下所示：FusionStorage功能模块:存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。
FusionStorage系统软件架构：FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。
FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。
系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。
在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。
本地SCSI支持主流的linux 操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。
精选-FusionStorage原理及功能特性
Server1
App
App
计算网络(10GE)
Server2SeFra bibliotekver3App
App
App
App
FusionStorage分布式一体化存储
Cache SSD
HDD
Cache SSD
HDD
Cache SSD
HDD
Server4
待扩容加 入节点1
Server5
待扩容加 入节点2
FusionStorage快速数据重建
数据存储：在MDC运行过程中，会生成各种控制视图信息，包括目标视图、中间视图、IO视图信息等，这些信 息的保存、更新、查询、删除操作都通过ZK提供的接口实现
数据同步：数据更新到主ZK，由主ZK自动同步到两个备ZK，保证主备ZK数据实时同步。一旦ZK发生主备切换， 业务不受影响
FusionStorage 视图
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
FusionStorage数据路由原理
Partition
Disk
P1
Disk 1
(LUN1,LBA1) Generate Key1=(LUN1,LBA1)
FusionStorage数据路由采取分层处理方式： VBS通过计算确定数据存放在哪个服务器的哪块硬盘上 OSD通过计算确定数据存放在硬盘的具体位置
1. FusionStorage基础概念及关键原理 2. FusionStorage组件功能及相互关系 3. FusionStorage IO流程分析 4. FusionStorage主要功能特性 5. FusionStorage跨服务器、机柜或机房数据可靠性
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
42%已使用或即将使用
19.7%
19.7%20.8%20.1%
9.8%
5.8%
7.3%
14.6% 11.5%
24.1% 21.1%
16.4%
15.3% 13.6% 14.2%
25.4% 22.6%
18.0%
0.0%
已使用
未来12个 未来12-24个 不会使用 月会使用 月会使用
没听过
不知道 （不确定）
场
景
DB及关键应用
财务报表 ERP 市场营销 CRM
虚拟化 平台
OpenStack
物
理
HANA
部
查询检索
数据分析
署
SCSI/iSCSI
FusionStorage
分布式Cache
高速网络 IB /GE/10GE
x86服务器
…
DHT环 x86服务器
分布式Cache
强一致性算法
8
场景特点
云资源池
• 大规模池化 • 低TCO • 统一管理 • 业务敏捷
*数据来源：中桥国际调研咨询有限公司（2015）
专有设备变通用设备 X86服务器增长为Server SAN
的普及奠定了计算基础
10Gb以太网技术成为企业首选 网络技术，为Server SAN的普
及奠定了网络基础
中国市场趋势
未来24个月内向企业级用户使用 Server SAN的比例将从9.8%上
升至20.8%， 增长率200%
照片服务器 NFS
NAS NAS NAS
活动用户0到1亿55月，1亿到4亿18个月
历史照访问片符合长尾理论 照片数量（10亿）
600 400 200
0
爆发增长带来海量数据，推动IT系统改造
2600亿图片（20P）时，NAS层出现性能瓶颈， 无法满足每秒查询1百万图片的需求。
元数据与图片数据绑定 NAS元数据超大（26T=2600亿*100字 节)，无法缓存到内存。 检索单个图片超过10次磁盘IO。 NAS服务器成本高昂
HDD
SAN/NAS
架构转型
Server本地存储
传统企业客户考虑引入新的存储的架构，构建面向未来灵活可扩展的存储资源池
4
全球存储市场发展趋势：分布式存储快速增长
定义：Server SAN 是由多个独
立的服务器自带的存储组成的一
个存储资源池，同时融合了计算
和存储资源
现在
专有设备变通用设备 计算与存储线性扩展
业务上线快，存储供应时间减少3倍以上 1、弹性扩展/自动供应，减少规划/采购/配置时间 2、削峰填谷，满足业务爆发式增长
IAAS 3.0
以云服务、移动宽带网络、大数据分 析、社交网络技术为依托
PB时代，10~100GB/s，分布式架构
1993年 EMC Symmetrix 16MB DRAM, 1 GB Global Memory,容量1 TB, Hypervolume Extension
2
IBM DS8000 EMC VMAX
Huawei 18000
分布式存储最早诞生在互联网行业，随着技术的产品化成熟，越来
越多的企业级用户也在尝试，将传统的业务迁移到弹性，灵活
的分布式存储资源池
Facebook每天20亿照片存储系统揭秘
业务特点
NAS无法满足海量照片存储
应用推出快。每天上线140，已达24000 应用更新淘汰率高
浏览器 CDN
DB及关键应用• 高吞吐 • 高源自价比 • 开放兼容核心亮点
• 分布式哈希算法 • 可伸缩DHT环 • 分布式Cache • 高速P2P网络 • 强一致性算法
云及虚拟化场景
相比传统存储给客户带来的价值
2011.4
5M
1
2011.5
10M
2011.10
50M
2012.09
200M
2012.10
300M
简单管理、低TCO
未来10年全球企业分布式存储市场快速增长，预计2027将占存储市场的70%份额
5
国内的分布式存储也在快速增长
贵公司是否会考虑Server SAN ？
基础条件已经成熟
中小企业（1000人以下，N=295）
企业级（1000人以上，N=183）
所有受访者（N=478）
30.0% 25.0% 20.0% 15.0% 10.0%
2010s 大数据，云计算
IAAS 1.0
以主机和终端、DAS为主 GB时代，MB/s
1956年 世界第一台磁盘存储系 统IBM 305磁盘介质取 代打孔卡，容量5MB 读写速率10K/s
1980年，薄膜磁头技 术，性能飞跃，容量 8*2.52GB 读写速率3MB/s
IAAS 2.0
以服务器、SAN/NAS为主 TB时代，GB/s
3
传统行业存储面临的挑战
中国企业客户面临哪些存储挑战？
存储容量不能满足需求
50.1%
传统SAN的架构
Server
Server
分布式Server SAN的架构 Controller
资源配置复杂 采购和运营成本高
44.4% 40.2%
VM
VM
VM
VM
VM
VM
VM
VM
Server Server Server
自研分布式存储
浏览器
获取对象元数据 Haystack目录
CDN 获取图片数据
HTTP
缓存可写卷数据，减 少读写混合IO
Haystack 存储
照片服务 下载到存储层
目前每天新增照片20亿，每秒查询最高4百万图片
元数据与图片数据分离 Haystack目录元数据大幅减小（3.5T =2600亿*50字节*1/4)可缓存内存中 检索单个图片数据仅需1次磁盘IO。 商用服务器承载存储，每TB成本降低 28%
VM
VM
VM
VM
VM
VM
不能满足并行处理能力需求
39.3%
非结构化数据的大数据分析
33.2%
存储硬件利用率低下
20.9%
其他
3.1%
*数据来源：中桥国际调研咨询有限公司
FC/IP Network
FC/IP Network
InfiniBand /10GE Network
Cache
HDD
SAN/NAS
Cache
华为FusionStorage存储资源池方案介绍
Content
1
从SAN到Server SAN
2
华为FusionStorage典型应用场景及解决方案
3
华为FusionStorage 应用案例
4 Q&A
1
信息化与存储发展历程
1960s 大型机 1980s 个人电脑
1990s 互联网
2000s 移动互联网
运营商，金融机构数据中心已开 始建立相关的分布式存储资源池
6
Content
1
从SAN到Server SAN
2
华为FusionStorage典型应用场景及解决方案
3
华为FusionStorage 应用案例
4 Q&A
7
FusionStorage应用场景
云资源池
两
大
公有云 私有云 VDI 开发测试
应
用