FusionStorage分布式存储方案介绍
云计算存储有哪几种类型
在云计算的领域离不开存储，那么云计算使用的存储包括三种类型：虚拟化的存储（虚拟化存储、非虚拟化存储、裸设备映射，一般用于虚拟化场景）和分布式存储（存储池和存储卷，一般用于私有云场景和虚拟化场景）、集中式传统存储（FC-SANIP-SANNAS，一般用于虚拟化和私有场景）。
虚拟化存储架构:虚拟磁盘：由存储池提供给虚拟机使用的磁盘，后缀名为VHD。
虚拟化存储：由SAN和NAS提供的存储空间，需要添加一层文件系统（VIMS）屏蔽底层差异，性能较差。
支持更多的虚拟化特性如迁移、快照等等。
有文件系统。
非虚拟化存储：由分布式存储提供的存储空间，没有添加文件系统，性能较好，无法支持一些高级虚拟化特性。
没有文件系统。
虚拟化存储和非虚拟化存储都是两种不同类型的数据存储，都可以给虚拟机使用。
区别：1、底层提供者不一样。
2、性能不一样。
3、特性不一样。
4、文件系统不一样。
总结：虚拟化存储：在存储空间上添加了一层文件系统，支持高级特性如迁移。
但是性能差。
非虚拟化存储：在存储空间上没有一层文件系统，无法支持高级特性如迁移，但是性能好。
集中式存储讲磁盘组成磁盘阵列，完成集中式的存储，并通过映射给主机使用。
1、通过奇偶校验算法（XOR）的方式保存数据，相同为0，不同为1。
2、RAID分类RAID0：读取数据快，但是没有数据保护机制。
RAID1：2块磁盘组成一个RAID组，性能一般，安全性较高，磁盘利用率不高。
RAID3：使用单独的磁盘做校验，磁盘利用率较高，读数据性能高，写时会产生抢占。
ARID5：将校验值放入整个阵列中，缓解了抢占问题。
读写性能一般。
至少要3块磁盘。
RAID10：组合RAID，性能提升较快。
RAID50：组合RAID，提供了存储的利用率。
磁盘阵列主要采用RAID技术来保护数据，还可以提供并行读写。
热备盘技术：将快要损坏的磁盘上的数据移动到热备盘进行数据保护。
传统存储网络类型：1、SAN存储区域网络：利用磁盘阵列、网络设备组成专业化的存储网络。
华为虚拟化技术方案设计
华为虚拟化技术方案设计引言：虚拟化技术是以软件的方式实现硬件资源的虚拟化，使得多个虚拟机实例可以在同一台物理服务器上运行。
虚拟化技术可以提高硬件资源的利用率、降低运维成本，并且增加业务的灵活性和可扩展性。
华为作为一家全球领先的通信技术解决方案供应商，通过自己的技术实力和经验，为客户提供创新的虚拟化技术方案，帮助客户实现数字化转型。
方案设计：1.虚拟化平台选择：华为可以提供多个虚拟化平台选择，以满足不同客户的需求。
其中主要包括华为FusionSphere和华为CloudEngine。
- FusionSphere是华为自主研发的基于开源虚拟化技术的云平台，可以提供高性能、高可靠性、高可用性的虚拟化环境。
FusionSphere支持KVM、Xen和VMware等多种虚拟化技术，能够在不同的硬件架构上实现虚拟化。
- CloudEngine是华为提供的云操作系统平台，可以帮助企业快速构建私有云、混合云和公共云。
CloudEngine提供了虚拟化管理、网络管理和安全管理等功能，可以有效地管理虚拟化环境。
2.虚拟化存储技术：华为提供了多种虚拟化存储技术，以满足不同客户的需求。
- FusionStorage是华为自主研发的分布式存储系统，可以提供高性能、高可靠性的存储服务，支持多种协议和多种存储介质，能够满足不同应用场景的需求。
- FusionCube是华为提供的一体化存储服务器，集合了计算、存储和网络资源，可以实现高效的虚拟化存储。
3.虚拟化网络技术：华为提供了多种虚拟化网络技术，可以实现虚拟机之间的网络互通，提供安全、可靠的网络连接。
-SDN技术：华为提供了SDN控制器，并与虚拟化平台集成，可以实现虚拟网络的自动化管理和灵活配置。
-VxLAN技术：VxLAN是一种虚拟化扩展局域网技术，可以将虚拟机的数据包封装在扩展的IP包中进行传输，提供更大的网络隔离和更高的可扩展性。
4.虚拟化管理工具：华为提供了一系列虚拟化管理工具，可以帮助企业有效地管理和监控虚拟化环境。
FusionStorage配置手册
华为FusionStorage配置手册目录1 概述 (1)1.1 目的 (1)1.2 FusionStorage产品简介 (1)2 FusionStorage销售形态 (2)2.1 销售版本 (2)2.2 销售版本升级 (3)2.3 扩容 (3)2.4 SA&S (4)2.5 “软件订阅”配置原则 (4)2.6 发布版本升级 (5)2.7 发布版本差异 (5)2.8 SBOM清单 (6)2.9 扩容升级操作顺序 (7)3 FusionStorage软件配置规格 (8)3.1 FusionStorage逻辑架构 (8)3.2 FusionStorageManager配置规格 (9)3.3 计算和存储节点配置规格 (9)3.4 MDC配置原则 (11)3.5 配置约束条件 (12)3.6 软件编码和License配置原则 (13)3.6.1 永久license+SA&S方式 (13)3.6.2 订阅方式： (16)3.7 附录-成套配置原则 (17)4 FusionStorage硬件配置指导 (18)4.1 服务器硬件部件选型 (18)4.2 FusionStorage ServerSAN (19)4.2.1 自定义配置部署 (19)4.2.2 FusionStorage Node (22)4.3 服务器虚拟化 (24)4.3.1 Fusionsphere + FusionStorage (24)4.3.1.1 融合部署方式： (25)4.3.1.2 分离部署方式： (28)4.3.2 VMware + FusionStorage (32)4.3.2.3 融合部署 (32)4.3.2.4 分离部署 (33)4.4 其它场景 (33)5 配置详细计算过程 (34)5.1 FusionStorage有效容量计算 (34)1 概述1.1 目的本文档用于介绍FusionStorage 产品的组成，配置约束以及系统资源开销，硬件配置指导等，便于指导开发配置报价器以及市场项目的配置报价。
FusionStorage部署规划
48x10GE
48x10GE
GE Eth-trunk
堆叠
24x10GE
24x10GE
24x10GE
24xGE + 2x10GE LSW
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
2x10GE
2x10GE
Mgmt
融合Server3
VM
VM
融合部署：即将应用或虚拟机与存储同 时部署在同一台服务器上
VBS OSD
UVP/KVM
VBS和OSD安装在Hypervisor上
如果是华为UVP，则部署在Domain0里 面 如果是KVM，则部署在KVM宿主机OS 上面
第4页
硬件介质
版权所有© 2015 华为技术有限公司
GE组网时，硬件至少为4*1Gb组网，其中至少3*1Gb用于存储平面 10GE组网时，硬件至少为2*10Gb组网，其中至少2*6Gb用于存储平面 使用机柜级安全时，机柜间至少为4*10Gb带宽，每服务器为2*10Gb带宽，其中存储平面6*Gb及以上带宽
版权所有© 2015 华为技术有限公司
第11页
FusionStorage以太网组网之融合部署
through到Domain0中的OSD进行介质管理
VM
VM
Computing&Storage Server
Domain0
OSDs VBS
User VMs
VBS
OSD
UVP/KVM
Passthrough P C I E S S D
2.4 融合资源池解决方案-资源池管理能力特性介绍
系统周期检测虚拟机状态，当物理服务器宕机等引起虚拟机故障时，系统 可以将虚拟机迁移到其他物理服务器重新启动，保证虚拟机能够快速恢复 。目前系统能够检测到的引起虚拟机故障的原因包括物理硬件故障、系统 软件故障。
安全组（1）
虚拟机可以加入安全组，安全组用来实现组内和组间的访问控制， 加强虚拟机的安全保护，实现VPC内部的网络隔离。
可以将VPC内的虚拟机加入一个安全组，然后设定不同安全组间的 访问规则。
接入物理机是由全局业务管理员将物理机的信息手动录 入云管理平台中，并提供给用户进行申请。
目录
1. 计算资源 2. 存储资源 3. 网络资源 4. 统一资源管理
存储虚拟化
为云平台提供统一接口，按需分配的，持久化的块存储服务 （类似于Amazon EBS服务）
通过驱动的方式接入不同种类的后端存储（本地存储，网络 存储，FCSAN，IPSAN）
融合资源池解决方案-资源 池管理能力特性介绍
前言
数据中心融合资源池解决方案是华为云数据中心实现载体， 通过对融合资源池服务特性理解掌握，可以深刻理解华为云 数据中心解决方案。
目标
学完本课程后，您将能够：
理解计算资源管理特性； 理解存储资源管理特性； 理解网络资源管理特性； 掌握统一管理资源管理特性。
虚拟卷在线扩容&快照
虚拟卷在线扩容：针对容量达到上限的虚拟卷，传统方法是在虚拟 机关闭后，通过离线扩容虚拟卷的方式来增大磁盘空间，但这样会 造成虚拟机的业务中断。
为了解决这个问题，提供了在线扩容虚拟卷的功能。用户可以在虚拟机 运行时，实现增大磁盘可用空间的同时，达到虚拟机业务不中断的目的
分布式存储系统详解
传统SAN架构
FC/IP
孤立的存储资源：存储通过 专用网络连接到有限数量的 服务器。
存储设备通过添加硬盘框 增加容量，控制器性能成 为瓶颈。
第3页
分布式Server SAN架构
虚拟化/操作系统 InfiniBand /10GE Network
InfiniBand /10GE Network
Server 3
Disk3 P9 P10 P11 P12
P2’ P6’ P14’ P18’
Disk4 P13 P14’ P15 P16’ P7’ P11’ P19’ P23’
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
第10页
FusionStorage部署方式
融合部署
指的是将VBS和OSD部署在同一台服务器中。 虚拟化应用推荐采用融合部署的方式部署。
分离部署
指的是将VBS和OSD分别部署在不同的服务器中。 高性能数据库应用则推荐采用分离部署的方式。
第11页
基础概念 (1/2)
资源池：FusionStorage中一组硬盘构成的存储池。
第二层为SSD cache，SSD cache采用热点读机制，系统会统计每个读取的数据，并统计热点访问因 子，当达到阈值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSD。
FusionStorage预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存
到SSD中。
数据可靠是第一位的， FusionStorage建议3副本配 置部署。
如果两副本故障，仍可保障 数据不丢失。
分布式存储系统简介
分布式存储系统简介从以下三个⽅⾯对分布式存储系统进⾏简单介绍：1.⾸先，什么是分布式存储系统呢？简单的说，就是将⽂件存储到多个服务器中。
2.其次，为什么需要分布式存储系统？因为单机存储资源和计算资源已经不能满⾜⽤户的需求。
3.最后，如何实现⼀个分布式存储系统或者说实现⼀个分布式存储系统需要做哪些⼯作？（1）既然是将⽂件存储到多个服务器中那就需要确定将⽂件具体存储到哪些服务器⾥，两种⽅式，⼀种是通过控制服务器，由这个控制服务器负责统⼀调度，客户端请求存储⼀个⽂件时，⾸先与控制服务器交互，控制服务器返回需要保存到服务器的地址，读取⽂件时也需要与控制服务器交互，获取存储位置信息，其中HDFS、GFS等分布式存储使⽤此种技术，namenode就类似于控制服务器⾓⾊。
另外⼀个⽅式是，不需要控制服务器，客户端⾃⼰计算需要存储到哪⾥，最简单的⽅式是直接取hash，⽐如有8台存储服务器，只需要把⽂件内容或者⽂件名取hash模8即可计算出应该存储到哪台存储服务器。
但有个问题是，当服务器数量增减时，hash就失效了，⼏乎需要重排迁移所有数据，根本没有办法实现⽔平扩展，这在分布式系统中是⽆法忍受的。
为了避免出现这种情况，引⼊了⼀致性hash算法，⼜称为环哈希，其中OpenStack Swift、华为FusionStorage就是使⽤的该⽅法。
除了环hash，当然还有其他的类hash算法，⽐如CRUSH算法，其中开源分布式存储系统Ceph就是使⽤的该⽅法。
需要注意的是虽然基于hash的⽂件分布映射⽅法不需要控制节点计算需要存储的位置，但仍然需要控制服务器保存⼀些集群元数据，⽐如集群的成员信息、映射规则、监控等等，如Ceph的mon服务。
（2）但是，如果只有⼀个控制服务，则存在单点故障，挂掉了就会导致服务不可⽤。
为了避免单点故障，具备⾼可⽤特点，必然需要同时启动多个控制服务，有多个控制服务就必须区分谁是leader，谁是slave，因此需要分布式⼀致性来协调选主，可以基于现有的分布式协调系统实现，如Zookeeper、Etcd服务等，也可以直接基于Paxos、Raft算法实现。
华为FusionStorage技术白皮书
华为FusionStorage技术白皮书1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、易管理、兼容性等方面详细介绍了华为公司FusionStorage产品的功能及特点，旨在突出FusionStorage 产品独有的亮点、应用场景以及为客户带来的价值。
2 简介/Introduction虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。
然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。
如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。
华为分布式存储软件FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。
3 解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。
作为存放企业数据资产的存储系统，不但要满足业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。
从IT业界发展来看，以下技术趋势正在影响存储行业的发展：l 虚拟化技术的广泛应用虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。
与此同时，虚拟机应用给存储带来以下挑战：第一，相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；第二，采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；第三，单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标；第四，单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，这对传统受限于固定硬盘的RAID技术提出挑战；第五，虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。
FusionStorage分布式存储解决方案介绍
...
FusionStorage分布式存储资源池
SSD HDD SSD HDD SSD HDD
典型硬件2： 刀片式服务器 典型硬件1：机架式服务器
8
通用X86服务器硬件要求
组件 物理形态 处理器 内存 存储 规格 机架服务器或刀片服务器，X86架构 Intel Xeon E5-2600/4600 系列处理器，Intel Xeon E7-4800/8800 系列处理器 按照每TB硬盘1GB内存，推荐》64G内存 1、存储节点至少部署3个，配置RAID卡，支持RAID0/1，每台存储节点至少预留2块本地硬盘用于安装OS 2、如果管理节点与存储节点器合部，分布式资源池至少15个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至少 12个硬盘用于资源池数据盘，至少3个硬盘用于部署ZK盘 如果管理节点与存储节点器分离部署，分布式资源池至少12个2.5/3.5 英寸SAS/SATA/SSD硬盘，其中：至 少12个硬盘用于资源池数据盘，ZK盘采用分区的方式部署，与本地OS盘共用 每存储服务器用于FusionStorage存储平面带宽不低于4Gb，例如4×1Gb或者2×10Gb 至少有一个SSD卡或SSD盘作为写cache
5
Content
1 2 3
存储领域的技术现状与发展趋势 FusionStorage分布式存储系统 FusionStorage 核心价值
4
FusionStorage应用案例
6
FusionStorage分布式存储解决方案总体架构图
应 用 层
虚 拟 化 层
HANA
支持多种虚拟化平台 (FusionSphere/VMware)
管理平台
配置管理
Hale Waihona Puke SCSI驱动/iSCSI分布式链接克隆 分布式快照 卷管理 QOS管理 备份 容灾
FusionStorage技术白皮书
FusionStorage 技术白皮书FusionStorage 8.0 技术白皮书目录目录1概述 (1)2产品价值 (2)2.1分布式存储，随需而用 (2)2.2以弹性高效满足关键业务数据存储需求 (3)2.3丰富的企业级特性，助您构建高可用数据中心 (3)2.4开放兼容，下一代云基础设施的理想选择 (3)2.5智能数据服务与系统运维管理 (3)3产品架构 (5)3.1相关概念 (5)3.2软件架构 (6)3.3硬件架构 (7)3.4网络架构 (8)3.4.1以太网组网方案 (8)3.4.1.1部署方式 (8)3.4.1.2计算和存储分离部署 (8)3.4.1.3计算和存储融合部署 (11)3.4.2InfiniBand 组网方案 (13)3.4.2.1部署方式 (13)3.4.2.2计算和存储分离部署 (13)3.4.2.3计算和存储融合部署 (15)3.4.3RoCE 组网方案 (17)3.4.3.1部署方式 (17)3.4.3.2计算和存储分离部署 (17)3.4.3.3计算和存储融合部署 (19)3.5关键服务流程 (21)3.5.1组件描述 (21)3.5.2访问协议 (22)3.5.3数据路由 (23)3.5.4读IO 流程 (24)3.5.5写IO 流程 (24)4块存储特性 (26)4.1精简配置 (26)4.2重删压缩 (26)4.3多资源池 (28)4.4数据加密 (29)4.5QoS (30)4.6 快照 (32)4.7 克隆 (34)4.8异步复制 (34)4.9AA 双活 (35)5弹性扩展 (37)5.1DHT 算法 (37)5.2平滑扩容 (39)5.3性能扩展 (40)6高性能 (42)6.1分布式存储优化算法 (42)6.1.1动态智能分区和静态选盘算法 (42)6.1.2快速编码快速重构的弹性EC 算法 (43)6.2分布式SSD Cache 加速 (45)6.2.1Write Cache (46)6.2.2Read Cache (47)6.2.3大IO Pass Through (48)6.2.4动态Cache 调整 (49)7安全性 (50)7.1安全框架 (50)7.2设备安全 (51)7.3网络安全 (51)7.4业务安全 (52)7.5管理安全 (52)8可靠性 (53)8.1硬件可靠性 (53)8.2软件可靠性 (54)8.2.1节点冗余设计 (54)8.2.2网络链路聚合 (54)8.2.3亚健康管理 (55)8.2.3.1硬盘亚健康管理 (55)8.2.3.2网络亚健康管理 (56)8.2.3.3服务亚健康管理 (56)8.2.3.4快速换路重试 (56)8.3数据可靠性 (56)8.3.1数据保护 (56)8.3.1.1多副本 (57)8.3.1.2纠删码 (57)8.3.1.3多故障域 (58)8.3.1.4掉电保护 (59)8.3.1.5快速数据重建 (59)8.3.2数据一致性 (60)8.3.2.1强一致性复制协议 (60)8.3.2.2读修复技术 (60)8.3.2.3数据完整性保护 (60)8.4解决方案可靠性 (61)8.4.1本地数据保护 (61)8.4.2业务连续性保护 (62)8.4.2.1AA 双活 (62)8.4.2.2异步复制 (62)9开放兼容性 (64)9.1存储协议兼容性 (64)9.2虚拟化平台兼容性 (64)9.3云管平台兼容性 (65)9.3.1OpenStack 云管平台 (65)9.3.2非OpenStack 云管平台 (65)9.4综合网管平台兼容性 (65)9.5软件兼容性 (66)9.5.1操作系统兼容性 (66)9.5.2数据库软件兼容性 (66)9.5.3大数据应用兼容性 (66)9.6硬件兼容性 (66)9.6.1服务器硬件 (66)9.6.2存储介质兼容性 (67)9.6.3IO 板卡兼容性 (67)10存储永新 (68)10.1存储服务更新 (68)10.2系统滚动升级 (69)10.3新硬件替换 (69)10.3.1老平台纳管 (69)10.3.2新硬件加入 (70)11存储管理 (71)11.1块存储服务 (71)11.2块存储集群管理 (72)11.3eSight 数据中心级管理 (72)11.4eService 云化管理 (73)11.5SmartKit 智能巡检 (73)12缩略语 (74)1 概述随着数据不断增长以及互联网业务的兴起，新兴应用对存储需求的快速变化以及不确定性成为主要挑战，在金融行业，银行要抓住互联网、特别是移动互联网金融崛起带来的机遇，同时也不得不迎接由此带来的挑战：新业务天级甚至小时级上线；更精准的用户需求分析等。
FusionStorage存储方案介绍
报告/通知状态 通知状态变化 通知状态变 获取IO View 化 VBS集群 VBS（Leader） 同步元数据 VBS
OSD
OSD OSD
系统启动时，MDC与ZK互动决定主MDC。主MDC与其它MDC相互监控心跳，主MDC决定某MDC故障后谁接替。其它MDC发现主MDC故障又与ZK互动升任主MDC。 OSD启动时向MDC查询归属MDC,向归属MDC报告状态，归属MDC把状态变化发送给VBS。当归属MDC故障，主MDC指定一个MDC接管，最多两个池归属同一个MDC。 VBS启动时查询主MDC，向主MDC注册（主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC，以便MDC能将OSD的状态变化通知到VBS），向MDC确认 自己是否为leader。
4
FusionStorage 基本原理--- 数据路由
FusionStorage分布式存储系统介绍和架构原理
传统SAN存储
Server1
Server2
Server3
10GE / FC
Server SAN的原理
定义：Server SAN is defined as a combined compute and pooled storage resource comprising more than one storage device directly attached to separate multiple servers (more than one). -- by wikibonServer SAN是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源。
EMC VMAX
HDS VSP G1000
Huawei 18000
*数据来源：Gartner 2013Q4报告
存储技术的发展趋势
每次技术发展,存储的性能 容量 可靠性都得到极大的提升
Network
传统存储在扩展性方面挑战仍非常大
Network
Controller
Controller
APP
APP
中低端存储只能垂直扩展
Page
华为云计算存储发展历程
Content
FusionStorage架构
FusionStorage特点
FusionStorage背景
FusionStorage应用场景
FusionStorage架构原理
以数据块为单元进行数据管理I/O在所有磁盘上负载均衡,无热点,磁盘性能最大化利用故障数据重构迅速,整体性能影响小支持精简配置,无需热备盘
据Wikibon评估，传统的企业存储在2013年虽然还占据95%的份额，但接下来的10年将持续下降，下降幅度是16.7%。而企业Server SAN存储将以40.9%的速度野蛮增长，Server SAN存储的收入将超过传统的存储（包括现在的SAN，NAS，DAS)。
华为FusionStorage架构分析
MDC（meta data cluster）：集群管理， 负责集群状态的监控，数据分布规则， 数据rebuild的过程控制。（使用 zookeeper） VBS（virtual block system）客户端， 提供分布式块存储集群接入点服务。
OSD：数据服务组件。每个磁盘对应 一个OSD（类似于Ceph）
• 在恢复速度和不影响前端性能之间平衡
关键技术：灾备
• 基于volume的同步复制
• 同城双活 • 基于故障域实现的双活。但是难以实现基于volume的同步复制
• 基于volume的异步复制
• 异地复制 • 基于快照实现的全量和增量备份 • 可基于Volume的实现
其它功能
• 分布式缓存
• 有必要吗？ 如果负载均衡 • 针对热点？读热点缓存在cache中，写热点也没法分布式啊？
关键技术：数据分布（数据路由）
• FusionStorage采用DHT算法
• 需要全局保存Partition disk 的映射表
1）（LUN1，LBA）生产key 2）通过key，通过计算hash 值可得到 Partition 3）通过查找全局的 partition 到disk 的路由表，可知具体 的disk的值 优点： 1）保存partition到disk的映射表， 可以实现负载均衡 2）保存的元数 据比较少，可以支持的规模比较大。 缺点： 副本控制和分布的粒度是pool级别， volume级别的数据分布和副本的控 制比较难。
• 支持InifiniBand高速网络 • Data Scrub
• 定时检测存储数据 • 提前预防数据错误
• 硬盘可靠性
• 坏块标记 • 磁盘亚健康检查 • 磁盘错误检查
其它缺失的功能（没有提到的功能）
FusionStorage智能分布式存储技术白皮书
以弹性高效满足关键业务数据存储需求FusionStorage 将HDD 、SSD 等存储介质通过分布式技术组织成大规模存储资源池，为上层应用和客户端提供工业界标准接口，消除传统数据中心烟囱式存储系统构建导致的硬件资源利用不均问题，实现存储资源的按需服务能力。
支持初始小规模部署，横向扩展至数千节点的大规模存储集群，提供性能容量的线性增长能力。
FusionStorage 采用独有的FlashLink®性能加速技术，通过智能分条聚合、I/O 优先级智能调度、智能Cache 算法、智能数据识别与处理等系列关键技术，结合NVMe SSD 介质，即使在开启数据缩减功能的情况下，也能提供低至1毫秒的稳定时延，更好地支撑关键业务云化。
无论您的数据中心在未来需要扩展I/O 密集型、时延敏感型或大容量需求业务，FusionStorage 提供的分布式块存储系统都可以应需承载。
丰富的企业级特性，助您构建高可用数据中心FusionStorage 采用端到端数据完整性校验（Data Integrity Field ，简称DIF ）、多类型数据冗余保护、全面的系统亚健康检测与自一个数据中心一套存储一个数据中心一套存储存储系统永新，数据免迁移实现数据智能产品特性双活、异步远程复制、快照、华为FusionStorage 新一代智能分布式存储提供数据缩减、Active-Active QoS 等丰富的企业级数据服务特性，助您轻松应对业务快速变化时的数据灵活、可靠存取需求；同时，兼容容器、各类主流虚拟化及云平台，提供基于标准接口协议的开放API ，支持融入OpenStack 云基础架构。
FusionStorag e广泛适用于金融、运营商、政府公共事业等行业云资源池、关键业务数据库等场景。
华为FusionStorage 是一款可大规模横向扩展的智能分布式存储产品，是既具备云基础架构的弹性按需服务能力、又满足企业级关键业务需求的全自研存储系统。
争议这些分布式存储产品谁更胜一筹？FusionStorage、XSKY、Ceph、vSAN。。。
争议这些分布式存储产品谁更胜⼀筹？FusionStorage、XSKY、Ceph、vSAN。
来⾃twt社区同⾏交流，欢迎更多同⾏参与交流想了解关于FusionStorage、Ceph、vSAN、SmartX等分布式存储产品优劣对⽐，以及未来的技术演进趋势如何？FusionStorage在对象存储这块和C系的XSKY的⽐较？FusionStorage与Ceph、vSAN、SmartX的对⽐，包括块、⽂件、对象详细的对⽐？问题来⾃@csj11341 北明项⽬经理，下⽂来⾃twt社区众多同⾏实践经验分享，欢迎⼤家参与交流，各抒⼰见。
@刘东东软集团 IT技术咨询顾问：FusionStorage可以⽀持基于X86服务器的分布式对象存储，⽽XSKY⽀持对象存储的组件叫做XEOS或者可以使⽤ XEDP统⼀存储组件来做，除了⽀持 X86服务器服务器以外，还⽀持基于POWER芯⽚的服务器，⽀持更⼴泛，⽣态建设的⽐较好。
1、FusionStorage与Ceph对⽐块存储⽅⾯：FusionStorage与Ceph在⽀持块存储⽅⾯都⽐较好，⽽且块存储也是 Ceph的主要⽀持优势， FusionStorage也做了块存储⽀持的加强，毕竟是商业版本，性能优化上⽐较好。
⽽且还通过了Oracle RAC的认证，这个是为数不多的可以⽀持Oracle RAC的分布式块存储，可以⽀持在分布式存储上更好的部署Oracle 群集环境。
⽂件存储⽅⾯：Ceph在⽀持⽂件存储上相对较弱，不直接⽀持 scsi，需要⾃⼰⾃⼰搭建scst或lio服务端来⽀持 scsi接⼝，⽽且没有⾼可⽤。
FusionStorage可以让每个iscsi ⽬标端部署所有的主机节点上，⽀持虚拟IP地址配置，可实现⾼可⽤对接vmware，winserver和数据库等等。
对象存储⽅⾯：对象存储Ceph是最⼤的⼀个优势，因为它的本质上就是⼀个“对象存储”，其块和⽂件服务都是基于对象提供的，因此对象的性能上是最优的> ceph 块> ceph ⽂件。
华为FusionStorage技术建议书分布式存储
华为FusionStorage分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有侵权必究Revision record 修订记录为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。
它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。
FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。
FusionStorage功能架构图如下所示：FusionStorage功能模块:存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。
FusionStorage系统软件架构：FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。
FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。
系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。
在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。
本地SCSI支持主流的linux 操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。
精选-FusionStorage原理及功能特性
Server1
App
App
计算网络(10GE)
Server2SeFra bibliotekver3App
App
App
App
FusionStorage分布式一体化存储
Cache SSD
HDD
Cache SSD
HDD
Cache SSD
HDD
Server4
待扩容加 入节点1
Server5
待扩容加 入节点2
FusionStorage快速数据重建
数据存储：在MDC运行过程中，会生成各种控制视图信息，包括目标视图、中间视图、IO视图信息等，这些信 息的保存、更新、查询、删除操作都通过ZK提供的接口实现
数据同步：数据更新到主ZK，由主ZK自动同步到两个备ZK，保证主备ZK数据实时同步。一旦ZK发生主备切换， 业务不受影响
FusionStorage 视图
Disk5 P17 P18’ P19 P20’ P3’ P12’ P15’ P24’
Disk6 P21 P22 P23 P24 P4’ P8’ P16’ P20’
FusionStorage数据路由原理
Partition
Disk
P1
Disk 1
(LUN1,LBA1) Generate Key1=(LUN1,LBA1)
FusionStorage数据路由采取分层处理方式： VBS通过计算确定数据存放在哪个服务器的哪块硬盘上 OSD通过计算确定数据存放在硬盘的具体位置
1. FusionStorage基础概念及关键原理 2. FusionStorage组件功能及相互关系 3. FusionStorage IO流程分析 4. FusionStorage主要功能特性 5. FusionStorage跨服务器、机柜或机房数据可靠性
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0%
来源：IDC ECB Market Share Tracker 2018Q3
公有云
容量规模1000 PB且持续快速增长
华为云
分布式存储
执行能 力
新技术浪潮中，数据爆发式增长带来巨大的存储挑战
5G
AI
Cloud
应用种类丰富
VMware SAP Oracle
海量数据
自动驾驶存储
NVMe SSD
(1.3版本)
最快SSD
闪存转换层 算法下移
50%性能提升
CPU与硬盘直接通 信
保证性能一致
软硬件配合 端到端优化
R
FlashLink
0.5 ms稳定时延
业内首个数据中心级双活：为关键业务提供99.9999%可靠性
一个数据中 心，一套存储
真双活
2ms时延，100km
数据永不迁移 存储
智能发放
生产
研发测试 备份
归档
分析
Data Lifecycle
云化AI
智能数据流
Tier 0
Tier 1
‘0’ 业务中断
智能预测
容量 SLA级别
性能
20% 资源利用率
50%
副本浪费
智能副本管理
智能分析
健康检查 分析 恢复
93% 问题出现即提供解决方案
FusionStorage 8.0: 一个数据中心，一套存储
OpenStack
kubernet
docke es
r
厂商1
存储孤岛
厂商2
厂商3
厂商4
频繁数据迁移
厂商5
厂商6
厂商7
管理复杂
FusionStorage 8.0: 业界首个数据中心级融合分布式存储
外部控制器阵列
业界首个阵列级融合存储
业界首个数据中心级融合分布式存储
生产
备份
归档
分析
云
SAN NAS 自1980年起
2014年
协议融合 关键业务融合 场景融合 多云融合 管理融合 2019年
FusionStorage 8.0：一个数据中心，一套存储
以前
数据中心
Tier 0Leabharlann 全闪存Tier 1
高端
计费
CRM
ODS
BI
ERP
VM
Tier 2
VAS
中端
Tier 3
备份
对象/横向扩展NAS
OA
研发测试
归档
视频
现在
Production
生产
备份
归档
分析
云
一个数据中心， 一套存储
数据永不迁移存 储
自动驾驶存储
协议融合 关键业务融合 场景融合 多云融合 管理融合
THANK YOU
自动驾驶存储
RPO = 0, RTO ≈ 0 免网关
生产中心：集群A
• 每个节点都能进行双活数据同步，实现负载均衡并减少IO抖动 • 支持数据重定向访问，避免不必要的应用程序切换
生产中心：集群B
弹性EC: 高磁盘空间利用率，性能无损
一个数据中 心，一套存储
数据永不迁移 存储
自动驾驶存储
大I/O
小I/O
Backup
Archive
Analytics
Cloud
一个数据中心， 一套存储
40% TCO
数据永不迁移存储 自动驾驶存储
0成 本
5X 效率
一个数据中心，一套存储
8.0
新一代智能分布式存储
7大关键技术创造3大客户收益
客户收益
一个数据中 心，一套存储
协议融合 关键业务融合 场景融合 多云融合 管理融合
数据永不迁移 存储
自动驾驶存储
Technologies
1. FlashLink 2. 数据中心级双活 3. EC Turbo 4. 自适应重删 5. 数据跨云流
关键业务 非关键业务
6. 存储永新
7. 智能运营与运维
FlashLink：端到端关键业务全闪存优化
一个数据中 心，一套存储
数据永不迁移 存储
负载%
自适应在线/后重删
95%
自适应
在线重删
后重删
时间
在线重删
后重删
SSD/HDD
SSD/HDD
SSD/HDD
重删开启下最高性能
FusionStorage
重删未开启 重删开启
其他厂商
重删未开启 重删开启
IOPS
15% 28%
数据跨云流：数据管理效率提升50%
统一管理
一致体验
一个数据中 心，一套存储
I/O聚合
减少IO分片
追加日志
随机I/O序列化
性能无损
...
数据（22）
校验（2）
大比例EC
业界最大可用容量率
华为 其他厂商
华为 其他厂商
3副本
EC
33% 3副本
91.6%
75%
其他厂商
EC Turbo
自适应重删：超过50%容量节省及低于15%性能损耗
一个数据中 心，一套存储
数据永不迁移 存储
自动驾驶存储
数据永不迁移 存储
自动驾驶存储
边缘云
无线基站 车联网 智慧工厂 智慧零售
私有云 跨云备份容灾
公有云
无代理备份
异步复制 （15s RPO）
Data Recovery Service Recovery
存储永新：0数据迁移，0业务中断
一个数据中 心，一套存储
以前
数据永不迁移 存储
自动驾驶存储
替换 + 数据迁移
新一代智能分布式存储
华为FusionStorage
华为存储：增长最快，业界唯一提供企业存储及公有云存储厂商
本地数据中心
增长最快厂商
挑战者
领导者
2018
2016 2014
2010
特定领域者 前瞻性
有远见者
来源：Gartner Magic Quadrant for Disk Arrays(2018)
全闪存增速最快
• 成本：15k$/TB • 时间：数月
• 高业务中断风险
现在
VMs Database
FusionStorag软件滚动更新
旧节点
新节点
100TB/天
• 专业服务0成本
• 时间：数小时
• 0业务中断
自动驾驶存储，智能运营和运维
一个数据中 心，一套存储
数据永不迁移 存储
自动驾驶存储
90%+
资源发放时间