超融合技术白皮书

01
第一章：传统IT发展困境与面临的痛点
自上世纪90年代中后期开始，以大型机、小型机、大型数据库、集中式存储与业务高可用软件组 成的IT架构适应了当时的数据大集中趋势，传统IT设备制造商在这一阶段得到了迅猛的发展，集 中式的部署模式带来了对硬件性能、高可靠性及扩展性的需求增加。 2003年左右，服务器虚拟化技术开始普及，以VMware为代表的虚拟化软件厂商引领数据中心由 物理硬件数据中心向虚拟化数据中心转变。服务器虚拟化技术有效控制了数据中心内服务器数量 规模的膨胀，提高了服务器的利用效率，并且，利用虚拟机迁移等技术大大降低了数据中心对服 务器RAS特征的依赖。服务器虚拟化技术的大规模应用使得业务系统的部署呈现由Unix小型机平 台迁移到x86 + 虚拟化 + 集中存储架构的趋势，x86刀片服务器 + 虚拟化 + 集中式存储阵列成为 这一时期数据中心的主宰。主流传统IT架构如下图：
(1) 架构复杂，管理困难，策略分散 存储、服务器、网络安全设备三层堆栈部署存在明显的复杂性，需要对多层软硬件结构进行组装和 调试，才能使其正常工作。 首先，需要从网络设备厂商采购ToR（Top of Rack，架顶式）交换机，然后从服务器硬件厂商采 购服务器，再从存储厂商采购昂贵的存储设备，如果是FC存储，还需要在服务器上部署专门的 HBA（Host Bus Adapter，主机总线适配器）卡来提升访问性能，最后，使用Hypervisor软件管 理平台实现虚拟机与业务系统的部署。 上述IT建设模式导致设备供应商和设备种类繁多，用户需要花费大量的时间和精力准备大量复杂的 基础设施，各种设备的配置相互独立，管理割裂，缺少统一的集中化IT构建策略，无法对数据中心 内的基础设施进行统一的监控、管理、报告和远程访问，后期维护技术门槛高。
(1) 分布式存储发展 1998年——IBM 发布第一个基于 AIX 操作系统的共享文件系统，General Parellel File System，简称 GPFS。 2003年——Google 公布 GFS （Google File System）技术细节。 2004年——Ceph项目开始，提交了第一行代码。 2006年——Hadoop 发布 HDFS 分布式存储。 2010年——Google 宣布 GFS 下一代产品在 2010 发布，命名为 Colossus。 2011年——Nutanix 发布 NDFS 分布式文件系统；Inktank公司成立，专门研发基于Ceph的分 布式存储。 2014年——Ceph社区受到各大厂商青睐，同时Inktank公司被RedHat公司1.75亿美元收购。
07
第三章：超融合的定义
在传统IT的基础上，延伸出来了融合系统。刚开始，融合系统是简单地物理上堆叠，有的厂商还 为此提供了统一管理界面，但是各个部分的管理其实是分开的，从客户数据中心的运维管理维度 上来讲，技术人员依然需要花费大量精力来关注于系统级的运维。随着服务器虚拟化的兴起，融 合系统逐渐转化为SAN基础架构上跑服务器虚拟化，比如VCE的VBlock。即使有统一的管理界 面，用户依然需要对存储、虚拟化或网络单独管理。从宏观上看，计算、网络和存储都融合在一 块了，但实际上用户还需要对每一部分做单独管理，并没有实现让IT转向通过关注业务层面的响 应来支撑业务发展的愿景。 随着互联网与分布式存储的兴起，逐步出现了软件定义的解决方案，包括存储和网络。原来臃肿 的SAN方案逐步被简化为基于X86系统的解决方案，不再需要SAN存储和SAN交换机，利用分 布式软件让本地硬盘共享给其他主机来使用，并且可以提供不同的存储服务。因此，很多人将其 定义为超融合。但准确来说，这并不是超融合。这种方式，其实是将原来的DAS存储利用分布式 软件共享出来而已，追根究底还是存储。从其所具有的特点，比如卷快照、提供不同的存储服务 （iSCSI/NFS等），也可以看出这只是软件方式的分布式存储。 那么，如果将软件定义存储、网络和虚拟化平台打包，是不是就是超融合？从广义上来说是。因 为这种方式将计算存储和网络都融合在了一起，每个节点都会有分布式的协议栈，并通过虚拟化 平台将硬件资源池化，用户通过虚拟化平台对资源进行统一管理(如图2所示)。同时，可以简单地 进行横向/纵向扩展。Gatner和IDC都是从这个维度上去定义超融合的： Gartner：HCI是一种以软件为中心的体系结构，将计算、存储、网络和虚拟化资源（以及可能 的其他技术）紧密集成在单一的供应商提供的一台硬件设备中。 IDC：超融合系统是一种新兴的集成系统，其本身将核心存储、计算和存储网络功能整合到单一 的软件解决方案或设备中。
(6) 超融合市场与厂家的发展
2009年——Nutanix成立，开始投入产品研发。 2011年——Nutanix推出首代超融合产品。 2013年——联想、华三、SmartX、华云网际、Nutanix在中国纷纷推出超融合产品，标志超融 合作为独立的产品形态出现在中国市场。 2015年——IDC首次发布中国区超融合市场报告，厂商市场占有率排名依次为华三、华为、 Nutanix、深信服、VMware、SmartX。 2016年1月——联想发起成立中国超融合联盟，并担任第一届理事长单位，标志着中国超融合的 元年开启。 2016年——Nutanix 成功 IPO 2016年——独立第三方研究机构 Gartner 在《Market Trends: 超融合 Opportunities in China for Global Vendors》系统报道了中国主流超融合厂商与超过上千节点的中国最大超融 合案例。 2017年——中国市场超融合厂商数量超过50家，超融合已经渡过概念炒作阶段，在越来越多的 客户落地，成为数据中心重要组成部分。 2018年4月——IDC发布2017年中国区超融合市场报告，指出2017年中国超融合市场总量相比 2016年增长115.3%，达到3.79亿美元。
04
第二章：超融合产生背景和历史
超融合基础架构（HCI）是一种软件定义的IT基础架构，可虚拟化传统“硬件定义”系统的所有 元素。 HCI 至少包括虚拟化计算（hypervisor），虚拟化存储（软件定义存储，一般为分布式存 储）和虚拟化网络（软件定义网络）。 HCI 通常在商用 x86 服务器上运行。 毫无疑问，超融合在近年来已经成为IT基础架构领域最具颠覆性的架构之一，它不仅深刻改变着 用户IT基础设施的采购和使用模式，更影响着整个IT基础架构市场的格局。而任何一项变革性的 架构无不来自于两个方面的驱动力：
(2) 集中式存储扩展性差，造成了存储割裂及竖井化
传统存储根据机头控制器的能力分为高中低三档存储，低端存储通常支持200块硬盘左右的扩展能 力，中端存储通常支持1000块硬盘左右扩展能力，高端存储通常支持5000块硬盘左右扩展能力。 集中式存储扩展性受限，低端存储无法升级为中高端存储，不能实现随着计算资源扩展而自由地横 向扩展。当客户业务量较小时，初期购买中低端存储，后续遇到业务量增加或者新上业务，存储性 能和容量则无法满足客户需求，通常选择是再增加一台新的中低端存储，这样就造成了多存储平台 之间的割裂，资源利用率底，管理复杂，无法满足上层业务对易用性和敏捷性的需求。如果客户初 次购买高端存储，则又会遇到初次投入成本过高，设备利用率不足等问题。 随着数据集中化及云计算成为主流建设模式，存储资源集中化，业务大规模部署及运维逐步成为刚 需，传统存储在扩展性上受限，无法适应虚拟化数据中心弹性可扩展的未来要求，这是目前客户遇 到的主要痛点之一。
03
(3) 高昂的成本支出 投资成本高：传统的存储与计算分离架构，需要配置独立的网络、存储和计算节点。为了提高系统 整体高可用性，需要通过资源冗余的方式达到设计目标，包括存储网络设备的冗余、存储控制器的 冗余、存储链路的冗余等，增加了数据中心的建设投资成本。 运维成本高：随着IT规模的不断膨胀，数据中心内的服务器数量、网络复杂程度以及存储容量急剧 增长，随之带来的是高昂的硬件成本支出以及运营成本支出（电力、制冷、占地空间、管理人员 等），同时，应用系统的高可靠性严重依赖于硬件提供的RAS（Reliability Availability and Serviceability，可靠性、可用性和可服务性）特性，导致硬件产品规格不断提高，硬件采购成本极为 高昂。 (4) 业务部署速度缓慢 新的服务器、存储设备和网络设备的部署周期较长，整个过程包括方案设计、硬件选型、多厂商采 购、分批到货、上架安装、系统集成、网络配置、综合调试、业务部署等环节。一般情况下，这个 过程需要的工作量约20～40小时，交付周期约2～5个月，IT系统从提交业务变更请求到进行运营 变更之间存在较长的延迟，初期部署效率低。
02
■ 以方案集成的形式交付。IT架构通常涉及众多厂商和品牌，设备种类多。通常由集成商做系统 集成来交付完整解决方案，后续运维无法实现一个管理软件实现全部配置、管理、监控功能。 随着企业业务规模的不断扩张，尤其是云计算大潮来临，IT平台的规模和复杂程度出现大幅度的提 升，业务对IT基础架构的灵活性、可扩展性以及快速上线的能力提出了更高的要求，传统IT数据中 心架构的弊端也逐渐显现，具体表现为：
(4) 10Gb 以太网发展
2002年——IEEE 802.3ae 发布 10Gb 以太网标准。 2012年——10Gb 以太网交换机每 1000M 的成本下降至 1Gb 交换机的1/3。
(5) 数据容量发展
1986年-2007 年之间，全球数据量平均每年增长超过 23%。 2010年-2018 年之间，全球数据量平均每年增长超过 40%。
■ 虽然 x86 虚拟化技术早在 1998 年就已出现，但在 2005 年 CPU 支持虚拟化技术之前，并不 算十分流行；CPU 虚拟化技术大力推动服务器虚拟化软件的发展；2007 年 VMware 发布 ESX 3.5 真正开始步向成熟。市场也看到服务器虚拟化具有颠覆性的优势，逐渐开始普及服务器虚拟 化技术。到今天服务器虚拟化可以说成为企业数据中心必选技术之一，已经被广泛应用。服务器 虚拟化技术解决了计算能力的密度提升与降低成本的问题。 ■ 随着业务规的压 力。由于传统集中式存储性能受限于存储控制器，而存储控制器难以线性扩展，虚拟化程度高导 致 IO 压力剧增，集中式存储难以负荷；此外传统存储的专有硬件架构，导致其维护成本高昂、 升级困难、管理复杂，与此对应的分布式存储则避免了这些缺点。但分布式存储真正具备长足发 展的原因是硬件技术的成熟。从2012年左右开始，企业级SSD逐渐成熟，使得不再需要大量堆 砌HDD磁盘来获得性能提升。