基于vSAN双活架构的云数据中心设计方案

基于vSAN双活架构的云数据中心设计方案
目录
第1章项目概述 (3)
1.1项目背景 (3)
1.2技术发展分析 (3)
1.3政策性分析 (4)
第2章现状及需求 (6)
2.1现状分析 (6)
2.2容量估算 (7)
2.3需求分析 (7)
第3章云平台系统设计方案 (9)
3.1私有云平台架构设计 (9)
3.2基础架构平台 (11)
3.2.1计算资源池 (11)
3.2.2基础架构标准化设计 (17)
3.3私有云安全体系 (19)
3.4私有云网络体系 (20)
3.5私有云综合运维 (21)
3.6私有云容灾体系 (23)
3.6.1同城双活技术 (24)
3.6.2异地容灾备份 (26)
第4章机房环境要求 (28)
4.1空调制冷设备 (28)
4.2供电设备 (28)
4.3网络传输部分 (28)
4.4机柜设计 (28)
第5章配置要求 (29)
5.1硬件配置要求 (29)
5.2软件配置要求 (29)
第1章项目概述
1.1项目背景
集团经过多年IT信息系统的建设，已经建设了大量的IT信息支撑系统，多年来积累了大量的数据，IT信息系统发挥了越来越重要的作用，信息化已成为推进XXX工作和XXX队伍建设的重要载体。

目前各大IT应用系统绝大多数采用“竖井式”的建设模式，即每个IT 系统的硬件资源与上层应用紧耦合绑定、根据上层应用静态配置匹配峰值负载的资源需求，各个业务部门独立规划设计、建设和使用各自的业务应用系统，运维管理方式也以“竖井式”为主，导致IT建设成本高、资源占用多、造成极大的资源浪费，同时也使得整体IT系统的资源利用率过低，存在大量的异构服务器。

在这种系统建设模式下数据中心体系结构变得非常复杂，IT 系统的改造和扩展难度很大，不利于IT系统基础设施的规划建设；而由于信息机房能源，制冷和空间条件的限制，也制约了数据中心的规模扩展，从而不能满足日益增长的系统扩容和建设需求。

因此对于集团私有云的研究具有极其重要的意义，通过建立集团的私有云可以整合数据中心的资源进行统一配置、使用、调度和管理。

构建高可扩展性、高弹性和高可用性的云管理平台具有资源整合度高、资源分配调度灵活、系统稳定性强、扩展能力高和管理部署简便等显著特点，可以大幅提高IT资源利用率、提速业务开展、降低能耗、节省投资。

同时，随着集团的日常工作同信息系统的联系越来越紧密，信息系统的运行出现故障所带来的业务影响范围会被迅速扩大，所以集团对其计算机信息系统的连续运行，业务系统、数据的高可用性以及业务计算机系统抵御突发性灾难的能力的要求也必然急剧提高。

因此，如何预防潜在风险、保障数据安全、保障关键业务可持续已成为集团信息化建设的重要规划。

为了有效地保护重要业务数据完整性，提高信息系统应对灾难和风险的能力，化解数据集中带来的数据安全风险和业务运行风险，集团需建设灾备中心，包括本地双活系统、异地备份系统，实现对信息中心节点内核心数据的本地和异地备份，以确保数据安全。

1.2技术发展分析
当前云技术已经引起IT格局的划时代变革，几乎所有IT巨头企业公司都从不同领域和角度对云技术进行布局，主力包括：Google、IBM、Microsoft、VMware、Oracle等。

云平台建设层次包括IaaS（基础架构即服务）、PaaS（平台即服务）、SaaS（软件即服务）。

在IaaS这一层面，通过虚拟化、动态化将IT 基础资源(计算、网络、存储)形成资源池，用户可以通过网络获得自己所需要的计算资源，弹性运行自己的业务系统。

VMware是在IaaS方面市场的领先者，全球84%的虚拟化应用都是基于VMware，其产品为用户提供私有云
和公有云平台。

在IaaS 之上是PaaS（平台即服务）层。

这一层面除了提供基础计算能力，还具备了业务的开发运行环境、分布式计算能力等，这一层面的服务可以为业务创新提供快速低成本的开发环境。

最上层是SaaS(软件即服务)，此层把完整应用程序、软件作为一项服务提供的，同时可以实现软件个性化定制、应用性能弹性、硬件透明等特性。

目前云技术已经处于比较成熟的时期，其关键技术成熟度已经从IaaS向PaaS和SaaS层面高度发展，如服务器虚拟化、存储虚拟化、桌面虚拟化等技术都经过大量不同行业的实际生产环境应用验证，部分技术已列入某些企业或政府组织机构的建设标准，分布式技术也被越来越多的应用到企业核心业务系统获取海量计算能力。

如果将云平台的建设比作建设一座摩天大楼，那IaaS层就是大楼的地基，PaaS层如同楼体，而SaaS就是大楼整体装饰，各行业从IaaS到SaaS的建设思路已成为云平台建设的普遍做法，实现云平台建设的逐步过渡，分段建设。

1.3政策性分析
我国政府在“国家十二五”规划中明确提出要加快政府云计算建设。

在2010年工信部和国家发改委联合发出《关于做好云计算服务创新发展试点示范工作的通知》，指定北京、上海、深圳、杭州、无锡5个城市先行开展中国云计算服务创新发展试点示范工程。

除了对高性能、经济性、稳定性等方面的考虑，中国政府还看中云计算的服务能力，大量政府机构将部分电子政务应用迁移到云平台，对现有的数据中心进行改造并建设一个IaaS的基础架构云平台，从而提升政府的服务效率和服务能力。

集团系统在集团信息化整体框架内构筑基础云计算信息应用体系和技术支持体系，避免了重复建设和各部门、各警种之间的“数字鸿沟”，形成“纵向贯通、横向集成”的集团信息化体系结构格局。

集团也顺应IT发展趋势，研究云计算相关技术，积极借鉴各地云平台建设经验，并结合自身特点提出基础云平台的建设思路，提高集团信息化科技水平。

采用云技术建设成的集团基础云平台，通过物理整合、虚拟化、集群等手段，搭建计算资源共享池，实现按业务应用系统需求动态分配软硬件资源，逐步消除单个系统独享硬件资源的系统部署模式，提高资源使用率，提升系统运行可靠性，同时降低信息系统资产总成本、简化IT架构，增加硬件平台的整体可用性、提高信息化管理效率，为后续项目，如：虚拟桌面应用、数据分析处理、系统集中化统一管理、IT资源统一管理分配创造技术基础。

第2章现状及需求
2.1现状分析
目前集团及各的业务应用系统大部分都是运行在Windows平台的环境中，这些应用系统越来越多，也越来越复杂，如果购置新的服务器不仅会增加采购成本和运作成本，并且耗费大量人力，往往需要数日甚至数月的考虑以及操作，这使得 IT 部门更加难以应对业务快速成长和不断变动的需求。

在此过程中业务系统的服务器数量、网络复杂程度和存储容量也随着业务应用的更新而激增，这种情况势必将导致出现过去十年其他部门和企业信息化建设的老问题——基础架构成本高昂、响应速度低下以及管理不一致等。

具体如下：➢出现大量每台只安装一个应用程序从而未得到充分利用的基于x86 的服务器，大多数服务器系统资源的利用率不高；
➢提交设备变更请求与实际操作变更之间存在较长的延迟；
➢新的服务器、存储和网络连接的置备周期较长；
➢安排的有限宕机时间不足以完成维护工作；
➢由于缺少相应的构建策略或无力贯彻这些策略，导致服务器的构建过程不一致、不可重现；
➢由于修补程序测试系统与业务系统不匹配，因此仓促地大范围应用修补程序会导致应用程序的功效或性能被削弱；
➢针对各个分散的Windows服务器应用了多种基础架构管理系统；
➢设备数量、状态和所有权等信息不完整等等。

以上所列问题是采用传统平台架构所导致，这些问题必将使将来采购成本增加、不能灵活适应业务应用的变更。

近年来云计算技术得到快速发展，云计算正在给信息产业带来一场革命性的改变。

随着业务应用的开展，以具体的业务驱动为核心，整合各信息系统资源，利用云计算技术搭建云计算平台，已成为建设基于多层体系架构应用支撑平台的必然要求。

集团下辖？？个地市集团X，除了集团之外，每个地市都有自己的数据中心，据统计的现有数据中心IT设备大致如下：
【此处略去一万字。

】
可以看到，除了集团之外，每个地市的硬件配置都是一致的，应用类型完全相同，因此考虑一个地市为典型即可。

2.2容量估算
根据以上统计数据，可以大致计算现有的各类计算资源容量。

集团：
CPU：11台四路服务器+31台双路服务器，CPU核数 = 11*4*4+31*2*4 = 424颗物理核，CPU平均使用率小于15%。

内存：总量为808GB，根据提供的使用率，计算出实际使用量为450GB。

磁盘容量：根据图表数据统计结果为16TB。

各：（以集团为例）
CPU：6台双路服务器，CPU核数 = 6*2*4 = 48颗物理核，CPU平均使用率小于30%。

内存：总量为64GB，根据提供的使用率，计算出实际使用量为37.44GB。

磁盘容量：根据图表数据统计结果为3.5TB。

各汇总：
CPU：13个6台双路服务器，CPU核数 = 13*6*2*4 = 624颗物理核，CPU平均使用率小于30%。

内存：总量为13*64GB = 832GB，根据提供的使用率，计算出实际使用量为486.72GB。

磁盘容量：根据图表数据统计结果为13*3.5TB = 45.5TB。

集团的计算资源大约等于5个地市计算资源容量的总和。

以下为直观图。

2.3需求分析
（1）全省统一规划，整体架构采用双活数据中心的框架，即在市两个数据中心构建基于数据和应用两个层面的统一资源池，通过虚拟化技术，统一向全省各地市提供计算资源服
务。

（2）各地市将不具有数据中心，统一归口到省数据中心管理，各地市保证应用接入畅通即可。

（3）在保证原有体系架构不做大的改动前提下，将原有设备迁移到省数据中心的虚拟化资源池中，以虚拟机的形式取代原有的物理计算设备（服务器）。

（4）在新建的虚拟化数据中心中，逐渐向云服务模式靠拢，最终以服务的形式灵活的向各地市以及其它业务部门提供计算资源。

（7）云桌面的建设；在充分考虑应用场景的前提下，逐渐尝试虚拟桌面技术的应用，解决计算终端的管理、维护和安全问题。

（8）统一运维管理平台，实现对全省的计算资源进行全方位、深层次、可视化的监管控。

第3章云平台系统设计方案
3.1私有云平台架构设计
整体数据中心的设计，基于“两地三中心”的原则，就是整合2个同城数据中心为一个虚拟数据中心，同时两个同城数据中心设计成存储双活架构， 2个专业数据中心网络（集团网和互联网）按照物理隔离的方式数据交互，构建统一的云计算管理服务平台。

通过虚拟化技术，整合计算资源，统一调度，构建“大数据中心”概念。

各地市需要计算资源的时候，通过工单形式向省数据中心申请资源，审批之后由省数据中心灵活调配。

“两地三中心”的第三点为灾备站点，建议安置在距离一定距离的地市数据中心，这里假设为集团的数据中心为灾备中心，主要用于对主数据中心的数据备份、虚拟化环境备份。

其中在集团网内，在不改变原有应用架构的前提下，又划分出若干“私网”，以便应用系统可以顺利对接。

“私网”作为集团网的一个延伸，IP资源可以独立考虑。

“指挥调度网”作为独立的业务管理网络，与集团专网平行运行，主要用于集团指挥调度体系业务系统的通信保障。

【图略】
集团私有云平台逻辑拓扑
通过这种云计算数据中心的建立，可以融会贯通各地区的计算资源，有效地监控逻辑资源的使用情况，在资源利用率、高可靠性、灵活调度、快速部署方面都会有前所未有的优势。

最终为集团信息系统的建设提供无与伦比的快速响应。

集团私有云平台架构主要包含：基础设施层、基础架构平台（含虚拟化资源池、云服务管理平台等）、应用支撑平台、业务平台、综合运维管理等。

云平台架构如下图所示。

集团私有云平台体系架构
1、基础设施层，主要提供基础架构平台所需要的物理设备，这些设备包括x86服务器、传统存储阵列、网络设备等等，由于采用虚拟化技术，因此对于物理设备的选型，充分考虑异构环境的可能性，可以选用不同品牌、型号的物理设备作为基础的物理承载平台。

2、基础架构平台，主要提供基础架构层面的各种池化资源，以及向应用层面提供云服务。

由虚拟化资源池和云服务提供两个层面组成，由于不涉及具体业务系统，所以相对独立。

（1）虚拟化资源池：提供各种虚拟化技术，实现虚拟资源池的建立。

这里所指的虚拟化技术，主要包括服务器虚拟化、分布式存储、分布式网络、虚拟化防火墙等等完全基于虚拟化平台的技术。

其中网络及安全方面，由于考虑改造相对复杂、投入较大，因此仅作研究性探讨以及规划储备。

（2）云服务管理平台：建立在基础架构平台之上，基于虚拟化所提供的各类计算资源、存储资源、网络资源等等提供更贴近于业务层的服务模式，这里主要包括云服务流程的管理、服务目录得设定、多租户模式的管理、SLA的提供，使得用户可以方便的、快捷的建立属于自己的数据中心（虚拟）。

这个层面主要是云服务的提供，可以根据用户的管理流程需要进行定制化流程。

——由于本期重心在于基础架构建设，因此云服务管理平台仅作为规划，暂不落地。

3、综合运维管理。

这个功能域主要面向运维管理人员，可以针对各类资源（虚拟机、虚拟存储、虚拟网络等）的健康状况、运行状态提供统一的完整的、直观的、可视化的、具有一定决策分析能力的运营维护管理平台。

不仅限于虚拟化层面，应该可以覆盖到硬件的体
系架构，对于基础架构设备层面进行完整的监管控。

4、应用支撑平台。

也是传统成为“PAAS”的层面，主要建立业务系统运行的数据支撑和应用支撑平面，有通用或专用的平台类软件组成，比如数据库平台、中间件平台、其它开发平台或者大数据运行平台等等。

这部分由应用厂商或软件厂商提供实现。

5、业务平台。

这部分主要是各种面向的业务体现，可以由传统的应用软件实现，也可以采用SAAS模式实现，各类应用软件的汇集，也是业务的最终体现。

这部分由应用厂商或软件厂商提供实现。

3.2基础架构平台
基础架构平台是“私有云”的“地基”，它的可靠性、可用性，决定了上层应用的稳定性，因此需要采用成熟、可靠的技术构建。

3.2.1计算资源池
3.2.1.1服务器虚拟化技术分析
当前虚拟化技术主要分为“裸金属架构”和“寄居式架构”，代表产品有VMware、Xen、Hyper-V、KVM等等，其中VMware、Hyper-V为商业化产品，Xen和KVM由于已经开源，因此更多意义上代表一种实现虚拟化实现技术，各厂商可以在基于Xen、KVM的基础上进行商业化的包装，形成自己的产品。

从技术的先进性以及成熟度来看，VMware一直是这个领域的领导者，Hyper-V作为Microsoft的一个战略性产品，却是不温不火；至于开源的Xen和KVM，则是给了更多的希望在这两个领域有所建树的IT厂商一个机会，可以快速的完善自己的产品线。

3.2.1.2服务器虚拟化的技术要求
虚拟机性能
➢支持动态的扩展：
•热添加容量：CPU和内存热添加
➢虚拟机扩展性能
•64 个虚拟 CPU，1TB 内存
➢虚拟化的主机更易于扩展
•使用所有核心（64 个核心或更多）
虚拟机迁移
➢即时迁移正在运行的虚拟机
➢轻松管理和安排实时迁移
向大数据扩展
数据中心和虚拟化平台，使其能够支持Apche Hadoop的工作负载，帮助企业在一个通用的虚拟化基础架构上部署、运行和管理Hadoop集群以及周边的核心应用，以发掘大数据的价值，为业务决策提供真实的依据。

CPU和内存的热添加和磁盘的热扩展
热添加使管理员可以在虚拟机需要时为其增加 RAM 和 CPU 资源，同时不会中断虚拟机的使用。

这样可减少停机时间并确保虚拟机中的应用始终拥有所需的资源。

分布式资源调度DRS
Distributed Resource Scheduler (DRS) 可以跨服务器持续地监视利用率，并可根据业务需求在虚拟机之间智能分配可用资源。

分布式电源管理DPM
分布式电源管理Distributed Power Management (DPM) 可持续优化数据中心的能耗。

分布式交换机（VDS）
借助 Distributed Switch (VDS)，您可以从一个集中界面为整个数据中心设置虚拟机访问交换，从而简化了虚拟机网络连接。

得益于此，您可以轻松地跨多个主机和集群调配、管理和监控虚拟网络连接。

VDS 还提供了丰富的监控和故障排除功能，并为高级网络连接功能提供支持。

网络 I/O 控制 (NIOC)
利用NIOC可以为每个虚拟机设置规则和策略，以确保关键业务应用得以优先访问网络。

NIOC 会持续不断地监控网络负载，发现拥塞时，它会为最重要的应用动态分配可用资源，提升和保障它们的服务级别。

使用NIOC 可在虚拟机级别配置规则和策略，并确保始终有I/O 资源可供关键业务应用使用。

NIOC 会对网络进行监控。

一旦发现拥塞，它就会自动向您的业务规则所定义的最高优先级应用程序转移资源。

得益于NIOC，管理员可以达到更高的工作效率，企业可以跨更多工作负载扩展虚拟化，企业的基础架构也会拥有更加广泛的用途。

达到并提高关键业务应用的服务级别
无代理终端安全防护
无代理终端安全防护彻底革新了大家固有的如何保护客户虚拟机免受病毒和恶意软件攻击的观念。

该解决方案优化了防病毒及其他端点安全保护功能，可以更高效地工作于虚拟化环境。

Storage Distributed Resources Scheduler (DRS)
提供基于 I/O 延迟和存储容量来放置虚拟机和平衡负载的智能机制。

配置文件驱动的存储
通过根据用户定义的策略对存储进行分组，减少存储资源选择过程所包含的步骤。

存储在线迁移
虚拟机迁移可以在主机之间迁移正在运行的虚拟机而不中断服务，它针对的是虚拟机的运行时状态，迁移的是正在运行的虚拟机，而存储在线迁移可以在存储阵列内和跨存储阵列实时迁移虚拟机磁盘文件，进而避免因计划内存储维护而造成的应用程序停机。

存储 I/O 控制
➢跨多个主机动态分配 I/O 容量
➢调整存储资源以满足业务需求
Storage Thin Provisioning
➢提高存储利用率
➢通过延长应用程序正常运行时间获得更优异的业务连续性
➢简化存储容量管理
High Availability
在虚拟化环境中使用最为广泛的可用性提升功能就是HA。

HA通过监控虚拟机以及运行这些虚拟机的主机，为实现高度可用的环境奠定了基础，它在整个虚拟化IT环境中实现软件定义的高可用性，而不像传统集群解决方案那样花费高成本或实现起来过于复杂。

Fault Tolerance
Fault Tolerance (FT)通过创建与主实例保持虚拟同步的虚拟机实时影子实例，使应用在服务器发生故障的情况下也能够持续可用。

通过在发生硬件故障时在两个实例之间进行即时故障切换，FT完全消除了数据丢失或中断的风险。

Data Protection
数据保护解决方案该可以以简单无中断的方式备份整个虚拟机，包括操作系统、应用二进制文件和应用数据。

Data Protection使用快速无代理的映像级备份和恢复技术来保护虚拟机(VM)。

vStorage APIs for Data Protection
vStorage APIs for Data Protection (VADP)对于数据备份以及数据复制方面的应用程序非常有价值。

VADP可以直接与虚拟化底层整合，用户可以绕过第三方的组件直接来访问数据。

Replication
通过使用内置的Replication，用户可以消除第三方复制成本，并制定更灵活的灾备计划。

Replication无需采用基于存储阵列的本机复制，即可通过网络在主机之间复制处于开启状态的虚拟机存储资源池
3.2.1.3存储技术的选择
在当今的存储领域，尤其是针对大势所趋的虚拟化，存储技术的变革可以用“颠覆”来形容。

其中最主要的就是分布式存储技术的引进。

传统存储阵列发展的几十年里，确实给数据中心的建设带来了巨大的发展，但是随着虚拟化的普及以及大数据、云计算、互联网+等等概念的落实，传统存储阵列的疲态凸显，在处理能力、扩展性、可维护性、可靠性方面，以及成本考量都呈现出更多地劣势。

存储厂商一味在增强、扩大这个“铁盒子”，维护传统领域“蛋糕”的同时，也在加紧研究着另一种背道而驰的存储技术，这就是分布式存储技术。

分布式存储技术相对传统存储阵列来说，具有以下一些明显优势：
1、简单化。

传统存储阵列需要一台昂贵的硬件，以及相应的存储交换机、HBA等专用配件，对于存储阵列的配置需要专业的人员进行管理，甚至受制于存储厂商。

而分布式存储技术，直接利用了服务器的磁盘，服务器本身就是控制器，在数据中心的架构中，减少了整整一个存储硬件层面，大大简化了数据中心建设的复杂程度。

2、性能的保障。

传统存储之前的优势是性能，但是这一点已经被颠覆，对于绝大部分中低端存储来说，性能反而一直是一个“鸡肋”，在虚拟化环境中，由于集中化了I/O处理，而且I/O处理是共享式的，因此很可能造成对于某些虚拟机的影响，或者干脆由于整体性能不行拖累了虚拟化平台。

分布式存储技术的性能，取决于高速缓存的处理能力和大小，而它采用的是固态盘技术（SSD），单块SSD的性能可达上万IOPS，如果组建集群的话，性能可以线性扩充，这大大缓解了性能瓶颈。

3、扩展性的优势。

分布式存储的优势就是“分布式”，所谓的“分布式”就是能够将多个物理节点整合在一起形成共享的存储池，节点可以线性扩充，这样可以源源不断的通过扩充节点提升性能和扩大容量，这是传统存储阵列无法做到的。

4、面向对象的管理。

这里所提到的“对象”，是虚拟机，传统存储阵列都是“块”一级的操作，存储规则的定义与虚拟机、应用无任何关联性，这就造成存储与应用、业务系统的脱节，而新一代的分布式存储技术，所有的存储规则都可以定义到虚拟机级别，每个虚拟机都可以有自己的个性化的存储规则，比如“副本的多少、条带化、存储格式”等等，这才真正做到存储层面与应用的互动，“存储感知应用”，及时为业务系统创造合适的存储环境。

5、更高的可靠性。