XX机场云数据中心技术方案建议书

XXCC国际机场云数据中心建设技术方案建议书
2019年10月
目录
第1章概述 (5)
1.1.项目概述 (5)
1.2.机场数据中心现状 (5)
第2章项目建设总体目标 (7)
第3章建设总体技术要求 (8)
第4章CC机场云数据中心整体架构设计 (9)
4.1.数据中心网络架构设计 (10)
4.1.1.数据中心业务需求 (10)
4.1.2.机场数据中心网络设计原则 (11)
4.1.3.整体网络建设方案 (12)
4.1.4.数据中心网络SDN设计 (14)
4.2.计算资源池设计 (23)
4.2.1.服务器架构选择 (23)
4.2.2.计算资源规划 (24)
4.2.3.服务器虚拟化设计 (25)
4.3.机场云平台设计 (29)
4.3.1.IaaS服务 (29)
4.3.2.多租户组织架构 (30)
4.3.3.虚拟数据中心 (31)
4.3.4.云服务使用流程 (31)
4.3.5.云服务的申请与审批 (32)
4.3.7.云安全服务交付 (33)
4.3.8.云负载均衡服务交付 (33)
4.3.9.云数据库服务交付 (33)
4.4.存储资源池设计 (33)
4.4.1.存储区互连设计 (33)
4.5.机场大数据数据平台设计 (34)
4.5.1.大数据平台架构 (35)
4.5.2.数据平台内部数据关系 (36)
4.5.3.大数据平台引擎 (37)
4.5.4.分布式数据库引擎 (44)
第5章机场云数据中心安全等级保护建设 (47)
5.1.机场云数据中心安全等级划分 (47)
定级流程 (47)
定级结果 (49)
5.2.机场云数据中心安全总体架构设计方案 (49)
5.2.1数据中心云网安融合解决方案 (50)
5.2.2云网安融合实现方案 (52)
5.3.数据中心南北向安全设计 (56)
5.4.应用层安全服务 (57)
5.4.1等保一体机方案 (57)
5.4.2数据库审计 (57)
第6章系统集成实施 (59)
第7章项目建设效益分析 (60)
7.1.经济效益分析 (60)
7.2.社会效益分析 (60)
第8章项目建设投资概算 (62)
8.1.总投资概算 (62)
第1章概述
1.1.项目概述
随着企业业务的快速扩展，IT作为基础设施，其快速部署和高利用率成为主要需求。

云计算可以为之提供可用的、便捷的、按需的资源提供，成为当前企业IT建设的常规形态，而在云计算中大量采用和部署的虚拟化几乎成为一个基本的技术模式。

部署虚拟机需要在网络中无限制地迁移到目的物理位置，虚机增长的快速性以及虚机迁移成为一个常态性业务。

传统的网络已经不能很好满足企业的这种需求，面临着如下挑战：
当前社会经济发展进入了一个新的阶段，实体经济与网络虚拟经济的融合发展已经成为发展趋势，云计算为用户便捷、高效、低成本地使用IT资源打开了方便之门，渐渐成为“互联网+”赖以发展的新基础设施。

越来越多的企业也开始尝试应用云计算，将IT开始向云模式迁移，解决传统机房管理模式带来的资源瓶颈、信息孤岛、标准不一、系统复杂、灾备昂贵、技能不足、服务水平低下等诸多问题。

虚拟私有云（VPC，Virtual Private Cloud），是基于虚拟化技术实现的、供企业自己使用私有云计算，它是一系列虚拟资源的组合，比如网络、安全、存储和计算，企业用户可以按需使用。

随着这些大型企业数据中心的集中化，虚拟私有云将会成为企业部署IT系统的主流模式。

基于SDN+NFV+Overlay的虚拟私有云，将SDN、NFV、Overlay技术的优势充分地融合进云计算中，它将控制与转发进行分离实现软硬件解耦，并利用软件定义的形式使得网络完全根据用户业务驱动、自上而下、随需而动灵活进行构建，从而满足用户的云端集中管理、部署灵活弹性、资源池化管理、海量租户规格、租户安全隔离、网络安全可靠等诸多需求。

1.2.机场数据中心现状
现在机场老数据中心采用了虚拟化技术，将不同机场应用承载在虚拟化平台，并且一定程度上实现了IT资源安需分配。

通过虚拟化平台的应用，提升了设备资源利用率，提升了新应用上线效率，促进了机场的信息化发展，但随着机场业务发展和新型智慧机场建设需求，传统虚拟化、云计算技术逐渐暴露出如下方面不足：
●传统虚拟化平台或云平台通常仅能面机场部门、二级机场、员工提供虚拟机服务，无法提供机场信息化多维度数据
信息，也不能提供数据库服务以及数据库运行的物理机，也不能PAAS开发平台和提供智慧应用，如，事件预警，行为分析等应用；
●不同部门应用系统动态差异化安全实现困难，如部分二级网站、财务系统，有些应用系统明确要求二级甚至三级等
保，这在虚拟化环境下通常很难实现；
●应用系统承载在虚拟化或云平台上，但关键业务和非关键业务一般不好区分，关键业务，如机场离港系统等高可用
性无法保证，局部硬件故障会导致业务中断，需要人为干预，且数据难以恢复；
各种业务系统使用维护依然复杂，只是由原来物理机上运行迁移到虚拟机。

之所以会出现以上问题，主要原因是：
●传统虚拟化和云平台具有计算资源池、存储资源池、网络和安全资源池，云平台负责资源管理和分配，但云和资源
池之间通常比较割裂，也就是云和计算、存储、网络/安全资源池之间融合联动不足。

如，云平台通常分配虚拟机不成问题，但伴随虚拟机的安全属性通常无能为力，因为涉及到不同厂家对接开发，这就造成了安全资源不能按需分配；存储资源对于虚拟化、云平台也不能联动，存储资源池主备存储设备切换后，虚拟化平台和云平台通常无法智能感知，这就造成了关键业务中断，而虚拟化、云平台恢复需要手动干预。

●云内网络/安全、存储、计算资源池之间智能联动不足，有时网络具备了双活条件而存储不具备双活条件，或反之，
存储具备了双活条件而网络不具备双活条件，这就造成不同机房之间关键业务虽然服务器、存储、网络都是冗余的，但在局部出现故障时，仍然会导致业务中断，需要人为干预。

第2章项目建设总体目标
通过采用新型云计算技术，推动机场内数据存储中心、数据管理中心等重要基础设施资源整合共享和充分利用，完善共性、基础的应用软件和功能模块，构建统一、完善的网络、硬件、平台和数据等支撑体系。

同时建设等级保护系统，确保云数据中心安全可靠，满足等级保护2.0的相关技术要求。

第3章建设总体技术要求
云数据中心机房要求提供云平台需要的机房环境，包含安全可控的独立机房区域、电力、机柜、制冷、门禁及视频监控等；
计算及存储资源为业务应用系统提供运行资源，包含服务器、共享存储等；资源池分为两大部分：面向内部的外网用户的内部服务区和面向机场驻场单位服务的外部服务区，两区之间采用强隔离技术实现数据交换或同步。

虚拟化技术宜采用KVM技术路线。

大数据资源池为机场大数据平台提供硬件计算资源，大数据是实现智慧机场管理和生活方方面面的重要支撑。

如果没有大数据，传统数字化机场业务数据处于分散、互相孤立状态，数据不能发挥应有的作用，没有对机场各个业务系统数据的实时掌握和多维度分析，很难实现精细化、智慧化管理；
云管理平台要求通过云管理平台软件对资源进行管理，提供弹性计算、自动化部署、资源区域划分等功能，通过统一的接口实现云统一管理平台的相关管理功能要求；云管理平台技术路线宜采用OpenStack。

云计算安全要求提供虚拟化防病毒功能、虚拟化访问控制功能、虚拟化入侵防御功能、虚拟化负载均衡功能等，按照业务系统需求和政策规定对数据和应用程序进行备份和还原；
基础安全要求提供自身云平台等保2.0三级的安全防护，保证机场业务系统的网络安全、数据安全等；
网络要求提供SDN、VxLAN相关网络服务，并且所有设备支持IPV4/IPV6双栈协议。

第4章CC机场云数据中心整体架构设计CC机场云数据中心逻辑架构分为以下四个层次：
1.物理资源层：服务器，存储，网络设备，安全设备等。

2.虚拟化平台层：虚拟化，SDN网络等各种软件产品和架构模型。

3.云服务层：云管理平台以及在其上承载的各种基础架构服务功能
4.运维管理层：对于整个云计算数据中心进行运营维护的功能平台
物理架构：
将机场数据中心分为5种分区：
1.计算资源区：承载机场业务系统的计算资源分区
2.大数据区：承载大数据相关应用的分区
3.云数据库区：承载云数据库应用的分区
4.云存储区：承载云的存储资源的分区
5.云运维管理区：承载云计算相关运维管理功能的分区
将机场数据中心分为4张网络：
1.业务网络：
2.管理网络：
3.存储互联网络:
4.带外管理网络:
4.1.数据中心网络架构设计
4.1.1.数据中心业务需求
一、业务需求：如何更加快速地部署机场业务应用，为机场业务系统提供更及时、更便利的网络服务，提升机场的运行效率与竞争实力，也是当前机场数据中心使用中面临的挑战之一。

因此，当前数据中心的建设必须考虑如何实现快速
上线业务、快速响应需求、提高部署效率。

二、网络需求：新型云数据中心服务器虚拟化使高效利用IT资源，降低企业运营成本成为可能。

服务器内多虚拟机之间的交互流量，传统网络设备无法感知，也不能进行流量监控和必要的策略控制。

虚拟机的灵活部署和动态迁移需要网络接入侧做相应的调整，在迁移时保持业务不中断。

虚拟机迁移的物理范围不应过小，否则无法充分利用空闲的服务器资源。

迁移后虚拟机的IP 地址不改变，以保持业务不中断，因此对数据中心网络提出了大二层的需求。

三、安全需求：数据中心对网络安全性的需求是最基本的需求。

安全性设计包括物理空间的安全控制及网络的安全控制。

系统设计从整体方案上需要考虑端对端的安全，保证安全、绿色的使用资源。

4.1.2.机场数据中心网络设计原则
本方案从项目业务实际需求出发，充分利用信息技术优势，从大处着眼，小处着手，与用户共同建设一个目标明确、管理清晰、执行顺利、平稳运行的项目，在系统的建设和管理过程中，我们将遵循以下原则：
1、注重顶层设计、统筹规划，分步实施原则
在项目的整体规划和总体设计阶段做好统一设计、统一标准、统一规范，然后分层、分阶段、逐步建设，关注每个阶段的产出和成果，在统一的目标下逐步完成整个项目的策略、需求、分析、设计、研发、测试、部署、试运行、培训、运维等工作。

同时充分发挥各类项目相关人的知识能动性，为CC机场提供信息化建设的咨询指导。

2、追求架构先进、技术成熟，扩展性强原则
项目建设中所采用的技术架构，在一定程度上影响着项目的稳定性，也影响到项目未来的发展。

因此在实施过程中我们将放眼长远，在保证可靠的基础上，尽量采用先进的网络技术、应用平台和开发工具，使机场数据中心系统建设项目具有较长的生命周期。

3、经济实用、节约成本原则
无论在产品的选型、技术的选择中，我们都要考虑成本的约束，其中不仅考虑当前采购的经济性，还要考虑系统长期运维的经济性，即系统的总拥有成本，尽力选择既经济可行又长期保障的产品和技术。

4、确保安全、保护隐私原则
在系统建设中要充分考虑到系统安全性以及敏感信息的隐私性，避免数据出现在共享信息里，从网络系统、硬件子系统、软件子系统的设计都要充分考虑安全保密，采用安全可靠的技术，保证建成的系统稳定运行。

5、重视资源、强调成长原则
在项目建设的过程中，注重信息资源和人力资源的管理，在数据资源方面，注重网络资源共享的效率性，实现网络互连、信息互通、资源共享，应用交互与协同的网络环境，同时注重各级人力资源配置的合理性，做好培训工作，与甲方的工作人员共同成长，充分发挥资源效能。

6、先进性和成熟性
遵守先进性、可行性、成熟性，以保证系统的互操作性、兼容性、可维护性、可扩展性，并对前期投资有较好的保护。

7、一致性和复用性
本项目建设应充分考虑业务需求，要最大限度利用已有的资源，以减少重复投资，提高投资收益率。

4.1.3.整体网络建设方案
如上图所示，数据中心网络分为两层架构设计，核心和接入，整个网络通过VXLAN技术将机场数据中心分为3张逻辑网络：1.业务网络，2.管理网络，4.带外管理网络。

SDN控制器作为整个网络的控制中心，实现对数据中心基础设施自动化部署及Overlay（二层虚拟化网络）网络运行维护监控，SDN控制器实现对Overlay网络的调度管理，通过带外管理方式管理业务区，其中SDN控制器可以与本次OpenStack云平台对接。

实现网络资源池化。

4.1.3.1.核心区域设计
选用2台高性能框式交换机作为数据中心区的核心交换机，数据中心核心交换机应为面向云计算数据中心核心专门设计开发的核心交换产品。

采用先进的正交CLOS多级多平面交换架构，采用独立的交换网板卡，控制引擎和交换网板硬件相互独立，最大程度的提高设备可靠性，同时为后续产品带宽的持续升级提供保证。

支持数据中心大二层技术、纵向虚拟化和（一虚多）技术，支持EVB和FCOE，并完全兼容40GE和100GE以太网标准。

支持设备多虚一，最大可支持四虚一，提供不间断转发、不间断升级、优雅重启、环网保护等多种高可靠技术，在提高用户生产效率的同时，保证了网络最大正常运行时间，从而降低了客户的总拥有成本（TCO）。

每台数据中心核心交换机通过双10G多模光纤连接数据中心服务器接入交换机。

2台核心交换机通过虚拟化技术虚拟成1台设备，通过2个10G的端口及线缆互联，实现虚拟化。

从逻辑上组合成一台整体交换设备，简化网络管理。

同时实现跨设备的链路均衡，100％的网络链路和带宽的利用率。

4.1.3.2.接入区域设计
服务器接入交换机选型为48口万兆盒式交换机，同时提供2个或以上40G接口，服务器接入交换机应采用数据中心级智慧以太网交换机产品。

交换机支持包含数据中心特性在内的增强二三层软件特性集，提供业界紧凑型交换机最灵活的40GE及万兆端口的动态组合。

每2台服务器接入交换机通过虚拟化技术虚拟成1台设备，通过2个10G的端口及线缆互联，实现虚拟化。

通过10G光口连接服务器网卡（可向下兼容千兆），通过双10G多模光纤上行连接到数据中心核心交换机上。

4.1.3.3.网络高可靠性设计
本次数据中心核心交换机，TOR万兆接入交换机均采用双机部署，实现冗余万兆链路互联，同时核心与核心，接入与接入之间实现虚拟化部署。

提升整理数据中心网络的可靠性。

网络设备虚拟化的核心思想是将多台设备通过物理端口连接在一起，进行必要的配置后，虚拟化成一台“虚拟设备”，通过该“虚拟设备”来实现多台设备的协同工作、统一管理和不间断维护。

通过该虚拟化技术，可有效提升网络整体效率的角度，起到了一种横向整合的作用，即在不改变网络物理拓扑连接
结构条件下，将网络同一层的多台设备横向整合，从逻辑上简化了网络架构。

由于整合后的网络系统具备跨设备链路聚合功能，因此，不同网络层之间的电缆互联也可通过逻辑整合，多条链路被捆绑成一条聚合的逻辑链路。

该网络架构与传统的网络设计相比，提供了多项显著优势：
1）运营管理简化。

全局网络虚拟化能够提高运营效率，虚拟化的每一层交换机组被逻辑化为单管理点，包括配置文件和单一网关IP地址，无需VRRP。

2）整体无环设计。

跨设备的链路聚合创建了简单的无环路拓扑结构，不再依靠生成树协议（STP）。

虚拟交换组内部经由多个万兆互联，在总体设计方面提供了灵活的部署能力。

3）进一步提高可靠性。

虚拟化能够优化不间断通信，在一个虚拟交换机成员链路故障时，不再需要进行L2/L3重收敛，能快速实现确定性虚拟交换机的恢复。

4.1.4.数据中心网络SDN设计
对于云化数据中心流量类型和流量突发的复杂性，一般采用全网实现clos架构，如何避免环路，充分利用带宽链路且实现负载均衡是网络非常关心的问题。

之前的stp会导致链路block，导致链路带宽浪费，其他的TRILL/SPB实现复杂，支持设备较少，且无法实现L2隧道终结和L3转发在同一台设备上。

SDN数据中心解决方案，能够充分利用分布式控制的优势，根据全局网络拓扑，基于流进行路径规划，将网络流量分散到不同路径上去，在避免环路的同时实现了链路之间的负载均衡，和链路故障冗余切换，从而提高链路的利用率。

4.1.4.1.SDN数据中心组网设计
1)整网架构采用Spine(核心节点)+Leaf（叶子节点）两层结构设计，由数据中心核心交换机承担Spine角色，
服务器接入交换机承担Leaf角色；
2)控制平面采用MP-BGP EVPN协议，数据平面采用VXLAN。

3)Underlay采用OSPF路由协议，Spine为iBGP RR角色；
4)Overlay VXLAN L3/L2网关部署在Leaf节点，Leaf采用40G上行接入SPINE节点。

同时Leaf可以为服务
器提供1G/10G服务器接入能力。

5)运维管理区部署SDN控制器。

SDN控制器通过带外网管的方式对数据中心交换机实现统一管控。

SDN控制
器实现对数据中心基础设施自动化部署及Overlay网络运行维护监控，同时实现对Overlay网络的调度管理；
6)对未来云计算平台的支持：SDN控制器支持与原生标准OpenStack云平台对接，对于其他非Openstack云
平台或非原生Openstack云平台（经过二次开发），可以通过控制器Restful Api方式进行对接，需要评估开发工作量。

4.1.4.2.本项目SDN方案主要功能
4.1.4.2.1.Overlay
Overlay基础概念
Overlay在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业务分离，并且以基于IP的基础网络技术为主。

●Overlay网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了Overlay网络。

●Overlay网络是具有独立的控制和转发平面，对于连接在overlay边缘设备之外的终端系统来说，物理网络
是透明的。

●Overlay网络是物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重限制，是实
现云网安融合的关键。

Overlay网络概念图
⏹Overlay技术标准
IETF在Overlay技术领域提出VXLAN、NVGRE、STT三大技术方案。

大体思路均是将以太网报文承载到某种隧道层面，差异性在于选择和构造隧道的不同，而底层均是IP转发。

VXLAN和STT对于现网设备而言对流量均衡要求较低，即负载链路负载分担适应性好，一般的网络设备都能对L2-L4的数据内容参数进行链路聚合或等价路由的流量均衡，而NVGRE则需要网络设备对GRE扩展头感知并对flow ID进行HASH，需要硬件升级；STT对于TCP有较大修改，隧道模式接近UDP性质，隧道构造技术属于革新性，且复杂度较高，而VXLAN利用了现有通用的UDP传输，成熟性极高。

所以总体比较，VLXAN技术具有更大优势，而且当前VLXAN也得到了更多厂家和客户的支持，已经成为Overlay 技术的主流标准，所以本文的后续介绍均以VXLAN技术作为标准进行介绍，NVGRE、STT则不再赘述。

VXLAN（Virtual eXtensible LAN，可扩展虚拟局域网络）是基于IP网络、采用“MAC in UDP”封装形式的二层VPN技术，具体封装的报文格式如图2所示。

VXLAN可以基于已有的服务提供商或企业IP网络，为分散的物理站点提供二层互联功能，主要应用于数据中心网络。

VXLAN具有如下特点：
●使用24位的标识符，最多可支持16M个VXLAN，解决了传统二层网络VLAN资源不足的问题。

●基于IP网络组建大二层网络，使得网络部署和维护更加容易，并且可以好地利用现有的IP网络技术，例如
利用等价路由负载分担。

●只有边缘设备需要进行VXLAN处理，VXLAN业务对网络中间设备透明，只需根据IP头转发报文，降低了
网络部署的难度和费用。

●根据客户不同组网需求，Overlay的网络部署分为以下三种组网模型，如下图所示。

Overlay的网络部署图
⏹VXLAN工作原理
VXLAN是一个网络封装机制，它从两个方面解决了移动性和扩展性：
它是MAC in UDP的封装，允许主机间通信通过一个Overlay网络，这个Overlay网络可以横跨多个物理网络。

这是一个独立于底层物理网络的逻辑网络，虚机迁移时不再需要改动物理设备的配置。

VXLAN用24-bit的标识符，表示一个物理网络可以支持1600万个逻辑网段。

数量级大大超过数据中心VLAN的限制（4094）
在ADDC体系结构中，封装工作在VTEP上执行，VTEP可以是vswitch，或者是物理设备。

这样，VXLAN 对主机和底层三层网络来说都是透明的。

VXLAN 和非VXLAN 主机（例如，物理服务器或Internet 路由器）之间的网关服务由VXLAN三层网关设备执行。

Vxlan三层网关将VXLAN 网段ID 转换为VLAN ID，因此非VXLAN 主机可以与VXLAN 虚拟服务器通信。

Overlay网络分为2个平面，数据平面和控制平面。

Overlay 数据平面提供提供数据封装，基于承载网络传输，VXLAN使用MAC over UDP封装
Overlay 控制平面提供：
●1、服务发现（Service Discovery）
Overlay 边缘设备如何发现彼此，以便建立Overlay 隧道关系
●2、地址通告和映射（Address Advertising and Mapping）
Overlay 边缘设备如何交换其学习到的主机可达性信息（包括但不限于MAC地址、或IP地址、或其他地址信息）Overlay 边缘设备到主机的可达性问题，物理网络和Overlay网络地址映射
●3、隧道管理（Tunnel Management）
如何维持和管理Overlay 边缘设备之间的虚拟连接关系，通过控制协议学习：利用扩展路由协议MP-BGP EVPN 协议完成VXLAN控制平面的地址学习:
4.1.4.2.2.主机部署与物理位置解耦和
通过使用MAC-in-UDP封装技术，VXLAN为虚拟机提供了位置无关的二层抽象，Underlay网络和Overlay网络解耦合。

终端能看到的只是虚拟的二层连接关系，完全意识不到物理网络限制。

更重要的是，这种技术支持跨传统网络边界的虚拟化，由此支持虚拟机可以自由迁移，甚至可以跨越不同地理位置数据中心进行迁移。

如此以来，可以支持虚拟机随时随地接入，不受实际所在物理位置的限制。

所以VXLAN的位置无关性，不仅使得业务可在任意位置灵活部署，缓解了服务器虚拟化后相关的网络扩展问题；而且使得虚拟机可以随时随地接入、迁移，是网络资源池化的最佳解决方式，可以有力地支持云业务、大数据、虚拟化的迅猛发展。

4.1.4.2.3.数据中心容量规划编排可视化
数据中心SDN解决方案为运维人员提供数据中心网络、计算资源的统一规划、编排界面、拖拽式操作，可简单快速的构造全局资源拓扑，有效协助运维人员进行数据中心全局资源容量和配置规划。

基于SDN Fabric的Spine-Leaf架构，区分集中式VXLAN、分布式VXLAN、VLAN三种组网技术，提供数据中心容量规划的自动计算。

可以通过拖拽方式对网络、计算资源进行规划编排。

数据中心初始配置规划包含DDI配置、网络初始配置策略、服务器初始配置策略等规划内容，最后基于规划拓扑完成策略的编排规划。

DDI配置规划提供DHCP服务器的配置、网络设备的IP地址池规划、服务器的带外网管和业务口IP地址池。