企业私有云数据中心技术方案

企业私有云数据中心技术方案
解
决
方
案
书
1需求分析 (1)
1.1现状分析 (1)
2整体方案设计 (3)
2.1整体解决方案拓扑 (3)
2.2云计算平台的搭建 (4)
3基础网络平台设计 (6)
3.1基础网络整体设计 (6)
4安全设计 (10)
4.1L2~L4层安全 (11)
4.2L4~L7层安全 (13)
5存储设计 (13)
1需求分析
1.1现状分析
数据中心在基础设施和应用系统建设方面取得了很大的成绩，但是在其建设当中，办公网和生产网的资源部署方式仍然是按照应用进行物理的划分，这种部署方式可能存在以下风险和挑战：
资源利用率低
由于应用与资源绑定，每个应用都需要按照其峰值业务量进行资源的配置，这导致在大部分时间许多资源都处于闲置状态，不仅造成服务器的资源利用率较低，而且对资源的共享、数据的共享造成了天然的障碍。

运维成本高
随着企业内部生产网和办公网业务的增加，服务器、网络和存储的设备数量也会出现迅速的膨胀，在传统的数据中心建设模式下，会造成占地空间、电力供应、散热制冷和维护成本的急剧上升，为企业长远的IT投入和运维带来挑战。

业务部署缓慢
在传统的模式下，企业的各个部门如果要部署新的业务，那么在提交变更请求与进行运营变更之间存在较大延迟，每一次的业务部署都要经历硬件选型、采购、上架安装、操作系统和应用程序安装以及网络配置等操作，使得业务的部署极为缓慢。

管理策略分散
当前的生产网和办公网的运维管理缺乏统计的集中化IT构建策略，无法对企业内网的基础设施进行监控、管理、报告和远程访问，IT管理策略分散。

的云数据中心建设作为企业运行关键业务运行平台和进一步发展的基石，必须拥有更强的IT服务能力，保持高效稳定的运行，数据中心的升级建设势在必行。

另外，随着企业IT建设的迅速开展，云数据中心承载着企业内部的关键业务、核心应用，对于信息数据的完整性、业务运行的可靠性、网络系统的可用性的要求越来越重要。

目前IT信息技术已经延伸到企业的各个层面，从企业角度看，云计算有利于整合信息资源，实现信息共享，促进企业信息化的发展。

从用户角度看，利用云计算可以独立实现或享受某一项具体的业务和服务。

因此云计算将在企业的IT政策和战略中正扮演越来越重要
的角色。

云数据中心的建设，未来的核心业务涵盖如下范围：
以“统规、统建、统维”思想为指导，以丰富的云基础设施，云存储，云安全和各类云服务共同构建云数据中心，服务于各部门的生产网和办公网。

数据处理：海量数据的处理和分析。

为各部门集中提供基础的信息处理能力，承接企业各部门的应用系统迁移和部署，实现相关云数据中心的资源整合、集中部署与统一管理。

项目建设应从云数据中心信息化发展方向以及发展现状出发，加强综合协调和统筹规划，借助现代、前沿的信息化技术，形成集成能力强、运作效率高和具有可持续发展能力的云数据中心多业务应用平台，真正为提供找得着、用得好、有保证的信息化服务。

具体建设思路如下：
统筹规划，分步建设
资源共享、协同服务
因地制宜，突出重点
基于云计算，创新服务模式
本方案将云数据中心“IT基础设施”的“按需使用”以及”自动化管理和调度”作为云计算的实践，形成可落地实施的、可持续发展的云计算平台，即IaaS云计算平台。

云数据中心的建设目标建议如下：
•统一管理
通过最新的云计算核心技术之一虚拟化技术，整合现有所有应用，整合内容包括WEB、MAIL、FTP、域控管理、OA系统、后台数据库等应用，将整个业务系统作统一的规划和部署，统一数据备份，从而形成自上向下的有效IT管理架构。

•强调整体方案的可扩展性、高可用性、易用性和易管理性
采用最新的2路多核服务器，保证整个硬件系统的可靠性和可用性，为用户的应用提供
可靠的硬件保障；建设云计算平台，发挥云计算平台的优越性，为用户提供HA 功能，保证用户业务系统的连续性和高可用性，让用户的业务实现零宕机风险；提供专业的管理软件，保证硬件系统和软件系统的可管理性，为用户节省管理投资成本。

2 整体方案设计
2.1 整体解决方案拓扑
根据本期工程的需求和建设目标云计算平台总体逻辑拓扑结构如上图所示。

整个平台由网络资源池、计算资源池、存储资源池、管理中心以及利旧服务器区五部分组成。

网络资源池（根据实际配置撰写）
采用业界主流的“核心+接入”扁平化组网，核心交换机采用2台H3C S12508设备，部署IRF2虚拟化技术，并在机框内部署负载均衡（LB ）和防火墙（FW ）插卡，实现业务的流量监控和负载均衡；计算资源池的接入交换机采用4台H3C S5830-V2设备(24个万兆口)，部署IRF2虚拟化技术；
计算资源池（根据实际配置撰写）
采用H3Cloud 云计算操作系统软件，将40多台H3C FlexServer R390机架服务器组建
核心
H3C S12500 + H3C SecBlade FW
+ H3C SecBlade LB
Internet
H3C CVM/CIC
H3C iMC 接入交
换机 H3C S5830V
2 万兆光纤 千兆电口
接入交换机
H3C S5120
iSCSI 存储阵列
H3C FlexStorage P4500
操作系统 操作系统 操作系统
H3C CVK
管理
中心
存储资源池 网络资源池
计算资源
池
利旧服务器
HA集群，在虚拟机上部署企业业务应用，并配合HA和动态负载均衡等高级功能，实现业务的连续性，减少计划内宕机时间，提高资源利用率。

存储资源池
根据实际需求采用多台H3C FlexStorage P4500 iSCSI存储阵列，统一存放虚拟机镜像文件和业务系统数据，这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。

管理中心
采用2台H3C FlexServer R390机架服务器，分别部署H3C iMC DCM数据中心管理套件和H3Cloud软件套件（含CVK、CVM和CIC），实现对云计算资源池的统一管理及调度。

2.2云计算平台的搭建
2.2.1计算资源池设计
服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。

对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。

在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种虚拟服务器的方式被不同的应用使用。

这里所提到的虚拟服务器，是一种逻辑概念。

对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。

在x86系列的芯片上，其主要是以常规意义上的VMware虚拟机或者H3Cloud虚拟机的形式存在。

2.2.2资源池分类设计
在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。

归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置来决定。

对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。

所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器——比如相近型号、物理距离不远的机架式服务器或者刀片服务器。

在做资源池规划的时候，也需要考虑其规模和功用。

如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。

但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。

如果有条件的话，通常推荐先审视一下企业自身的业务应用。

可以考虑将应用分级，将某些级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的运维值守。

而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。

初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、企业内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。

在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。

但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。

对于x86系列的服务器，除了用于生产系统的资源池以外，还需要专门搭建一个测试用资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。

在云计算平台搭建完毕以后，企业的服务器资源池可以如下图所示：
在云计算平台上线以后，原有非云计算平台上的应用会逐步向云计算平台迁移，空出的
服务器资源池也会逐渐并入云计算平台的资源池中。

其状态可以用下图所示：
CVM虚拟化管理平台体系将IT数据中心的物理服务器资源以树形结构进行组织管理，统一称之为云资源。

云资源是H3Cloud云计算软件分层管理模型的核心节点之一，用来统一管理数据中心内所有的、复杂的硬件基础设施，不仅包括基本的IT基础设施（如硬件服务器系统），还包括其它与之配套的设备（如网络和存储系统）。

默认情况下，H3Cloud云计算管理平台出厂配置中已经添加了一个名为“云资源”的根节点，准备使用H3Cloud云计算软件进行管理的所有物理资源都需要手工逐一添加到该节点下进行统一的管理。

云资源中的被管理对象之间的关系可以用下图描述：
3基础网络平台设计
3.1基础网络整体设计
本次项目基础网络采用“扁平化”设计，核心层直接下联接入层，省去了中间汇聚层。

随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，“扁平化”组网的扩展性和密度已经能够很好的满足云数据中心服务器接入的要求。

同时在服务器虚拟化技术应用越来越广泛的趋势下，扁平化二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。

相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。

基础网络平台组织结构如下图所示：
网络的二、三层边界在核心层，安全部署在核心层；
核心与接入层之间采用二层进行互联，实现大二层组网，在接入层构建计算和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移与集群。

实际组网拓扑如下图所示：
采用2台S12508构建核心层，分别通过10GE链路与接入层、管理网交换机、出口路由器互连，未来此核心层将逐步演变成整网大核心，两台核心交换机部署IRF虚拟化。

接入层采用2台S5830V2-24S，每台接入交换机与核心交换机采用10GE链路交叉互连，两台接入交换机部署IRF虚拟化，与核心交换机实现跨设备链路捆绑，消除二层环路，并实现链路负载分担。

分层分区设计思路：根据业务进行分区，分成计算区、存储区和管理区。

计算、存储区域内二层互通，区域间VLAN隔离；根据每层工作特点分为核心层和接入层，网关部署在核心层。

3.1.1核心层设计
核心层由两台H3C S12508构建，负责整个云计算平台上应用业务数据的高速交换。

两台核心交换机S12508分别与两台服务器接入区交换机间呈“三角形”型连接，与现网出口区路由器呈“口”字型连接，一台管理区接入交换机双上行分别与两台核心交换机连接。

核心交换机间及与服务器接入交换机、管理区接入交换机、现网核心路由器间均采用万兆接口捆绑互联。

核心交换机上部署防火墙插卡和网流分析插卡，实现云计算业务的安全防护与流量分析。

两台S12508部署IRF2虚拟化技术，简化路由协议运行状态与运维管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。

IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。

组网拓扑如下图所示：
3.1.2 接入层设计
接入层分为资源池接入和管理区接入两大部分：
资源池接入：采用两台S5830V2-24S全万兆交换机构建，负责x86服务器和iSCSI存储设备的网络接入，服务器配置双网卡4个万兆接口，其中两个万兆接口捆绑做业务流接口，两个万兆接口捆绑做存储流接口双网卡采用捆绑双活模式；iSCSI存储设备的网络接入采用万兆链路，接入交换机上对应的端口工作在万兆模式。

两台S5830V2-24S部署IRF2虚拟化技术，通过跨设备链路捆绑消除二层环路、简化管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。

IRF2互联链路采用2*10GE 捆绑，保证高可靠及横向互访高带宽。

4安全设计
本次项目安全设计采用分层保护的思路，从“云计算资源池”向外延伸有三重保护：具有丰富安全特性的交换机构成数据中心网络的第一重保护；
具有高性能检测引擎的IPS对网络报文做深度检测，构成数据中心网络的第二重保护；
凭借高性能硬件防火墙构成的数据中心网络边界，对数据中心网络做第三重保护；
三重保护为数据中心网络提供了从链路层到应用层的多层防御体系。

交换机提供的安全特性构成安全数据中心的网络基础，提供数据链路层的攻击防御。

数据中心网络边界安全定
位在传输层与网络层的安全上，通过状态防火墙可以把安全信任网络和非安全网络进行隔离，并提供对DDOS和多种畸形报文攻击的防御。

IPS可以针对应用流量做深度分析与检测能力，即可以有效检测并实时阻断隐藏在海量网络流量中的病毒、攻击与滥用行为，也可以对分布在网络中的各种流量进行有效管理，从而达到对网络应用层的保护。

4.1L2~L4层安全
L2~L4层安全防护由防火墙完成，本次项目防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。

它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。

防火墙与交换机之间的三层部署方式与传统盒式设备类似。

如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。

可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。

如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以提供区域内部服务器之间访问的安全性。

安全域划分：
核心防火墙插卡上根据不同的业务类型，划分不同的安全域，通过域间策略的安全防护。

本次项目初期建议划分虚拟桌面域、虚拟机业务域、存储域、外部域这四个安全域，所示外部流量及跨域的横向互访流量均需要经过防火墙过滤。

如下图所示：
虚拟桌面域：此域内主要部署虚拟桌面的后台虚拟机，只允许使用瘦客户机的用户访问；
虚拟机业务域：此域内主要部署初期迁移到虚拟机上的试点业务应用，只允许相应的用户访问；
存储域：此域用户部署iSCSI或NAS存储设备，仅限云平台虚拟机访问，不允许外部用户访问。

外部域：与现网及企业外网用户互联，非信任区域。

安全控制策略：
防火墙设置为默认拒绝工作方式，保证所有的数据包，如果没有明确的规则允许通过，全部拒绝以保证安全；
建议在两台防火墙上设定严格的访问控制规则，配置只有规则允许的IP地址或者用户能够访问数据业务网中的指定的资源，严格限制网络用户对数据业务网服务器的资源，以避免网络用户可能会对数据业务网的攻击、非授权访问以及病毒的传播，保护数据业务网的核心数据信息资产；
配置防火墙防DOS/DDOS功能，对Land、Smurf、Fraggle、Ping of Death、Tear Drop、SYN Flood、ICMP Flood、UDP Flood等拒绝服务攻击进行防范，可以实现对各种拒绝服务攻击的有效防范，保证网络带宽；
配置防火墙全面攻击防范能力，包括ARP欺骗攻击的防范，提供ARP主动反向查询、TCP报文标志位不合法攻击防范、超大ICMP报文攻击防范、地址/端口扫描的防范、ICMP 重定向或不可达报文控制功能、Tracert报文控制功能、带路由记录选项IP报文控制功能等，全面防范各种网络层的攻击行为。

4.2L4~L7层安全
防火墙工作在L2～L4层上，无法“看”到L4层以上的安全威胁，而传统的IDS（入侵检测系统）作为一个旁路设备，对这些威胁又“看而不阻”，因此我们需要IPS（入侵防御系统）来解决下面这些L4~L7层的安全问题：
5存储设计
目前主流的存储架构包括DAS、NAS、SAN，下面针对3种主流应用系统做架构分析。

直连方式存储（Direct Attached Storage - DAS）。

顾名思义，在这种方式中，存储设备是通过电缆（通常是SCSI接口电缆）直接到服务器。

I/O请求直接发送到存储设备。

存储区域网络（Storage Area Network - SAN）。

存储设备组成单独的网络，大多利用光纤连接，服务器和存储设备间可以任意连接。

I/O请求也是直接发送到存储设备。

如果SAN 是基于TCP/IP的网络，则通过iSCSI技术，实现IP-SAN网络。

网络连接存储（Network Attached Storage - NAS）。

NAS设备通常是集成了处理器和磁盘/磁盘柜，连接到TCP/IP网络上（可以通过LAN或WAN），通过文件存取协议（例如NFS，CIFS等）存取数据。

NAS将文件存取请求转换为内部I/O请求。

上述几种存储方式的优劣势分析：
通过以上对比可以看出SAN具有如下优点：
关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素；
SAN具有出色的可扩展性；
SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性；
改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。

集中的存储备份，其中性能、数据一致性和可靠性可以确保关键数据的安全；高可用性和故障切换环境可以确保更低的成本、更高的应用水平；可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区；
改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距
离。

考虑到IP SAN的扩展性比FC SAN更加出色。

我们可以在IP SAN中使用SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IP SAN的容量，我们推荐使用IP-SAN存储架构。

为了达到系统的故障快速切换，本方案中配置后端共享存储，以实现动态HA和迁移，我们配置一台IP-SAN存储，这样可以将云计算平台中每个虚拟机的文件系统创建在共享的SAN集中存储阵列上。

H3Cloud虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算计算节点同时访问同一虚拟机存储。

<0} 由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。

系统支持一台故障后，快速切换到另一台的功能，切换时间大概在0-10分钟以内。

存储是指虚拟机文件（含数据文件和配置文件）保存的地方。

按照存储的位置可以划分为两类：本地磁盘存储和通过网络存储在远端服务器上。

本地存储包括：本地目录文件、LVM 逻辑存储卷、SCSI/FC存储；网络存储则包含：iSCSI网络存储、NFS网络文件系统、共享文件系统和Windows系统共享目录。