企业云计算数据中心方案

工业领域企业私有云数据中心方案虚拟化云计算数据中心方案
1总体要求
工业领域企业数据中心业务分为生产执行管控与企业经营管理，因此IT 基
础架构云平台承担两部分功能。

企业经营管理接入到集团公司网络，并设有因特网出口，与因特网设置隔离。

办公网的用户除了日常办公、管理业务外，还需要掌握生产执行情况，因此，生产执行管控与企业经营管理需要网络互联。

为了实现生产执行管控与企业经营管理的信息共享，需要将生产执行管控与
企业经营管理进行物理或逻辑隔离，通过生产执行管控向企业经营管理单向推送
信息的方式实现信息共享。

企业私有云架构数据中心方案包括云计算平台软件，虚拟化软件，容错服务器，云计算服务器，分布式存储服务器，集中式存储系统，网络与安全系统、数据
灾备系统等。

2XX 企业私有云数据中心方案设计：
海得控制indusCloud 云平台是以国际主流基础架构即服务(IaaS)技术为标准，以最具影响力的数据中心云计算软件Openstack 开放源代码为核心，基于它提供
的计算资源管理、存储管理、网络管理、镜像管理、认证管理、计量管理和其他模
块进行一定的二次开发和功能优化而形成的。

indusCloud 兼容异构虚拟化软件、服
务器设备、存储设备和网络设备，同时结合存储计算融合的架构，基于分布式存储，构建一个符合主流技术的、易于扩展的、高可用的、具备国产自主可控的云计算虚
拟化软件方案。

indusCloud 云平台系统的总体架构将由服务器、交换机、防火墙、存储、核心的云计算管理模块、云计算服务管理模块和云计算前台组成，总体设计图如下：
云计算数据中心用户可以分为三类：
a)企业用户：从内部网络或者外网访问系统，需要提供业务的交互界面，并设
置相应的网络规则和安全措施。

云平台将通过公网浮动IP 或者VLAN 子网的分配来限定内外网隔离和访问规则，同时结合防火墙规则做好防护工作。

b)业务系统管理员：业务系统管理员需要对业务系统所需资源进行配置和操
作，根据云计算的多租户原则，通过Keystone 结合已有的企业网AD 域控制器实现逻辑隔离和权限控制。

c)云管理员：云计算平台超级管理员，负责云计算平台整体架构、用户管理、
资源分配和系统运维工作，保障系统的稳定性，处理系统出现的各类问题。

2.1云计算平台交互层：
a)二次开发接口：indusCloud 提供丰富的API 供和现有以及未来系统调用使用。

b)自助式用户访问界面：云计算企业用户可以访问自己的应用底层操作系统，
同时可以管理计算、存储和网络资源。

企业私用云计算
应用虚拟化桌
面虚拟化
...
客户端PAD手机移动PC
Internet
……
千兆网
网络安全
千兆业务、管理网
数据库、关键应用
云计算/虚拟化
管理平台
服务器群分布式存储网络
万兆级存储网
灾备（分布式或集中式）
（存储资源池）
集中式存储
（存储资源池）
分布式存储
（存储资源池）
交换网络
（网络资源池）
服务器虚拟化
（计算资源池）
c)云管理员界面：提供界面和命令行两种方式供管理员进行整体云平台的资源
调配、监控、用户配置、模板配置和其他操作选项。

2.2云计算平台核心层：
1)indusCloud 核心模块：组建软件定义数据中心的核心框架，包含经过一定优
化的源Openstack 云计算软件的KeyStone 认证模块、Nova 计算（虚拟化）、Horizon 管理模块、Cinder 存储管理模块、Neutron 网络管理模块、Glance 镜像管理模块和Heat 自动化运维模块等。

2)审批流程引擎、资源监控、认证集成、安全策略，计量管理等辅助模块
3)和存储集成的存储插件，整合异构存储
4)和网络集成的网络驱动，整合异构网络
2.3云计算平台硬件基础架构：
1)服务器和虚拟化：每个物理机节点上将部署虚拟化软件，实现统一计算资源
池。

2)万兆网络：组建万兆网络环境，满足分布式存储网络、计算网络和虚拟机网
络需求。

3)存储虚拟化：分布式存储软件模块可以抽象底层X86 服务器的硬盘资源，组
成一个分布式的存储资源池，提供镜像存储和文件存储。

3系统设计方案
3.1云计算管理平台设计
云计算管理平台，配置经过一定优化的Openstack 云计算管理软件，代号为indusCloud。

部署虚拟化管理、分布式存储管理、软件定义网络管理、数据库存储集成和资源调度等功能模块。

主要功能包括对外提供镜像服务、计算服务、存储服务、网络服务、认证用户管理服务、计量管理服务、数据库服务、消息服务等所需的云平台服务。

支持计算节点物理服务器，分布式存储服务器的部署将通过云平台的自动化功能实现；
云平台集成基本的硬件监控模块。

云平台的高可用采用硬件容错服务器系统结构实现，保障所有功能模块高可靠零中断运行。

3.2虚拟化方案
KVM 是全球最具影响力的开放虚拟化技术，它是基于内核的虚拟化，是Linux 内核的一部分。

这个轻量级的虚拟化管理程序模块能直接与物理硬件交互，不需要修改客户虚拟机操作系统，因此性能表现更好。

升级补丁包能够和Linux 内核兼容，轻松控制虚拟化进程，同时减轻管理负担。

由全球几百家IT 巨头厂商组成的虚拟化联盟(OVA)一直致力于促进基于内核的虚拟机(KVM)等开放虚拟化技术的应用，因此，他是企业选择虚拟化产品方案的最佳选择。

3.3服务器设计
在计算节点配置方面，主要包括如下：
a)构建统一服务器计算资源池，提升资源整合度和利用率。

用户以虚拟机操作系统获得物理资源，后台自动实现计算高可用，智能调度，管理简单。

通用
X86 服务器资源池搭建。

b)为保障关键业务系统连续可用性，计算资源池中增加1-2 套高可靠性的硬件容错服务器，专门用于部署具备零秒中断要求的客户机系统和核心应用。

所有的服务器需具有智能平台管理接口(IPMI)。

IPMI 是一种开放标准的硬件管理接口规格，管理员可以通过通用的接口实现方便的裸机管理。

c)合理搭配CPU/内存配比，服务器体积和功耗的平衡，推荐采用2U 的机架式服务器，体积和功耗比较适合，能够适应数据中心的布局，方便后续系统扩容。

d)充足的网络接口和带宽，配备冗余的万兆网络网卡（10Gb/s），保证平台
的横向扩展性。

计算节点需要和后端集中式存储（磁盘阵列）和分布式存储连接，通过万兆以太网可以获得更高的带宽，为虚拟机和文件系统存储的I/O 请求提供保证。

3.4存储系统设计
整个系统将根据不同业务的特点，考虑经济性、性能可扩展性等多个方面，配备不同类型的存储：
a)虚拟机和文件系统通过分布式存储提供，采用GlusterFS 存储软件技术实现高可用性、易扩展的统一存储资源池。

每个文件可以设置单个、两个或以上的副本(Replica)，依据客户虚拟机和文件系统的重要性做设计，非常灵活。

b)备份存储也采用分布式存储提供，基于X86 服务器设计的分布式存储系统将提供更为良好的经济性，同时在数据可靠性也具有极高的保证。

c)对于集中式存储（磁盘阵列）系统，将通过Cinder 驱动方式，通过万兆网络环境链接
3.5高可用性方案
高可用的设计要点包含云计算管理平台高可用、计算节点高可用、存储系统的高可用和网络的高可用等，最终实现虚拟机系统与客户应用的高可用性。

云计算管理平台采用硬件级容错服务器设计，集成处理器内存同步处理技术（Lock-Step）确保任何故障（甚至于瞬时故障）都能被准确检测到，包括CPU、
内存，主板、磁盘、网络及电源在内的任何故障发生，系统零秒中断，无任何数据
状态丢失。

从而保障云计算管理平台永远持续在线运行，系统可靠性99.999% 以上。

内置Automated Uptime Laye 系统软件，用于检测潜在问题，并预防中断。

持续监
控500 多个系统组件和传感器状态，从而在故障对系统造成影响之前对其进行
识别、处理和报告。

提供单一系统管理视图，并结合广泛的状态LED 指示灯，从而消除管理复杂性。

无论是计算还是存储系统，在发生故障的时候可以自动快速恢复。

这种分布
式计算系统和存储系统设计，很容易扩展，新节点只需要简单配置，便能自动开
始承载负荷，实现资源池的横向扩展。

云计算管理平台还可以根据负载进行智能分
析调度，实现统一资源池中节点负载均衡，更好的利用资源。

对于大多数数据中心应用系统，通过VM HA 热迁移高可用性技术，可以避免因物理机故障而导致业务中断。

通过监控主机IPMI 数据，在物理机出现故障预
警时动态迁移该节点上的虚拟机至健康的主机节点上。

即使是物理机奔溃，运行
在上面的虚拟机迁移恢复时间也可以控制在几分钟以内，保障业务连续运行。

针对数据中心数据库系统，关键的业务应用系统。

提供最高可靠性，具备零
秒切换的容错系统设计方案，可选硬件容错服务器系统或者软件定义容错系统方案。

其中软件定义的容错系统设计特征是，基于Checkpointing 内存镜像技术和IO 多路
径转移技术，实现客户虚拟机系统在冗余的物理机节点中双活同步运行，包括芯片、内存、主板、电源在内的任何物理节点故障，虚拟机系统连续不中断运行。

可
靠性99.9999%以上。

分布式存储可以实现文件的多副本保存，同一份数据在多个物理节点分散存储，单物理节点上的硬盘也通过硬件RAID 做磁盘级别的防护，避免单点失效，
同时分布式存储拥有智能恢复和均衡技术，在遇到故障时能够实现自动容错和负
载协同。

集中式存储（磁盘阵列柜）采用双活控制器容错设计，Mirror-Cache 高速缓
存镜像技术，实现故障零秒切换功能。

全冗余及模块化设计，无单点故障。

所有部件如电源、风扇、控制器和硬盘支持在线不停机更换。

99.999%以上可靠性。

网络层面的高可用主要保证所有连接冗余，每个服务器配备双物理卡网络层面的高可用主要保证所有连接冗余，交换机和防火墙也配备了双活冗余，避免单点失效。

3.6安全设计要点
管理平台安全、虚拟机安全、网络安全和存储安全设计如下：
a)云平台安全
云平台安全将依赖OpenStack 本身的安全机制。

所有的操作需要通过云平台的认证模块(Keystone)强制认证，任何API 接口或者命令操作，必须通过用户本身的用户名和密码向Keystone 获取安全令牌（Token）之后才能执行，Keystone 通过租户(Tenant)的隔离实现资源层面的访问隔离，通过基于角色的认证控制（RBAC）控制每个用户可以访问的资源权限。

每个计算节点的调度通过Nova Conductor 协调，通过消息队列rpc.call 的方式实现对控制节点信息的获取，从设计上实现了“无需直连数据库的计算节点（no-db-compute）”，nova-compute 是nova 里最不被信任的服务，避免直接访问数据库可以规避的潜在风险。

同时横向扩展更加容易，提高性能。

解耦计算节
点和数据库，方便管理和升级，也便于跨计算节点的操作（如迁移等）
b)虚拟机安全
虚拟镜像限定只能通过私有证书方式访问；
在虚拟化层，对于存储镜像进行加密传输，保证在传输过程中的存储安全。

对于镜像文件和用户生成的数据，进行权限认证和加密，从而保障数据加密安全；
对于虚拟机的网络安全方面，采用支持虚拟防火墙的设备对各个租户进行访问隔离。

并且可以在虚拟防火墙内部定义租户的规则和访问策略。

能细粒度的控制一个租户内部虚拟机的访问策略。

另外，管理员可以通过外部接入控制，有效的保证整个内部网络的安全。

c)网络安全
整个云平台业务网络、存储网络、虚拟机网络和管理网络分离
网络之间通过防火墙限定访问策略。

保证私有云用户无法单方面越过防火墙访问服务器；
对于外部用户接入采用VPN 安全接入的方式，保证安全访问，接入采用基于证书的安全加密；
通过虚拟防火墙有效控制二层网络攻击和七层的网络过滤，有效针对租户做上网行为管理；
云控制器可有有效的集成防火墙的管理配置，可以统一由云控制器管理
网络，实现软件定义数据中心(SDN)。

d)存储安全
分布式存储（虚拟机镜像、扩展盘、文件和备份存储），采用多副本的方式，把用户数据分布到各个存储节点上，多副本方式可以有效保证数据的一致性，提
供数据安全性和保护；
集中式存储（数据库系统，关键应用等），采用双活控制器容错设计，磁盘
层采用设置raid 保护，无单点故障。

通过备份策略，将重要数据备份到分布式存储系统中，保障数据存储的安全。

4云计算数据中心主要功能
indusCloud 是一款符合主流数据中心发展趋势的云计算数据中心管理方案，
它提供一系列功能，满足企业用户在数据管理智能化、中心资源池化、运维自动
化和服务标准化几个方面的需求。

4.1资源池化
4.1.1计算资源池化
indusCloud 提供云主机管理功能，通过虚拟化技术，将服务器资源池化成虚拟机，能够更高效的利用计算资源池。

indusCloud 提供以下云主机管理功能, 为数据中心管理员提供强大的计算资源管理服务:
•定义虚拟化层
•定义计算资源超配比例
•创建云主机
•查看云主机日志
•云主机管理控制台（基于Web）
•云主机暂停、挂起、移植（故障迁移）
•云主机热迁移
•云主机软重启和硬重启
•云主机终止（删除）
4.1.2存储资源池化
indusCloud 通过底层分布式存储技术，将x86 服务器节点组成一个高可用的分布式存储资源池。

indusCloud 上层将存储资源池化成云硬盘（块存储），为用户提供以下云硬盘管理服务：
•云硬盘类型定义
•查看云硬盘列表
•创建
•挂载
•卸载
•创建硬盘快照
•从快照恢复或者生成新的硬盘
•删除云硬盘
4.1.3网络资源虚拟化
indusCloud 通过软件定义网络技术，即可以实现虚拟机层面传统的Flat 扁平网络架构，也可模拟类似AWS 公有云的VPC 技术，为每个租户单独组建一个独立的网络环境。

为了支持以上业务目标，indusCloud 通过虚拟交换机、虚拟路由、虚拟防火墙（端口策略管理）、浮动IP 池管理和虚拟负载均衡技术实现。

4.1.3.1虚拟二层网络
虚拟交换机主要为虚拟机网络提供二层网络的功能，根据业务需求灵活定义网络模式，规划网络环境，承载业务流量，服务信息交换。

indusCloud 在二层网络虚拟上提供以下功能：
•模拟网络环境，为租户提供独立的子网
•给新建网络建立子网时指定网络地址
•定义IP 版本
•定义网关
•启动/关闭DHCP 服务
•定义DHCP 地址池
•指定DNS 域名解析服务网段
4.1.3.2虚拟路由
虚拟交换机主要为虚拟机网络提供三层网络的功能，为用户创建在虚拟路由上创建一个接口，将一个指定的子网连接到路由器。

针对虚拟路由的操作有：•增加路由
•定义网关
•清除网关
•删除路由
•增加接口
•删除接口
4.1.3.3虚拟防火墙（安全组）设备
安全组定义哪些通过规则可以访问云主机，帮助客户在网络的安全管控，保障客户信息安全和网络安全。

安全组将通过以下几种配置保证网络的访问隔离和安全:
•规则: 用户可以指定期望的规则模板或者使用自定义规则，可以定制TCP 规则、定制UDP 规则或定制ICMP 规则。

•打开端口/端口范围：选择的TCP 和UDP 规则可能会打开一个或一组端口，通过"端口范围"定义开始和结束端口的范围.
•远程源地址过滤: 用户可以指定允许通过该规则的源.可以通过以下两种方式实现ip 黑名单形式(CIDR)或者通过源地址组(安全组).作为源
地址选择一个安全组允许该安全组中的任何云主机使用该规则访问
任何云主机.
4.1.3.4虚拟NAT 设备（浮动 IP 资源池管）
模拟NAT 功能，管理三层浮动IP 的分配，使处于内网的虚拟机可以和外网交互，同时又能保护内网的独立性。

浮动IP 的管理包含以下操作：
•分配IP 给项目
•释放IP 给项目
•关联IP 到内网地址
•移除关联
4.1.3.5虚拟负载均衡设备
模拟负载均衡技术，提供软件定义的负载均衡，实现弹性的分布式架构网络
分流，满足高负载应用的请求分摊。

虚拟负载均衡设备提供以下功能：•设置虚拟IP
•将虚拟IP 指资源池，将需要均衡的虚拟机加入到资源池
•设置负载均衡器（提供者）
•设置子网和协议
•设置负载均衡方式（如轮询方式、源地址方式等）
5管理智能化
5.1.1运行监控
能准确掌握整个数据中心的负载、容量、服务状态等关键数据是保证业务稳定运行的关键点。

indusCloud 通过仪表盘的形式，整合监控数据，结合图形化呈现方式，让管理者一目了然的了解整体运行状态，并作出及时反映。

indusCloud
能够通过以下方式进行数据监控和分析：
•全局仪表盘，能让管理者一目了然了解数据中心整体运行状态
•整体计算资源池状态监控
•整体存储资源池状态监控
•整体网络资源池状态监控
•关键云计算系统服务监控
•虚拟机运行状态监控
•租户资源使用分析
5.1.2虚拟机高可用技术
虚拟机计算存储超融“一体机”的高可用：虚拟机的高可用上做了优化，实现虚拟机的计划内热迁移和计划外故障自动迁移。

5.1.3存储的多副本和自动容错技术
indusCloud 通过融合架构中的分布式文件系统，提供了跨服务器的数据块多份副本机制，在少量节点失败的情况下，能够保证数据不丢失，并且在相对较短的时间内自动恢复。

允许失败的节点比例取决于冗余副本数量。

在有些“计算存储融合”现实机制中，存储系统会优先将一份数据拷贝和所运行的虚拟机分配在同一台物理服务器，这样的侧率不仅节约了带宽，而且很大程度上提高了性能。

5.1.4可视化管理
indusCloud 通过可视化拓扑结构的方式实现了整体网路环境的可视化，为管理者和用户提供了更好的用户体验，并结合拖拽等交互式操作，可以快速方便的增加虚拟路由资源、虚拟交换机资源、虚拟计算资源和虚拟存储资源，极大的方
便了管理员和用户的操作，简化了管理手段，提升管理效率。

5.1.5审批流程管理
indusCloud 有强大的流程整合能力，能够和企业用户现有系统进行无缝集成。

indusCloud 本身也内置了审批流程，辅助数据中心管理员在资源分配上的管理。

indusCloud 提供以下功能：
•定义需要被审批的用户
•申请资源
•撤销申请
•批准申请
•拒绝申请
5.1.6多租户管理“租户（Tenant）”是云计算技术的主要驱动力，它是对云
计算用户分组逻
辑的一种描述。

通过定义“租户（Tenant）”，我们可以确定需要服务的用户范围，以及需要划分的资源等级和数量。

indusCloud 实现了“租户（Tenant）”的管理，具备“租户（Tenant）”定义、用户分组、资源配额和资源隔离等满足“租户（Tenant）”管理生命周期的需求。

主要包含以下功能：
•生成“租户（Tenant）”项目
•编辑“租户（Tenant）”成员
•配置租户资源配额
•支持租户生成独立的网路环境，实现网络隔离
•限定租户可以访问的模板资源
5.1.7计量管理和成本核算
云计算数据中要能够支持业务层面的优化。

indusCloud 提供了一系列计量管理和成本核算的功能，提供成本和财务上的基础数据，支持更精确的财务分析，优化企业成本支持。

它支持：
•计算资源的成本定价
•存储资源的成本定价
•计算资源的用量跟踪
•存储资源的用量跟踪
•IP 的用量跟踪
•根据租户生成的用量和成本报告
5.2运维自动化
自动化运维是未来数据中心管理的趋势。

数据中心能否实现“智能”很大依赖于自动化的程度。

自动化能够简化管理流程，提高管理效率。

数据中心管理的
自动化主要体现在部署、资源提供、资源配置、容错和自动化接口等多个方面。

5.2.1自动化部署扩容
indusCloud 提供了一套高效扩容机制，支持快速的部署和资源扩容。

主要体现在以下功能：
•自动化快速安装：indusCloud 的云平台安装快速简单。

•自动化扩容：当资源池存在瓶颈的时候，可以通过增加节点的方式进行扩容。

管理员只要将节点接入网络，通过按F12 即可实现自动的节
点文件获取、安装和配置，实现整体资源池的扩容。

5.2.2自助式虚拟资源提供
按需的资源使用是云计算的核心思想之一。

通过按需分配资源，可以让实现资源的更大使用效率，优化企业的成本结构。

indusCloud 提供了一系列的流程支持：
•用户计算资源按需生成和释放
•用户存储资源按需生成和释放
•用户虚拟网络资源的按需生成和释放
•用户模板的按需配置
5.2.3计算资源的自动配置
indusCloud 还支持在资源分配后对资源的配置管理：
•通过预定义虚拟机模板，简化虚拟机配置
•通过预定义云硬盘镜像，简化存储配置
•支持启动虚拟机后的脚本添加，对虚拟机启动后进行管理
•支持二层网络的DHCP IP 范围预配置，实现IP 的自动分配
•支持Floaping IP 的自动分配，合理分配和回收资源
•支持和Cloud-Init 等配置管理的集成，实现更加高级的诸如IP 注入、 OS 密码设置、进程启动等更加高级的管理配置
5.2.4丰富的二次集成自动化API
indusCloud 提供了丰富的自动化接口，以供二次集成和更深层次的自动化需求，比如和企业的内部流程系统结合做审批、与企业现有的身份系统集成完成认证或者自定义数据报表支持决策等。

API 的接口包含以下内容：
•计算资源的调度接口
•存储资源的调度接口
•网络资源的调度接口
•认证管理的调度接口
•镜像管理的调度接口
•自动化的调度接口
5.3服务标准化
数据中心通过标准化进一步企业内的IT 服务，整合复杂的底层环境。

indusCloud 通过前端的模板的规范定义和后端的资源池异构整合，实现从服务到架构的标准化，优化统一数据中心环境，提高管理效率
5.3.1计算资源的模板管理
在indusCloud 中管理可以定义资源的类型，通过预先设定模板的大小和镜像的操作系统类型，加入诸如防毒客软件、启动配置脚本、企业内部系统补丁源等约束机制，保证基础操作系统模板，从而保证后续生成的虚拟资源符合企业规范，。