2 数据中心建设与智能化运维管理

5
2014中华医院信息网络大会
数据中心基础设施概述
GB 50174-2008 ANSI/TIA-9422005 建筑类型 主要路由 构件冗余 年宕机时间 机房可用性 供电系统 C TIER 1 合用 单路 N 28.8小时 99.67% UPS B
等级划分
A TIER 3 独立建筑 TIER 4 独立建筑
降低服务器服务器电源开销
整合前 应用 A系统 B系统 C系统 D系统 E系统 服务器台数 2 1 1 1 1 功耗 1.2kW/h 0.5kW/h 0.5kW/h 0.5kW/h 0.5kW/h 整合后 应用 A系统 B系统 C系统 D系统 E系统 其它 5 总计 电量消耗减少 82% 4.2kW 服务器台数 成本
旧式数据中心（2000之前构建） • 2.5 - 5 kW/机架，闲置的空间容量 • PUE 1.9 – 2.4，非常有限的气流密封 • 面向大型机建设
3
2014中华医院信息网络大会
数据中心生命周期
规划阶段
选址分析 周边环境评估 建设计划 设计任务书
设计阶段
电气专业 防雷 CFD气流模型 图纸绘制 技术规格书 验证计划和操 作顺序 文档控制 相关部门批准
31
2014中华医院信息网络大会
内部备份
使用RMAN在存储阵列内部进行数据文件备份，当由于软件故障造成数 据文件损坏时，可在存储内部进行数据库修复，修复时间小于10分钟， 在修复过程中不需要停机，与损坏数据文件无关的应用可继续使用
32
2014中华医院信息网络大会
Dataguard数据同步
通过Dataguard实现数据到备用服务器的实时同步，避免主机 房发生严重事故时，造成数据损失。当主机房无法工作时， DataGuard服务器可切换工作状态，对外提供数据库服务，切 换时间可控制在小于20分钟。
内部备份
服务器集群
使用两台DELL R820配置为Oracle RAC集群，在正常工作时两台服 务器实现负载均衡，当其中任意一台的硬件、操作系统、Oracle软件 发生故障时，系统负载会自动转移到另一台服务器，这一转移过程对 于客户端是透明的，正在使用的用户将不会察觉服务器的这一动作。
29
2014中华医院信息网络大会
4
2014中华医院信息网络大会
标准介绍
• GB 50174-2008 • TIA (Telecommunications Industry Association) • The Uptime Institute • American Society of Heating, Refrigeration, and Air-Conditioning Engineers (ASHRAE) Technical Committee 9.9 (TC 9.9) • The Green Grid
22
2014中华医院信息网络大会
快速统一部署服务器
整合前 •3－10天的硬件采购 •20－40小时，为一台服务器安装操作 系统和应用程序 •硬件上架安装 •安装操作系统及补丁 •配置安全策略，域和用户权限 •配置网络（IP，DNS） •配置存储（DAS，SAN，NAS） •安装必要的系统管理代理，备份 代理和其它的必要的系统软件 •安装配置应用软件 •测试应用 •安排宕机时间，数据迁移 整合后 •15－30分钟，用模板和自动部署向导 或拷贝虚拟机，启动即可 •把虚拟机拷贝然后重新启动 [工具 已经安装] [应用已经安装，配置]
• •
• • 规范标准、安全可靠、资源共享、流程优化 模块化重新部署硬件(刀片技术)
构)
• 专用的服务器，或应用
专用的服务器或应用
• 、技术先进。 自动化的任务管理
• • 高可靠、可用性：全冗余、无单点故障。 重新配置和扩展(不需要重新布线) • • 灵活性：池化 IT基础设施资源，资源可根据 提供IT共享服务 (例如：共享的测 试/开发环境) 需要动态部署、分配和调整。
建设阶段
项目摘要 施工图 送审记录 设备清单 变更单 竣工检查单 竣工记录 验收报告 设计产权
测试验证
质量检查 功能测试计划 综合测试计划 问题清单 验证报告 设计变更 设计澄清
迁移阶段
运维手册 供应商清单 备件列表 迁移系统图
运维
制作标准操作 流程 培训 培训记录及授 权 维护记录
控制网络图 迁移计划 操作顺序手册 制作应急计划 保修管理 冲击演练 （黑盒测试） 更新系统操作 顺序 系统变更控制
采用五级措施实现数据高安全性和系统高可用性 – 设备双路复用 – 内部备份 – Dataguard数据同步 – 外部备份 – 灾难备份
27
2014中华医院信息网络大会
设备双路复用
主机房硬件全部采用双路复用 交换机、防火墙使用冗余配置 所有链接线缆利用端口聚合进行多路复用
28
2014中华医院信息网络大会
部署/Deployment
18
2014中华医院信息网络大会
新一代数据中心设计特点
传统数据中心 传统数据中心
孤岛的应用系统
常规数据中心 当前数据中心
竖井状的 IT基础设施
新一代数据中心 NGDC 下一代数据中心
共享IT基础设施
应用 系统 服务器/ 存储
应用1
应用2
应用3
应用1
应用2
应用3
服务器 服务器 服务器 共享存储资源
部分冗余设备配电 制冷系统单路由
年宕机时间 （可用性）
28.8小时 （99.671%）
22小时 （99.741%）
Hale Waihona Puke Baidu
1.6小时 （99.982%）
0.4小时 （99.995%）
可用性
7
2014中华医院信息网络大会
数据中心设计、构建、试运行能力
大规模MDC部署 微模块化
从建筑实体数据 中心到MDC
非标尺寸MDC
资源的动态分配 • • 高效性：资源整合和共享，提高系统资源利
用率，建设绿色数据中心；集成化的管理。
19
2014中华医院信息网络大会
数据中心系统介绍——资源池
20
2014中华医院信息网络大会
数据中心高可靠、高可用设计
为了满足业务对系统连续性不间断运行的要求，针对 数据中心核心基础资源系统进行了高可靠、高可用设计： 两套独立的服务器资源、存储资源、网络资源形成两个互 为备份的冗余站点。 即使在灾难场景出现时（服务器、网络、存储损坏），仅 会造成各业务系统的服务级别降低，不会造成业务中断。 站点之间进行容灾设计，底层数据实时进行同步，可以保 证在灾难事故发生时，站点之间的服务器资源快速切换， 从而恢复生产能力。
2014中华医院信息网络大会
部门B
应用3
部门Z
应用n
服务器1
服务器2
服务器3
服务器n
数据网络和存储网络 机房设施
17
2014中华医院信息网络大会
传统 “烟囱式“式数据中心的缺陷
性能/Performance 安全/Security
空间/Room Space
管理/Management
功耗/Power & Watt
TIER 2 合用 单路 N+1 22.0小时 99.75% UPS + Gen
两路，一路处 两路，均处于 于备用 使用状态 N+1 1.6小时 99.98% UPS + Gen 2(N+1)或S+S 0.8小时 99.99% UPS + Gen
6
2014中华医院信息网络大会
数据中心基础设施概述
Uptime Institute 及 TIA-942 Tier 分级
共享服务器资源 共享存储资源
•• 专有的，基于主机的架构 专有的，基于主机的架构。
•• 单一供应商的解决方案 单一供应商的解决方案。 •• 专用的技术和技术要求 专用的技术和技术要求。 •• 有限制的连线 有限制的连接/ 网络，扩展性较 /网络，扩展性较
(操作系统 /架 • • 竖井状的技术应用 竖井状的技术应用(操作系统 /架构 )
差 差。 ’ 的生产部署，扩展性敏捷 •• ‘静态 ‘静态’的生产部署，扩展性敏 性较差
捷性较差。
• 多平台操作系统，多架构的数据 心环境 中心环境
多平台操作系统，多架构的数据中
• • 通过 通过IT Linux 技术，对成本 IT整合或 整合或 Linux 技术，对成本 和复杂性进行优化和改进 和复杂性进行优化和改进
C系统 D系统
E系统 其它 总计
1 1
1 40 46
￥20000 ￥20000
￥20000 ￥800000 ￥940,000
5 总计 硬件投资减少 62%
￥350,000
将不同应用负载虚拟化使得用户可以大大减 少服务器的数量 典型的平均整合比率在8:1到15:1
24
2014中华医院信息网络大会
部署挑战： •依赖硬件可用性 •易发生人为错误 •标准化困难 •审核困难 •需要数天，甚至数周
23
2014中华医院信息网络大会
降低服务器投资成本
整合前 应用 A系统 B系统 服务器台数 2 1 成本 ￥60000 ￥20000 整合后 应用 A系统 B系统 C系统 D系统 E系统 其它 7 ￥350,000 服务器台数 成本
Redundant Components
Utility Bus Critical Load Bus
12
2014中华医院信息网络大会
供电系统
数据中心供电系统示意图-Tier 3
Redundant Components
Redundant Component UPS can be replaced by STS
服务器资源池内的物理刀片间的相互备份及虚拟机实现动
态迁移 应用系统的关键服务器分别部署在不同的站点中，确保服 务器的高可用性。 关键应用系统采用存储虚拟化技术将数据存储在两个独立 的存储体上，确保存储的高可用性。
21
2014中华医院信息网络大会
整合提高硬件使用率
虚拟化之前 虚拟化之后
虚拟化使得低利用率的服务器负载整合到一台服务器， 安全可靠地达到很高的硬件利用率
等级划分与投资的关系
Tier 4 Tier 3 容错型系统
Tier 2
可同时维护
Tier 1 满足基本需求
无冗余设备 配电制冷系统单路 由
部分构件冗余
投 资
设备冗余、配电制 冷系统多路由，满 足同时维护。多路 由一路备用。 设备冗余、配电制 冷系统多路由，满 足容错。多路由均 处于使用状态。
冗余要求
7
4.2kW/h
其它
一年总计
40
46
20kW/h
23.2kW
电力消耗是按照服务器平稳运行状态下进行计算的。但是还有其它节省： 变压设备、不间 断电源(UPS)、电源线、风扇、空调、加湿器、照明等等。
25
2014中华医院信息网络大会
• 数据库高可用的实现
26
2014中华医院信息网络大会
数据库高可用方案
2014中华医院信息网络大会
数据中心建设与智能化运维管理
阜外医院 赵韡 2014.5
2014中华医院信息网络大会
数据中心基础架构
2
2014中华医院信息网络大会
数据中心的演变史
创新型数据中心（2006 — 现在） • 更高的密度，功率超过7 kW • 先进的气流密封 • 节能/绿色设计 • 高能效设备 • 复杂的设计 • 降低的工作环境参数要求 更为现代的数据中心(2000 — 2005) • 4 – 8 kW/机架 • PUE 1.6 – 2.0，热通道/冷通道分区 • 更加高效的UPS/制冷系统 • 基于不同Tier等级的复杂设计 • 较为严格的工作环境参数
13
2014中华医院信息网络大会
供电系统
数据中心供电系统示意图-Tier 4
Redundant Components
14
2014中华医院信息网络大会
消防系统
气体灭火系统
Ff200
15
2014中华医院信息网络大会
数据中心硬件平台
16
传统数据中心的IT资源配置模式 --“烟囱 式”结构
部门A 应用1 应用2
建筑实体数据中心
集装箱化
8
2014中华医院信息网络大会
能效 – 热通道遏制解决方案
9
2014中华医院信息网络大会
能效 – 冷通道遏制解决方案
10
2014中华医院信息网络大会
能效 – 隔离帘
11
2014中华医院信息网络大会
供电系统
数据中心供电系统示意图-Tier 2
Typically: •Redundant UPS modules •Redundant Generators •Single Bus Equipment
内部备份
存储链路 使用两台光纤交换机实现多链路复用，在提高数据交换效率的同 时，提高数据链路可靠性。
30
2014中华医院信息网络大会
内部备份
ASM技术 通过Oracle的ASM技术，集群同时使用两台HUS150阵列作为 数据存储，Oracle可同时向两台阵列读写，并保持数据一致性 ，当其中任意一台阵列出现故障，不会影响整个系统的运行