浪潮模块化数据中心方案-v2.0-第二版(1)

浪潮模块化数据中心v2.0方案
2013-8-12
浪潮集团互联网行业部
目录
一项目背景： (2)
1.模块化数据中心 (2)
2.网易、上海数据港、浪潮三方角色 (3)
3.项目预期 (3)
二方案介绍： (4)
1.模块布局 (4)
2.气流遏制子系统 (5)
3.供配电子系统 (10)
4.制冷子系统 (13)
5.机柜及布线子系统 (17)
6.监控子系统 (20)
三项目管理 (22)
1.关系人及各方职责 (22)
2.项目范围 (22)
3.项目周期及里程碑计划 (23)
4.沟通机制及工作方法 (23)
5.变更管理 (24)
6.项目交付物 (24)
7.验收及结束标志 (24)
四附件 (25)
一项目背景：
1.模块化数据中心
随着互联网行业规模的迅速扩大，传统机房部署方式导致的空间浪费和高昂的运营成本已经成
为互联网数据中心和互联网企业的发展瓶颈。

为实现冷热气流互不侵扰，互联网数据中心率先尝试了封闭冷通道、烟囱式机柜等方式，实现了相比传统数据中心PUE值的大幅降低。

模块化数据中心在封闭冷热通道的基础上，结合了水冷列间空调的近热源设计，以及模块化装配、模块化扩展的设计思想，成为下一代数据中心部署方式的典型代表。

模块化数据中心包含了冷热通道模块、供配电系统、制冷系统、机柜及布线系统和监控系统，不仅实现了PUE值的进一步降低，还通过对数据中心所有末端设备的整合，使其成为数据中心的独立部署颗粒，根据业务发展随需部署，实现了数据中心初期投资的降低。

2.网易、上海数据港、浪潮三方角色
●网易——作为国内一线互联网企业，希望尝试模块化这种新型的数据中心部署方式，以期
降低不断高企的数据中心运营费用，负责模块化数据中心的方向性设计以及运行数据的分析；
●上海数据港——作为具有丰富经验的国内知名IDC企业，负责模块化数据中心的运维，保
障试验性模块的安全运行；
●浪潮——作为网易在服务器领域的长期合作伙伴，提供模块的设计、制造、实施及售后服
务支持；
此项目是三方在新型数据中心上的一次探索，也是在数据中心建设中一种全新的商业合作模式。

3.项目预期
本项目目的在于根据三方的设计要求完成模块化数据中心的设计、制造、交付实施，实现模块化数据中心上线运行。

意义在于通过长期测试获取平均pPUE、列间空调制冷效率等关键数据，在实践中验证设计方案，并利用实际运行中的数据，分析评估模块化数据中心大规模部署的可行性。

二方案介绍：1.模块布局
IT机柜浪
潮IT机柜APC IT机柜浪
潮
IT机柜配电柜
浪潮模块化数据中心结构上包括冷通道模块、热通道模块、机柜组模块、机房适应性组件和顶部线槽，运行系统上包括气流遏制子系统、供配电子系统、制冷子系统、机柜及布线子系统和监控子系统。

本版模块化数据中心采用单排机柜设计，部署IT机柜4个，两个浪潮水冷模组、一个APC水冷模组和一个智能精密配电柜，在机柜组前后部署冷、热通道模块作为气流遏制组件，通道顶部设计为消防掉落窗，此外为适合机房地面环境设计适应性组件，顶部强、弱电线槽各一个。

2.气流遏制子系统
模块组件规格
冷、热通道框架使用铝合金材质，保证功能性的前提下尽量降低自重，利用并柜件与机柜组连接，全部重量传递到机柜组；图中黑色侧板采用钢材，与机柜侧板保持一致，铝合金框架采取加固措施。

由于APC配电柜高度和深度与机柜组不一致，所以在配电柜一侧利用横梁和侧板将冷、热通道连接，保证模块外观一致性。

模块平面图
模块剖面图
APC空调安装底轮和底脚，高出冷、热通道处用可拆卸结构件封堵。

冷热通道高出机柜80mm，通道顶梁底面距机柜顶面20mm，便于水冷空调进出维护，在机柜顶部设置连接冷、热通道的梁，用来支撑强、弱电线槽。

模块整体尺寸：4260mm（宽） X 2100mm（深） X 2185mm（高）
冷通道规格：4200mm（宽） X 600mm（深） X 2060mm（高）
热通道规格：4200mm（宽） X 300mm（深） X 2060mm（高）
机柜组规格：4200mm（宽） X 1200mm（深） X 2000mm（高）
环境适应件规格：4200mm（宽） X 1200mm（深） X 55mm（高）
线槽规格：4200mm（宽） X 300mm（深） X 100mm（高）
组件并柜方案
本方案中利用四台IT机柜作为支撑主体，机柜与水冷模组、配电柜之间使用直型、L型并柜件连接。

机柜与冷、热通道之间顶部使用加长L型并柜件连接，兼顾密封需要，两侧使用直型并柜件连接。

冷热通道门帘方案
模块冷、热通道采用柔性门帘作为通道封闭组件，每通道采用三块2mm厚塑料门帘，每两块门帘之间150mm的重叠，门帘顶部利用结构件固定，两侧及底边利用软磁条密封，局部使用强力磁块加强。

在数据中心采用塑料材质的门帘，具有结构简单、成本低、易运维的优点，但同时也存在一些可预见的风险点：
1、选取的材料标称可在80摄氏度以下的环境工作，但在热通道高温环境下的老化速度和使用
寿命目前没有可靠数据；
2、塑料材质不防火且在门帘中部易产生静电；
3、模块采用了一台直吹的APC空调，经利用两台浪潮空调对置模拟APC空调的试验可知，
1.5mm的门帘会在APC空调正前方门帘会产生局部30mm左右的起鼓变形，更换为2mm
厚的门帘后预计变形幅度为20mm，但如长期使用可能会导致永久性变形；
机房环境适应件方案
由于机柜组底部钢梁顶面相比静电地板低500mm，为不影响服务器上架及水冷空调进出维护，设计55mm高环境适应件，保证机柜底与静电地板持平，水冷空调处设计盖板，便于进出维护。

密封方案
可能存在缝隙的地方包括：
门帘之间：每两个门帘设计150mm的重叠，在重叠处门帘接触面的反面设计两道软磁条作为主要吸附件，由于软磁条磁力较小，再利用强力磁块局部加强。

当模块工作时，冷、热通道内会产生正压，空气的压力和塑料材质的特性会使门帘重叠处压紧，进一步避免冷量流失；
门帘与立柱、底框：在门帘两侧立柱和底框内部通长固定软磁条及局部加强磁块，使门帘关闭时可吸附在立柱和底框上；
冷、热通道与机柜组之间：在冷、热通道与机柜组连接位置，首先会利用螺栓将结构件连起来，在结构件接触面上利用泡棉密封；
APC水冷空调与冷、热通道底部：利用可拆卸结构件封堵；
3.供配电子系统
概述
智能精密配电柜
配电柜采用APC智能精密配电柜，包括各配电功能器件和系统软件，柜体采用标准服务器机柜结构，整体外观一致，安全整齐的母线铜排，高精度传感器，智能触摸屏。

规格参数表
厂商APC
外观整体颜色为黑色
外形尺寸mm 600X1070X1991
容量40KVA
连接方式3L+N+PE
进线方式下进线
输入380V/400V，50Hz
输出220V/380V，50Hz
显示界面 5.7英寸高清大屏幕触摸屏中文显示，界面友好操作方便。

触摸屏显示
主路信息
实时检测输入电流，电压，频率，有功，无功及视在功率，功率因数，
THDi，THDu，频率，有功，无功及视在电能，电流和电压不平衡度。

并可对高达31次谐波进行分析
触摸屏显示
支路信息
实时监测各分路状态，电流，电能，电压负载百分比及功率因数。

防雷装置消除雷电和浪涌干扰，保证人身和设备安全。

通讯方式及通
讯协议
RS485接口，标准MODBUS通讯协议。

重量255KG
配电柜后端顶部预留出线孔，输出部分从柜体前部输出空开处引到后端的端子上，出线端子位于柜子后部左右两侧的上方；柜子前门为玻璃网孔门，上面安装一台人机界面（触摸屏），其余设备均固定安装在内部器材挡板上，保证内门打开时可以检修、拆卸有关原器材，关上内门露出有关操作手柄，便于人工操作；
配电原理图
IT机柜供电
每机柜后部部署两组PDU，通过工业连接器与从精密配电柜引出的5*2.5MM2 电缆相连，一组连接市电，一组连接UPS，为机柜内的IT设备提供可靠的双路供电。

PDU插位包括12位C19,和6位万用，其中每4个C19和2个万用为一组，平均分配到A、B、C三相，且划分清晰易于辨识。

每插位有独立微型断路器控制。

PDU规格表
品牌TOP 突破
外壳颜色黑色
尺寸规格长x宽x高= 1400mm x 48mm x 96 mm
输出单元6个10A万用孔位（每个单元带10A/1P施耐德空开）、12个IEC C19
孔位（每个单元带16A/1P施耐德空开）
本体额定值16A/380V
内连线主线为4MM2，连线为1.54MM2
制冷供电
为方便采集制冷系统总用电量，配电柜设置有独立的水冷模组输出回路，其中APC ACRC502为三相供电，使用5*2.5mm2 电缆，浪潮ISC-WME301-30为单相供电，使用3*2.5 mm2电缆，电缆通过工业连接器与水冷模组连接，两组水冷模组均采用高可靠的双路供电。

监控供电
监控系统用电设备包括一台1U监控服务器和监控交换机，水浸系统的开关电源、温湿度传感器和监控采集器。

由于监控用电端为单路供电，为保证在市电中断的情况下仍可正常工作，在供电线路上增加STS 在两路供电间切换。

照明供电
浪潮模块化数据中心在冷、热通道内各部署一根LED灯带，颜色为蓝色，安装位置为通道左右上三边，靠近开门一侧，避免灯光直射人眼。

照明供电220v，压接在配电柜市电照明输出端子上，在冷、热通道外部各设置一个手动开关。

4.制冷子系统气流组织
IT机柜水
冷
空
调
IT机柜水冷空调IT机柜
水
冷
空
调
IT机柜配电柜
风量计算
模块总风量需求（m3/h）
=4*3600（KJ/H）*7.5（KW）/1.25（KG/M3）/1.01（KJ/KG/℃）/15（℃）=5700m3/h
浪潮水冷模组最大风量=5200 m3/h
APC水冷模组最大风量=11700m3/h
两台浪潮水冷模组加一台APC水冷模组的总风量为22100m3/h，可以保证足够的风量冗余。

浪潮ISC-WME301-30设备描述
In Row RC Chilled Water, 90-264V单相交流供电，47-63Hz, IEC 309-10，行级制冷，水平侧送风模式，EC变频风机，额定制冷量22-27KW（进水温度12℃），冷冻水工作模式，标配LCD显示器、IPMI 2.0接口协议等，标准半宽服务器机柜外观。

常规技术
冷冻方式: 冷冻水
送风方式: 水平
回风方式: 后置返回
风量: 5200m3/h
系统总水压降:30.0-80.0 kPa
输入工作电压
额定输入电压: 220V
输入功率: 1700W(2+2冗余)
输入频率: 50 Hz
设备安装有效高度: 42U
输入端子类型: IEC 309 10A 1P+N+PE
电源输入：支持双电源
通讯与管理
控制面板: 多功能液晶显示器状态管理控制台。

有声报警:
1.实现系统故障报警功能
2.实现机柜开门报警功能
3.实现水浸报警功能
APC ACRC 502设备描述
In Row RC Chilled Water, 380-415V 50Hz, IEC 309-16，行级制冷，水平送风模式，EC变频风机，额定制冷量24.7-39.1KW（进水温度12℃），冷冻水工作模式，标配LCD显示器、通讯网卡、RS485串口等，标准机
架服务器柜外观。

常规技术
冷冻方式: 冷冻水
送风方式: 水平
回风方式: 后置返回
风量: 11700m3/h
冷凝泵容量: 0.53l/min的速度将冷凝水抽吸18米，最大吸升高度3.5米；
最低进水温度: 12.0°C
系统总水压降:33.0-75.0 kPa
输入工作电压
额定输入电压: 380V
输入功率: 3000W
输入频率: 50 Hz
设备安装有效高度: 42U
输入端子类型: IEC 309 16A 3P+N+PE
电源输入：支持双电源
通讯与管理
控制面板: 多功能液晶显示器状态管理控制台。

有声报警: Audible and visible alarms prioritized by
ACRC500外部组件
ACRC500内部组件（前部）ACRC500内部组件（后部）
管路方案
本项目空调水系统管道采用同程管设计，以确保具备良好的水力平衡性。

系统冷源处设有过滤
装置，每台列间空调供水口不再单独增设Y型过滤器。

由于浪潮水冷模组机组供水管、回水管设计为DN40（盘管本身冷量设计较大），APC制冷机组进出水管管径设计也是DN40，故系统支管设计管径均为DN40。

浪潮水冷模组的流量可通过供水管口球阀控制。

浪潮机组与系统管道的连接采用不锈钢软管连接。

软管两端均有球阀设计（支管端口与软管处、盘管供水口与软管处）。

有效保障接管出的管道更换及泄露。

浪潮水冷模组盘管最底部设计泄水阀。

机组更换时，可把机组进出水口阀门关闭，通过泄水阀将机组内冷冻水放出，通过水盘及排水管排出。

水系统管路流程图如下：
除冷凝水管外的所有管路使用保温棉，可防止管道上冷凝水产生，冷凝水管采用PVC管材，从水冷模组底部接水盘引出，利用高差将冷凝水排出至空调室。

5.机柜及布线子系统
机柜
本方案采用42U标准机柜，物理规格如下：
净重：150 KG
高：2000.00 mm
宽：600.00 mm
深：1200.00 mm
运输重量：175 KG
运输高度：2250.00 mm
运输宽度：800.00 mm
运输长度：1350.00 mm
载荷能力（静态负载）： 1100 KG
载荷能力（动态负载）： 1000 KG
最大机架安装深度：900.00 mm
设备安装有效高度：42U
颜色：黑色
适用标准：EIA-310-E
理线架
理线架为网易与浪潮联合设计，尺寸为：
178mm*18mm*55mm，安装后最厚处不超过机柜方孔条，
避免与部分超长服务器的结构冲突。

强电布线
1.模块进线
浪潮模块化数据中心支持双路三相五线供电，根
据模块设计容量至少需要25mm2以上的线缆规
格，线缆利用模块顶部强电线槽进入配电柜，电缆压接至配电柜输入端子。

2.机柜及水冷模组
配电柜与IT机柜PDU及水冷模组全部在模块上方桥架内通过工业连接器连接。

3.监控
监控供电线缆从配电柜两路输出端子通过STS输出到一只小型PDU，监控服务器、交换机直接从PDU上取电，四只监控采集器从配电柜监控输出端子引出供电电缆通过工业连接器
给四只监控采集器供电。

4.照明
照明LED灯带在冷、热通道各部署一根，供电线缆从配电柜市电照明输出端子引出后行至模块顶部线槽，穿入冷、热通道顶部框架，通过空心框架行至LED灯带供电位置及各开关。

弱电布线
1．监控信号线缆
水浸、温湿度传感器的485信号线通过机柜顶部的转换器输出TCP/IP协议，通过前部弱电线槽连接至监控交换机；
2．网络线缆
模块内相邻两个机柜共用一个TOR交换机，机柜之间在理线架上方开孔，供跨柜走线。

上行光纤通过顶部弱电线槽向上级联。

6.监控子系统
浪潮SmartCloud MDC采用的监控系统为纯网络型、分布式结构，特点如下：
（1）底层采集数据通过网络上传，带宽是10M-100M（RS485总线的带宽通常在100K以下），因而数据上传速度大大提高。

（2）底层数据传输遵守Lonworks或C-bus协议，数据主动上传，不需要主机轮询，大大提高了传输效率。

同时C-bus有校验功能，保证数据的准确性。

（3）系统数据采集的丢包率低于1%。

网络化结构可以充分利用现有网络资源，节约布线成本及施工时间。

模块化数据中心监控子系统独立于机房主监控，提供web界面供机房运维工程师和网易远程监控。

水
冷
空
调
水
冷
空
调
水
冷
空
调
配
电
柜
水浸
温湿度传感器
温湿度传感器
温湿度传感器
温湿度传感器
监控交换机
监控服务器
串口转换器
监控拓补图
三项目管理
1.关系人及各方职责
浪潮
项目经理：袁泉，负责项目整体协调及商务推进
项目组成员：
赵吉志，研发项目负责人，负责研发端资源协调、进度管理、人员管理
熊鑫，负责项目需求确认、方案设计、资源协调、生命周期管理
肖波，负责项目方案设计、供电系统设计、监控系统设计
谷俊杰，负责供电系统设计
任玉迎/刘广志，负责项目制冷系统设计
迟秀/牛占林，负责项目结构设计
孙磊，负责采购相关工作
王琛，负责实施、售后工作
浪潮负责本项目产品的设计、制造、测试、运输、实施、交付
网易
项目代表：王洪涛，负责项目产品设计确认，测试
上海数据港
项目代表：徐力朝，负责项目产品设计确认、下单、APC产品议价、配合测试及实施、运维2.项目范围
3. 项目周期及里程碑计划
本项目预计周期为三个月
10日
2013年7月29日
项目启动
2013年11月3日模块进场
2013年10月20日模块搭建完成2013年9月2日
采购合同签订
4. 沟通机制及工作方法
1、 进度通报
浪潮按照项目计划每周通过邮件的方式通报项目进度，通报时间为每周五，通报内容应包含项目进度、现场图片、所遇问题等信息。

2、 日常沟通
日常技术交流、参数确认等事项通过邮件，抄送项目相关人员。

3、电话会议
方案确认、设计或进度变更等事项，应通过三方电话会议协商处理。

4、现场会议
项目重大里程碑事件发生或需现场确认时，三方应到事件发生地现场协商确认或处理。

5.变更管理
本项目输出的阶段性成果均由三方共同确认，针对本方案及技术规格书的变更需遵循以下程序：•项目变更请求（PCR）是协商变更的工具。

PCR 必须描述变更、变更的根本原因和变更对项目的影响。

•变更提出方应在里程碑文档输出后三天内提出针对该阶段文档的变更申请；
•由三方共同商讨该变更的合理性及可行性，确定变更是否被接受；
•如果变更被接受，由浪潮项目经理修改相应文档并由三方共同确认，签署PCR备案；
•原则上不接受对已发布三天以上的里程碑文档的变更申请；
6.项目交付物
交付实物
浪潮模块化数据中心一套（详见技术规格书）
交付文档
1、《浪潮模块化数据中心用户手册》
2、《浪潮水冷空调ISC-WME301-30技术手册》
3、《APC水冷空调ACRC 502技术手册》
4、《配电柜技术手册》
7.验收及结束标志
验收标准
1、模块化整体完整，与机房环境无结构冲突；
2、水路安装完成，无漏水，水温表、水压表工作正常；
3、水冷空调正常工作，满足设计容量制冷需求；
4、监控系统可以监测预期的动环参数，与机房原监控系统完成集成；
5、配电柜功能完整、工作正常；
6、消防窗与机房消防供电连接完成；
结束标志
上海数据港签署验收报告
四附件
附1 ——《浪潮模块化数据中心技术规格书》附2 ——《浪潮模块化数据中心配置清单》附3 ——《项目变更单PCR》
附4 ——《浪潮模块化数据中心验收报告》。