现代数据中心机房建设中值得注意的几个问题

现代数据中心机房建设中值得注意的几个问题

近年来，随着计算机技术的飞速发展，数据中心机房技术的发展更是日新月异，笔者最近三年先后参与了苏州建行（全国建行系统五大城市行之一）数据中心机房、建设银行总行苏州信用卡分中心（存储和处理中国南方地区的信用卡数据与交易）的数据中心主机房的设计与建设以及苏州建行新区主机房的改建等项目，在这期间也得到了中国信息化推进联盟数据中心技术专委会副理事长沈卫东老师等业内专家的指导帮助，参观学习了上海农行计算机主机房、厦门建行计算机主机房、中国建设银行数据中心（上海）计算机主机房等业内较先进的数据中心机房，感受颇多。在此，就自己参与的以上项目实践经验，总结了几点在机房建设中值得注意的问题，与大家共同交流探讨。同时也希望能起到抛砖引玉的作用，愿能看到更多有价值的经验与业界的同仁分享。

一、精密空调容量规划

近年来，随着银行电算化业务量的迅猛发展和以刀片式服务器等为代表的新一代高集成度设备的大量投放到机房中运行，数据中心机房内单位面积的热负荷正日渐增大，已远非往昔，不可同日而语，如国家标准（GB50174-93）及中国建设银行2000年分布的《计算机机房装修规范》等文件中都将200~250W/m2作为数据中心机房的制冷量标准，而实际上现在装载着刀片式服务器的机柜，负载容量超过5kW以上是很平常的事，而随着计算机和大规模集成电路技术的进一步发展，计算机设备的功率密集度将呈现越来越高的发展趋势，机房内设备功率密集度的增加势必会导致发热量也越来越高，如果我们仍按照过去有关标准所规定的200W/m2的制冷量来设计，将无法满足现今新一代数据中心机房制冷需要。如我们苏州建行数据中心机房各种计算机设备的装机容量从2005年7月至2008年1月的两年半的时间就近翻了一番多，而且增加的多是P550、P570以及大量的刀片式服务器等功率密度非常高的IT设备，整个装机功率已由原来的66 kVA骤增到了目前的138kVA，机房原来尚余占总面积约五分之二的空间也几乎全被新装的各种服务器、小型机所逐渐占据，原来我们的精密空调是按照415W /m2配置的，在2005年9月机房刚启用之时，整个精密空调几乎有一倍左右的余量，而现在每当时临夏季高温就有捉襟见肘的感觉了，盛夏来临，最担心的是邻近的两个以上精密空调模块同时发生故障，如果这样就极易造成机房局部区域制冷能力不足而导致过热的现象发生，据了解，像这种因对机房内设备功率增加估计不足而导致机房空调制冷无法满足需求的情况是相当普遍的，如果我们在早期对机房日后负荷的增加估计不足，今后想要在已经正常运行的机房中再进行空调增容，安装新的精密空调，其难度与风险都将是非常大的，因为在负荷很大的机房中要想关掉精密空调一个甚或半个小时再施工，实际上是不太现实的事情。尤其值得注意的是新增空调当其数量众多的铜管在运行着的机房内烧焊时，稍有不慎就会因机房内运行空调出风助燃火势而引发火灾等重大事故。因此，最好的办法是能够在机房初期规划阶段就对这些问题都予以充分的考虑，放足余量。根据目前计算机设备的制冷需要并考虑到今后一段时间内的发展需求，我们认为，数据中心机房的精密空调制冷量至少应配置到每平方米700W左右，密度特别大的机房甚至还要放大。

二、 UPS三相输入的零线线径要适当加粗

按照通常的电工标准和经验数据，零线线径一般取相线的50% ~75%，而实际上，由于计算机机房内小型机、服务器等容性负载的非线性特性和由此而带来的谐波等的干扰以及三相负载不平衡的影响等，使其零线电流往往要接近或者超过相线的电流值，有的地方甚至还会出现零线电流加倍超过相线电流的情况。因此，如果我们的零线不具有能够承载足够载流量的线径，就会使零线线阻变得很大，零线电压（零地电压）随之升高，严重的还会使零线的导线发热，甚至造成零线开路（脱零）等严重事故。根据我们的经验，在以容性负载为主的计算机机房中，建议将UPS三相输入的零线线径放宽到相线线径的1.2 ~ 1.5倍，这样可以十分有效地减少谐波的干扰，降低零地间的电压。

三、关于“零地短接”问题

我们建行总行苏州信用卡分中心机房建成后发现，UPS输出端的零地电压高达3.6V居高不下，当时考虑过用再打接地桩的办法来抑制零地电压，却因该大楼位居闹市中心，周围全被高楼大厦包围，实在难于实施；但如果放任不管，则如此高的零地电压对于主机房内重要的计算机设备的上线使用，存在严重隐患。因此，我们尝试用零地短接的方法来消除零地电压，因为一旦零地短接，零地电压必然会下降。然而按照过去的规定，供配电采用“TN-S”接法的电源系统是严格禁止将零地进行短接的，怎么办呢？之后，我们参考了大量资料后，在《建筑电气工程施工质量验收规范》（GB50303 - 2002）中找到了答案，该规范的第9条在关于不间断电源安装中的9.1.4 款中明确指出：“不间断电源输出端的中性线（N极）通过接地装置引入干线做重复接地，有利于抑制中性点漂移，使三相电压均衡度提高。同时，当引向不间断电源供电侧的中性线意外断开时，可确保不间断电源输出端不会引起电压升高而损坏由其供电的重要用电设备，以保证整幢建筑物的安全使用”。因此，我们在经过反复讨论后决定在机房UPS输出尚未接上重要负载之前，按上述接法接上若干台旧的微机与服务器试运行了一段时间，发现一切正常，这才正式将IBMP550、P570、NET7000等数十台小型机和服务器等上线运行。上线至今的二年里该UPS供电系统一直保持着良好的运行状态，从未损坏过一个电源或硬盘。实践证明，《GB50303 - 2002》规范中关于UPS电源输出零地必须短接的要求不失为一种切实可行的好办法。

四、互为备份的UPS备份余量必须充足

互为备份UPS就是指当一台UPS出现故障无法运行时由另一台UPS将它的负载全部接管过去，同时不允许产生任何短时间的停电间隙。因此对互为备份的两组UPS来说都必须具备足够的承载余量，否则的话，一旦切换，后果将不堪设想，如某单位有两组UPS，2*100kVA冗余的一组加100kVA单机的一组，它们分别供给双电源服务器的两个电源输入插座中，其中双机冗余的UPS目前每台的三相负载分别为25%、2 7%、24%；单机UPS目前的三相负载分别为47%、49%、46%，虽然看起来它们的负荷都不算大，但是从原理上而言，该UPS系统实际上已经失去了互为备份的作用，在本例中如果单机UPS发生故障时其负载切入冗余并机的UPS中是完全没有问题的，因为切入时冗余并机UPS每台的各相分别只承载单机UPS负载的23.5%、24.5%和23%，加上冗余并机UPS本身的负载一共也只有48.5%、51.5%、47%的负载，余量还是非常之大；但是当并机UPS发生故障时，则切到单机上的将分别是50%、54%和48%，加上单机原来的负载，总共负载为97%、103%、94%显然已经超出了单机UPS的负荷承载能力，一旦切换必将会引起单机UPS的宕机（三相电源中任何一相超载都会引发宕机事故）。

五、关于机房装修中的几个结构方面的问题

1、因为计算机机房建成后在相当长的一段时间里经常还将会有各种计算机设备进入或移出主机房，而到时唯一的路径就是包括各道隔断门和通道门（包括消防安全门）等在内的机房通道，不到万不得已是绝对不可能去拆除隔断或玻璃的，因为彩钢板、玻璃等拆了以后即使装得再好，也总会留下形状、色差等的不协调之处，给我们漂亮的机房带来难以挽回的缺憾。因此，在机房设计之初，就必须充分考虑到日后大型设备进出时的尺寸所需，如门的高度要有2200mm，因为现在很多计算机设备高度都是达到2000mm的，搬运时还必须考虑到装载设备的车的高度；横向尽量做成双开门，尺寸应不小于1500mm。转角的尺寸也要考虑到今后比较长的设备能转得进去，而消防应急门平时一般不开启，所以不如将其做得大一些，以备今后应急之需。今后计算机设备的数量和功率密集度的发展趋向难以预计，因此，空调、UPS等设备的扩容也将是很多见的事情，因此像此类大型设备的日后增容等情况也都必须要加以充分的考虑。

2、新风机尽量不要装在吊顶上，有些地方在机房建设时为了节省空间和使机房下面显得更为整洁，将新风机装在吊顶上，实际上这样做给日后的维护修理带来了无穷的麻烦，因为这样一来每次检修都必须要爬上3米左右高的顶上，还得拆掉吊顶板，才能实施。因而有些地方实在怕麻烦就干脆不做清理维护或干

脆将新风机内的滤网全部拆掉。但事实上不进行清理除尘等维护，风阻会逐渐增大而新风量会变得很小；如果将新风机的滤网拆去，则会使室外的灰尘失去阻拦长驱直入，机房的净化保洁功能从此无法实现，长久下来，必将会影响到计算机设备的安全正常运行，而按照正常要求新风机一般每二个月就必须要更换一次滤网，因此，我们在设计时应该尽量将它安装在容易进行维护操作的地方，使它的功能能够正常发挥，其次再考虑机房的整洁与美观等。

3、VRV空调的下水管道不得并入大楼雨水管VRV空调因为其具有吸顶的内机和集中式的外机以及自上而下的送风形式等特点，因此不失为一种节省空间、节省电力，并且能给人员带来舒适感的空调设备，因此，在现代化人机分离的计算机机房中，除了主机房等机器设备密集的地方，如监控机房、终端设备机房等操作人员集中的地方一般都会采用VRV空调来满足机房操作人员的需求，但是因为VRV空调安装在机房之中，受环境与空间等因素局限，给它冷凝水的泄放带来了困难，有的工程承包公司为了图省事，往往将其下水管道直接接入到大楼的雨水管中，其实，这样做的危害是相当大的，雨水管因其有时的设计流量非常小，容易引起泥沙等的淤积，而淤积后一旦碰上下大雨，雨水来不及排出，就会从VRV空调冷凝水管接入口处外溢，有时外溢水量甚至很大，威胁到整个计算机机房的安全。为了避免日后事故隐患的发生，我们应当在机房建设之初即行严格把关，将VRV空调的冷凝水下水管单独铺设，这看起来算不上什么大事，但如果不注意也会给我们带来不小的麻烦，而当机房投入运行后再要整改就是难上加难了。

4、精密空调下水管的管径尺寸应尽粗，距离应尽短，坡度应尽大，精密空调的冷凝水不像自来水上水管那样具有较高的压力，可以将泥沙冲走，冷凝水一般流速都比较缓慢，因此管径细、距离长、坡度小的下水管极易造成泥沙淤塞，淤塞后冷凝水失去下水通道，无路可走就会从精密空调积水盘中溢出，在机房内形成水患，管径越细、距离越长、坡度越缓的下水管则越会加剧泥沙的淤塞，一般来说，淤塞发生的程度与下水管道的长度成正比，与管径和坡度成反比，因为坡度受到地板下高度和空调类型的制约，一般比较难以改变，因此，我们在选择冷凝水出水口位置时应尽量选取离精密空调距离较近的地方，如距离远、管道长的问题实在无法解决，则我们可以用适当放粗管径的办法或将冷凝水管的一部分穿过楼板在下层的吊顶上来加大坡度的办法予以弥补和解决。