高热密度数据中心制冷解决方案设计

高热密高热密度度数据中心数据中心制冷制冷制冷解决方案解决方案解决方案设计设计设计艾默生网络能源有限公司艾默生网络能源有限公司 严瀚严瀚严瀚摘要摘要：高热密度数据中心具有强大的虚拟化、集中化、云计算等功能，节地、节能、节省人工等优点，因而存在巨大的应用优势，但是目前其方案、设备的设计、选型还没有成熟的理论指导。

本文就高热密度数据中心设备的选型从理论和工程经验两方面进行了剖析，指出了建设高热密度数据中心的具体方法和发展方向。

关键词关键词：：高热密度高热密度 数据中心数据中心数据中心 制冷解决方案制冷解决方案制冷解决方案 风量风量风量 焓焓 紊流紊流紊流 雷诺数雷诺数雷诺数 行间级制冷行间级制冷行间级制冷 机柜级制冷机柜级制冷 芯片级制冷芯片级制冷芯片级制冷 艾默生艾默生艾默生 XD XD 系统系统 CRV CRV 系统系统 CoolTherm CoolTherm 水冷机柜水冷机柜 微热管微热管微热管引子引子：随着云计算的发展，传统的低密度数据中心已经不能满足日益发展的需求，因此出现了超过8kW/Rack 的数据中心，我们一般将8kW/R 至30kW/R 之间的热密度机柜成为高热密度机柜，超过30kW/R 发热量的机柜称之为超高热密度机柜（图1）。

图1 高热密度机柜出风口红外图一、 选择建设选择建设高热密度数据中心高热密度数据中心高热密度数据中心的的原因1、在传统的低密度数据中心中，设备占地面积广大，往往达到几千甚至上万平方米，这在建筑成本日益升高的今天，无疑是一种巨大的浪费。

而高热密度数据中心，由于提高了机柜的装机容量，使得同样功能的数据中心面积可缩小60%以上。

比如传统2kW/R 的机柜，若提升到10kw/R ，则可实现80%的节地，其建筑成本的节省就是一笔非常大的收益。

2、由于传统的机房精密空调需要依靠房间中的空气作为传导冷量的媒介，因此若机房面积大，其相应需要冷却的空气质量非常大，而空气中的水蒸气相变吸收的潜冷量更加巨大，因此若能减少面积，相应的建筑热负荷需求也会显著下降，可实现非常大的节能收益。

3、高热密度解决方案中精密空调均采用就近送风方案，需求风量比传统精密空调少很多，再加上风机技术上的革新，单风机系统就可比传统方案节能60%。

4、高热密度数据中心由于设备智能化的提高、面积的减小、服务器数目的减少，相应需求的维护人员数目大大下降，可节省巨大的人工开支。

5、高热密度数据中心可采用功能强大的刀片服务器，利用服务器虚拟化技术，可利用虚拟技术将其虚拟分割为若干个小的数据中心，相当于建立一个高密度数据中心，可代替传统的4-5个数据中心的功能；6、高热密机房特点是冷量需求很大，而湿负荷需求很小，因此高热密度空调设计工况基本都接近显热比100%，这样可减少由于潜冷而带来的无谓除湿，更可进一步减少由此带来的无谓加湿，从而减少很大一部分除湿、加湿功耗。

7、由于高热密度机房空调停机之后温升速度非常之快，有分析指出，一个10kW 的数据中心，若空调停机短短3分钟，整个数据中心就将宕机。

因此，高热密度空调肩负着非常重要的职责，其制造工艺、备件选用上都是采用行业最高标准，整机的MTBF 时间反而大大提高，可靠性相较于传统精密空调更高。

在冷冻水型的高热密度数据中心中，由于末端精密空调的高度集中化，工程需求的管道总长大大减少，工程总的水流量会下降，管路的散热、泵的功耗、冷冻水塔的功耗、主机功耗都会因此而下降，工程建设费用、后期的运行均会大大减少。

同时由于管道流量下降，管道压力也会下降，出现泄漏的可能性也会大大降低。

由于高热密度数据中心强大的虚拟化、集中化、云计算功能，节地、节能、节省人工、安全等的优点，因而存在巨大的应用优势，可行性非常之高。

二、服务器需求风量的确定配置空调配置空调，，首先必须了解服务器机柜的冷量需求首先必须了解服务器机柜的冷量需求，，而由于一定工况下而由于一定工况下，，单位单位质量质量质量冷空气冷空气所能携带的冷量是有限的所能携带的冷量是有限的，，所以所以，，我们我们需要需要需要先先确定在服务器良好工作工况下确定在服务器良好工作工况下，，服务器机柜需求的换热的风量需求的换热的风量。

（1）机柜需求冷量及风量计算如下Q=C*T*G其中Q 为换热量，T 为机架进出风口温差，C 为空气比热（1.01KJ/kg.C ）,G 为风量kg/s 。

G=Q/(C*T)=1/(1.01*17.52)=0.0565kg/s ，空气密度在1atm ，干球温度18度，相对湿度80%下约为1.15kg/m3，则风量G=0.04913m3/s=176.8m3/h,考虑风量损失约需修正为180立方米/小时。

按照上述公式计算，则每kW需求180立方米/小时风量可保证服务器正常的进出风温度和正常工作。

由于出风末端距离服务器机柜距离有所不同，因此考虑修正系数，行间空调末端送风量应保持在180-200立方米/小时左右。

（2）按照服务器进出口的焓差进行计算利用服务器进口温度大概需求18度，80%，出风温度35.5度，出风相对湿度28.5%计算，可得进出口焓差为17.94kJ/kg。

此进出口温度约需180立方米/小时即可保证1kW的冷量。

具体冷量会随进口温度波动，可能会有所变动，但总体风量需求也约在180-200立方米/小时。

在不考虑气体粘度引起的紊流前提下，房间级空调视距离服务器机组距离远近，考虑25%的风量损耗，因此需求风量约260立方米/小时左右。

图2 服务器进出口焓值计算图由于服务器机柜热密度增大，会造成风量需求增大，风量增大之后所带来的紊流增多，因此需求的风量会进一步增大（图3）。

如紊流较大，风量不能正常传导到服务器机柜表面，不能带走热量，还会引起局部热点问题（图4）。

图3 紊流示意图 图4 紊流带来的换热不足三、无量纲数无量纲数：：雷诺数--房间级空调不能解决高房间级空调不能解决高热热密度的原因密度的原因：：气流粘度引起的紊流 1、利用CFD 模拟可以建立普通房间级空调的风速场模拟图（图5），可见普通的房间级空调在送风气流组织中有很大的紊流，气体并不是按照想象的均匀从每个出风口导出，因此每个服务器得到的风量和冷量必然是不同的。

图 5 房间级空调房间级空调送风送风送风气流组织气流组织由于大部服务器机柜走线的不合理性（图6），造成气流组织的紊乱，进一步造成机柜需求风量增大（图7）。

图 6 不合理的机柜走线图7 机柜附近气流组织示意图2、雷诺数从根据牛顿第二定律建立的表征流体流动性质的纳维一斯托克斯方程式（Navier-Stokes equations）我们可以推导得到表征流体流动粘性的重要无量纲参数—雷诺数（Reynolds number）的表达式。

转化为无因此化的表达形式由于测量管内流体流量时往往必须了解其流动状态、流速分布等，因此定义流体流动时的惯性力Fg和粘性力(内摩擦力)Fm之比称为雷诺数。

用符号Re表示。

Re是一个无因次量。

可得到雷诺数的表达形式式中:是平均流速(国际单位: m/s)一般为特征长度，，矩形管道需乘以当量系数) (m)D 管直径(一般为特征长度动力黏度(Pa·s or N·s/m²)流体动力黏度μ流体ν运动黏度(ν= μ/ ρ) (m²/s)密度(kg/m³)流体密度ρ流体流量(m³/s)Q 体积体积流量A 横截面积(m²)由上式可知，雷诺数Re的大小取决于三个参数，即流体的速度、流束的定型尺寸以及工作状态下的粘度。

雷诺数小，意味着流体流动时各质点间的粘性力占主要地位，流体各质点平行于管路内壁有规则地流动，呈层流流动状态。

雷诺数大，意味着惯性力占主要地位，流体呈紊流流动状态，一般管道雷诺数Re<2000为层流状态，Re>4000为紊流状态，Re=2000～4000为过渡状态(这里的过渡状态是指流体的流动状态是介与层流与湍流之间的一种中间状态，而不同流体的从层流彻底转变为湍流的雷诺数并不相同）。

在不同的流动状态下，流体的运动规律．流速的分布等都是不同的，因而管道内流体的平均流速υ与最大流速υmax的比值也是不同的。

因此雷诺数的大小决定了粘性流体的流动特性。

由雷诺数可知，流体流动型态由下列因素决定：（1）流速。

流速小时容易出现层流，流速大时则发生紊流，这就是大的IDC中心之所以采用静压箱要求控制其中风速在3m/s以下的原因；（2）管道直径。

在其他条件不变的情况下，管道直径小易发生层流，直径大易发生紊流；（3）粘滞性。

粘滞性大的水体易发生层流，粘滞性小的水体易发生紊流。

综上可知，当我们由于静压箱的设计要求，需要将静压箱中的风速控制在3m/s左右时，在空调出风横截面长度不变的情况下（即机房面积不变），其静压箱尺寸会由于需求风量增大而增大，直观反映就是静电地板的高度需要增大，相当于出风横截面的当量直径D增大，因而可由雷诺数公式推导得到：在其他参数不变条件下，雷诺数与地板高度成正比。

静电地板高度计算公式如下：H=μ*Q/(L*V)其中，H为静电地板高度，Q为总的设计风量，L为出风横截面长度，V为出风横截面风速，μ为静电地板考虑地板下其他对风阻碍的放大系数。

由上可知，当静电地板高度由于需求的风量增大，其高度也需不断增大，据经验计算，当地板高度超过1.2米以上，其气流雷诺数大于4000以上，紊流严重，风量损失严重，无法保证服务器得到足够的冷量，另外由于随着距离增长，远端的风量损失增多，其风速必然会降低，因此要保证远端的风速，近端的风速会更加高，近空调出风口附近的流体雷诺数更大，出口附近的紊流更见显著（见图3、图9、图10）。

图8 最小架高地板空间与机柜功率的经验关系按照经验及公式得出的结果，在达到1.2米高静电地板时，房间级空调送风量应保持在260立方米/小时/机柜左右，最大只能解决8kW/Rack的高热密度问题（图8）。

因此，再提高地板高度，并不能用传统的地板下送风式房间级空调进一步提高解决高热密度的能力，这主要是因为雷诺数，由于高度增大引发的紊流增多到一定界限，冷空气不能有效的通过地板下空间送到服务器机柜的进风口（图9、图10）。

紊流造成的送风距离限制（（2）图9 紊流造成的送风距离限制紊流造成的送风距离限制（（1）图10 紊流造成的送风距离限制（3）图12 紊流造成的服务器温度过高图11 紊流造成的送风距离限制紊流造成的送风距离限制（在上图中的某机房中，由于机柜密度较高，风量配置较大，紊流及延程损耗造成远端服务器不能有效换热，从而出现局部高温问题（图11、图12）。

3、静电地板的阻碍作用由于静电地板存在一定的厚度，其上通风的网孔也相当于非常小的风管，虽然由于当量直径非常小，其流动状态大部分为层流，但是由于管壁存在摩擦，因此还是会损失一部分压力，这样，冷量到服务器的传导又会有一个比较大的衰减。