google数据中心文集

揭秘谷歌数据中心

——李典林

揭秘谷歌数据中心

Google 将其数据中心技术作为一

个核心竞争力，很少对外公布其

技术细节，因此搜索巨人的数据

中心一直是个谜。去年，Google

公司第一次允许媒体记者进入其

位于世界各地的数据中心进行参

观拍摄，向世人展示其迷宫一样

的世界。在本期技术手册中，我

们带您深入参观谷歌数据中心，介绍谷歌先进的冷却技术，还有其最新的集装箱数据中心以及微模块。

图文解析谷歌数据中心

谷歌数据中心的处理器日以继夜地处理着全球网民的搜索请求、Youtube 视频和邮件等。今天我们就这些有限的图片管中窥豹，更多的是猜测，分别从制冷、机柜、服务器、建筑等方面做一些最粗浅的分析以飨读者，并与同行们共勉。

图文解析：让我们深入参观Google 数据中心

谷歌冷却技术

Google 将其数据中心技术作为一个核心竞争力，很少对外公布其技术细节，因此搜索巨人的数据中心一直是个谜。近日，谷歌公布了其数据中心能耗发展的图表，在图表中显示近年来谷歌在能耗控制方面有了明显的进步。

深度研究：Google 最新数据中心自然冷却方案

谷歌集装箱数据中心

数据中心模块化最近较为热门，其中较为典型的一种模块化实现方式就是采用集装箱数据中心，国内在这方面的推广也有一段时间了，但实际应用却又不多，那么集装箱是否适合中国，业界又是如何来打造的？针对这些问题笔者从一个google的集装箱数据中心专利（其实该专利在2009年已经公开，网络上也有不少相关图片），以及网络上相关Google 的集装箱数据中心的视频，做一些最粗浅的分析以飨读者。

Google集装箱数据中心原理介绍

Google集装箱数据中心制冷

Google集装箱数据中心供配电

Google集装箱数据中心建设布局

谷歌数据中心微模块

2005年后，google不再采用大体量大颗粒度的室外型集装箱，而改用了室内型更小颗粒度更为灵活的微模块技术打造其庞大的基础设施。针对这种变化，本系列文章根据google 的模块化数据中心冷却技术的一个专利（已于2012年公开），以及在2012年google发布的一系列数据中心照片和北卡数据中心的街景视频，探索Google数据中心微模块。

探秘Google数据中心微模块

解密Google数据中心制冷模块

Google数据中心微模块布局

Google微模块数据中心建设

图文解析：让我们深入参观Google数据中心

近日，Google公司第一次允许媒体记者进入其位于世界各地的数据中心进行参观拍摄，向世人展示其迷宫一样的世界。这些中心的处理器日以继夜地处理着全球网民的搜索请求、Youtube视频和邮件等。虽然公布的只是一些图片和非常有限的视频资料，且没有详细注释说明，但如古老的谚语所述：一张图片胜过千言万语，今天我们就这些有限的图片管中窥豹，更多的是猜测，分别从制冷、机柜、服务器、建筑等方面做一些最粗浅的分析以飨读者，并与同行们共勉。

一、制冷篇

从下图可以看到这个数据中心的冷站规模很大，整个房间管道林立，并且色彩斑斓非常好看。空调管道采用了Google企业标准色来区分不同管路的功能，比如绿色是冷却水回水管、黄色是冷却水供水管、蓝色是冷冻水供水管，深红色（或者冷机侧的粉红色管）是冷冻水回水管，白色的是消防管路等来区别不同的功能，以便运维人员快速定位并查找问题。还有在IT设备侧也采用同样五种颜色的网线等，加上不同数据中心不同主题的装修风格，这些都是数据中心颜色标识管理的典范。下图的左侧是大型冷水机组，右侧是板式热交换器，以便在室外温度较低时候采用板换散热实现水侧节能。Google也非常重视数据中心的耗水问题，据他们估算采用高效节能数据中心每年可节约几亿加仑的饮用水。

还有一些运营中的小细节也考虑非常周全，比如管路屋顶等地方采用了很多的电动吊装葫芦链条方便重型设备的维护更换吊装，比如在管路底部采用了中间凹两边凸的滚轮型支撑，减少管路振动和拉伸形变产生的物理应力，比如楼层间的竖管采用了U型弯曲以便减少水温变化和建筑形变带来的隐形损伤，以及冷机周边地面的应急排水口，最后在偌大的机房中运营人员采用同样是Google标准色的G-bike 用于现场巡视等运维和工艺细节。

二、微模块机柜篇

下图为美国俄克拉荷马州的数据中心，整个机房在大量服务器LED指示灯的闪烁下显得非常整洁和梦幻。从这个整机房的俯视图看，数据中心采用了厂房式大开间框架结构，封闭热通道的一排排机柜构成庞大微模块阵列，机房顶部是供电网络桥架和消防管路，服务器和交换机的状态灯闪烁着，只有极少量的机房级照明。整个房间面积很大，走道以及顶部空间都非常宽敞，但设备区却较为紧凑，机柜间冷通道才两块砖多点的距离（标准砖宽度为600mm），其中热通道占用了大约两块砖

的距离，而且服务器机柜的深度较短，也就一块砖多些。从图片较近处还可以发现有蓝色布帘密封的地方，空缺的位置是留给服务器机柜的，这也说明了Google的服务器部署是以机架为单位快速安装部署的。该蓝色布帘密封可以隔绝冷热气流的混合，减少冷量的浪费，体现了精细化运营的思想。高密度的服务器采用全正面维护，顶部为密集的TOR交换机单元。

从这个图还可以看出Google采用创新的空调置顶散热方式，整个机房大环境作为冷通道提供冷量给服务器吸入，加热后的热空气在封闭通道内上升，然后通过热通道顶部的空调盘管制冷并被几个烟囱状导风管和大散热风扇重新循环回外部冷环境。这种空调置顶布局虽然存在着盘管漏水、更换维护较难等风险，对产品质量和施工工艺要求非常高，但是其气流组织较为合理，比如热气流自动上升，冷气流自动下沉，可以减少风扇的功耗，且机房大冷池环境可以作为缓冲池等，减少局部空调故障引发的热保护。据相关资料显示Google微模块的整个热通道温度非常高，像个大烤箱，温度可以达到49摄氏度，以至于一旦必须进去维护，那么服务器必须关掉才行。采用热通道封闭可以提供一个较为舒适的现场运营环境，热量只