大道至简,图解大型互联网数据中心典型模型 李典林

大道至简，图解大型互联网数据中心典型模型

原创2016-04-08腾讯数据中心ensoli

数据中心本质上是数学和逻辑的组合，分析模块化数据中心的颗粒度可以归纳演绎出其典型模型，本文介绍一些大型互联网数据中心的典型案例，正是为了做此方面的分析。

大型互联网公司数据中心建筑布局

图一是谷歌数据中心的典型布局，从空中俯视看到的庞大体量和氤氲升腾的水汽，让人立马联想到现代化的超级信息处理工厂，或在海上全力巡航的超级信息航母。谷歌的数据中心建筑结构极其精简，主体机房为宽而矮的单层仓储式厂房建筑结构，船体的中后两舱为两个长宽形主体机房模块，船头为机房配套的功能区域(如安保办公、拆包卸货、备品备件间等)；船体左侧为模块化变配电及柴发区域，船体右侧是模块化制冷及散热储水区域，水电分区，左右两翼像巡洋舰和护卫舰等保障航空母舰的稳定安全运行。

图一谷歌数据中心俯视图

图二为其主平面布局图。北侧为水，南侧为电，中间为机房模块，约2万平米的中间主机房区可以支持约8到10万台服务器，左右两侧为网络间以及办公支持区。白地板区域分为南北共四个大机房房间，每个房间可以支持约2万到2.5万台服务器，每个机房模块内约30纵列，每列约25到30个IT机柜，每个大房间可以部署约750到900个机柜，约1万KVA的电力，整个建筑约4万KVA总用电。

图二谷歌数据中心平图布局图

图三是facebook在瑞典的模块化数据中心效果图，该建筑也是仓储式大厂房结构，左右两栋数据中心大楼内共建设了1#-4#四个大房间的数据中心模块，两栋建筑之间有一个专用制冷机房，在建筑的两侧也部署了室外集装箱柴发。此外，在数据中心建筑隔壁，还设有一个用于办公的其它功能的建筑。

图三 facebook模块化机房俯视图

图四类似这个数据中心的平面布局（冷机和配电位置稍有变化，但主体框架模块没变），同样左右两侧共四个大机房模块，A/B区南北各两个，大房间的南北两侧为AHU模块，同样和冷热通道一一对应；两个建筑大房间之间为电力模块，以及制冷模块，同样是模块化的设计。每个AHU对应各自的一个通道，约60个机柜，平均每个IT机柜功率约为8-10KW，因此每个AHU的制冷量约为500-600KW。中间北侧为电力模块房间，四个房间共6套IT 电力模块，以及1套备份模块、1套冷机等负载配单模块；中间南侧为制冷泵房，共9个制冷模块，按8用1备计算，每个房间均摊约2个制冷模块。

每个大机房房间同样可支持约2万到2.5万台规模服务器，每个房间内部署了约4*13*15

个机柜，共约780个机柜，并支持扩展到900个，同样约1万KVA的电力，整个建筑约4万KVA总用电，共支持约8到10万台的服务器。

图四 facebook数据中心平面布局图

图五是facebook另外一个长条形数据中心的俯视图，该建筑从左到右共有四个大机房模块，每个机房模块有独立的4台室外型集装箱柴发，屋顶是其自然冷空调系统，紧贴数据中心建筑的上侧有办公用房。

图五 facebook数据中心布局二

这种长条形布局下，机房内部如图六Open datacenter的数据中心机房模型，每个大机房模块共12*6*11=792个机柜，整个数据中心建筑共有12到14台柴发，两个蓄冷罐，支撑四个大机房模块使用。

图六 Open datacenter的模型布局

图七是Switch公司的super nap 7数据中心俯视图，类似的，整个数据中心建筑由四个大机房模块构成，每个机房模块约10MVA的供电容量，由6台（5+1）2000KW的柴发做掉电备份，9套1200KVA的UPS，三角形DR方式2N供电。同样的，每个大机房模块有44个R18的微模块构成，总计约792个IT机柜，平均单功率约为9KW；9个（8+1）AHU空调模块，每个AHU模块标称具有1000KW的散热能力。

图七 Switch公司的supernap 7数据中心布局

从谷歌、facebook和super nap等数据中心的典型模型上看，大型互联网数据中心大多是模块化设计，基本整个园区规划有两到三栋大型数据中心建筑，总共用电80到120MVA，由132KV变电站供电。每栋数据中心建筑用电量则高达40MVA，数据中心建筑内有4个

大机房模块，每个机房模块约2-2.5万台服务器，典型的单模块机柜数量为750-1000个机柜，每栋数据中心建筑约有8-10万台的服务器，总机柜数量为3000到4000个机柜。大型互联网数据中心基本多为仓储式单层建筑结构，建筑内的典型四个大机房模块有长条型并排布局，也有南北向田字型布局，模块化的电力和空调模块就近摆放。

大型互联网公司数据中心的电气

为什么大型互联网数据中心都有相似的特征，这背后有何逻辑呢？

其实数据中心的一些边界条件基本限制了数据中心的典型模型，比如一条中压外线（美国为13.2KV，欧洲中国约为10KV）的电力容量约为10MVA-12MVA，典型的变压器容量约为1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限档位，母排和断路器容典型量约1600A、2000A、3200A、4000A、50000A、6300A等有限档位，还有冷机的冷量、UPS的容量等都是类似的有限档位，因此数据中心规划设计需要兼顾到这些产业链，并满足公路运输条件，以及操作人员可以忍受的连续工作最高温度等，根据不同系统的合适颗粒度，选择最佳性价比的典型模型。

通常电力是数据中心内较为宝贵的资源，所以数据中心设计通常会把一条外线的容量尽量用满，即一个机房模块通常会用满10到12MVA的外电容量，图八是个典型的互联网公司数据中心供电架构图，单路市电供电，高压柴发备份。

图八典型互联网数据中心供电架构图

我们可以根据一条13.2KV外线约12MVA的容量来推算该机房模块的模型，配置了4台2500KW左右的高压柴发，4台3000KVA的变压器，额外有1台2500KW的柴发和3000KVA 的变压器作为四个房间的冗余备份，刚好用满电力容量，因此数据中心大机房模块内通常也规划有4个小房间的模块。

前面是针对互联网数据中心内单路市电+柴发的供电架构，如果对于部分双路10KV外电的