Open rack V2 整机柜架构供电介绍

Open rack V2 整机柜架构供电介绍

随着IT业务的快速发展，数据中心的用电成为企业的沉重负担，比如国内某运营商早在2009年的耗电量就已经高达98亿度，能源消耗每年支出近100亿元。采用市电直接给设备供电，但同时做好市电停电的保护，可以大大减少数据中心电力系统的能耗，比如下图facebook市电直供数据中心和传统数据中心在供电方面的能效比较。传统数据中心供电架构(采用了集中式UPS)下，从电网到服务器主板有高达21%到27%的能源被浪费，而facebook数据中心采用了分布式市电直供技术，只有7.5%的能源损耗掉(含服务器电源损耗)，还节省了大量的初期设备投资。

图1 facebook第一代数据中心供电和传统UPS供电效率对比

图2就是facebook第一代数据中心供电架构的实拍照片，数据中心内部不再有传统的UPS，而是每6个IT机柜配一套48V电池用于市电停电保护。所有服务器都是市电直供到机柜，只有

图2 facebook第一代数据中心实际落地实际照片市电异常或者停电的情况下，这些48V电池才短时备份，直到柴油发电机起来继续带载。针对不同类型和不同功率的服务器，备份电池容量有56KW和85KW两种规格，5组48V电池并联，电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电，兼给TOR交换机供电。在服务器内，facebook还定制了450W的277Vac和48Vdc双输入电源，当市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器总计30个电源模块，机柜内空间得到充分利用。但采用机架式服务器，每个服务器自带电源和风扇等成本高效率低，且部署密度和建设交付速度不够，因此OCP紧接着就发布了其整机柜的open rack架构。

图3 Open rack的V1版整机柜和V2版整机柜如图3中open rack 的V1版示意图，每个机柜内有3个4.2KW输出的电源插框，每个插框内有6个750W的双输入电源模块(部分功率给交换机供电)，服务器电源总数量从30个减少到了18个，但3套电源插框共占用了9U的高度，使得IT设备的可用高度从45U减少到30U，为保证服务器上架数量只能从横向增加服务器密度，因此出现了V1图上的纵向三母排2U 3子机的高密度架构。这种布局架构下仍然会有一些不足，比如：1、三个电源插框共占用了9U的宝贵机柜内空间，减少了IT设备可部署空间;2、总计仍高达18个双输入电源模块的总成本和效率仍不够优化，需要进一步减少;3、为增加服务器密度而采用的横向三母线架构，带来了母排成本和机构复杂度增加;4、仍采用了6个机柜带一个电池柜的架构不够灵活，6个机柜同时部署的较粗颗粒度，及机房布局需要专门匹配，还存在电池柜占用了机房内的宝贵空间等不足。

基于V1版本的不够优化，OCP继续于2015年推出了其V2版本的open rack V2 BBU供电架构。从V2版和V1版的对比上看，最明显的就是去掉了微模块级的48V铅酸电池柜，而改用了整机柜级的锂电池BBU。采用了机柜内的锂电池BBU

后，数据中心内没有了集中式的UPS或者半分布式的48V电池，而是市电直供到服务器机柜，配电层级更少，转换效率更高，可边成长边投资，部署更为灵活，建设速度更快等，更为契合互联网公司灵活、快速、低成本的需求。采用这种自带电池BBU的整机柜服务器之后，如果把整个V2整机柜当成一个黑盒子来看待，就像一台超高性能笔记本电脑一样，内部自带有掉电备份电池，可直接由市电来供电，不用担心市电异常下的数据丢失和安全，只要接上光纤网络和电源就可以快速跑起来。

图4是open rack V2的详细布局图，整个机柜2210mm高，外宽600mm 但21英寸内宽可用，深度为1067mm，兼容V1版场地和IT设备部署等，但可安装设备重量从950kg增加到1400kg。

图4 Open rack V2版整机柜的详细空间布局图

从机柜内的空间布局上看，open rack V2有两个3U高的6.6KW PWR电源及BBU电池插框，分别覆盖上下两个供电区间，每个插框内有3个3300W的电源模块及3600W电池BBU实现2+1冗余，服务器电源数量从V1的18个进一步减少到了6个，电源及电池插框从V1的9U的空间减少到6U，使得IT设备的可用高度从30U增加到32U，还额外增加一个原电池柜可部署空间。机柜顶部3U高为交换机的空间，每8U的IT设备区内为4个2U高的托盘区可以部署2U1的低密度机器，也可以部署2U3的高密度设备，均从单根母线排来供电，整机柜功率达到了12.6KW。 当然这个架构也存在一些不足的地方，比如针对一些超低或者超高功耗的机型，现有两个电源插框就存在成本和空间浪费或者可用容量不足;电源和电池模块的颗粒度较大，冗余备份成本较高;还有12V电源模块和电池BBU模块的内部设计过于复杂，成本高控制复杂，后面会详细介绍。

图5 Open rack V2版交直流PDU及接线图

在PDU方面，open rack V2也从原来V1版左右两侧的交流PDU和48V直流PDU竖向部署方式改到了V2的机柜顶板下安装配电盒子部署方式，单路市电输入后经AC PDU分配成两个支路给到两个电源插框，经整流模块整流并对备份电池BBU充电后输出12.5V到输出母线排上。两个电源插框内同时还输出两路300W的54V电源，经机柜顶部的DC PDU配电输出两路48V给TOR交换机供电，整体而言配电结构清晰，空间利用率很高，如图5的交直流PDU图所示。

图6 Open rack V2版PWR和BBU模块的电源插框图在电池BBU方面Open rack V2采用了业界成熟很高的18650锂电池，这种电池自动化生产(+本站微信networkworldweixin)，大规模一致性好、标准化高、供应商多、价格相对较低，在特斯拉汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh，30A最大放电能力的大倍率功率型锂电池，电芯资料如图7有简单介绍。电池BBU模块和PWR电源模块的外形尺寸一致，不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池，双层两