1 引言

随着数据中心技术的大规模建设,以及更为关注能源利用效率,数据中心供电技术未来的发展方向一定是市电直供技术,在降低前期投资成本的同时,还通过高效率供电减少后期运营成本。如图1所示,未来供电技术的总体发展趋势是高压/集中式/交流大UPS向低压/分布式/直流小UPS方向发展,由机房外集中式铅酸电池向IT机柜内分布式小(锂)电池等方向发展,从化石能源向绿色能源方向发展。

数据中心供电不间断的核心在于不间断电源及其电池技术,因此电池连接的位置也决定了不同的供电架构。目前,业界主流的备用电池电压从高到低分别有UPS的400多伏,到直流电源的380V、240V及48V,甚至电池内嵌到IT设备内的12V等。图2是目前业界在数据中心供电方面的主要技术方案,首先从集中式400多伏铅酸电池的传统UPS,其次到标准服务器不用定制、240V电池直挂输出母线的240V高压直流技术,接着还有服务器采用定制48V或者380V输入电源的48V直流或者380V高压直流电池直挂技术,最后再到Google等的12V电池直挂服务器主板输入方案。电池越靠近末端服务器主板或者CPU,供电系统越为分散,相应的IT系统也更为分布式;电池越靠近末端,供电系统的定制化程度越高,普通用户规模开展的难度也越大;电池越靠近末端,对IT电源及电池的控制管理水平要求也越高。最后,电池越靠近末端,从电网到CPU供电路径上的转换级数也相应减少,带来更高的转换效率,但可能在低压侧传输损耗又会增加。因此,对比集中式和分布式、高压还是低压,选择不同的供电架构,会很大程度上影响供电系统可靠性、供电效率、造价成本等,还有技术、生态的成熟性以及应用灵活性等。

　　2 380V的高压直流系统

(1) 传统的380V直流暂时没有市场

380V高压直流技术在国内外已经开展了很多年,也有很多研究和标准等,虽然较传统的UPS及48V通信电源系统有很多优势,但涉及IT设备电源的定制以及直流供配电等配套的跟进,截至目前开展的应用规模都很小,基本停留在实验室试点阶段。数据中心内部的设备复杂多样,涉及很多行业及不同供应商,如果仅仅为了适应380V直流供电,数据中心内的全部设备都要定制,那么带来的成本增加及开展难度就足以抵消了其节能利好,不仅在数据中心租赁方难以推广,在用户侧也无法接受,因此截至目前业界开展的380V高压直流项目规模都很小,示范意义大于实际节能收益。

(2) 380V高压直流在未来新能源方面存在一定应用空间

随着太阳能、风能及燃料电池等绿色能源的发展,这些分布式供电可能在未来会推进380V高压直流电源技术的发展。因为大部分的分布式清洁能源通常都是波动性的,需要先整流稳压形成直流并经电池储能后才可以直接用于数据中心供电,如图3所示。而传统的48V电源系统因为电压较低,传输损耗及线缆投资较大,不适合于较大规模的分布式能源使用。相对而言,380V高压直流系统在这方面有较大优势。在IT设备侧,可以由DC/DC变换器直接将380V高压直流降压到12V或5V甚至更低电压,减少了电源内部AC/DC整流环节,整个供电路径上效率较高,很可能是未来的发展趋势。但同样涉及IT设备电源的定制,以及依赖电池储能技术的发展,短期内仍无法规模开展。

3 基本不用定制的240V直流

针对380V高压直流技术不够成熟,且需要定制IT设备电源等问题,目前在国内大规模应用的240V高压直流技术很好地解决了380V高压直流的这些问题。源于220V电力电源技术和48V通信电源技术的240V高压直流,具有较为成熟的技术及生态积累,以及绝大多数的IT设备不用任何改造,可直接由240V高压直流直接供电。此外,240V高压直流技术具有高达96%的效率、智能节能休眠、高可靠性、热插拔易维护等特性,这些优点大大普及了240V高压直流技术在国内的开展实用。图4是中国电信统计的240V供电IT设备增长情况。截至目前,全国已经有近10万台以上IT设备运行在240V高压直流下。

(1)市电+240VHVDC50%+50%

目前,业界以腾讯为首的互联网公司提出的基于240V高压直流技术衍生出来的市电+240V高压直流供电架构,正进一步改变传统UPS等靠硬件多重冗余来保障可靠性的高投入低能效模式。

对于目前大多数的双电源服务器,可以采用如图5所示的一路市电直供,另外一路来自240V高压直流的供电架构。服务器电源内部自动均流,市电和240V高压直流各承担一半负载。由于市电直供支路可以达到近100%的供电效率,而240V高压直流供电具有的节能休眠控制策略可使其效率在全负载范围内达到94%～96%,这样均分负载情况下的综合供电效率高达97%～98%,比传统的UPS供电架构效率高出很多,特别如图6所示的轻载下高压直流的节能休眠特性,在保证2N供电可靠基础上还实现了准市电直供技术的高效率。当然,对于少量的单电源服务器,可以直接挂接在240V高压直流支路上。

(2)市电+240VHVDC100%+0%服务器主从模式

在前面市电+240V高压直流数据中心侧不用任何变化,如果能在服务器的电源上做些主从设置,或者目前部分厂家的服务器具备支持休眠一个电源的功能,那么这种主从模式下,市电主供、高压直流系统休眠后备,综合供电效率更是高达99%,如图7所示,可以实现数据中心供电系统的超高效率。

实现服务器电源主从模式的方式很多,采用腾讯专利的服务器电源调压技术可以通过电源硬件上的微调,即可实现可靠的主从工作及故障切换等,开展起来非常容易,图8显示了采用该专利的切换波形。当然也可以通过更为高级的软件控制等策略实现双电源工作在主从模式下。

采用主从模式工作下的服务器,由于从电源在市电正常的时候基本不带载,因此高压直流系统可以只是个容量很小的充电器,大大节省了240V高压直流电源系统的投资及空间占用,可以是电源和电池一体柜的简单电池柜设计。市电正常情况下,市电几乎承担全部负载,同时对电池充电备用,实现99%的供电效率。当市电停电时,电池瞬间承担起全部IT负载,直至柴油发电机起动正常运行,带起整个数据中心负载,电池逐步退出并重新被充满,继续等待下一次停电发生。

采用240V高压直流技术可以比传统供电方案实现高效率,甚至实现近100%的市电直供,但其双电源配置(当然也可以类似Facebook,采用市电+240V高压直流的单模块双输入电源设计来降低成本)以及高压电池等仍不是很完美方案,仍属于过渡技术,将会被新的更好技术取代。

4 现有12V的市电直供应用情况

Google的12V挂电池方案采用分布式电源加分布式电池作掉电备份,原理是每个服务器带一个电源并配一个铅酸电池,市电正常时,市电直接给设备供电并给电池充满电。市电中断时,电池放电备份几分钟,直至柴油发电机起动正常供电。有两个显著特点:

①电源产自中国,输出参数为13.65V&20.5A,这个服务器的总输出功率不会超过250W。有趣的是这个电池接入开关电源,那么开关电源当成一个UPS看也不为过,就是一个13.65V输出的UPS,不会比市面上几百块钱最低档次的UPS更贵。

②电池为免维护铅酸蓄电池无疑,从公开的资料上可知其容量只有3.2Ah,充其量只能够维持3～4min以内的服务器掉电保护时间。

该方案的核心技术是电池管理及切换控制,原理如图9所示,实现供电效率达到99.99%。

(2)微软的12VBBU集中式市电直供方案

图10是微软的12V电池BBU集中式市电直供方案,微软在2010年推出该ITPAC的机柜服务器供电方案,从概念图上看,机柜采用集中电源供电,并在12V母排集中挂锂电池备份方案。分为上半区和下半区单独供电,单机柜达到18.6kW功率给96台服务器供电。选用的4.5kW服务器电源也是高效率的电源模块,通过12V集中母排给服务器子机单元供电。市电正常时,直接给设备供电,市电中断时,靠锂电池短时间放电过渡,直至柴油发电机起动承担全部负载。

(3) 随着功率增加,12V将不再适合于数据中心

从前面的两个案例可以看出,不管是Google的12V带电池分布式小UPS供电方案,还是微软的12V锂电池BBU半集中式供电方案,都实现了市电直供近100%的供电效率。但12V电池要么直接挂在IT设备内,要么就安装在服务器机柜内,主要的目的都是为了尽量减少12V低压供电的传输损耗。谷歌12V分布式供电虽然12V传输损耗较小,但电源和电池数量大、成本高、电源负载率、效率偏低;而微软的12V集中式供电的电源和电池数量少、成本稍低、负载率高、电源效率高,但12V传输损耗大,两者都存在一定不足。

随着业界IT机柜功率的不断增加,以及对能效的更高要求,12V低压传输损耗及成本会成为严重的限制。例如,对于12kW的机柜,如果采用12V集中单母线供电,那么供电电流可以高达1000A,假设电源插框和母线等的接触电阻为1mΩ,仅接触电阻的损耗也会高达1kW,若算上铜排上的大电流传输损耗及电源插框的电源转换效率损耗,总损耗高达3～4kW。而采用较高电压的48V供电方案,则可以大大降低传输及接触电阻损耗,且48V电源的效率也比12V电源的效率高2%以上,图11为两者损耗对比分析。采用12V集中供电方案,机柜的总功率不宜超过6～8kW,如果超过10kW以上,传输及接触电阻损耗就会很大。而采用48V供电方案则没有这个问题,整机柜的总功率可以高达30kW以上,传输及接触损耗都可以做到较小。

当然采用类似前面微软的做法,将总功率分散在两个甚至更多的电源插框中,可以减少母线电流,但仍会带来更多电源插框占用宝贵机柜空间,以及更多电源和电池带来更大投资成本等问题。

最后,对于12V低压市电直供,还存在电源及电池BBU设计挑战的问题,毕竟通常允许5%的电压波动,以及至少几分钟电池掉电备份时间要求等,对于电源及电池的设计和选择都是很大挑战。总体而言,目前业界采用12V直挂电池市电直供方案的用户较少,且在未来会逐步往48V市电直供技术方向上发展。

5 面向未来的48V市电直供架构

如图12所示,从电网侧到CPU的整个供电路径上,采用传统12V供电方式带来的供电损耗会比采用48V供电方式的损耗高出很多,特别是在未来高功率密度应用场合,12V已经不再适宜采用了。48V市电直供方案在通讯行业已经非常成熟,只是传统的48V供电方案是集中式电源系统,而未来发展的48V市电直供方案是分布式电源和IT融合的方案,电源和电池就近放在IT机柜边上,甚至放到IT机柜内部,大大减少供电传输损耗及线缆投资等。且允许48V电池电压有个很宽的波动范围,电池备电时间也可以得到较大提高。目前,48V电源最高效率也高达97%以上,成本也比12V电源要低得多,是个低成本高效率的解决方案,带来的问题是部分IT设备需要定制。但目前在数据中心行业,很多IT设备及基础设施都已经实现了48V供电架构,推动起来难度比采用380V高压直流要小很多,目前业界已经有较多互联网等公司已采用48V供电架构了。

(1)Facebook的48V半集中供电及下一代架构

从Facebook的公开资料上看,采用了分布式服务器电源加分布式48V电池的方案,每台服务器配一个277Vac和48Vdc双输入、单输出为12.5V的定制电源。其中,277Vac接口直接接到市电交流PDU上,而48Vdc接口连接到48V直流PDU。市电正常的时,市电直供,48V电池作为后备,当市电异常或者中断时,48V电池瞬间放电短时备份,直至柴油发电机起动承担负载。

在实际的物理布局上,由于分布式48V备份电源不能长距离传输供电,因此电池就近摆放在IT机柜边上,每个电池柜覆盖6个IT机柜。如前面所述,市电正常情况下市电承担了全部负载,所以48V电源只作为充电器使用,保证对备份电池的充电即可,因此48V电源只是个小充电插框,直接放置在电池柜顶部即可,如图13所示。

Facebook的这个市电直供48V备份方案由于采用的是铅酸电池作为后备,考虑铅酸电池的功率密度低、对温度敏感且存在漏夜等风险,因此把电池放在了IT机柜之外但靠近IT机柜安装。其每个市电+48V双输入服务器电源内部实际还是两个电源并联在一起,数量多,定制成本高等,投资造价还是很大,所以在后续的整机柜版本中Facebook改用了电源更少的集中电源插框方式供电。且随着电池技术的发展,比如更高密度、放电能力及高温特性更好的锂电池等价格下来,那么电源及电池会更为分布,直接从IT机柜外转移到IT机柜内部,如OpenRack的V2.0版本。

如前面的12V供电分析,Facebook的这个V2版本虽然电源适当集中,且电池和电源就近匹配安装,但单机柜内仍采用了三个电源插框,以及多根供电母线排等,并没有解决电源数量多,12V低压传输损耗大等问题。而48V供电架构,可以只用一个电源插框及一根母线排搞定,且48V锂电池包较为成熟且容易设计,因此这个V2应该只是个过渡版本,未来一定会向48V供电架构切换(数据中心基础设施可以基本保留不变,只是将电池柜替换成整机柜即可完成升级)。

图14为市电转48V再直接降压到1.2V的供电架构,如前述,具有极高的供电效率,且很低的传输损耗,技术成熟度最高,且可选的供应商非常多,因此已经是未来数据中心的供电架构方向。据不可靠资料,目前业界的Google、Amazon和思科等公司已经在采用此方案。当然,这个架构的不足之处在于需要修改传统服务器主板上的12V输入供电,改用48V输入供电,但技术难度很小,比如很多刀片服务器、网络板卡等都是48V输入供电。且对于服务器白牌化、深度定制的今天,对于前述互联网巨头而言,定制48V输入供电的服务器已经完全不是问题了。

(2)考虑数据中心的整体需求,包括交换机、网络设备、行间空调等供电的归一化

随着数据中心技术的发展,未来的IT和基础设施会更为融合在一起,就像我们今天看到的机柜级服务器集成了电源和风扇,服务器会板卡化,支撑的电源和散热组件也会适当集中。集中式48V系统到分布式48V系统的发展见图15,再往上一级,比如微模块级,一定是分布式供电和散热组件更为靠近IT负载,分期投资并弹性配置,实现就近供电和高效散热,这种情况下散热系统的供电跟着分布式电源一起走。刚好目前主流的末端空调EC风机等很大部分也是48V供电,分布式电池还可对散热系统做持续供电保障。

数据中心内部的交换机、防火墙等网络设备基本都是可以选配可支持48V供电的电源,比如Facebook数据中心的网络设备基本也是采用48V直供电源,因此网络设备和其他弱电、监控、照明等可以很容易选择适当的48V电源以支持数据中心内的其他部分供电,最终实现IT和基础支撑48V供电的归一化。

(3)和铁锂电池、燃料电池、太阳能、风能等结合在一起的直流微网架构

前面提到数据中心供电技术很大程度取决于电池技术的进步和发展,传统的铅酸电池由于功率密度以及安全性等原因不适合直接和IT设备放在一起,但锂电池则由于其高功率密度以及高温特性好等,未来很有可能会以BBU等形态和IT设备就近摆放,甚至会放在IT设备内部。其大电流放电能力非常适合此应用。

除了铁锂电池等会集成到IT机柜之外,未来燃料电池也可能给IT机柜供电。据微软公开的一份白皮书显示,微软正在研究使用基于沼气的燃料电池来提升设备能效,同时还能达到降低总体运营成本的目的。微软表示,把燃料电池直接放到机架层(RackLevel)的话,将大幅减轻设备对于UPS、发电机、开关装置等“耗电大户”的依赖。

数据中心的高能耗,以及目前主流的依靠燃烧化石能源发电带来的环境污染问题正逐步成为整个数据中心行业关注的问题,绿色环保组织也在持续曝光各公司的碳排放。目前业界一些互联网等公司已经开始采用绿色的风能、太阳能等新能源用于数据中心的供电,而这些通常不稳定的绿色能源发出来的交流电需要被整流并储能才可用于IT设备的计算,因此对于大型的数据中心可能采用380V等高压直流来储能,但对于小型的分布式数据中心则会采用48V的直流微网架构(见图16)。

6 结束语

随着数据中心技术的发展以及降低运营成本和节能减排的需求,市电直供方案将在大型的互联网数据中心等场合的应用会越来越广泛,成为未来趋势。380V高压直流在短期内因为行业生态没建立起来,无法大规模应用,但在未来绿色能源铺开后存在一定应用可能。目前阶段采用240V高压直流技术可以不用改造设备快速实现节能。如果IT设备电源微调甚至可以实现接近100%效率的市电主供高压直流后备架构,但双电源高成本、全路径效率不高,只是未来几年的过渡技术。随着IT设备单机架功率上升以及对能效和成本的极致追求,未来12V母线供电不管在能耗,还是在技术难度等方面都不占优势,会逐步被48V的分布式供电架构取代掉,且48V架构还归一了IT设备、网络、空调末端、弱电监控等的统一供电,而锂电池、燃料电池以及风能、太阳能等绿色能源的进步以及发展会加快这一进程。带电池插框的48V市电直供技术会是未来数据中心IT供电架构的重要发展方向,期待数据中心技术规划以及IT设备甚至基础设施各设备厂家共同一起营造此生态,实现高效节能、绿色环保、弹性灵活的低成本高可靠数据中心供电之路。

作者简介

李典林,数据中心资深专家,腾讯数据中心架构师,高级工程师。现任职于腾讯IDC平台部数据中心规划组。

编辑：Harris

关键词：ups电源参数http://www.hiresair.com.cn/list-3-1.html

• 上一篇：稳压器和UPS电源对医疗设备的重要性
• 下一篇：数据中心如何能够提升电力系统的可用性
  
• 文章标签： 浅析 技术发展 数据中心
• 注：原创内容，禁止转载，如有转载，请标明出处。如有内容侵犯您的权益，请联系删除！QQ:315212307