在讨论2019年数据中心电源管理解决方案之前,我想简要地描述下数据中心的概况。2016年,我撰写了《Data center next generation power supply solutions for improved efficiency(实现数据中心效率提升的下一代电源解决方案)》的文章。自此以后,其发展出现了很大的变化。
图1:Data Center Frontier网站讨论了2019年数据中心的趋势(图片由领英提供,展示了该公司位于美国俄勒冈州Hillsboro的数据中心大厅)。
根据预测,到2025年,全球的总数据容量将会超过175ZB。随着5G的来临——最早将于2020年日本奥运会采用——以及人工智能(AI)和机器学习(ML)的发展,数据中心的建设与部署,以及现有较老数据中心的升级工作,都将会突飞猛进。
未来会有很多联网技术希望利用5G的优势,其挑战是需要高速处理大量数据。下面来看边缘计算,它可能会是云计算后的下一个主要技术趋势。它指的是在最接近数据源的地方处理数据。这样可以确保速率以及低延迟,帮助达到5G的性能目标。然而,有些应用对延迟要求不高,这样的应用仍然会需要有中央数据中心支持。
我们将见到新一代电信局端(NGCO)的发展。它们是边缘云数据中心,可以支持固定和移动数据流量。它们将设置在无线电接入网(RAN)和中央核心之间,相比目前支持的大约5000个订户,每个中央办公室平均可支持35000个。
无论数据是存储在哪或在哪里处理——在边缘、局部中央(都会区网络)或者中央——容量需求都将持续增长。从2019年末开始,这个需求将大大增加,因此服务供应商需要改进或改造它们的架构,以便支持5G的发展。大部分接入5G网络的数据都会存在于云端,这就是数据中心必须扮演的重要角色。
我们必须要防止数据中心中的系统受到破坏,停机会造成金钱损失及客户投诉。运营商会采用不间断电源系统及配电单元来安全可靠地向敏感设备供电。备有后备电源的中小企业和住宅楼也有可能采用负载管理方案。通常每机架超过10kW,因此在机架内不太容易实现电源保护。业内即将采用列末(EoR)UPS系统。
智能电源管理(IPM)指的是可优化计算机系统与数据中心内配用电的硬软件组合。虽然安装IPM需要前期费用及持续维护,但从长远来看,由于这项技术可节省电能,减少停机时间并延长硬件寿命,因此可以节省成本。
最高效的IPM解决方案包含温度监控与调节、稳压、限流以及负载分配。高级IPM技术配有支路保护(每一组插座都有自己的断路器或熔断器),以及集中/综合管理功能,从而使管理人员能够监控数据中心的所有硬件,进而快速隔离并解决问题。此外,它还具有智能减载功能,可在特定的条件下有条不紊地关闭不必要的设备。
采用三相电供电,通常可平衡电源负载,并为每个负载提供最大电流。采用分区冷却,可防止产生孤立过热事件,并把能耗降到最低。为系统提供冗余,则可在局部硬件或软件失效时确保不间断操作,而对多家供应商的电源硬件进行协调管理,则可以保持数据中心持续运作。
直接液冷等新冷却技术正开始受到关注。市场正为这种技术探讨多种方案,例如直接为芯片给水,或将服务器完全浸入到水中(详见《Submerge your power supply, and other options(将电源浸入水中,以及其他方案)》)。
例如,施耐德电气的数据中心部门就把液冷定为其下一个重大增长领域。超大规模数据中心以及云平台是这项技术的主要推动力。此外,他们也讨论了直接为芯片给水以及完全浸入水中等方案。
宜普电源转换公司(EPC)的增强型氮化镓(eGaN)场效应晶体管具备散热优势,本文后续将会对其进行叙述。
数据中心的UPS系统里,正采用锂离子电池替代铅酸电池而用作后备电池。
高压配电可降低I2R损耗。与12V配电方案相比,转用48V配电,功耗可降低16倍。
现在我们来看看,从48V转换直到需要超低电压/大电流的GPU应用,顶级电源IC公司都为此提供哪些解决方案。我喜爱这些方案,因为从电源工程师的角度来看,在数据中心这一越来越具挑战性的领域,它们都是创建电源架构的很好选择。
作为一名电路设计工程师,在过去40余年的生涯中,我认识到并非所有电路架构的创建都是相同。某种架构可能非常适用于某种特定设计,而另一种不同架构又可能更适合某种不同场景。请对以下解决方案保持开放心态。由于电源设计并非千篇一律,因此特定项目会有特定的电源管理需求。尤其是要注意客户所需,然后利用电源设计专业知识,去为最终客户提供最好设计。只有通过深度的沟通和讨论,才能够为项目找出最好的电源解决方案。
话虽如此,但我却非常喜欢基于GaN功率元件的解决方案——从我作为设计人员的看法和经验来说,这是我个人的首选。采用GaN得到的最终特定电源架构多种多样——因此需要做出明智选择。
在参考文献5中,EPC公司的Alex Lidow对隔离与非隔离、稳压与非稳压架构案例进行了研究。他的观点是,第一级可能不需要稳压,而是作为直流变压器(DCX)工作。在这些案例中,Lidow的文章考虑了4种采用中间总线的不同解决方案:
1. 隔离砖式稳压转换器
2. 非隔离DC/DC转换器
3. 48V降压LLC DC变压器
4. 48V-1V混合转换器
据测定,采用双电感混合转换器(DIHC)或具有6VOUT的LLC转换器可实现最高效率。然而,DIHC拓扑较新,仍待普遍采用。在新的人工智能(AI)和游戏应用中,48VIN–6VOUT LLC转换器,配合6VIN–1VOUT降压转换器,由于具有高效、高功率密度及低成本等优势,因此正受到快速采纳。
氮化镓器件对于所有48VIN拓扑都可以实现最高的效率。原因是其电容更低、尺寸更小。
我认为氮化镓器件应是数据中心电源架构的首选功率晶体管,因为在这个领域,小型化、高效以及高开关速度非常重要。EPC公司的专家,由Alex Lidow所领导,设计出了非常好的电源架构。
我尤其欣赏EPC的芯片级封装,它使得将eGaN器件用到数据中心,可实现从六个边散热10。由于GPU的电能需求与日俱增,某些数据中心开始考虑采用液冷方法。与其他功率元件相比,eGaN更能够帮助延缓这种费钱费力的工作。
对于前端电源设计,EPC提供硬开关、48V-12V降压、变压器隔离、500W稳压、1/8砖式转换器,其输出为12V、42A。该公司EPC9115的效率是96%至97%。由于高频氮化镓开关可缩小磁体,因此相比传统的硅基解决方案,其占板面积更小。
对于非隔离前端,该公司提供48V转5-12V、25A的同步降压转换器。这个设计也是采用氮化镓功率元件,其高频开关可实现的小占板面积,是硅基元件所不能企及。这个设计在15A负载条件下可实现97%的峰值效率,而在25A负载下则可实现96.5%。
这个设计在作为固定转换比的直流变压器(DCX)使用时,可在很宽的工作范围内保持高效。EPC公司给出了48V-12V演示板,其效率超过98%。
图2:(a)N:1 LLC转换器的电源架构原理图,其上配有中心抽头整流器;(b)1MHz、900W、48V-12V的LLC转换器的照片及其尺寸。(参考文献5)
这个设计可以在1MHz频率下处理900W功率。这个变压器设计采用了14层PCB、2.2μH磁化电感,以及,当然,氮化镓功率元件。
图3:1MHz、900W、48V–6V LLC转换器设计。(参考文献5)
目前有个大趋势是转用4V来为负载架构供电。这取决于输出晶体管和某些其它元件,但从6V改为4V输出,不会影响很大。这个变压器由于是矩阵变压器(所有的矩阵变压器专利都已过期,这个IP目前是在公有领域),因此在900W时,其尺寸会按比例增大一点。这个架构的效率大约是98%。
Alex Lidow说已可实现6V、5V、4V和3.3V的架构。他著有《powering graphics processors from a 48V bus(利用48V总线对GPU供电)》的文章5,里面分析了多种中间级架构,直到负载点。
这个设计采用基于Dickson开关电容转换器9的双混合式转换器(DIHC)8。DIHC架构在输出端采用两个交错式电感器,而不需要混合式Dickson转换器所需的两个大同步开关(图4中的S9和S10)。
图4:参考文献9中的8-1 Dickson转换器。
相比混合式Dickson转换器,这个设计可使DIHC实现差不多低两倍的直流输出阻抗(由于开关及飞跨电容导通所产生),进而实现低两倍的导通损耗。请看图5中的DIHC的效率曲线。
图5:DIHC在48V输入以及多种不同低电压输出情况下所测得的效率。(参考文献5)
高频变压器的带宽在大约2MHz时,可改善此设计的响应时间。
DIHC或6VOUT的LLC转换器都可以实现最高效率。EPC公司承认DIHC拓扑较新,还未能普遍采用。我认为在这种架构中采用氮化镓元件会具有优势。
48VIN–6VOUT LLC转换器配合6VIN–1VOUT降压转换器使用,效率会更好,而且由于其具有高功率密度和低成本等优势,因此对于新的人工智能和游戏应用会非常适用。在所有48VIN拓扑中,氮化镓器件都可以实现最高的效率。这是由于氮化镓器件电容更低、尺寸更小。
我对ST的策略及其面向数据中心电源架构的产品都非常欣赏。首先,ST加入了电源模块联盟(Power Stamp Alliance,PSA)。我个人十分喜欢的是,在开发云数据中心电源解决方案的公司工作的设计人员和采购人员,可以从不同电源供应商获得适合各种形式和功能的电源解决方案。数据中心的人员也对此感到高兴。
图6:ST具有一系列非常好的面向数据中心的电源解决方案(图片由ST公司提供)
我跟ST的电源IC产品推广经理Paolo Sandri谈过关于他们数据中心电源管理的策略。其重点是,ST针对不同客户的需要,提供多种方案。我非常喜欢这点,因为不存在通用解决方案。
这个设计具40V至60V输入、4:1转换比、以及高达1kW的散热设计功耗(TDP)。Intel将TDP11定义为“一种处理器的规格。OEM所设计的散热解决方案,必须要符合或超过处理器数据手册内所规定的TDP。”ST十分了解处理器的要求!
图7:开关式储能转换器(STC)、非稳压中间总线转换器。(图片由ST提供)
这个设计所用MOSFET全部具有零交叉开关(ZCS),所有元件都是现货元件,并且高度低于5mm。其尺寸是1/8砖,在360W时效率高达98%。
图8:稳压中间总线转换器可扩展架构,输出功率高达3.2kW,TDP为800W。(图片由ST提供)
这个转换器架构输入为36V至60V,输出为12V,可通过PMBus进行调节(我喜欢数字电源控制!)。外形尺寸是1/8砖,可扩展至4个单元。
从效率曲线可以看到,最高效率为98.4%,此时输出为150W(图9)。
图9:STC的效率曲线。(图片由ST公司提供)
这个设计的输入范围是40V至60V,面向Intel VR13HC处理器的VOUT是1.8VTyp,完全符合Intel的测试计划。此外,它可以以1.2VTyp对DDR供电。
图10:48V至负载点直接转换,隔离型或非隔离型都可以。(图片由ST提供)
其TDP为205W,最大值为413W。在开关频率为570KHz时,其IOUT最大值是228A。功率密度是100W/in2、占板面积为1.6"×2.6"。
如果要评分,在为设计人员提供出色的数据中心电源可选方案方面,我给ST公司评定为“A”级。
我跟Vicor公司的产品推广及技术资源副总裁Robert Gendron谈论了关于他们的数据中心市场策略。我首先问了他们架构中所采用的氮化镓元件。Vicor同时评估了这项技术与其他FET技术。
他们的非隔离总线模块(NBM)是种双向固定架构,从48V转换到12V的峰值效率为97.9%。在不久的将来,Vicor还将推出下一代版本,把效率提升到98.5%。鉴于NBM具有高功率密度(在22.8mm×17.3mm×7.4mm的封装内可连续提供800W输出功率),他们有多项设计是把NBM放在主板上、在12V多相稳压器(VR)的前面。
图11:Vicor的VR可放在处理器的附近。(图片由Vicor提供)
他们的DC/DC转换器模块(DCM)是种48V至12V的非隔离转换器,可以在采用传统12V配电的数据中心内支持48V高性能GPU。
Vicor还提供一系列完整器件,可支持380V、AC和传统的12V负载连接到48V中心。这个“中心”可在机架内实现48V或安全特低电压(SELV)配电,从而使得损耗最小化。由于他们提供分比式电源解决方案,包括横向及纵向供电方案,因此他们可实现从48V一直到为CPU供电。它们的NBM和DCM产品可实现48V到12V转换,因此也支持传统的12V多相稳压器。
图12:更多的Vicor解决方案(图片由Vicor提供)
虽然这些12V主板本来是设计给高性能计算(HPC)所用,但设计人员只需稍对它们进行修改,就可以给48V机架使用。
鉴于GPU需要消耗500A电流,未来还将提高到1000A电流,再加上数据中心开始采用人工智能(更多有关强大AI的信息,可以从这里了解)和深度学习进行处理,我们需要提供创新的设计架构,以便适当支持这些应用。
如今,为了降低5G、智能家居和智能工厂等应用所存在的延迟,处理器设计人员正在他们的架构中设计越来越多的核心。现在已经有500W的处理器。其目标是把所有东西都放进同一个裸片,从而降低延迟,而也是这个原因,他们希望把光耦合器就放上处理器边上。
Vicor了解电路板功耗的意义。他们认为,这比将电源解决方案效率提高1%更加重要。他们研究了400μΩ走线的功耗,发现在200A电流时,电路板自身功耗就占到10%。就算有99%的效率,在200A电流时,电路板走线的I2R功耗也会很高。
对于设计人员为数据中心处理器设计电源架构解决方案来说,Vicor的电流倍增器解决方案是另一个优秀选择。
封装内电源(power-on-package)技术可实现电流倍增,从而实现更高的效率、功率密度以及带宽。在封装内提供电流倍增,可以减少高达90%的互连功耗,同时可实现处理器封装引脚(通常为大电流供电所需)回收,而用于扩展I/O功能。
由于噪声会影响处理器精度而引起误差,因此在处理器附近设有“禁区”。纵向电源模块(VPM)具有超低噪声拓扑。Intel在三年前做了项研究,在红外线图像上用颜色代表噪声,该研究显示,处理器附近的噪声水平可以接受。
Vicor表示多相设计存在的一个问题是,电感器/磁性元件的噪声很高。Vicor在其输出级中并没有采用电感,因此噪声不高,而使得转换器可以放置在很接近处理器和I/O线的位置。他们从来没有在这些架构或测试中遇到过噪声问题。
另一个问题是,大多数AI处理器和其他超高速GPU处理器都需要连接处理器芯片的四周。数据中心及其他电子架构常常希望几乎看不到电源。因此,在这些架构中,这些限制为电源设计人员带来挑战。
图13:Vicor的GCM。(图片由Vicor公司提供)
Vicor公司着力发展纵向供电(VPD)。他们把客户对CPU、GPU及ASIC峰值供电的要求制成图表。从图14中可以看到,大约从2010年开始,峰值电流大幅增加。这是由于AI处理能力增加,以及处理器制造节点越来越先进——从14nm、12nm、10nm发展到现在的7nm。
图14:峰值电流随时间不断增加。(图片由Vicor提供)
电路板所需功率增加,意味着更需要关注转换器的效率,以及供配电的功耗。一个问题是,随着功率增加,转换器的尺寸通常需要增大,这样它们就不能放到处理器的附近。这个布局问题又会使电路板产生更多功耗。
AI处理器的一个很好的例子是Nvidia SXM3,它采用了Vicor的分比式电源解决方案。这种解决方案可以提供超过1000A的峰值电流。鉴于这些器件具有小型化和纤薄的优势,它们与传统的VR相比可以放在更接近处理器的位置。
图15:缩短VR与处理器的距离,可以降低I2R损耗。(图片由Vicor提供)
这些I2R损耗会降低效率并且发热。他们绘制了400μΩ电路板的损耗(图15)。从中可以看到,在200A时,电路板会损失10%的效率。
当将他们的分比式电源解决方案用到与Nvidia解决方案中所用非常类似的横向配置时,这些器件通常可将电路板的损耗降低90%。然而,随着电流继续增加,除了要缩小VR的尺寸外,还必须降低供电损耗。随着处理器的电流消耗变大,计算能力提高,I/O的数量和速度都必须增加,因此,VR的尺寸成为非常重要的考虑因素。将VR(任何公司的VR)横向放置在处理器的旁边,会挡住往返处理器的重要通道。
这是Vicor采用纵向供电(VPD)的原因。它差不多完全消除了供电损耗,并实现了无障碍连接处理器的四周。他们可以将他们用了10年的相同的分比式电源架构用到VPD VR中。他们的电流倍增器已从VTM发展到MCM(模块化电流倍增器),再到目前的GCM,其正好是放在处理器的底部。这不仅仅可以实现供电,他们的GCM器件还可以包含关键的旁路电容,其正好位于处理器下面。
Vicor最近宣布了与京瓷(Kyocera)公司合作,突显了他们如何提供VR解决方案,而Kyocera则为客户提供处理器的衬底(或封装)设计。这项合作使得设计人员可以迅速利用他们的VPD VR解决方案。
转用48V拓扑架构是因为机架需要增加功率。当Nvidia去年推出DGX-2平台时,他们完全转用了48V。之所以采用48V解决方案,是因为截止功率是在10到20kW之间——在这种使用大电流的GPU架构中若超过了这个范围,就必须尽可能把损耗降低。Infineon公司有多种解决方案,包括使用氮化镓元件的设计,例如,他们有直接从交流电转到48V的电源转换方案就采用了氮化镓元件。对于每个CPU/GPU来说,这一功率水平大约是每处理器500W,而每个处理器的电路占板面积通常为10cm×10cm。
在板卡方面,Infineon具有基于氮化镓的半桥解决方案,以及传统的硅基解决方案,具体取决于客户所需的折中和考虑因素。Infineon也提供另一种好的解决方案来给客户考虑使用:氮化镓晶体管(参考文献7)。
图16:服务器供电包括带两个交错式高频桥臂的图腾柱AC-DC整流器,以及带中心抽头变压器的LLC DC/DC转换器。(图片由Infineon提供)。
如图16所示,采用这种拓扑的48V系统,可以采用全桥整流实现。随着计算架构逐渐转用GPU来进行并行处理,每机架功耗将增加3倍到20kW或者更高。对于这一用例,采用12V电源的配电损耗过大。通常,采用GPU、高端FPGA和ASIC的加速卡,用来进行定制化AI工作。因此,在机架上提供48V电源越来越受欢迎,主要是因为效率优势。
在DC/DC级的原边半桥采用35mΩ氮化镓器件,可实现进一步改善。利用Qoss电荷低得多的优势,以及谐振频率及磁化电感的相关调整,系统效率大约可以提升0.3%。把变压器设置改为矩阵架构,加上串联初级线圈和并联次级线圈,可以再提升0.3%效率。
在PFC和LLC级取得改善后,在功率密度为30至35W/in3时,峰值效率可增加到98.5%。Infineon也正在与所有模块化电源制造商合作,为它们提供解决方案授权。该公司仍然认为,12V服务器还将长时间继续主导服务器市场。
展望未来,Infineon认为中间12V总线将会下降到7V、6V或5V。在这些情况下,随着频率提高,解决方案的尺寸将会缩小,从而使电源可以更靠近处理器。在相同的功率包络下,Infineon目前典型的功率级封装面积为5mm×6mm和3mm×5mm。
ADI(亚德诺半导体)具有两级的数据中心电源管理解决方案架构,即采用LTC7821实现48V-12V转换,然后采用LTM4700(微型模块)实现12V-0.xV转换,此时电流为100A以上(多相)。
第一步是用LTC7821实现48V到12V转换——其输入电压范围是40V至60V。由于开关频率高达400kHz,而在开关节点处,电感所见电压只有输入电压的一半,因此可以使用小型(0.75in×0.73in)2μH电感,例如SER2011-202ML。
图17:LTC7821将48V转到12V/25A,其开关频率为400kHz。在功率密度为640W/in3的情况下,其占板面积是1.45in×0.77in。
图18是该总线转换器的一种可能的布局,它使用了PCB的上下两侧,占板面积为2.7cm2。当电流约为15A时,其效率接近98%。
图18:图17中LTC7821的电路布局。
下一步是从12V转到处理器所需的电压。这一步采用了LTM4700微型模块。转换器模块可提供0.9V输出,其开关频率在325kHz到425kHz之间。增大电流可通过并联多个模块实现,例如采用4个LTM4700模块,可实现8相操作,提供400A输出。
在12V输入、1V/100A输出、200LFM气流时,该器件可不需要加散热器,在大约73.4℃温度下工作。同时,它提供了I2C、SMBus或PMBus接口。
面向数据中心的蓬勃发展,设计人员可以从广泛的电源管理解决方案中进行挑选。设计人员需要与客户协作,针对他们的特定要求,设计出最好的解决方案。虽然设计当中会有妥协,但是,若设计人员能将自己的设计专长与电源IC公司广泛且富有创造力的解决方案及其专家经验结合起来,则必定可以设计出符合客户要求的成功解决方案。
1. The Future of Data Centers, CB Insights, Research Briefs, January 24, 2019
2. How data centers will breathe life into 5G, Schneider Electric, CNBC
3. Design and Application of Matrix Transformers and symmetrical Converters, Edward Herbert,
FMTT, 1990
4. Matrix Transformer Building Blocks for High Frequency Applications, James Lau, CWS, 2016
5. Powering graphics processors from a 48-V bus, Alex Lidow, Power Electronic Tips, March 2019
6. GaN enhancement for 48V DC/DC power conversion in servers and automotive
7. GaN transistors address data center and telecom server power requirements
9. A 95%-Efficient 48V-to-1V/10A VRM Hybrid Converter Using Interleaved Dual Inductors, Gab-Su
Seo, Ratul Das, and Hanh-Phuc Le, IEEE 2018
10. A Dickson Resonant Switched-capacitor Converter with “Indirect” Resonant Core and Continuous Conversion Ratio, Shouxiang Li, Ningning Zhang, Shuhua Zheng, Wenhao Xie, Keyue
Smedley, IEEE 2019
11. Thermal design for a high density GaN-based power stage, Edward Jones, EDN, May 2019
12. Thermal Design Guideline for Intel Processors in the BGA2 and Micro FC-BGA Packages for Embedded Applications, Intel, April 2002
13. Hybrid Converter Simplifies 48 V/54 V Step-Down Conversion in Data Centers and Telecom Systems, Ya Liu, Jian Li, Sanhwa Chee, and Marvin Macairan, Analog Devices.
本文为《电子技术设计》2019年8月刊杂志文章。原文链接:Data center power in 2019