OFC2024上,华为Fellow Davide大佬做了题为“Connecting the Switch to the Fiber: the Energy Efficiency Challenge”的邀请报告,提出了三个基本的观点,高屋建瓴。小豆芽这里梳理下相关的信息,供大家参考。
随着网络带宽的不断升高,SerDes在Switch芯片功耗与面积的比例越来越大。从2014年到2022年,交换芯片的带宽从1.28T发展到51.2T, 单条lane的速率从10Gbps发展到112Gbps,而SerDes功耗比例则从15%增加到40%,如下图所示。如何进一步有效降低SerDes的能耗,这个问题变得愈发重要。Davide大佬给出了他的一些思考与建议。
1. Slow is more efficient than fast
关于这一点,大家可能会有个错觉,“采用更高速率会降低能耗”, 比如400G光模块的能效优于100G光模块,但实际上伴随着信号速率的提升,芯片中采用了更高节点的工艺,更优化的芯片架构与设计,系统中采用了更高性能的基板与PCB等,400G模块能效降低是多个因素共同作用的结果。如果100G光模块采用相同设计的芯片与PCB,其能效必然优于400G光模块。
以PCB为例,随着信号速率的提升,PCB的插损逐渐增大,但与此同时,采用性能更好的PCB板材,有助于插损的降低。例如56GHz时M8级PCB的插损与10GHz时M4级PCB的插损接近,如下图所示。
芯片采用更高节点的工艺,也导致了更高速率的SerDes功耗反而下降了,如下图所示。56G SerDes采用7nm工艺,能效为4.5pJ/bit, 112G SerDes采用5nm工艺,能效为3.7pJ/bit, 224G SerDes采用3nm工艺,能效进一步下降为3.0pJ/bit。
如果将其它因素都保持一致,更高速率对应更大的链路插损,SerDes将会消耗更多的能量。以下图为例,200G Serdes的能耗比100G Serdes的能耗增加了约30%。
因此采用更低的信号速率,通过增加信道数目、互联密度来提升总带宽,而不是增加单通道信号速率,成为降低功耗的一个方向。下表是XSR与UCIe的对比,采用高密度的并行低速互联,UCIe的能效可以达到0.5pJ/bit以下,是XSR的能效三分之一。
2. Break the complex system into small parts.
这个论点听起来比较直观,将复杂系统拆解简单的小系统,与我们遇到一个复杂问题时的处理方法相似。对于互联系统来说,Davide大佬将单级系统与双级互联系统进行对比,如下图所示。
单级系统的链路损耗为35dB,需要使用LR Serdes, 其能效为9pJ/bit, 而如果采用XSR+MR Serdes的组合,先利用XSR将信号传递距离ASIC较近的模块中,再通过MR Serdes将信号传递到远端的ASIC芯片,虽然整体的插损仍然为35dB,但是XSR Serdes的能效为1pJ/bit, MR Serdes的能效为3pJ/bit, 整个链路的总能效为8pJ/bit, 优于直接采用LR Serdes的单级系统。双级系统则对应于NPO/CPO模块。下图是对应的系统能效对比,通过降低ASIC与光引擎的距离,减小了链路插损,从而可以采用更低损耗的SerDes, 降低了整体的功耗。
Davide在报告中再次提及了LPO模块,虽然移除了模块中的retimer芯片, 但是在host端将会消耗更多的能量用以补偿全链路的插损,并不会带来系统功耗的降低,大佬不看好LPO模块。具体细节,在上一篇笔记中已经论述,这里不再赘述了。
3. Turn off the lights if you are not in a room
这个观点也是通俗易懂,离开房间就关掉灯,等红绿灯时发动机熄火。对应于互联系统,如果链路损耗较低,就自适应地关掉那些不需要的功能,降低功耗,即所谓的power scaling adaptively。DSP中有三个对应的优化方向:1)减少或不激活均衡(equalization)的使用,2)降低信号分辨率,3)降低电源电压。下图中红线为无自适应功能的LR SerDes能效,而绿线对应SerDes功耗可以自适应调整的情况,对比十分明显,优化的空间巨大。当前的ASIC芯片为了兼顾不同场景的使用,都统一采用了相同配置的LR SerDes,没有在这个方向上进行努力。
以上是对Davide大佬报告的简单梳理,大佬的观点非常朴素,但细细品来,又是口有余甘,一针见血,给出了降低SerDes功耗的方向:采用低速率的并行互联方案,提高带宽密度;采用多级互联的方式;开发自适应的SerDes。另外非常重要的一点,我们在做比较分析的时候,需要apple to apple,在同一条件或假设下进行对比。许多貌似合理的结论,可能是在不对等的条件下进行比较得来的,不能拿苹果和橘子进行比较,意义不大。
文章中如果有任何错误和不严谨之处,还望大家不吝指出,欢迎大家留言讨论。
参考文献:1. Davide Tonietto, "The Future of Short Reach Interconnect", ESSCIRC, pp1-8, Sept. 2022
2. Davide Tonietto, "Connecting the Switch to the Fiber: the Energy Efficiency Challenge", OFC 2024