广告

生成式人工智能限制-CoWoS

2023-09-01 汽车电子设计 阅读:
《AI Capacity Constraints - CoWoS and HBM Supply Chain》一文涉及两个核心要点,CoWoS和HBM,我们将分别从两个点来看目前AI算卡的限制。

 mEuednc

这是下半部分CoWoS。mEuednc

真正的瓶颈 - CoWoS mEuednc

AI算卡的真正瓶颈是CoWoS容量,CoWoS(晶片封装在晶圆上)是台积电的一种“2.5D”封装技术,多个活动硅晶片(通常配置为逻辑和HBM堆栈)集成在被动硅插板上。mEuednc

mEuednc

插板充当了顶部活动晶片的通信层,插板和活动硅然后附在一个包装基板上,其中包含将放置在系统PCB上的I/OmEuednc

mEuednc

HBM和CoWoS是互补的,HBM的高垫片数和短距离跟踪的要求需要2.5D高级封装技术(CoWoS),以实现如此密集、短距离的连接,这是不可能在PCB甚至包装基板上完成的。mEuednc

mEuednc

CoWoS是提供最高互连密度和最大封装尺寸的主流封装技术,成本也相对合理。由于几乎所有HBM系统都使用CoWoS进行封装,所有先进的AI加速器都使用HBM,因此几乎所有领先的数据中心GPU都由台积电在CoWoS上封装。mEuednc

mEuednc

CoWoS是目前高性能计算领域唯一选择,即使HBM缺货的情况得以缓解,制约H100 GPU的真正因素仍然是CoWoS容量。CoWoS是一项非常复杂的制造工艺,涉及将多个芯片以精确的方式堆叠在一起,并要求极高的制造精度。全球只有少数几家公司能够提供CoWoS封装,台积电是最大的提供商之一。英伟达已经开始了H100 GPU的生产,但CoWoS容量限制了它们能够生产的数量。英伟达计划每季度出货超过40万个H100 GPU,但由于CoWoS容量的限制,可能无法达到这个目标。除了英伟达,其他公司也在竞相获取CoWoS容量。mEuednc

mEuednc

谷歌的TPUv6(也许也是v7)已经在生产中,也使用了台积电的CoWoS技术。谷歌的TPU产品线主要用于云计算,而不是个人PC。这使得TPU在PC市场上的供应量相对较小,不太可能对英伟达的GPU产量构成威胁。由于CoWoS容量的稀缺性,一些公司正在考虑开发自己的CoWoS封装技术,以减轻制约。mEuednc

GPU和HBM的生产瓶颈主要是由于CoWoS封装容量的限制。尽管TSMC和其他半导体制造商可以提供足够多的晶圆供应和HBM供应,但CoWoS技术的有限供应限制了GPU的实际生产能力。随着更多的公司考虑开发自己的CoWoS能力,未来可能会有一些改善,但这需要时间和投资。mEuednc

责编:Ricardo
文章来源及版权属于汽车电子设计,EDN电子技术设计仅作转载分享,对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。如有疑问,请联系Demi.xia@aspencore.com
汽车电子设计
博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结,以作为技术交流和沟通的桥梁。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了