3D内存芯片是通过3D封装技术，将多层DRAM堆叠而成的新型内存，其中混合内存立方体（Hybrid Memory Cube，HMC）和高带宽内存（High Bandwidth Memory，HBM）是两种典型的3D内存技术。
而大模型时代带来的算力需求爆发式增长，使英伟达GPU十分依赖于HBM，因为这种芯片可解决传统冯·诺依曼架构中处理器与内存之间的数据传输问题，在大算力场景几乎无可替代。
但在最近，NEO Semiconductor宣布将开发一款3D X-AI芯片，旨在取代现有HBM芯片并解决数据总线瓶颈。
据了解，单个3D X-AI芯片包含300层3D DRAM单元，内存密度提升8倍，容量为128 Gb，同时还有一层包含8,000个神经元的神经电路，可在3D内存中执行AI处理。据NEO估计，每个芯片可支持高达10 TB/s的AI处理吞吐量，使用12个3D X-AI芯片与HBM封装堆叠可实现120 TB/s的处理吞吐量，从而将性能提高100倍。
根据NEO Semiconductor创始人兼首席执行官Andy Hsu的介绍：“目前的AI芯片架构将数据存储在HBM中，并依靠GPU执行所有计算。这种分离的数据存储和数据处理架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限和功耗非常高。3D X-AI可以在每个HBM芯片中执行AI处理。这可以大大减少HBM和GPU之间传输的数据，从而提高性能并大幅降低功耗。”
简单理解一下，这项技术可以看作是两种技术的结合，采用3D DRAM技术构建HBM的DRAM Die，并在DRAM Die中引入本地处理器，在实现更高容量的同时进行数据的本地处理，来减少需要传输的数据量，从而突破数据总线的瓶颈。
除此以外，目前的AI芯片架构是将数据存储在高带宽的内存中，并通过数据总线将数据传输到GPU执行AI算法，这种架构效率不高，数据总线导致延迟长，功耗高。3D X-AI芯片由于需要传输到GPU进行计算的数据大幅度减少，数据总线的功耗和发热量也会因此而大幅下降，NEO表示，3D X-AI芯片可以实现99%的功耗降低。
最前沿的电子设计资讯
