在今年Hot Chips的活动中，三星展示了新的人工智能技术内存生态系统集成解决方案——HBM-PIM系统。该组合使用Xilinx Alveo AI 加速器系统，该系统声称可将整体系统性能提高 2.5 倍于标准速率，同时降低 70% 的能耗。
图： Xilinx 的 Alveo AI 加速器。
PIM 本身并不是一项新技术，但它以前只是作为学术界和工业界的一个高级概念进行了探索。PIM 的工作原理是集成计算和内存，使具有逻辑的内存设备能够在本地对数据执行计算，这是通常为 CPU、GPU 和 NPU 等高性能逻辑设备保留的任务。在本地对数据执行计算的能力最大限度地减少了延迟，提高了处理速度，并提高了能源效率。
三星通过在 HBM 设备中集成称为可编程计算单元 (PCU) 的 AI 引擎，首次在 HBM 中实现了 PIM 概念。
更快的速率和更少的能源消耗的这些好处对于人工智能应用来说是必不可少的。AI 算法和应用程序面临的一些问题来自大量数据，而当前的存储设备没有足够的容量或带宽来满足这些要求。
如果系统无法处理所有输入的数据，则存储系统的计算性能将受到影响。三星集成 PIM 的计划应该允许在存储设备中本地保留和处理一些数据，从而减少数据流。
数据处理在 AI 应用程序中至关重要，需要像 HBM-PIM 这样重新设计的存储设备来引入由 AI 加速器引擎支持的计算逻辑。（图片来源：三星）
PIM 的功能从集成计算和内存开始，使内存设备能够在本地执行任何操作。
使用 PIM，三星可以消除对通常执行 CPU、GPU 和 NPU 等计算的行业标准逻辑设备和内存解决方案的需求。这种内存解决方案不仅节省了系统的占用空间，而且最大限度地减少了延迟，提高了处理速度，并提高了整体能源效率。
三星不仅介绍了 HBM-PIM 背后的想法和研究，还分享了新设备，这些设备将结合基于人工智能的功能，以增强超级计算机和算法中的高速数据处理。
三星预期的设备之一 Aquabolt-XL 具有人工智能引擎，称为可编程计算单元 (PCU)，位于融合的 HBM 设备中。 （延申阅读：三星如何给内存加上AI？ ）
对于大型数据集，计算和受内存限制的 AI 应用程序所需的容量和带宽增加是需要 HBM-PIM 的原因，三星将 PIM 纳入其中以增强 HBM 的功能。
Aquabolt-XL 采用 PCU，可在存储系统内核中实现并行处理。通过添加 HBM 设备，整个架构非常稳健，并且能够满足高数据流量的需求。
HBM 是通过将DRAM裸片堆叠在彼此之上并实现对每个 DRAM 裸片的并行访问来构建的。HBM 的高度内部并行性对整个过程至关重要。
与单独使用 HBM 相比，涉及语音识别的 AI 应用程序的性能提高了 2 倍，这要归功于 HBM-PIM。由于 DRAM 芯片内部发生的计算量相同，因此消除了与移动数据相关的 IO 流量，从而降低了功耗。
图：AXDIMM 是一种 CPU 内存数据移动，可避免系统中发生瓶颈，使用 PIM 将有助于该平台。
三星宣布的第二款产品是其加速 DIMM (AXDIMM)，它支持 DRAM 模块侧的处理，最大限度地减少 CPU 和 DRAM 之间的大量数据移动。
这种数据移动的最小化可以提高所有 AI 加速器系统的能源效率。从本质上讲，该芯片充当缓冲区，其中包含一个 AI 引擎。AXDIMM 可以并行处理多个内存列（一组 DRAM 芯片），而不是一次访问一个列。总的来说，这个模块听起来很有前途，因为它可以保留传统的 DIMM 形式，而 AXDIMM 成为不需要系统修改的直接替代品。
与双倍统计数据保持一致，三星的 AXDIMM 在基于 AI 的应用程序中提供两倍的性能，同时将整个系统的能耗降低 40%。
易于集成可能会为 PIM 打开许多大门，PIM 可以应用于许多不同的内存技术，例如 LPDDR 和 GDDR 以及 HBM，而无需从根本上改变或抛弃现有的内存生态系统。（延申阅读：三星想把PIM用于HBM之外的领域）
预计三星将在 2022 年扩展其 AI 内存产品组合，包括所有 PIM 技术。三星计划继续与其他半导体领导者合作，完成 PIM 平台的标准化，推出基于人工智能的解决方案，用于需要处理大量数据的医疗保健、语音识别和自动驾驶。
最前沿的电子设计资讯
