硬件性能正在被浪费？新框架能让现有计算机速度翻倍

当今的计算机设备越来越多地开始使用GPU、人工智能(AI)和机器学习(ML)硬件加速器或数字信号处理单元，这在一定程度上能提高计算机的性能，但由于这些组件只能分别处理信息，依次地将信息从一个处理单元移动到下一个处理单元，实际上对硬件的性能产生了巨大的浪费。36Lednc

最近，加利福尼亚大学河滨分校的研究团队通过引入同时和异构多线程(SHMT)框架，可以同时利用ARM多核处理器、英伟达GPU和谷歌张量处理器(Google TPU)等硬件加速器，在不额外增加新的处理器的情况下，让系统实现速度的大幅提升和和能耗的显著降低。36Lednc

传统的编程和执行模型只能将代码区域专门委托给一种处理器进行处理，而其他计算资源闲置，SHMT则不同，SHMT可以将同一函数的计算分解为多种类型的计算资源，并利用异构硬件同时并行处理。36Lednc

36Lednc

不同的执行模型：(a)传统异构计算机(b)具有软件流水线的传统异构计算机(c)SHMT36Lednc

为了达成这种效果，研究团队做出了多方面的努力：36Lednc

• 首先SHMT定义了一组可扩展的独立于硬件的虚拟操作(VOP)，允许异构硬件作为中间体与SHMT软件进行交互，从而促进任务匹配和分配，来解决描述和划分不同计算资源上的等效操作和数据的难题。
• 其次，SHMT提出了一个运行时系统，可以动态调整各种硬件单元上的工作负载，以最大限度地提高硬件效率，同时又让调度策略具有灵活性。
• 最后，SHMT提出了一种同时考虑结果和性能的低开销调度策略，用以平衡不同硬件之间格式、精度等方面的差异，在获得需要的结果的同时，又不产生过大的开销。

36Lednc

SHMT概述36Lednc

研究团队使用NVIDIA的Jetson Nano和Google的Edge TPU构建了一个示例性SHMT原型，之所以选定该系统平台进行测试，是因为其处理能力以及可用的处理器和加速器类型类似于现代智能手机或移动设备的硬件组件，可以更好的评估SHMT的真实性能。同时，Maxwell GPU和Edge TPU之间的计算能力比率与数据中心服务器上的计算能力比率相似，因此可用于评估SHMT在云服务器上的相对性能，该平台具体配置如下：36Lednc

• Cortex-A57 ARM处理器
• 4GB 64位 LPDDR4 DRAM
• 128核Maxwell NVIDIA GPU
• M.2 Accelerator A+E key Edge TPU

36Lednc

SHMT原型平台36Lednc

测试结果显示，与计算速度最快的加速器的情况相比，SHMT实现了1.95倍的加速，并且由于SHMT利用低功耗硬件加速器与GPU一起辅助程序执行，因此降低了51.0%的能耗。36Lednc

事实上，现代计算机系统已经是异构形式的，由多种类型的硬件架构组成，但是传统的执行模型通常未能充分利用好这些硬件设备，若能够将SHMT框架拓展到更多的设备上，将大幅提高现有设备的性能，并且不会增加额外的硬件成本。36Lednc