在Google I / O 2021上，Google正式宣布了其第四代张量处理单元（TPU）。
该公司声称可以在接近记录的时间内完成AI和机器学习训练工作量。谷歌表示，在对象检测，图像分类，自然语言处理，机器翻译和推荐基准等工作负载方面，TPUv4集群可以超越上一代TPU。
据介绍，TPUv4芯片提供的矩阵乘法TFLOP是第三代TPU（TPUv3）的两倍以上，其中一个TFLOP相当于每秒1万亿个浮点运算。矩阵通常用于表示输入到AI模型的数据。
它还提供了“显着”的内存带宽提升，同时受益于互连技术的未指定进步。谷歌表示，总体而言，在相同的64芯片规模下，不考虑软件带来的改善，TPUv4的性能平均要比TPUv3提升2.7倍。
据Google介绍，TPUv4集群（即“ pod”）共有4,096个芯片，互连的带宽是大多数其他网络技术的10倍。这使TPUv4 Pod可以提供超过exaflop的计算能力，这相当于大约1000万台平均性能达到峰值的笔记本电脑处理器。
"这是我们在Google部署过的最快的系统，对我们来说是历史性的里程碑，"皮查伊说。"以前要想获得1个exaflop的算力，通常需要建立一个定制的超级计算机，但我们今天已经部署了许多这样的计算机，很快就会在我们的数据中心有几十个TPUv4 pods，其中许多将以90%或接近90%的无碳能源运行。而我们的TPUv4 pods将在今年晚些时候提供给我们的云客户"。
今年的MLPerf结果表明，谷歌的第四代TPU不容小觑。
在涉及使用ImageNet数据集对算法（ResNet-50 v1.5）进行至少75.90％的准确度训练的图像分类任务中，谷歌全新TPU在1.82分钟内完成了256个。这几乎与768个Nvidia A100图形卡，192个AMD Epyc 7742 CPU内核（1.06分钟）以及512个华为AI优化的Ascend910芯片与128个Intel Xeon Platinum 8168内核（1.56分钟）组合在一起的速度一样快。
当负责在大型维基百科语料库上训练BERT模型时，第四代TPU的得分也很高。
使用256个第四代TPU进行培训需要1.82分钟，仅比使用4,096个第三代TPU进行培训所需的0.39分钟稍慢。
同时，使用Nvidia硬件要达到0.81分钟的培训时间，需要2,048张A100卡和512个AMD Epyc 7742 CPU内核。
TPU是Google的第一批定制芯片之一，当包括微软在内的其他公司决定为其机器学习服务采用更灵活的FPGA时，Google很早就在这些定制芯片上下了赌注，2016年首次被谷歌公开承认。
虽然它们的开发时间稍长，而且随着技术的变化很快就会过时，但用于特定场景的运算时可以提供明显更好的性能。
谷歌表示，从今年晚些时候开始，云客户将可以使用TPUv4 pod。
最前沿的电子设计资讯
