据@SawyerMerritt称,特斯拉已于美国时间周一推出备受期待的超级计算机 。该机器将用于各种人工智能(AI)应用,但该集群功能非常强大,也可用于要求苛刻的高性能计算(HPC)工作负载。据称,基于 Nvidia H100 的超级计算机将成为世界上最强大的机器之一。
特斯拉的新集群将采用10,000个Nvidia H100计算GPU,这将为技术计算提供340 FP64 PFLOPS的峰值性能,为人工智能应用提供39.58 INT8 ExaFLOPS的峰值性能。事实上,特斯拉的340 FP64 PFLOPS高于世界第四高性能超级计算机Leonardo提供的304 FP64 PFLOPS。
据@SawyerMerritt 介绍,H100 GPU这款售价约4万美元的GPU于 2022年末推出。比A100快30倍,AI训练速度快9倍。H100专为视频训练(FSD视频)等图形密集型工作负载而设计,并且易于扩展:
• 18,432个CUDA核心
• 640个张量核心
• 80个流式多处理器 (SM)
•与 A100 相比,高性能计算速度快 5 倍以上。
凭借其新型超级计算机,特斯拉正在显着增强其计算能力,以比以往更快的速度训练其全自动驾驶(FSD)技术。这不仅可以使特斯拉比其他汽车制造商更具竞争力,而且将使该公司成为世界上最快的超级计算机之一的所有者。
(图片来源:@SawyerMerritt/Twitter)
虽然这些新的H100 GPU将使Tesla能够比以往更快更好地训练 FSD,但 NVIDIA无法满足GPU需求。因此,特斯拉斥资超过 10 亿美元建造了自己的超级计算机,名为 Dojo。它使用该公司的超优化定制设计芯片。特斯拉不仅仅是一家汽车公司。
Dojo 不仅将加速 FSD 训练,还将管理特斯拉整个车队的数据处理。特斯拉同时将其 Nvidia H100 GPU 集群与 Dojo 一起上线,此举将为该公司在汽车行业提供无与伦比的计算能力。
埃隆·马斯克 (Elon Musk) 最近透露,特斯拉计划在 2023 年投入超过 20 亿美元用于人工智能培训,并在 2024 年再投入 20 亿美元专门用于 FSD 培训的计算。这凸显了特斯拉致力于克服计算瓶颈的承诺,并且应该比其竞争对手提供巨大的优势。