本来发布会的第二部分是 FSD,但那部分过于硬核,我决定先让大家看点激动人心的数字。 去年 DOJO 惊艳全世界,但遗憾的是有太多细节未公布。D1 芯片是怎么组成 EXA POD 超算系统的?理论性能爆炸,能代表实际应用吗? 这部分,特斯拉举了大量的数据,证明自己已经是计算领域的新巨头。 首先是散热。 先别发问号,超算平台的散热,一直是衡量超算制造者系统工程能力的重要维度。比如谷歌、华为、英伟达在公布自家方案的时候,都会花大篇幅讲散热。 DOJO POD 的散热可以用两个词概括:高集成度、高自研率。 特斯拉在 DOJO POD 上使用了全自研的 VRM(电压调节模组),单个 VRM 模组可以在不足 25 美分硬币面积的电路上,提供超过 1000A 的电流。 高集成度带来的问题,是热膨胀系数 CTE。DOJO 堪称极限的体积集成率和发热,意味着 CTE 稍微失控,都会对系统结构造成巨大破坏(也就是会撑爆)。 为此,这套自研 VRM 在过去两年内迭代了 14 个版本,最终才完全符合特斯拉对 CTE 指标的要求。 目前 DOJO POD 已经进入负载测试阶段——单机柜 2.2MW 的负载,相当于 6 台 Model Y 双电机全力输出。 解决了散热,才有资格说集成度。 一个 DOJO POD 机柜由两层计算托盘和存储系统组成。每一层托盘都有 6 个 D1 Tile 计算「瓦片」——两层 12 片 组成的一个机柜,就可以提供 108PFLOPS 算力的深度学习性能。 对了,DOJO POD 的供电模组也是 52V 电压的,Optimus 母亲实锤了。 每层托盘都连接着超高速存储系统:640GB 运行内存可以提供超过 18TB 每秒的运算带宽,另外还有超过 1TB 每秒的网络交换。 为了适配训练软件以及运营/维护,每个托盘还配备了专属的管理计算中心。 最终,可以提供 1.1E 算力、13TB 运存、1.3TB 缓存的 EXA POD,将于 2023 年 Q1,正式量产——这也是今天发布会唯一一个有确定日期的特斯拉产品。 意大利炮有了,能不能轰下县城? 特斯拉表示,配合专属的编译器,DOJO 的训练延迟,最低可以做到同等规模 GPU 的 1/50! 最终,特斯拉的目标是到 2023 年 Q1 量产时,DOJO 可以实现相比英伟达 A100,最高 4.4 倍的单芯片训练速度——甚至能耗和成本都更低。
文章来到这里,大家的手指应该已经划了很多次屏幕。这也说明,看到这里依然兴致勃勃的你,一定是特斯拉老粉——那就聊点更无聊、更硬核的吧。 篇幅有限,本届 AI Day 关于 FSD 的进展,我们只聊三个点:Occupancy Network、Training Optimization、Lanes。
1. Occupancy Network
先聊一个概念:矢量图。做设计的朋友一定很熟悉,这是一种精度(分辨率)可以做到无限,但占用存储空间很小的数字绘图。 Occupancy Network,就是将 3D 向量数据绘制成矢量图的、 2019 年开始兴起的一种三维重建表达方法。 有意思的是,特斯拉用了最 Occupancy Network 的方式,表达他们对 Occupancy Network 的应用:网格(方块)化的 3D 模拟。 其实 FSD 眼中的世界并不是这样 Minecraft 化的,但 Occupancy Network 的本质特征,就是用“决策边界”描绘“物体边缘”。 尽管 Occupancy Network 效率很高,但实际训练规模依然足够可观。目前特斯拉公布的数据是超过 14.4 亿帧视频数据,需要超过 10 万个 GPU 训练小时,实际视频缓存超过 30PB——而且全程 90℃ 满负载。 2.因此,Training Optimization 训练优化尤为重要
去年 Andrej 公布了特斯拉的千人 in-house 标注团队,今年特斯拉的重点,则在于优化自动标注流程。 大概总结一下就是,优化过后,训练时视频帧选取会更智能,同时大幅度减少选取的视频帧数量——可以提高 30% 的训练速度。 另外视频模型训练时 smol 异步库文件体积可以缩小 11%,所需的读取次数足足缩小到 1/4...最终这套优化流程让特斯拉的 Occupancy Network 训练效率提升了 2.3 倍。
3. 最后聊聊车道线 Lanes
从 FSD Beta 10.12 开始,几乎每一版更新,车道线和无保护左转,都是更新日志的第一条。 为了更准确高效应对车道线,特斯拉这次编了一套“属于车道的语言”。其中包括车道级别的地理几何学和拓扑几何学、车道导航、公交车道计算、多乘员车辆车道计算等等。 最终这套“车道的语言”,可以在小于 10 毫秒的延迟内,思考超过 7500 万个可能影响车辆决策的因素——而且 FSD 硬件学会这套语言的代价(功耗),还不足 8W。
写到这里,我真的很头疼。 一方面是我们大部分人,都不是这届 AI Day 的对象——马斯克眼里只有招聘。另一方面,是现在一家汽车公司的发布会,对知识面要求实在太高了。 还是说回马斯克吧,40 年前的他,还是个每天会看 10 个小时科幻小说的小孩子,沉醉于《银河系漫游指南》、《基地》、《严厉的月亮》等等。 但正是这些科幻小说,培养了马斯克冰冷却又宏大的事业观。他会跟你说人类社会生产力的效率可以扩大到无限,他会跟你说人口是维系文明的最重要因素。 所以,当我们把 52 岁的马斯克和 12 岁的马斯克放在一起,你会发现他俩依然在本质上是同一个人。 也正因如此,你看到他如今几乎涉猎了科幻小说所有最热门题材的商业帝国,才会觉得“哦,那很正常”。 希望明年我们能看到更接近现实的马斯克童梦吧。