自2012年以来,训练模型以每年10倍的速度增长,尤其在过去一年多的时间里,随着生成式人工智能应用的推广普及,数据呈现爆炸式增长,超级连接技术使得数据交流无处不在,在这一进程中,数据的收集、加速和处理运算都离不开内存与存储技术的支持。
数据预测揭示,存储器市场的规模在2023年有望达到约5400亿美金。进入2024年,该市场预计将实现30%至40%的显著增长。这一增长的主要驱动力是DRAM(易失性存储器)和NAND flash(非易失性存储器)的强劲需求,同时智能设备、手机服务器、人工智能服务器以及汽车电子领域对高性能和低功耗存储器的旺盛需求也起到了关键性作用。
而无论是DRAM还是NAND flash,美光的市占率和技术含量都占据着非常重要的地位。
众所周知,DRAM一直是美光最大的收入来源,占比达到7成以上。据美光日前公布的2024财年Q2业绩显示,其DRAM以及NAND flash业绩双双增长.
(图源:美光 10-Q:季度报表)
业绩预期方面,美光预计在HBM强劲需求驱动之下,第三财季营收区间将达到64亿美元至68亿美元,意味着同比激增70%到81%,其中,美光HBM(高带宽内存)产品的收入将对公司DRAM存储器业务和整体毛利率产生积极影响,HBM有望2024财年带给公司数亿美元收入。
据美光企业副总裁暨存储部门总经理 Jeremy Werner透露,英伟达的H200 Tensor Core GPU将采用美光8层堆叠的24GB 容量HBM3E内存,在未来也会得到美光产品解决方案的支持,并于2024 年第二季度开始出货。
而美光HBM3E产品的“供不应求”也得益于其技术的先进优势。
HBM 是一种高性能存储半导体,通过使用硅通孔 (TSV) 垂直堆叠多个 DRAM(动态随机存取存储器)芯片,显着提高数据处理速度。它最大限度地提高了带宽(输入和输出数据的路径),促进高速并行操作。与传统DRAM采用有限品种的大规模生产模式不同,HBM是一种通过与客户合作创建的“定制存储器”。因此,HBM的竞争优势不仅在于高效制造和堆叠DRAM,还在于针对每个处理器量身定制的优化。
2023年9月,美光利用其 1β(1-beta)技术、先进的硅通孔(TSV)和其他实现差异化封装解决方案的创新技术开发出业界领先的HBM3E设计。
2024年2月26日,美光宣布开始量产其HBM3E高带宽内存解决方案。
美光上月公布,已开始量产HBM3E,美光HBM3E 模块基于8个堆叠 24Gbit 存储芯片,高于上一代HBM 3的16GB,HBM3E数据速率超过 9.2Gb/s,可提供超过1.2TB/秒的内存带宽,比目前最快的 HBM3 模块提高了 44%,功耗比竞争对手产品低30%,Jerem表示:“降下来的功耗能够更好地实现我们在那些高速运作状态下GPU的工作,确保我们在未来能够支持更为复杂的AI流程。”
与此同时,美光计划于2024年推出超大容量基于12个堆叠 36Gbit 存储芯片。
据Jeremy Werner透露HBM3E技术目前在美光处于核心地位,这也进一步验证HBM已成为美光科技目前最赚钱的产品之一。
除此之外,CXL的潜力也不容小觑。
众所周知,与传统接口相比,CXL的DRAM模块最大的优势,就是强大的内存扩展能力,基于 CXL 的大容量内存扩展模块可以更灵活地构建具有更大内存容量和低延迟的服务器,以满足应用工作负载需求。
美光也看到了CXL巨大的潜力。2023年8月,美光在FMS 2023大会上宣布推出首款用于服务器的 CXL 2.0 内存扩展模块的样品,该模块搭载 128 GB 和 256 GB DRAM,并使用 PCIe 5.0 x8 接口连接到 CPU。
Jeremy Werner认为CXL在高性能计算领域发展潜力还很大,尤其是在SSD和DRAM之间的“竞赛”中,CXL还远远没有得到开发和发展。他表示:“CXL以后可以使有些系统只需要使用成本更低、更少socket(比如1-2 SOCKET)的服务器,带来一定的成本节约。”
同时,他也提到了HBM和CXL在推动高性能计算方面的互补性,因为未来HBM的容量会快速增加,也会进一步催生更多的内存和内存相关设备容量的增加,显然也需要更多的本地存储来实现更好的配合。因此他认为CXL在这个方面将会扮演更加重要的角色。
在回到美光业务的第二板块NAND flash领域,Jeremy Werner表示:“美光232层TLC NAND工艺制程业界领先,此外,QLC NAND技术的价格优势也非常明显。”
据公开数据显示,美光采用232层TLC NAND工艺制程的6500 ION SSD为30.72TB容量,有15mm U.3接口规格和19mm E1.L规格。相比同类竞品,它的平均读取延迟降低了34%,顺序写入性能提升了58%,在4KB随机读取方面,IOPS(每秒输入/输出操作数)更是高达62%。更为出色的是,在队列深度(QD)为128时,4KB随机写入的IOPS提升了超过30倍;而在QD为1的情况下,这款SSD在4KB随机写入耐用性(RDWPD)方面也有着显著的提升,达到了10倍以上。
值得一提的是,美光6500 ION SSD采用了CuA架构,并通过使用先进的NAND字符串堆叠技术来实现小型化。这种新技术可以显著降低NAND闪存芯片尺寸,从而帮助降低成本。价格甚至优于竞争对手的 200 层以下 QLC 技术,因此这也是为何美光6500 ION SSD号称有着TLC的性能和QLC的价格。
再谈到QLC NAND技术,就不得不说它极致的性价比了。
Jeremy Werner表示:“美光的QLC已经可以做到非常低的成本,同时不断提升它的容量,并且能在对用户体验不妥协的情况下实现三者更好的平衡与完美结合。”
以最近大热的AI PC举例,Jeremy表示:“从性能的角度来看,我们既要确保设备的功耗维持在极低水平,又要在需要时能够迅速唤醒系统以进行数据的读取和写入。同时,当无需额外输出时,系统也应能迅速切换至睡眠模式或其他待机状态。这些技术要求我们将SSD与硬件、固件实现高效融合。而QLC技术的优势在于,它能够在不损害用户体验的前提下,将容量、性能等方面的诸多优势完美地结合在PC端上,从而为未来AI的发展提供强有力的支持。”
此外,Jeremy Werner还用金字塔结构,强调了美光在数据中心的内存和存储产品部署方面的分层设计理念。
所谓的所谓的分层设计理念就是金字塔状结构图中,顶端层面以DDR5为主的DRAM,在DDR5下一层则是SSD,在两者之间需要CXL进行链接使其相互协作,它的速度肯定要低于DDR5,高于SSD,它的成本比DDR5便宜但高于SSD。
而每一个层级都有它的复杂性,这个复杂性就会使得软件管理出现一定的困难和问题。Jeremy Werner表示:“美光的目标是把其中的每一个层面做得成本更低,同时它的覆盖面会更广。比如在DDR5和机械硬盘HDD之间会有个SSD层,美光则希望将SSD层的产品做大做强,同时做得更便宜,最终可以取代机械硬盘HDD。”
他认为这种理念实现了不同层级间的数据访问效率和成本的优化。
整个访谈过程中,Jeremy多次谈到信任度和可信度,他表示美光的技术能迅速满足市场需要,并且是能够真正意义上帮助到客户的实实在在的技术,但更宝贵的是与美光与客户之间建立的信任感。
无论是从产品端,还是从进一步保护客户的隐私和敏感信息的角度出发,对数据的存储和调用过程中,建立起与客户彼此信任才是最为宝贵的,信任可以建立起可靠性。可靠性包括我们之前提到的许多维度,包括安全性、产品性能、耐用性、服务质量、延迟度、容量和价格等等,这些都很重要,但排在第一位的永远是信任。
最后,Jeremy表示,美光的任务是成为全球领先的创新内存和存储解决方案的提供商。