广告

生成式AI亟需高效专用处理器支持创新

2023-12-11 13:47:23 赵明灿 阅读:
Arm近年来推出的Arm全面计算解决方案、Arm Neoverse、Arm Corstone和SOAFEE等平台,可以帮助生态伙伴提供完整、集成的解决方案,助力客户快速采用并推出自己的解决方案,从而很好地支持生成式AI时代之所需。

人工智能(AI)时代已经到来。AI的关键在于硬件和软件的紧密集成,以及性能和计算能力的提升。然而,在数据需求不断增长和功耗限制愈发具有挑战性的双重因素的影响之下,全球的数据中心与网络基础设施正面临着巨大压力。MMiednc

联网设备和数据量在持续增长,这意味着需要更多的电量与更高的性能。加之摩尔定律的递减,系统级芯片(SoC)设计成本与复杂性持续攀升。因此,业界期待获得高效的专用处理产品,以便进行创新。MMiednc

日前,在Arm Tech Symposia年度技术大会深圳场上,Arm高级副总裁兼基础设施事业部总经理Mohamed Awad告诉记者,“近年来,Arm已转型为一家计算平台公司,在致力于 IP 授权业务的同时,也专注于通过完整且全面的解决方案,为合作伙伴带来选择的灵活性,帮助他们更快地将产品推向市场,让他们能够把更多的时间和精力集中在开发创新的解决方案上,以提供更多的新产品和解决方案,带来差异化。”MMiednc

MMiednc

众所周知,中国是Arm非常重要的市场之一。来自中国市场的创新也是Arm不断发展并在业务上取得成功的原因之一。“我们相信,Arm所提供的基础平台能够赋能生态伙伴持续创新,打造出更卓越的产品和解决方案。”他表示,“在中国,很重要的一点就是通过不断努力来加速创新。正是这样的持续创新的精神,牵引着Arm和我们的生态伙伴一起取得了显著成就,并向市场推出更多新的产品。” MMiednc

如今,中国合作伙伴基于Arm架构芯片的总出货量已累计达300亿颗。仅中国市场的出货量来看,就能平均为地球上的每个人出货近四颗芯片。目前Arm在中国有近400家技术授权客户。此外,Arm也一直通过与安谋科技合作以进一步助力本土合作伙伴。MMiednc

MMiednc

Arm移动、基础设施、物联网,以及汽车领域推出对应的计算平台,可以加速合作伙伴产品上市进程MMiednc

据Mohamed Awad介绍,Arm近年来推出的Arm全面计算解决方案、Arm Neoverse平台、Arm Corstone以及SOAFEE等,都是Arm的计算平台在市场当中得以广泛应用的例证。“这些平台可以帮助Arm向生态伙伴提供一个完整、集成的解决方案,助力客户快速采用并推出他们的解决方案。”他介绍说。MMiednc

同时,Arm仍致力于其IP授权业务。“我们希望能为合作伙伴提供更高的自由度,让他们选择最适合自身的方式进行产品开发——我们既可以为合作伙伴提供一个完整的解决方案,帮助他们快速地将产品推向市场,同时他们也可以选用个别的Arm IP,这一切都可根据他们的需求自由选择。这也是Arm的独特之处。”Mohamed Awad指出。MMiednc

基础设施是Arm独特的亮点之一,能够非常好地诠释Arm的发展,特别是目前针对于人工智能(AI)正在发生的一些变化。“对于Arm来说,我们深信只有创新才能不断推动技术的进步。”Mohamed Awad补充道。MMiednc

MMiednc

基础设施领域传统系统架构MMiednc

如上图所示,在传统的服务器系统架构中,左边是内存,然后内存连接到一个通用的现成CPU,这个CPU又负责管理多个加速器。“这样的传统架构是过去市场上唯一可用的架构,但这个架构的问题在于,这个通用的现成CPU以及加速器之间的接口直接限制了产品最终的性能水平,因为所有的加速器都必须要通过一个CPU访问额外的内存,这样就无法达到内存的一致性,也就意味着加速器的性能无法被充分利用,也就无法很好地支持生成式AI时代的需求。”Mohamed Awad指出。MMiednc

MMiednc

面向新的应用需求基础设施领域出现了现代化的系统架构MMiednc

现在有了现代化的系统架构,以其中一种为例(见上图)。每一个CPU都可以单独和一个加速器相连,会有较强的内存一致性。“借助这样的架构,设计方才能更好地根据用户的实际场景和用例进行CPU设计,从而将加速器的使用效率提到最高。只有具体了解最终用例是什么,并且根据你的使用场景针对性地设计CPU,才能获得更好的效率,才能达到产品最佳的表现性能。在这种情况之下,只有通过这样一个新的架构设计,才能更好地支持未来基础设施的市场需求,包括生成式AI。”Mohamed Awad强调。MMiednc

MMiednc

NVIDIA GH200 Grace Hopper超级芯片采用Arm Neoverse搭配NVIDIA GPU满足AI性能的需求MMiednc

实际上,这个架构正是NVIDIA GH200 Grace Hopper超级芯片所使用的架构。“NVIDIA携手Arm,正是因为希望借助Arm技术带来的灵活性,设计出他们所需要的芯片以进一步优化系统,同时能充分利用Arm强大的软件生态系统。在这样的架构当中,72颗Arm Neoverse核心,加上来自NVIDIA的GPU的组合,其AI性能较基于x86架构的系统提升了10倍。”Mohamed Awad透露。MMiednc

为什么超大规模云服务商如亚马逊云服务(AWS)、阿里巴巴都要做自己的CPU设计,而且都选择和Arm合作呢?其实答案非常简单,通过和Arm合作,他们能够根据自己的用例和基础设施来打造并优化解决方案,Mohamed Awad解释道。MMiednc

MMiednc

超大规模云服务到初创企业,在Arm平台上赋能创新MMiednc

“和NVIDIA的合作让我们深以为傲。与此同时,我们也非常高兴能够和中国本地的厂商合作。可以看到,阿里巴巴的倚天710就是基于Arm Neoverse平台打造的CPU。另外像鸿钧微电子、遇贤微电子以及云豹智能,这三家都是来自中国的本土初创企业,他们都基于Arm平台分别打造服务器SoC解决方案与云计算和数据中心的DPU解决方案。而联想则更多地是将基于Arm架构的解决方案部署到5G领域。所以可以看到,通过携手中国本土的强有力的合作伙伴,我们将在中国进一步地推动Neoverse的发展。”MMiednc

MMiednc

Arm Neoverse计算子系统 (CSS)MMiednc

现在,Arm又推出了进一步的举措来帮助客户加速部署基于Neoverse平台的系统。Arm Neoverse计算子系统(CSS)能够提供完整的子系统,而Arm的合作伙伴可以直接采用,也可按需选用,从而加速产品的上市进程。MMiednc

据了解,相较于独立的IP,CSS将促使Arm生态系统通过更低的成本、更少的风险以及更短的时间,打造出专用芯片。MMiednc

作为Arm Neoverse CSS第一代产品,Arm Neoverse CSS N2集成了Neoverse N2平台,并通过验证配置优化了功耗、性能与面积(PPA)。Neoverse CSS N2可发挥Neoverse N2平台的每瓦性能与效率,基于先进的5nm工艺进行优化,并通过可定制化的计算子系统形式交付给合作伙伴,达到加速上市时间的成效。这将开创全新且更高的创新自由度,既可依现况加以利用,或进行额外的定制,为合作伙伴提供在存储、IO、加速、实体拓扑,及其它领域实现差异化的机会。而这些都是追求工作负载优化的定制芯片解决方案。MMiednc

通过Neoverse CSS,合作伙伴的工程资源将可聚焦于SoC与系统级的创新。在一家合作伙伴的案例中,Neoverse CSS已经助力他们的项目从概念到落实(在超过100个核心的系统上启动Linux)仅耗时13个月。另一家合作伙伴通过Neoverse CSS节省了超过80人/年的工程师时间。同时它还赋能包括AI在内的特定领域专用加速器的集成,并为云原生工作负载带来市场领先的每瓦性能表现。MMiednc

Arm生态系统的独特之处在于驱动定制芯片变革的能力。若要充分利用专用处理带来的效益,所采用的架构必须能提供灵活性,以便进行创新,并实现多样化且差异化的解决方案,同时还要能持续获取强大的软件生态系统。灵活性与专用化一向是Arm的核心宗旨,也是Arm Neoverse的设计理念,这些都与Arm数十年的软件投资以及Arm架构的精心研发相匹配。MMiednc

Arm的合作伙伴利用定制化与标准化之间的独特平衡,完成多项业界创举,包括第一款内存总带宽超过每秒1TB的CPU、第一款配置超过100个核心的CPU,以及第一款引入DDR5与PCIe Gen5技术的CPU。从无线网络到云计算等各个关键行业市场,这些创新正在加速增长势头。MMiednc

Neoverse CSS的推出是Arm的一项技术里程碑,同时也是Arm提供Neoverse平台形式的另一项革新。它借助降低设计成本与加速上市时间,确保更多的合作伙伴能取得定制芯片。Neoverse CSS开启了基础设施领域中定制芯片的新时代,同时也扩展了Arm Neoverse的产品组合,为Arm生态系统提供可信的CSS,协助生态伙伴专注于差异化与创新上。采用Arm Neoverse的设计在过去几年所展现的成效,正在重新定义基础设施;而通过CSS的推出,将有更多的合作伙伴能利用Arm的技术打造定制化的基础设施。MMiednc

“总而言之,通过Neoverse CSS能够帮助我们的合作伙伴进一步降低投资,加速整个生态系统对我们解决方案的可访问性,同时加速合作伙伴产品的上市时间。”Mohamed Awad表示。MMiednc

MMiednc

微软Azure Cobalt 100MMiednc

此外,近期微软发布的Cobalt 100 CPU,就是基于Neoverse CSS设计的。也有中国的合作伙伴正在基于CSS进行开发。MMiednc

MMiednc

Arm全面设计生态项目助力合作伙伴加速基于Neoverse CSS的芯片开发MMiednc

在Neoverse CSS的基础之上,Arm还推出了Arm全面设计(Arm Total Design),进一步结合生态系统的力量,简化定制芯片的开发流程,并且让交付变得更加容易便捷。Arm全面设计目前也进一步提高了Neoverse CSS生态系统中可供合作伙伴使用的可能性,能够帮助合作伙伴进一步加速他们的解决方案开发。这也就意味着,不管是专用集成电路(ASIC)设计公司、IP供应商、EDA工具提供商、代工厂和固件开发厂商,Arm都能进一步支持和帮助他们的产品研发。MMiednc

“我们一直致力于助力合作伙伴加速开发、部署和创新,持续协助我们的合作伙伴构建未来的计算解决方案,从传统的边缘走向基于Arm平台的数据中心,我们助力伙伴进一步加速产品的上市时间,简化开发的流程,并将更多的精力投资在创新上。”Mohamed Awad总结道。MMiednc

责编:Franklin
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
赵明灿
赵明灿是EDN China的产业分析师/技术编辑。他在电子行业拥有10多年的从业经验。在加入ASPENCORE之前,他曾在电源和智能电表等领域担任过4年的工程师。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了