在第二代分布式计算联盟成立的当天,有人问了IBM大中华区科技合作部业务发展总监张思民一个问题:现在到处都听说“联盟”这个词,在中国是不是只有“联盟”才能赚到钱?张思民不假思索地回答:“联盟恰恰是最不赚钱的做法,如果一个联盟有着太明确的赚钱的诉求,那就不是一个成功的联盟。我们赚取的是一种无形的价值,那就是社区的力量、开放的力量,通过倾听各界的声音,从最底层的核心技术做起,进而影响整个产业。”
IBM大中华区科技合作部业务发展总监张思民
VpTednc
说这话的时候是在一场跨界的媒体见面会上。而之所以说跨界,从参会的媒体看,有IT媒体,还有电子行业的媒体。而从受访者来看,几乎囊括了服务器产业各方代表,有芯片厂商、板卡厂商、 IDH(Independent Design House)、ISV(Independent Software Vendors )、服务器厂商、门户网站以及清华大学等专家代表。这么强大的阵容,是要召唤神龙么?一切要从一个真实的案例说起。
一个故事带来的可能性
今年四月份开始,IBM和Xilinx开始探讨更多合作的可能性。双方见面后,IBM讲OpenPOWER,讲CAPI……xilinx讲FPGA,讲可编程……起初,这两个不同世界里的人都觉得云里雾里,互相不懂对方在说什么。当双方都谈到“大数据”这个词的时候,事情忽然有了点眉目。Xilinx亚太区通信业务拓展高级经理梁晓明说了一句话,“要不咱们先演练一把,看看我们能不能用FPGA来解决用户的实际问题。”就这样,Xilinx的FPGA架构师和IBM研究院的人员共同奔赴了中国最大的大数据厂商的上海办公室。梁晓明开门见山地说:“您给我提一个和重复性计算和算法有关的问题,我们来试一试。”于是,这家大数据厂商的创始人兼CTO就真的提出了一个困扰了两年多的难题:Hadoop大数据的每一份数据需要三个备份,由于服务器本身磁盘的成本代表整体成本的60%,因此三个备份的要求带来了居高不下的成本负担;采用擦除码算法可以解决备份问题,即可以实现1.4份备份解决三倍的数据冗余问题,但由此带来鱼和熊掌的选择,即服务器CPU的使用率高达99.9%,这意味着CPU已经没有多余的能力去进行大数据的分析运算了。怎么办?
Xilinx亚太区通信业务拓展高级经理梁晓明
VpTednc
这个尖锐的问题一抛出来,IBM和Xilinx双方的人员开始了一场脑力激荡。他们在白板上写写画画,两个多小时后,告诉该公司的创始人说“看来能解决”。主要思路就是在CPU架构中引入FPGA,由CPU负责通用计算负载,FPGA负责大量的重复运算负载。
之后,IBM和Xilinx联合深圳恒扬科技、无锡中太服务器公司开始了共同研究。最终研发出了PCIe标准规格的NSA系列硬件FPGA加速卡,将它插在服务器中,再用到Hadoop的时候,首先每台机器磁盘的用量就减少了一半,这意味着服务器的成本能够减少30%,而通过一张卡就可以做备份,光这个技术就能够取代10-20个CPU核。此外,这张卡能够在不改变POWER服务器硬件配置、无需额外机架空间、无需额外结构支持、无需额外电源提供、无需额外被动散热的情况下即可简单安装使用,数据可靠性提升3倍,实现了Hadoop在线实时备份,性价比提升3-4倍。
无锡中太工作人员演示将FPGA板卡插入卡槽
VpTednc
IBM要革自己的“命”?
这个故事就是第二代分布式计算联盟成立的背景。
解决了这个真实的案例,IBM和Xilinx开始了新的思考。这样一个事件以前为什么没能发生?服务器和FPGA都是有些年头的行业了,为什么两个成熟的技术需要在经过这么高深的研究之后才能结合到一起?如何让这样的单一事件发生一百次、一千次、一万次,进而解决更多的行业问题?除了单纯的技术难题,还有别的问题吗?
经过了透彻的分析后,他们最终得出了问题的答案,一方面是技术上的障碍,另一方面是生态上的不完善。技术方面主要需要解决FPGA和CAPI的接口问题,因为它们互相识别对方,本身是一个很复杂的编程过程。生态方面则主要来自于双方阵营的开发人员,他们开发的内容和所使用的语言是完全不同的。而一旦解决了语言上的互通问题,未来在解决问题时的效率以及所能解决的问题数量上将会是非常惊人的。
显而易见,根源就在于能否很好地解决沟通问题。而最好的渠道和途径就是——成立联盟,打通技术上的壁垒,克服沟通障碍。
据张思民透露,IBM在两年前已经有一个非常重要的决定,那就是把各个领域的技术在中国开放。他们看到了整个IT行业数据运算正面临着很多新的机会,对IBM来说,优势在于处理大量的数据以及复杂的环境之下有很好的解决方案。但是,面对完全不同于以往的未来,要通过跟合作伙伴从芯片到不同技术层面的合作,用开放的态度才能引领整个IT行业的发展。由此,IBM决定在中国全面开放POWER芯片架构。
目前,苏州中晟宏芯公司已经基于POWER架构,研发出了第一款芯片CP1(CP=China POWER),CP1拥有50亿晶体管,22nm生产工艺,芯片面积650mm2 ,4GHz主频,最高12核心96线程,全代码透明可控。而基于CP1芯片,无锡中太发布了RedPOWER双路“全国产服务器”,特征是高线程、高主频、高带宽,能够实现2路192线程。
面对这些成果,IBM表示,他们的初衷很简单,就是希望全面开放POWER芯片技术,让中国IT产业可以享受到开放的好处。不仅如此,IBM还承诺协助建立中国本土产业链,从芯片、CPU到服务器再到中国制造。
“无利不成商”,是市场规律使然。说到这里,也许你会问,IBM此举,究竟对自己有什么好处?答案其实是显而易见的,IBM赢得了本土的POWER架构的人才,本土的产业链力量,以及与中国政府的紧密合作。
也有人问用一台服务器加一个FPGA加速卡就可以替代传统的30台服务器,IBM就不担心影响服务器的销售吗?张思民斩钉截铁地回答:肯定不会担心。摆在面前的首要难题是摩尔定律已经快走到了极限,半导体技术的性价比难以持续增长,因此不能再依赖于通过半导体技术的增长来使系统更快、更强,而是需要从硬件、操作系统、设备应用等各个角度去考虑,来寻求更好的解决方案。张思民表示,现在移动互联网在中国蓬勃发展,如果再来一波物联网的大潮,当万物互联、任何一个东西都是网络入口的时候,那个时候可能已经不需要机房,也就卖不了服务器了。因此现阶段所要解决的不是卖服务器的问题,而是要解决如何让服务器基础架构跟上大数据的增长量。业界都在找这个突破口,如果IBM找不到,别人早晚也会找到,IBM自己不革命,未来就会被别人革了命。
【分页导航】VpTednc
第2页:如何解决FPGA与CAPI的接口问题?VpTednc
《电子技术设计》网站版权所有,谢绝转载
{pagination}
如何解决FPGA与CAPI的接口问题?
CAPI(Coherent Accelerator Processor Interface,一致性加速器接口),是IBM宣称将POWER开放的一个重要标志。CAPI只是一个协议的名称,物理连接依托于PCIe 3.0总线,关键组件通过它具备直接访问CPU的内存空间(一致性) 的能力,从而大大提高了外设的运行效率,为系统总体表现“加速”。比如通过CAPI协议可以让外置的闪存PCIe卡的系统开销大幅度降低,减少了不必要的总线占用,根据IBM的内部测试,非数据传输的总线开销(指令传送与响应)可降低50倍,对降低延迟有明显好处。而这一接口,也为POWER的开放硬件平台提供了基础。
它降低了操作系统与设备驱动的系统开销,并打开了系统软件、中间件与企业应用的开发想象空间。通过CAPI,可以借助相应的ASIC或FPGA芯片进行相关算法与事务处理的定向加速。
那么,CAPI是如何进行工作的?
图1 系统的总体框图
VpTednc
当计算机系统从单CPU系统进化到多CPU系统的时候,它的性能功耗比其实是在不断下降的。为了提升硬件处理能力,一个解决方案就是在CPU核上开辟多个硬件的线程,用这些线程来提高它的处理能力。传统上GPU或FPGA都是以I/O设备的形式挂载在系统上,要使用这些I/O设备,就需要更多的技能,比如编程人员需要学习一些硬件的知识,需要懂得I/O设备的驱动,同时由于它们是I/O设备,没有和CPU共享内存,因此需要内核代码帮助他们做数据传输。
CAPI可以使得FPGA连接到这个系统上,通过将FPGA内嵌处理逻辑,可以使得FPGA硬件和CPU上的软件共享虚拟的地址空间。CPU上的线程会产生数据,同时也会产生一个任务队列,在这个队列中可以定义指导FPGA上的硬件对这些数据进行操作。通过调用CPU上的软件,可以触发FPGA硬件去任务队列中获取任务描述,然后FPGA通过共享的存储空间来读取内存上的数据,并产生结果,而这些结果和数据都是可以被CPU上的软件直接访问的。
使用CAPI的好处在于FPGA的软件开发者不需要再去了解具体的硬件是如何工作的,FPGA在一个协处理器的模式下共享内存。
这样带来的提升也是显而易见的,通过异构形式引入FPGA或GPU等,也是近年来产业的转型方向。在整个系统中消除软件与硬件之间的距离,使得系统能够软硬兼施、互相融合,对整体系统的性能乃至整个行业都会有更大的促进。
IBM中国研究院副院长邵凌表示,即使有了FPGA卡,有了成熟的服务器,但要真正发挥效能,对众多的开发者来说,也是一件非常困难的事情,因为还有大量的安装、学习工作。如何能让这种结合用更低的成本、更便捷的方式来实现,是第二代分布式计算联盟首要考虑的问题之一。
IBM中国研究院副院长邵凌、IBM杰出工程师
VpTednc
粗略统计,中国当前有五万名FPGA开发人员,四五百万名JAVA、C++的开发人员。FPGA开发人员也许不是很清楚那四五百万人想要什么;反过来,这四五百万名开发人员天天面向应用层面的需求,也不见得了解最先进的FPGA技术。
为了打通他们的沟通障碍,加强FPGA独立开发商以及相关行业ISV之间的更好协作,第二代分布式计算联盟推出了CAPI FPGA应用加速商城。该商城建立于IBM中国研究院打造的SuperVessel云平台上。SuperVessel云平台将为CAPI FPGA应用加速方案提供高隔离性、高稳定安全的云端开发和测试环境,能够帮助ISV更充分利用OpenPOWER先进的硬件架构,更方便快捷地进行FPGA应用加速方案的设计、编程和构建。这个商城从理念上讲类似于苹果的APP Store,基于这样一个模式,能够帮助不同技术层面的人群在一个环境中,更好的解决需求,共同创新。
分布式计算架构对抗x86平台,你看好吗?
服务器的竞争态势到现在已经很明朗了。其实早于Intel重金买入Altera之前,业界已经开始了类似这样的讨论。人们所担心的是,在最终系统以下的各个层面,英特尔开始逐渐收紧、亲力亲为,这将会使得相关的组件厂商日子越来越难过。的确,Intel近年来不断向CPU以外的关键组件领域渗透,比如以太网、InfiniBand、加速器、闪存PCIe卡与SSD等等,不断地将外围的组件向CPU整合。这无疑在系统平台层面,给相关的组件厂商带来了巨大的压力。而花费重金买入Altera更是给业界敲响了一记警钟,人们担心FPGA与至强平台的融合或紧密协同的设计,只是时间的问题。这样一来,更多的话语权只会掌握在一家公司的手中,创新,也只是一家公司来主导。
IBM与Xilinx正是在联合那些不愿被Intel绑住手脚的人。
深圳市恒扬科技股份有限公司总经理李浩,是一名有着16年FPGA开发经验的老工程师。用他的话来说,这些年一直有一个苦恼就是从事的是别人不知道的、看不清楚的行业。这样一个阳春白雪的领域,借助第二代分布式计算联盟正在被越来越多的人所了解,他们也得到了更多的机会。
深圳市恒扬科技股份有限公司总经理李浩
VpTednc
无锡中太服务器有限公司董事长王雪松这样看待第二代分布式计算未来的趋势:首先是硬件集成软件,未来的软硬件在系统层面的结合将越来越紧密;其次,这样一个开放式的联盟首先在中国落地生根,未来将很有可能打破由国际到国内的惯例,反过来影响美国的技术标准联盟。作为一名从业多年的老技术人员,身处洗牌时代,他个人感觉很兴奋。
无锡中太服务器有限公司董事长王雪松
VpTednc
在FPGA行业,有着成熟的FPGA独立开发商(IDH,Independent Design House)的联盟,致力于加速方案的开发。同时,在软件行业,也有相当规模的行业ISV(独立软件开发商)正在寻找能够大幅度提升性能的产品和方案,以便应对在物联网、移动互联、云计算、大数据分析时代迅速增长的数据以及计算需求。恒扬科技和无锡中太只是产业链中的两个缩影,而类似他们的、有这样心愿的厂商还有很多很多。
IBM这次做了一件很聪明的事,可以说是集天下之力来对抗x86。但是,很难评价孰是孰非。毕竟Intel在二十多年前进军数据中心市场时,以开放、标准化的x86架构,吸引了众多的服务器厂商与ISV的支持。历经多年的发展,x86服务器的种类越来越多,快速跟上了用户多样化的需求,也正是由于在CPU周边的不断延伸,Intel做了很多系统内部的工作,大大降低了许多服务器OEM/ODM厂商的设计难度与成本,并对“Time to Market”产生了很大的影响。也正是经历了这些年的竞争,Intel才成就了今天的市场地位——在服务器芯片市场占有率高达95%。
IBM用第二代分布式计算联盟来对抗x86,着实还有很长的路需要跋涉。且让我引用一位参会者的原话作为本文的结束,她说道:“我个人感觉,无论是IBM OpenPOWER开放力量的理想,还是参会企业代表的演进,都透露着一种激情,一种自豪感,还有一种豪情,一项面向巨大网络用户的技术,一个无法预估的应用蓝海,一股从中国到世界的影响力。”
未来,谁知道呢?
《电子技术设计》网站版权所有,谢绝转载