科学家回归人类大脑的研究,为当今运算技术寻找新的替代方案,这并不是什么新鲜事儿。
CEA-Leti首席科学家Barbara De Salvo指出,自1950年代中期人工智能(AI)初露曙光以来,尽管有许多科学家和工程师对此概念一直十分感兴趣,但有关AI的研究却几经波折。
然而,现在正是认真看待人脑启发技术的时候了。至少,“我们应该体认到目前还有其他的技术典范,将有助于我们提出好的问题。”De Salvo在今年国际固态电路会议(ISSCC)发表专题演讲后接受《EE Times》的访问表示,“如果没有新的运算典范和算法,业界最终将难以达到更严格的功耗要求。”
虽然业界一直在推动嵌入式AI平台,如Movidius的Myriad 2、Mobileye的EyeQ5,以及Nvidia的Xavier;但为了符合以较少功耗在边缘(edge)处理大量分析的终端设备需求,她指出:“我们距离需要达到的这一步还差很远”。
(来源:CEA-Leti)
De Salvo在专题演讲中比较推论阶段的运算效率(GOPS/W)和几种AI芯片的运算性能(GOPS)。
(来源:CEA-Leti)
她指出,在业界的需求和现有解决方案之间仍然存在巨大差距。“没有任何芯片——无论是商用发布、原型、学术界进行设计或开发中的芯片——能够满足低于100μW的功耗要求。”然而,这正是边缘设备需要达到的性能,因为它们必须依靠能量采集或微型电池持续运作多年。
De Salvo说,我们知道人类大脑的重量约为身体的2%,然而,却使用了人体新陈代谢的20%。
在20W时,人类的大脑可以处理1,011个GOPS。De Salvo强调,迄今为止,世界上没有任何处理器的“性能和功率能够比得上人类的大脑”。
De Salvo解释说,这种能效级在人类动物的进化过程中发展了很长的时间,在最大限度发挥大脑功能的同时,也使得能量的使用减至最低。
这正是半导体产业得以从生物学借鉴之处。她表示,传统的运算架构正致力于满足功耗要求,主要是因为“每当处理器和内存通讯时都需要消耗能量。”相形之下,大脑突触在单一架构中包含了内存和运算。她解释说,这种巧妙的技巧为大脑启发的非冯·诺伊曼(non-von Neumann)计算机架构提供了基础。
对于大脑启发的运作原则,其本质在于像棘波编码(spike coding)和棘波时序相关可塑性(spike-timing-dependent plasticity;STDP)等元素。她指出,以系统中编码的神经元状态来看:过去,神经元使用模拟或数值进行编码;而今,神经形态运算的最新趋势是将神经元的值编码为脉冲或棘波。她并解释说:“神经元没有频率,它们纯粹是事件导向的。”
科学界认为棘波编码和STDP具有发展前景。如果以脉冲(棘波)来表示输入/输出讯号,那么输入讯号和突触权重之间的加乘将在突触级时降至闸控作业。在此的目标是经由建置采用异质方案的棘波或基于事件的讯号表示,从而降低功耗。
(来源:CEA-Leti)
这是否就像是Chronocam开发的事件驱动图像处理技术?她回答说:“是的。但是,Chronocam的解决方案针对的是应用于人造视网膜的‘视觉’。而我们的产业使命在于将神经形态原则扩展到超越视觉以外的整个运算领域。”
De Salvo表示,IBM的TrueNorth是神经形态CMOS芯片的理想范例。目前以28nm FD-SOI建置的动态神经形态异质处理器可扩展学习(DynapSEL),则是大规模多核心神经形态处理器的另一个例子。DynapSEL目前是NeuRAM 3欧洲合作研究计划旗下的开发计划之一。
TrueNorth中的神经元以数字方式进行处理,而DynapSEL则是模拟的。然而,这两种芯片都未能有效发挥神经形态系统的全部功能,因为内存并非基于神经形态的运作原理。
科学界正试图让内存接近处理单元,彻底改变传统的内存分层架构,并实现“内存运算”(in-memory computing)。迄今为止,神经形态硬件尚未充份发挥潜力,De Salvo说:“我们需要在神经形态运算中使用超高密度的3D架构”,才能在神经元和突触之间实现最大的连接性和可重配置性。
我们现在已知人脑中有1,000亿个神经元,而像蜜蜂等智慧昆虫在其约1mm立方体大小的脑中则有950,000个神经元。De Salvo指出,在各种昆虫中,蜜蜂的大脑是最大的,她说:“我们已能掌握蜜蜂大脑中的神经元映射,然而,对于人脑内的神经元所知甚少。”
科学家热衷于剖析蜜蜂的大脑,因为“蜜蜂十分聪明。(蜜蜂)有许多传感器,能够透过其导航方式进行觅食,而且知道如何在一个群体进行沟通。要在一个群体中共同生活,蜜蜂必须知道其他蜜蜂的功能。”
蜜蜂有着出色的感测系统,并且具备学习和记忆的能力。他们知道如何整合感官数据——以“传感器融合”(sensor fusion)的方式,做出复杂的决定。
“当然,蜜蜂的大脑很小。但其简化的形式为AI系统提供了很好的范本,”De Salvo说:“它强调需要以系统化的方式进行思考,因为有机体并不会分离传感器和讯号处理。”
十年前,没人能想象到我们如今从AI中看到的突破性进展。
CEA-Leti首席科学家Barbara De Salvo
然而,根据De Salvo的观察,业界可能由于看好AI的前景,而太快将研究重心转向 AI应用。事实上,她说:“我们仍然缺乏对于AI系统的全面理解…就像深度学习一样。”
她解释说,深度学习中存在着隐藏的分层,以及由此产生的系统复杂性,使得很难说哪些属性对于提高性能担负最大的责任。“相较于一般智慧,学习、抽象和推理能力所取得的普遍性仍然非常有限。”
深度学习在分类方面非常出色,但“预测仍然是神经运算的基本问题,”De Salvo说:“最近,神经网络在执行简单的任务时出现失败,而人类在这方面从未失手。”De Salvo并引用A. Nguyen等人发表的“深层神经网络易于被愚弄:对未辨识影像的高可信度预测”(Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognized Images)论文,她担心这最终会阻碍市场发展,甚至“背叛用户的信任,从而引发严重的道德问”。
(本文授权编译自EDN姐妹网站EETimes,原文AI’s Limits Send Scientists Back to the Brain https://www.eetimes.com/document.asp?doc_id=1332966,Susan Hong编译)