深度神经网络是几十年来一直在人工智能方面进行的相对较小的工作。从2012年左右开始,包括Facebook的Yann LeCun在内的研究人员开始使用特定种类的DNN识别图像,并最终以比人类更高的准确度显示令人惊叹的结果。深度学习技术吸引了研究界,现在正以高速发表论文,寻求新的突破。
DNN现在提供商业服务,如亚马逊的Alexa和谷歌翻译,以及Facebook的面部识别。网络巨头和他们的全球竞争对手,正在竞相将这些技术应用于尽可能多的服务中,并期待尽可能找到杀手级应用。
微软每年都会以AI为主题举行两次员工内部会议。最近一次有5000人参加,前SPARC处理器架构师Marc Tremblay表示,他现在领导微软在定制AI芯片和系统方面的工作。
专家承认,他们并不完全理解为什么现有的算法工作得很好。辩论主题是探讨这些网络算法的相对有效性,例如递归(RNN)和卷积(CNN)神经网络。同时,新的模式仍在发明之中。
“五年内算法仍然极有可能发生改变。我们在赌,像矩阵乘法这样的最底层的算法是不可改变的。”AMD研究员艾伦·拉什(Allen Rush)在最近一次关于人工智能的IEEE研讨会上说。
这就是Google用TPU做出的赌注,最新版本的TPU是针对训练和推理工作的。它本质上是一个大的乘法累加单元,运行和存储线性代数例程的结果。 Nervana和Graphcore芯片通常预计将效仿。
哈佛大学前大脑研究人员Amir Khosrowshahi说,在神经网络方面取得的成功主要集中在人工智能领域。他目前是英特尔Nervana集团的首席技术官,创立了Nervana公司。他在IEEE研讨会上表示:“由于深度学习非常成功,所以事情正在席卷而下。 每个人都在做卷积神经网络,这是一场悲剧......不要以为现在发生的事情一年后就一定会到来。”
图:今天的DNN得到了很多关注,但是只代表了更广泛AI领域的一小部分。 (来源:英特尔)
尽管DNN可以比人类更精确地识别图像,“如今的数据科学家被迫花费着难以接受的时间对数据进行预处理,对模型和参数进行迭代,并且等待训练的收敛......每一步都要么过于劳累,要么太计算密集型,“Khosrowshahi说。
总的来说,“人工智能的难题仍然非常难,”他补充说。 “最好的研究人员可以得到一个机器人来打开一扇门,但拿起杯子可能比赢得Alpha Go还要更难。”
在这种环境下,Facebook和Google等网络巨头正在发布大型数据集,以吸引更多的人从事诸如视频等新应用领域或数据类型的识别问题。
随着算法的发展,研究人员也在推动深度学习的应用前沿。
Google旨在系统地将DNN应用于从帮助盲人用到的自动字幕照片,到以阅读磁共振成像扫描结果、到监测工厂车间的质量控制等问题。谷歌人工智能研发负责人李佳(Jia Li)在IEEE研讨会上表示:“人工智能不是一项技术或产品。 “我们需要开始理解一个领域,然后收集数据,找到算法,并提出解决方案。每一个新问题我们都需要一个不同的模型。“
事实上,人们正在将DNN应用于几乎所有领域,包括设计和制造芯片。英特尔编制了四十多种可能用途的清单,包括了从消费者网上购物助手到华尔街自动交易的程序。
目前担任Target公司数据科学家,前IBM研究人员Shirish Tatikonda,对应用领域给予了更加清醒的认识。大部分零售商的数据都是关系数据,而不是最适合神经网络的非结构化数据。 Shirish Tatikonda在个活动后的简短采访中表示,Target的业务问题中只有大约10%适用于DNN。尽管如此,该公司正在积极开拓这一领域,其系统中约有10%是面向培训神经网络模型的GPU服务器。
为了扩大这种巨大的努力,谷歌的研究人员正在探索他们所谓的AutoML。这个想法是使用神经网络自动生成模型,而不需要数据科学家手动调整它们。
尽管许多最近的努力试图缩小它们的内存占用量,但是DNN模型在尺寸上仍然差别很大。 来源:高通
机器人技术先驱罗德尼•布鲁克斯(Rodney Brooks)担心,预期可能会失控。 他在最近的一次谈话中说:“深度学习是好的,但它正在成为一个锤子,人们可以用它去打碎一切东西。”
就帕特森而言,他仍然乐观。 他说,虽然广泛的人工智能领域没有达到过去的承诺,但它在机器翻译等领域的成功是真实的。 “可能所有低处的果实都被采摘下来后,人们没有发现什么更令人兴奋的事情,但是你几乎每个星期都会看到新的进展......所以我认为我们会发现AI有更多的用途。”
未完待续......
编译:Mike Zhang