芬兰于韦斯屈莱大学的研究人员利用18世纪的数学,简化了人工智能中最流行的技术--深度学习。他们还发现,50年前的经典训练算法比最近流行的技术效果更好。这种更简单的方法推进了绿色信息技术的发展,而且更易于使用和理解。
人工智能最近的成功主要基于一项核心技术的使用:深度学习。深度学习指的是利用海量数据集和大量计算资源训练具有大量数据处理层的网络的人工智能技术。
深度学习使计算机能够执行复杂的任务,如分析和生成图像和音乐、玩数字化游戏,以及最近与ChatGPT和其他生成式人工智能技术相关的任务。
六年前,托米·凯尔凯宁(Tommi Kärkkäinen)教授和博士研究员扬·哈尼宁(Jan Hänninen)对数据缩减进行了初步研究。研究结果令人惊讶:如果以新颖的方式组合简单的网络结构,就不需要深度。使用浅层模型可以获得类似甚至更好的结果。
"深度学习技术的使用是一项复杂且容易出错的工作,由此产生的模型难以维护和解释,"Kärkkäinen说。"我们的新模型在浅层形式上更具表现力,能够可靠地减少大型数据集,同时保留其中的所有必要信息。"
新人工智能技术的结构可以追溯到18世纪的数学。Kärkkäinen和Hänninen还发现,与深度学习中使用的21世纪技术相比,20世纪70年代的传统优化方法在准备他们的模型时效果更好。
从头部到内层的分层预训练。首先训练最外层,然后将其残差作为下一个隐藏层的训练数据,直到所有层都按顺序预训练。
"我们的研究结果确保了神经网络在各种应用中的使用比以前更容易、更可靠。这项研究发表在《神经计算》(Neurocomputing)杂志上。
人工智能在现代技术中发挥着越来越重要的作用,因此,了解人工智能的工作原理变得越来越重要。
"Kärkkäinen 说:"人工智能越透明、越简单,就越容易考虑其道德使用问题。"例如,在医疗应用中,深度学习技术非常复杂,直接使用可能会因意外的隐藏行为而危及患者安全。"
研究人员指出,更简单的模型可以帮助开发绿色 IT,而且更环保,因为它们节省了计算资源,能耗也大大降低。
这些成果挑战了人们对深度学习技术的普遍看法和目前流行的观念,但却很难发表。
"深度学习在研究、开发和人工智能业务中的作用如此突出,以至于即使科学总是在进步并反映最新证据,社区本身也可能会抵制变革。"
"我们非常有兴趣了解这些成果在科学界和商界的接受程度,"Kärkkäinen 说。"我们的新人工智能在我们自己的研究中有着广泛的应用,从可持续经济中用于更好材料的纳米技术,到改善数字学习环境,以及提高医疗和福祉技术的可靠性和透明度。"
Demi Xia编译