悉尼科技大学(UTS)以人为中心的人工智能中心(GrapheneX-UTS Human-centric Artificial Intelligence Centre)的研究人员开发出一种便携式非侵入式系统,可以解码无声的思想并将其转化为文字,这在世界上尚属首次。
这项技术可以帮助因疾病或受伤(包括中风或瘫痪)而无法说话的人进行交流。它还能实现人与机器之间的无缝交流,例如仿生手臂或机器人的操作。
在这项研究中,参与者戴着帽子默默地阅读文本段落,帽子通过脑电图(EEG)记录通过头皮的脑电活动。
脑电图波被分割成不同的单元,以捕捉人脑的特定特征和模式。这项工作由研究人员开发的名为 DeWave 的人工智能模型完成。DeWave 通过从大量脑电图数据中学习,将脑电信号翻译成单词和句子。
据介绍,这项研究是将原始脑电波直接转化为语言的开创性努力,它首次将离散编码技术纳入大脑到文本的翻译过程,为神经解码引入了一种创新方法。与大型语言模型的整合也开辟了神经科学和人工智能的新领域,标志着该领域的重大突破。
以前将大脑信号翻译成语言的技术要么需要通过手术在大脑中植入电极,例如埃隆·马斯克的 Neuralink,要么需要在 MRI 机器中进行扫描,这种机器体积庞大、昂贵且难以在日常生活中使用。
这些方法还很难在没有眼动追踪等额外辅助的情况下将大脑信号转换为单词级片段,这限制了这些系统的实际应用。这项新技术可以在有或没有眼动追踪的情况下使用。
UTS 的研究由 29 名参与者进行。这意味着它可能比以前仅在一两个人身上进行过测试的解码技术更稳健、适应性更强,因为不同个体的脑电波是不同的。
通过帽子接收脑电信号,而不是通过植入大脑的电极接收脑电信号,这意味着信号噪音更大。不过,就脑电图翻译而言,研究报告称其性能达到了最先进的水平,超过了以前的基准。
据介绍,该模型更擅长匹配动词而不是名词。研究团队认为这是因为当大脑处理这些单词时,语义相似的单词可能会产生相似的脑电波模式。
尽管面临挑战,该模型还是产生了有意义的结果,对齐关键词并形成相似的句子结构。
目前,该系统的 BLEU(双语评估研究)量表的翻译分数约为 40%,该量表是机器翻译文本准确性的衡量标准。也就是说,一旦技术得到进一步发展,该团队希望将这一数字提高到 90% 左右。
这项研究是在UTS与澳大利亚国防军合作开发的脑机接口技术的基础上进行的,该技术使用脑电波来指挥四足机器人,在ADF视频中演示了 BrainGPT。
据悉,这项研究被选为在新奥尔良举行的NeurIPS会议的焦点论文,该会议是展示世界领先的人工智能和机器学习研究的顶级年会。
这项研究由GrapheneX-UTS HAI中心主任、特聘教授CT Lin领衔,第一作者是UTS工程与信息技术学院的Yiqun Duan和博士研究生Jinzhou Zhou。
参考链接:Portable, non-invasive, mind-reading AI turns thoughts into text;Demi Xia编译