100倍效率:麻省理工学院基于光的机器学习系统可能产生更强大的大型语言模型

煤油灯科技2024-02-23 11:33

MIT系统展示出比当前系统的能效提高100倍以上,计算密度提高25倍。ChatGPT凭借其根据用户几个提示写作论文、电子邮件和计算机代码的能力在全球范围内引起了轰动。现在,由麻省理工学院领导的一个团队报告了一个可能导致比ChatGPT背后的那个系统强大数个数量级的机器学习程序的系统。他们开发的这个系统能够使用比今天的先进超级计算机所用的机器学习模型消耗少几个数量级的能量。

在最近一期的《Nature Photonics》杂志上,研究人员报告了这一新系统的首次实验性演示,该系统基于光的运动而不是电子来进行计算,使用了数百个微米级激光器。团队报道称,与先进的数字计算机相比,这个新系统的能效提高了100倍以上,计算密度提高了25倍。

面向未来

在论文中,团队还引用了“未来改进的数量级将显著增加”的说法。因此,作者们继续说道,这种技术“为从数据中心到分散式边缘设备加速机器学习任务打开了一条道路,以实现大规模光电子处理器”。换句话说,手机和其他小型设备可能能够运行目前只能在大型数据中心计算的程序。

此外,由于该系统的组件可以使用今天已经在使用中的制造工艺来创建,“我们预计它可能在几年内被商业化应用。例如,所涉及的激光阵列已经广泛应用于手机面部识别和数据通信,”该研究的第一作者、麻省理工学院研究实验室(RLE)的博士后、现任南加州大学助理教授詹再君说道。

麻省理工学院电气工程和计算机科学系副教授、该项研究的负责人Dirk Englund表示:“ChatGPT在规模上受制于当今超级计算机的能力。训练规模更大的模型在经济上就不太可行。我们的新技术可能使跨越至近未来无法实现的机器学习模型成为可能。”

他继续说道:“我们不知道下一代ChatGPT如果强大100倍会拥有什么能力,但这种技术能够带来这种发现的范畴。”Englund还是麻省理工学院量子光子学实验室的负责人,并与RLE和材料研究实验室有关联。

进步的鼓点

当前的工作是Englund和许多同事在过去几年里取得的一系列进展中的最新成就。例如,在2019年,Englund团队报告了导致当前实验的理论工作。那篇论文的第一作者Ryan Hamerly现在是RLE和NTT Research Inc.的研究员,也是当前论文的作者之一。

当前《Nature Photonics》论文的其他合著者包括RLE的Alexander Sludds、Ronald Davis、Ian Christen、Liane Bernstein和Lamia Ateshian,以及Technische Universitat Berlin的Tobias Heuser、Niels Heermeier、James A. Lott和Stephan Reitzenstein。

像ChatGPT背后的那个深度神经网络(DNN)基于模拟大脑处理信息的巨大机器学习模型。然而,当今数字技术在机器学习领域不断发展的同时也达到了极限。此外,它们需要大量的能量,并且主要局限于大型数据中心。这推动了新的计算范式的发展。

光学神经网络及其潜力

使用光而不是电子来进行DNN计算有望突破当前的瓶颈。光学计算,例如,有可能比基于电子的计算节省更多的能量。此外,用光学进行计算,“可以拥有更大的带宽”,或者说计算密度可以更高,陈再君说道。光可以在更小的区域内传输更多的信息。

然而,当前的光学神经网络(ONN)面临着重大挑战。例如,它们使用大量能量,因为它们在将基于电能的输入数据转换为光能方面效率低下。此外,所涉及的组件笨重且占用空间。虽然ONN在线性计算(如加法)方面表现得相当出色,但在非线性计算(如乘法和"if"语句)方面则不太好。

在当前的工作中,研究人员首次提出了一种紧凑的架构,解决了所有这些挑战以及其他两项具体问题。该架构基于垂直面射型激光器阵列(VCSELs)的最新技术,这是一种在激光雷达遥感和激光打印等应用中使用的相对较新的技术。在《Nature Photonics》论文中报告的特定VCSELs是由Technische Universitat Berlin的Reitzenstein团队开发的。“这是一个合作项目,没有他们是无法实现的,”Hamerly说道。

未参与当前研究的耶鲁大学助理教授Logan Wright评价道:“詹再君等人的工作是鼓舞人心的,它激励着我

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文