
ChatGPT以其根据用户提出的几个问题撰写出优秀的文章、电子邮件和计算机代码的能力,在全球范围内引起了轰动。
如今,麻省理工学院领导的一个团队报道了一种系统,可以比ChatGPT背后的系统强大数个数量级。此外,他们开发的系统在能源消耗方面可比当今最先进的超级计算机的机器学习模型少数个数量级。
研究人员在《自然光子学》杂志的7月17日号上报道了该新系统的首次实验演示,该系统的计算是基于数百个微米尺度激光器的光运动,而不是电子运动。研究团队报告称,与用于机器学习的现有数字计算机相比,新系统的能源效率提高了100倍以上,计算密度提高了25倍,计算密度是系统能力的衡量标准。
在论文中,研究团队还提到了“未来改进的数量将大幅提高”。因此,作者们继续写道,这种技术“为从数据中心到分散式边缘设备上的大规模光电处理器加速机器学习任务开辟了一条途径”。换句话说,手机和其他小型设备可能会变得能够运行目前只能在大型数据中心计算的程序。
此外,由于该系统的组件可以使用当今已在使用的制造工艺进行创建,“我们预计它在几年内可被用于商业用途。例如,所涉及的激光阵列在手机的面部识别和数据通信中得到了广泛应用,”第一作者陈再均说道,他在麻省理工学院的研究实验室任职期间进行了这项工作,现在是南加州大学的助理教授。
麻省理工学院电气工程和计算机科学系副教授、该团队的负责人Dirk Englund表示:“ChatGPT的规模受到当今超级计算机性能的限制。训练规模更大的模型在经济上可行性不高。我们的新技术可能使得跨越目前几年内无法达到的机器学习模型成为可能。”
他继续说道:“如果下一代ChatGPT具有100倍的性能提升,我们不知道它会有什么能力,但这种技术可以带来这种探索的机会。”Englund还是麻省理工学院量子光子学实验室的负责人,并与研究实验室和材料研究实验室有关联。
一系列进展的鼓点
过去几年来,Englund和许多同事取得了一系列进展,目前的研究是最新的成果。例如,2019年,Englund团队报告了导致目前实验演示的理论工作。那篇论文的第一作者Ryan Hamerly现在是RLE和NTT Research Inc的作者,同时也是目前这篇论文的作者之一。
《自然光子学》杂志当前论文的其他合著者包括RLE的Alexander Sludds、Ronald Davis、Ian Christen、Liane Bernstein和Lamia Ateshian,以及Technische Universitat Berlin的Tobias Heuser、Niels Heermeier、James A. Lott和Stephan Reitzensttein。
像ChatGPT背后的深度神经网络(DNNs)是基于巨大的机器学习模型,模拟大脑处理信息的方式。然而,尽管机器学习领域不断发展,但今天数字技术的DNNs正接近其极限。此外,它们需要大量能源,并且主要限于大型数据中心。这促使人们发展新的计算范式。
光的优势
使用光而不是电子来运行DNN计算有潜力突破当前的瓶颈。例如,使用光学进行计算比基于电子的计算能够更节省能源。此外,使用光学可以实现更大的带宽,或者说更大的计算密度,陈说。在一个较小的区域内,光可以传输更多的信息。
但当前的光学神经网络(ONNs)存在一些挑战。例如,由于ONNs在将电能转化为光能方面效率低下,它们消耗了大量能量。此外,所涉及的组件笨重且占用大量空间。虽然ONNs在线性计算(如加法)方面表现良好,但在非线性计算(如乘法和“if”语句)方面表现不佳。
在当前的工作中,研究人员首次提出了一种紧凑的架构,同时解决了所有这些挑战以及另外两个挑战。该架构基于全新的垂直面发射激光器(VCSELs)阵列技术,这是一种相对较新的技术,用于激光雷达远程感测和激光打印等应用中。
《自然光子学》论文中报道的特定VCSELs是由Technische Universitat Berlin的Reitzenstein团队开发的。“这是一个合作项目,没有他们就不可能完成,”Hamerly表示。
Yale大学助理教授Logan Wright在当前研究中没有参与。Wright表示:“陈再均等人的工作令人鼓舞,鼓励着我和许多其他研究人员,即采用调制VCSEL阵列的系统可能是大规模高速光学神经网络的可行途径。”
他说:“当然,目前的技术水平远远无法达到实用设备所需的规模和成本,但考虑到这些系统加速像ChatGPT一样的规模非常大、非常昂贵的AI系统的潜力,我对接下来几年能实现什么表示乐观。”
陈再均、Hamerly和Englund已经对这项工作申请了专利。