基于物理的自学习机器可能取代当前的人工神经网络

煤油灯科技2023-09-12 02:15

人工智能不仅表现出令人印象深刻的性能,还产生了巨大的能源需求。它被训练用于越复杂的任务,就会消耗更多能源。

德国埃朗根光学科学马普学院的Víctor López-Pastor和Florian Marquardt科学家提出了一种更有效地训练人工智能的方法。他们的研究依赖于物理过程而不是当前使用的数字人工神经网络。这项研究发表在《物理评论X》杂志上。

关于训练GPT-3的能源消耗量尚未被Open AI透露,Open AI是该人工智能技术背后的公司。根据德国统计公司Statista的数据,训练GPT-3所需的能源相当于1000兆瓦小时,约等于200个德国户家庭每年的用电量。尽管这样的能源消耗让GPT-3能够学习是否在数据集中"deep"后面更可能跟着"sea"还是"learning"等短语,但据各方面情况表明,它并没有真正理解这些短语的潜在含义。

神经形态计算

为了减少计算机,特别是人工智能应用的能耗,在过去几年中,一些研究机构一直在研究一种全新的计算机数据处理概念。这个概念被称为神经形态计算。虽然这听起来与人工神经网络类似,但实际上两者并没有太多关联,因为人工神经网络运行在传统的数字计算机上。

这意味着软件,或者更确切地说算法,是根据大脑工作方式建模的,但数字计算机作为硬件。它们按顺序执行神经网络的计算步骤,不同的是处理器和存储器之间的区别。

"当一个神经网络用超过1兆字节的数据训练数千亿个参数(即突触)时,仅这两个组件之间的数据传输就会消耗大量能源,"马普学院光学科学研究所所长、埃朗根大学教授Marquardt说道。

人类大脑与现有计算机完全不同,并且如果其能源效率与硅晶体管的计算机相似,它可能在进化竞争中失败。大脑通过并行进行多个思考步骤而不是按顺序进行区分。神经细胞或更精确地说是突触既是处理器又是存储器的结合体。全球各地的研究团队正在尝试将光子电路作为神经细胞的神经形态计算可选方案,利用光而非电子进行计算,其组件同时充当开关和存储单元。

自学习物理机器的优化突触

Marquardt与López-Pastor,马普学院光学科学研究所的博士生共同设计了一种用于神经形态计算的高效训练方法。"我们提出了自学习物理机器的理念,"Florian Marquardt解释说。"核心思想是以物理过程的形式进行训练,通过该过程自身对机器的参数进行优化。"

当训练传统的人工神经网络时,需要外部反馈来调整数以亿计的突触连接的强度。"不需要这种反馈使训练更加高效,"Marquardt说。在自学习物理机器上实现和训练人工智能不仅可以节省能源,还能节省计算时间。

"我们的方法适用于任何物理过程,而且我们甚至不需要知道确切的过程,"Marquardt解释道。"然而,该过程必须满足一些条件。最重要的是,它必须是可逆的,意味着它能以最少的能量损失前向或后向运行。"

"此外,物理过程必须是非线性的,也就是足够复杂,"Marquardt说。只有非线性过程才能实现输入数据与结果之间的复杂转化。针对一个不与其他物体碰撞而在平面上滚动的弹球就是一个线性动作。但是,如果被其他物体干扰,这种情况就变得非线性。

在光学神经形态计算机上进行实际测试

可逆、非线性过程的例子可以在光学领域找到。实际上,López-Pastor和Marquardt已经与一个开发光学神经形态计算的实验团队进行合作。该计算机以叠加的光波形式处理信息,合适的组件调节相互作用的类型和强度。研究人员的目标是将自学习物理机器的概念应用到实际中。

"我们希望能够在三年内推出第一台自学习物理机器,"Florian Marquardt说道。到那时,应该会有比今天更多突触进行思考并使用比现在大得多的数据进行训练的神经网络。

因此,很可能会更强烈地希望在传统数字计算机之外实施神经网络,并用高效训练的神经形态计算机来取代它们。"因此,我们有信心自学习物理机器有很大机会在人工智能的进一步发展中得到应用,"这位物理学家说道。

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文