模仿树突的AI可瓦级运行,而不是兆瓦

煤油灯科技2023-03-08 16:19

采用从网络神经元到彼此之间的通信都模仿树枝的电子设备,可让云AI不再需要兆瓦级电力。一项新的研究表明,届时AI将能够依靠智能手机电池的电能运行。

随着仿脑神经网络的AI系统在规模和能力上的增长,它们同时也更加昂贵和耗能。例如,为了训练其最先进的神经网络GPT-3,OpenAI花费了460万美元和两周时间来运行9200个GPU。这项研究的作者、加州斯坦福大学的神经形态工程师Kwabena Boahen说,GPT 3号在训练中消耗的能量释放的碳相当于1300辆汽车在同一时间从排气管中排放的碳。

现在,Boahen为AI系统提出了一种方法,以增加它们传输的每个信号中传达的信息量。他说,这可能会减少他们目前所需的能源和空间。

在神经网络中,称为神经元的组件用来提供数据并合作解决问题,例如识别人脸。神经网络反复调整连接其神经元的突触,以修改每个突触的“权重”——即一个神经元对另一个神经元的影响强度。然后,网络会判断由此产生的行为模式是否更有利于找到解决方案。随着时间的推移,系统会发现哪些模式最擅长计算结果。然后,系统采用这些模式作为默认模式,模仿人脑的学习过程。如果一个神经网络拥有多层神经元,则称为“深度”神经网络。例如,GPT-3拥有1750亿个连接相当于830万个神经元的权重,排列成384层深。

目前,AI以每两个月两倍计算的进展前进。但在电子工业界,执行这些操作所需的设备每两年才会加倍。这意味着,AI通常局限于云,云可以提供它所需的成千上万的处理器。

以前,降低计算能耗的一种方法是缩小晶体管,将它们密集地封装在一起。然而,这种策略的回报正在减少,因为晶体管之间的信号现在必须在微芯片上传播得越来越远,导线越长,信号消耗的能量就越多。缩短这些距离的一个策略是在三维空间中将电路堆叠在彼此之上,但这种方法会减少可用于散热的表面积。

为了解决这个问题,Boahen概述了一种方法,让AI系统在传递更多信息的同时发送更少的信号。为了实现这一目标,他建议系统可能想要模拟一部分生物神经元,这与它们目前所做的不同。他认为它们应该模仿被称为树突(dendrites)的结构,而不是模仿突触——神经元之间的空间。

生物神经元有三个主要部分——树突、轴突和细胞体,分别类似于树的树枝、树根和树干。树突是神经元从其他细胞接收信号的地方,例如,另一个神经元的轴突。突触是将树突或轴突与另一个细胞分开的空间。

树突可以大量分支,允许一个神经元与许多其他神经元相连。先前的研究发现,树突从其分支接收信号的顺序决定了其反应的强度。当树突从其尖端到茎连续接收信号时,它的响应比从茎到尖端连续接收这些信号时更强烈。


具有5个垂直栅极的树枝状纳米器件概念图。从左到右连续施加到所有五个栅极的电压脉冲,从下到上翻转铁电绝缘层中的所有电偶极子。(Stanford University/Nature)

基于这些发现,Boahen开发了一个树突计算模型,只有当它以精确的序列接收到来自神经元的信号时才会做出反应。这意味着每个树突可以不止以2为基数编码数据——1或0,开或关——就像今天的电子元件一样。它将使用更高的基础系统,这取决于它拥有的连接数和接收信号序列的长度。

Boahen提出,一串铁电电容器可以模拟一段树突,取代场效应晶体管的栅极叠层,形成铁电FET (FeFET)。他说,一个1.5微米长、有五个栅极的FeFET可以模拟一个15米长、有五个突触的树突。

在人脑中,单个神经元可以与成千上万的其他神经元相连。Boahen说,这种人工版本证明“在3D芯片中是可行的”。


原文链接:

https://spectrum.ieee.org/dendrocentric-learning

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文