忆阻器以传统计算机处理器的1/800能耗运行AI任务

煤油灯科技2023-03-11 07:52


用来模拟连接神经元的突触的忆阻类器件,担当着复制大脑学习方式的神经网络硬件角色。现在,两项新的研究可能有助于解决这些组件面临的关键问题,不仅是产量和可靠性,还有神经网络以外的应用。

忆阻器(Memristor)或记忆电阻器本质上是一种开关,可以在断电后记住它们切换到的电压状态。使用忆阻器和类似的组件,世界各地的科学家们旨在构建像神经元一样的“存算一体化”电子设备。这些忆阻器件可以大大减少传统微芯片在处理器和存储器之间来回传送数据所浪费的能量和时间。这种受大脑启发的神经形态硬件也可能被证明是实现神经网络的理想选择,在分析医疗扫描和自动驾驶汽车等越来越多的AI系统应用中找到用途。

然而,当前的忆阻器件通常依赖新兴技术,产量低,电子性能不可靠。为了帮助克服这些挑战,以色列和中国的研究人员使用标准CMOS生产线制造了忆阻器。该团队构建的硅突触拥有100%良率,在神经网络中最基本的乘加运算方面,其能效比高性能的Nvidia Tesla V100图形处理单元高170-350倍。

科学家们利用商业闪存中使用的浮栅晶体管(floating-gate transistor)技术开发了这种新器件。传统的浮栅晶体管有三个端子,而新元件只有两个。这大大简化了制造和操作,并减小了它们的尺寸。此外,这项研究的高级作者Shahar Kvatinsky说,忆阻器只有二进制输入和输出,不需要神经形态硬件中常用的大型、耗能、模数和数模转换器,他是海法以色列技术学院(Technion Israel Institute of Technology in Haifa)电气和计算机工程副教授。

这种新器件表现出很高的耐久性,使用电压脉冲编程和擦除超过100,000次。此外,它们仅显示了适度的器件间差异,并且预计具有超过10年的长数据保留时间。

研究人员使用大约150个这样的组件来实现一种仅使用二进制信号操作的神经网络。在实验中,它可以以大约97%的准确率识别手写数字。Kvatinsky说,这项工作“只是一个开始——一个概念验证,而不是一个完整的集成芯片或大型神经网络。集成和扩展是一项重大挑战。”

在另一项研究中,一组法国研究人员使用忆阻器进行了调查,这种统计计算技术被称为贝叶斯推理(Bayesian reasoning),其中背景知识有助于计算不确定选择可能正确的几率。它的结果是完全可以解释的——不像许多几乎难以理解的AI计算——并且当可用数据很少时,它可以表现得很好,因为它可以纳入先前的专家知识。然而,“如何用忆阻器计算贝叶斯推理还不是很明显,”该研究的合著者、CNRS大学研究科学家Damien Querlioz说。

使用传统电子器件实现贝叶斯推理需要复杂的记忆模式,“随着观察次数的增加,记忆模式呈指数增长,”苏黎世神经信息学研究所(Institute of Neuroinformatics in Zurich)的神经形态科学家Melika Payvand说,他没有参与任何一项研究。然而,Querlioz和他的同事们“找到了一种简化的方法,”她指出。

科学家们重写了贝叶斯方程,以便忆阻器阵列利用随机性进行统计分析,也就是使用所谓的“随机计算”方法,阵列在时钟的每个节拍产生半随机位流。这些位通常是0,但有时是1。0和1的比例编码了数组执行统计计算所需的概率。与非随机方法相比,这种数字策略使用相对简单的电路,所有这些都降低了系统的尺寸和能量需求。

研究人员在同一芯片上的30080个CMOS晶体管上制造了一个包含2048个氧化铪忆阻器的原型电路。在实验中,他们让新电路从戴在手腕上的设备发出的信号中识别一个人的手写签名。

贝叶斯推理通常被认为是传统电子学计算的开销。Querlioz说,新电路使用传统计算机处理器的1/800至1/5000的能量进行手写识别,这表明“忆阻器是一种非常有希望提供低能耗AI的领先产品”。

这种新器件还可以即时开关,这表明它只能在需要省电时工作。此外,研究人员说,它还对随机事件的错误具有弹性,这使它在极端环境中非常有用。总而言之,新电路“在存在高度不确定性、可用数据很少、需要做出可解释的决定的安全关键情况下表现出色,例如医用传感器,或者用于监控工业设施安全的电路,”Querlioz说。

Payvand说,贝叶斯电路的未来方向可能包括收集多种类型的感觉数据的机器,这可能包括自动驾驶汽车或无人机。她指出,如果机器对基于一种感觉做出的预测不自信,它可以通过分析不同感觉的数据来增强其信心。

Payvand警告说,贝叶斯系统面临的一个关键障碍是“它们对更大问题或网络的可扩展性”。Querlioz指出,他们已经设计了一个相当大规模的设备版本,“目前正在制造中。”他指出,他们的电路目前专门用于某些类型的贝叶斯计算,并希望在未来创造出更具适应性的设计。

在一定程度上,这两项研究都使用了随机性——Querlioz和他的同事将其用于统计分析,而Kvatinsky和他的合作者让他们的神经网络以随机间隔采样数据,以避免在有限次数的采样数据时可能出现的错误。

“这些方法与忆阻器器件固有的随机性非常匹配,”惠普实验室高级人工智能研究科学家Giacomo Pedretti说,他没有参加任何一项工作。他说,尝试使用这些电子器件中的固有噪声来产生可控的随机性“而不是实现昂贵的数字伪随机数发生器”将是“非常有趣的”。


原文链接:

https://spectrum.ieee.org/memristor-devices-ai

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章