随着AI和深度学习技术变得越来越先进，工程师需要创建能够可靠高效地运行计算的硬件。受人脑结构和生物学启发的神经形态计算硬件，有望支持复杂的深度神经网络（DNNs）的操作。

格拉茨理工大学（Graz University of Technology）和英特尔的研究人员最近展示了神经形态计算硬件在实验环境中运行DNNs的巨大潜力。他们的论文发表在《自然机器智能》上，由人类大脑项目（HBP）资助，表明神经形态计算硬件运行大型DNNs的效率比传统（即非大脑启发）计算硬件高4到16倍。

“我们已经证明，如果人们用大脑启发的神经元和神经网络架构解决神经形态硬件上的相同问题，那些处理时间扩展输入（例如句子）的DNNs更有效。”进行这项研究的研究人员之一Wolfgang Maass告诉TechXplore。“此外，我们考虑的DNNs对于更高层次的认知功能至关重要，例如找到故事中句子之间的关系，以及回答关于故事内容的问题。”

在他们的测试中，Maass和他的同事评估了运行在英特尔创建的神经形态计算芯片上的大型神经网络的能效。这种DNN是专门为处理大的字母或数字序列，如句子而设计的。

包含8-32个Loihi神经形态研究芯片的英特尔Nahuku板。（Credit: Tim Herman/英特尔公司）

研究人员测量了英特尔神经形态芯片和标准计算机芯片在运行相同DNN时的能耗，然后比较了它们的性能。有趣的是，研究人员发现，调整计算机硬件中包含的神经元模型，使它们类似于大脑中的神经元，可以实现DNN的新功能属性，提高其能效。

“神经形态硬件的增强能效经常是猜测的，对于要求苛刻的AI任务来说，这很难证明，”Maass解释道。“原因是，如果一个人用更像大脑的‘懒惰’并因此更节能的类似于大脑中的脉冲神经元来取代人工神经网络在AI中使用的人工神经元模型，这些人工神经元模型每秒被激活数十万次或更多次，那么通常必须使脉冲神经元变得高度活跃，比大脑中的神经元活跃得多（大脑中的神经元平均每秒只发出几次信号）。然而，这些极度活跃的神经元消耗了太多的能量。”

大脑中的许多神经元在活跃一段时间后需要一定延长的静止期。以前的研究旨在在硬件中复制生物神经动力学，但由于人工神经元的过度活跃，当运行特别大和复杂的dnn时，会消耗太多的能量，因此经常得到令人失望的结果。

Maass和他的同事们的实验表明，许多生物神经元在尖峰脉冲后休息的趋势可以在神经形态硬件中复制，并被用作更有效地解决时间序列处理任务的“计算技巧”。在这些任务中，新信息需要与最近收集的信息相结合（例如，网络预先处理的故事中的句子）。

“我们表明，网络只需要检查哪些神经元目前最疲劳，即不愿意放电，因为这些神经元在最近的过去是活跃的，”Maass说。“使用这种策略，一个聪明的网络可以根据最近处理的信息进行重建。因此，‘懒惰’在计算方面可以有优势。”

研究人员证明，在运行相同的DNN时，英特尔的神经形态计算芯片比传统芯片消耗的能量少4到16倍。此外，他们概述了利用人工神经元在出现尖峰后缺乏活动的可能性，以显著提高硬件在时间序列处理任务上的性能。

在未来，英特尔芯片和Maass及其同事提出的方法可以帮助提高神经形态计算硬件在运行大型和复杂的dnn时的效率。在他们未来的工作中，该团队还想设计更多受生物启发的策略来提高神经形态芯片的性能，因为当前的硬件只能捕捉人脑复杂动力学和功能的一小部分。

“例如，人类大脑可以通过一次看到一个场景或听到一个句子来学习，而AI中的dnn需要对无数例子进行过度训练，”Maass补充道。“大脑用于快速学习的一个技巧是在大脑的不同部分使用不同的学习方法，而DNNs通常只使用一种方法。在我接下来的研究中，我希望让神经形态硬件能够像人类一样，根据其过去的“经验”开发出“个人”记忆，并利用这种个人经验做出更好的决定。”

原文链接：

https://techxplore.com/news/2022-06-neuromorphic-architecture-deep-neural-networks.html