由于图结构的数据可能非常复杂，必须仔细而有效地设计基于图的机器学习架构。理想情况下，这些架构应该运行在支持其计算需求的高效硬件上，而不会消耗太多功率。

香港大学、中国科学院、InnoHK中心和全球其他研究所的研究人员最近开发了一种软硬件系统，该系统将GNN架构与电阻存储器相结合，电阻式存储器是一种以电阻状态形式存储数据的存储解决方案。在《自然机器智能》（Nature Machine Intelligence）论文中，他们展示了基于电阻式存储器的新硬件解决方案在高效运行图形机器学习技术方面的潜力。

“数字计算机的效率受到冯-诺依曼瓶颈和摩尔定律减速的限制，”进行这项研究的研究人员之一——Shaocong Wang告诉Tech Xplore。“前者由于内存和处理单元的分离，当运行图形学习时，由于频繁和大量的数据在这些单元之间穿梭，导致大量的能量和时间开销。后者是因为在3纳米技术节点时代，晶体管的缩小已经接近其物理极限。”

电阻式存储器本质上是可调电阻器，是阻止电流通过的器件。事实证明，这些基于电阻的存储解决方案对于运行人工神经网络（ann）非常有前途。这是因为单个电阻存储单元既可以存储数据又可以执行计算，解决了所谓的冯-诺依曼瓶颈的限制。

“电阻存储器也是高度可扩展的，可以延续摩尔定律，”Wang说。“但普通的电阻式存储器仍然不足以进行图形学习，因为图形学习会频繁地改变电阻式存储器的电阻，与使用SRAM和DRAM的常规数字计算机相比，这也会消耗大量的能量。更有甚者，电阻变化不准确，阻碍了精确的梯度更新和权重写入。这些缺点可能会抵消电阻式存储器在高效图形学习方面的优势。”

Wang和他的同事们最近工作的主要目标是克服传统电阻存储解决方案的局限性。为此，他们设计了一种基于电阻式存储器的图形学习加速器，无需电阻式存储器编程，同时保持高效率。

他们特别使用回声状态网络，这是一种基于递归神经网络的储层计算架构，具有稀疏连接的隐藏层。这些网络的大多数参数（即权重）可以是固定的随机值。这意味着允许电阻式存储器的即用性，而不需要编程。

“在我们的研究中，我们通过实验验证了图形学习的这一概念，这非常重要，事实上也相当普遍，”Wang说。“实际上，图像和序列数据，如音频和文本，也可以用图形来表示。即使是变形金刚这种最先进、最具优势的深度学习模型，也可以用图形神经网络来表示。”

Wang和他的同事开发的回声状态图神经网络由两个不同的部分组成：回声状态和读出层。回声状态层的权重是固定和随机的，因此它们确实需要随着时间的推移而重复训练或更新。

“回声状态层的功能相当于一个图形卷积层，可以递归地更新图形中所有节点的隐藏状态，”Wang说。每个节点的隐藏状态基于其自身的特征和其相邻节点在先前时间步长中的隐藏状态来更新，两者都是用回声状态权重提取的。这个过程重复四次，然后将所有节点的隐藏状态相加到一个向量中，以表示整个图形，该图形使用读出层进行分类。这个过程重复四次，然后将所有节点的隐藏状态汇总在一起成为一个向量，作为整个图形的表示，这是由读出层分类的。”

Wang和他的同事提出的软硬件设计有两个显著优点。首先，这里的回声状态神经网络需要的训练显著减少。其次，该神经网络能在不需要编程的随机和固定电阻存储器上有效地实现。

“我们研究最显著的成就是随机电阻存储器和回声状态图神经网络（ESGNN）的集成，它保留了内存计算的能量面积效率提升，同时还利用电介质击穿的内在随机性来提供ESGNN的低成本和纳米级硬件随机化，”Wang说。具体来说，我们提出了一种用于图形学习的硬件-软件协同优化方案。这样的协同设计可能会启发电阻式存储器的其他下游计算应用。”

软件方面，Wang和他的同事们介绍了一种ESGNN，它由大量具有随机和循环互连的神经元组成。这种神经网络采用迭代随机投影来嵌入节点和基于图形的数据。这投影在混沌的边缘生成轨迹，实现有效的特征提取，同时消除与传统图形神经网络的开发相关联的艰苦训练。

“在硬件方面，我们利用电阻切换中介质击穿的内在随机性，在ESGNN中实现随机投影，”Wang说。通过将所有电阻单元偏置到其击穿电压的中间值，如果一些单元的击穿电压低于所施加的电压，这些单元将经历介质击穿，从而形成随机电阻器阵列来表示ESGNN的输入和递归矩阵。与使用数字系统生成伪随机数相比，这里的随机性来源于随机氧化还原反应和离子迁移，这些反应和迁移源于电阻存储单元的成分不均匀性，为内存计算提供了低成本和高度可扩展的随机电阻阵列。”

在最初的评估中，Wang和他的同事创建的系统取得了令人鼓舞的结果，比数字和传统的电阻存储解决方案更有效地运行ESGNNs。将来，它可以应用于各种现实世界的问题，这些问题需要分析可以用图形表示的数据。

Wang和他的同事认为，他们的软硬件系统可以应用于广泛的机器学习问题，因此他们现在计划继续探索其潜力。例如，他们希望评估其在序列分析任务中的性能，其中在忆阻阵列上实现的回声状态网络可以消除编程的需要，同时确保低功耗和高精度。

“这项工作中展示的原型是在相对较小的数据集上进行测试的，我们的目标是通过更复杂的任务来推动极限，”Wang补充说。“例如，ESN可以作为特征提取的通用图形编码器，使用内存进行少量学习，使其对边缘应用非常有价值。我们期待探索这些可能性，并在未来扩展ESN和忆阻阵列的功能。”