摘要

智能机器人需要识别环境中的物体，该任务在概念上不同于计算机视觉中的典型图像分类任务，机器人需要识别特定的对象实例，而不是对象的类别，这使得这些任务更简单。然而，这些实例需要在不同的观察角度、姿势和照明条件下可靠地识别。此外，在许多应用中，机器人需要快速学习新对象的能力，例如，在与用户的交互式会话中，并在条件变化和发生错误时适应对象表达。这种场景产生了对对象学习的需求：(1)是持续的，即可以在任何时间添加新的对象而不会引起遗忘；(2)需要少量的数据，可以在与用户的短交互会话中获得；(3)保持开放，以便以后适应。用缓慢的基于梯度的反向传播训练的深度神经网络，尽管在图像处理任务上表现出色，但并不适合交互式机器人学习任务。因此，我们探索了更小的神经结构，并通过神经元状态机(NSM)提高学习过程的自主性。NSM规范了网络中的学习，使学习到的对象原型能够不断地适应。我们在英特尔的神经形态研究芯片Loihi中将该模型作为一个尖峰神经网络实现，并在模拟3D环境中生成的基于事件的自定义相机数据集上测试它。我们的尖峰神经元网络使用简单的特征提取层和使用在线片上本地学习规则存储视觉模式的单一塑料层。在交互式、按需学习实验中，该网络对8组3D对象(每个对象有8种不同的视图)的测试精度达到96.55±2.02%；与其他在线学习方法相比，它的能源效率提高300倍，延迟时间更好。这项工作有助于基于神经网络的机器学习，使机器人具有小功耗和交互式学习能力。

1介绍

当人类的孩子学习一个新物体时，他或她看一眼，可能会把那个物体转过来，问它是什么，然后奇迹发生了——他们可以在各种设置和条件下再次识别这个物体，而不影响当天学习的15个其他物体的识别能力。对于我们未来的辅助机器人或制造机器人，我们希望有类似的能力。当一个新的任务出现时，我们想让机器人学习一个新的物体，让它好好看一看，也许可以从几个方面看，然后能够检测这个物体，并将它与今天其他十几个相关的物体区分开来。使用深度神经网络的现代人工智能方法在许多视觉学习任务中表现出色。然而，这些“单一的”DNN并不适合我们的儿童学习场景：训练它们需要准备大量良好的数据，而试图向列表中添加新对象则需要仔细地使用所有数据进行再训练，以避免灾难性的遗忘。

为了使DNN能够持续学习，有多种方法可以提高其在动态任务设置中的适用性，例如使用数据回放、模型增长、正则化方法、基于不确定性的采样策略、神经网络资源的智能分配，以及其他在新输入与学习分布不匹配时抵消灾难性遗忘的方法。这些方法通常在图像识别基准中进行测试，这与机器人任务有本质上的不同。现实世界中的数据收集和标记，有限的内存和计算资源，学习算法的不稳定性是一些挑战，使现有的方法难以应用于机器人。因此，对于机器人的对象学习，我们仍然缺乏一个高效优雅的解决方案。

在深度学习领域之外，还有另一组方法来解决机器人领域的增量对象学习，例如移动机器人。这些方法不使用深度神经网络，但通常依赖于生物启发的特征提取器(如HMAX类层次特征)或特征表示，如颜色直方图，或组合接受域直方图(CRFH)。在这些特征的基础上，通过一种训练算法实现增量在线学习。这些方法包括增量支持向量机(ISVM)、朴素贝叶斯、被动攻击分类器、增量学习向量量化(ILVQ)、增长神经气体(NG)甚至简单随机梯度下降(SGD)。

在这种情况下，基于原型的方法有望用于持续对象学习，因为这些方法更局部地存储对象表示，并且可以通过加入更多参考向量来调整模型容量来学习新对象。最近，人们对将深度学习方法与基于原型的方法相结合以实现增量少显示学习越来越感兴趣:其核心思想是存在一种嵌入，其中点围绕每个类的单个原型表示聚类。

在这篇论文中，我们从这种基于原型的方法中汲取灵感，提出了一种新的尖峰神经网络架构，它不依赖于深度神经结构中的反向传播，而是将学习定位于多层网络中的一层。这使我们能够在神经形态硬件上充分部署网络，利用其芯片上的局部突触可塑性来实现在线、持续学习。该网络使用简单的预布线仿生特征提取和塑料读出层，实现快速、单次记忆形成。在我们的神经网络中，学习是由神经元状态机控制的——一个相互连接的神经元电路，它观察网络的输入和输出层的活动，并“决定”是否需要更新权值，是否需要请求标签，或是否需要招募一个新的读出神经元。由于这种控制机制，我们不需要将学习和识别阶段分开，可以根据用户反馈或自我检测错误，根据需要开启权重适应。

我们在在线学习中测试了少量以不同姿势或观察角度呈现的物体实例的表征。我们使用一个机器人模拟器Gazebo来生成3D对象的几个视图，模拟一个基于事件的相机，用“微跳视”运动采样这些视图，并展示我们的模型如何能够学习在一个模拟的交互式设置中区分对象。我们相信这种类型的持续学习模型及其神经形态实现的优势。能源效率、良好的可扩展性和在线学习将为机器人对象学习系统带来实用的解决方案，我们演示了这样一个系统在神经形态硬件上的实现。

2 方法

2.1 神经形态硬件

在这项工作中，我们在英特尔的神经形态研究芯片Loihi上实现了神经网络架构。作为其他神经形态硬件设备，Loihi利用生物神经系统的见解来构建电子设备，有效地实现生物计算原理。Loihi在一系列AI任务的低功耗和快速处理速度方面取得了数量级的改进。此外，Loihi芯片上的仿生突触可塑性支持芯片上的持续学习。

每个Loihi芯片包含128个神经元核心，实现128K峰值泄漏集成和激发(LIF)神经元和128M突触连接，其特征是它们的重量$w_{ij}w\_\{ij\}$ 和延迟$d_{ij}d\_\{ij\}$ 。片上学习引擎根据定义学习规则的突触可塑性方程更新学习层的权值。当系统在使用时，学习规则可以根据从专家(如人类)处获得的标签信号更新权值。我们的网络在一个Loihi芯片上使用了大约18K个神经元和0.5M个突触

在我们的实验中，我们将Loihi与一种基于事件的相机——动态视觉传感器(DVS)相结合，从而在视觉感知中实现低功耗、低延迟和高动态范围，并匹配SNN中处理的基于事件的性质。分布式交换机只有在视野发生变化时才产生输出。因为在我们的实验中，我们处理的是潜在的静态物体，所以我们使用小的摄像机运动，“微眼跳”来在我们的实验中产生事件。

不同的方法可以用来开发算法，或SNN架构，为神经形态硬件。将传统的深度卷积网络转换为峰值神经网络(SNNs)和替代梯度方法，允许我们使用深度学习的原理来创建解决模式分类任务的网络。为了能够在这样的深度网络中进行在线学习，已经进行了几次尝试，例如，通过使网络的最后一层塑料来学习新的模式，使用预训练网络的早期层提取的特征。在我们的工作中，我们采用了类似的方法，使用塑料层在线学习对象原型，由神经元状态机控制。

2.2 尖峰神经网络模型

本研究中用于对象学习的尖峰神经元网络由三个固定的特征提取层、用于对象实例和视图的学习层以及实现如图1所示的神经元状态机(NSM)的神经元电路组成。所有层和NSM都由在英特尔神经形态研究芯片Loihi上运行的尖峰泄漏-集成-激发(LIF)神经元组成。

图1：提议的体系结构概述。该架构的特征提取部分由子采样(SS)层、S1层和C1层组成，它们共同产生输入的特征空间。下面的塑料层S2(深蓝色神经元)根据提取的特征和专家提供的标签被组织成对象组(OG)和学习对象，神经状态机(Neural State Machine, NSM)通过错误和标记神经元以及S2神经元的树突区来控制学习，该网络的推理决策由输出神经元读出。

2.2.1 视觉特征提取

该架构的特征提取部分由子采样(SS)、S1和C1层组成，灵感来自于之前在HMAX架构上的工作。

• Subsampling Layer子采样层。子采样层(SS)使用2 × 2的卷积核大小。通过适当的膜电压阈值和电压衰减的时间常数(表1)，该层基于噪声事件在时空上不那么持久的假设滤除输入中的噪声事件。我们为SS层的LIF神经元设置了一个非常短的时间常数，使其在每微跳时只能出现一次峰值。
• S1 Layer: Gabor FilteringS1层：Gabor滤波。第二层S1，类似于皮质启发视觉管道的简单细胞层。S1是一个基于事件的卷积层，负责用四个方向Gabor滤波器(0、45、90和135度)从SS层提取边缘。S1层中分别有4个二维神经元定向边缘特征图。Gabor滤波器的波长为4，标准差为2，长径比为0.5；它们的卷积窗口大小为9 × 9，步长为1。S1的输出形成4个二元(尖峰/无尖峰)特征映射。与SS层类似，S1神经元在每个输入实例中只能出现一次峰值；它们表示接收域中是否存在具有特定方向的边缘。在之后，对Gabor过滤器应用$\pi \backslash pi$/${}_8\_8$ 的偏移量。
• C1 Layer: Pooling C1层:池。S1层之后是第一个复杂细胞层C1，同样形成四个神经元网格。C1层的神经元在跨步3的4 × 4窗口上执行局部最大池化。如果C1神经元的感受野中有S1神经元放电，C1神经元就会产生脉冲。这一层增加了面向边缘的局部位置不变性。每个C1神经元在每个实例中只能出现一次脉冲，因此，它每一次微扫视的输出都是二进制的，并形成了提取的特征图，与下一层物体的不同视图相关联。

表1：拟在Loihi上的网络参数

2.2.2 连续分类器：塑料层和学习过程

• S2 layer: Prototypes S2层：原型。下一层S2与具有塑料突触的C1完全相连，它们的初始权值都为零。S2神经元被划分为$n_{obj}n\_\{obj\}$ Object Groups (OG)。每个OG被预先分配给一个物体，而这个OG中的每个神经元学习复杂特征的组合(C1激活)，即该物体的特定视图与之前学习的视图充分不同的原型。当S2神经元放电时，它们的突触权值会根据突触前和突触后尖峰的时间以及Label和Error神经元的活动而改变(图1)，从而更新S2神经元正在检测的复杂特征(原型)。特别是，Label神经元向S2神经元提供来自用户(如人类)的监督信号，而Error神经元计算并传播错误信号到C1→S2突触(即原型)，将用户提供的标签与网络的预测进行比较，这些都是在系统使用过程中发生的。
• Learning Process and Local Learning Rule学习过程和局部学习规则。神经网络的学习过程包括三个部分：(1)分配——通过分配未取的S2神经元来学习新对象或将已知对象的新观点作为新原型；(2)合并-更新这些原型，如果这些原型与已存储的原型相似，则将新的对象视图纳入其中，从而学习逐渐的概念漂移;(3)惩罚——削弱任何反应错误的原型的活跃突触。所有这些过程都是自动的:不需要开启和关闭学习，也不需要明确地说明网络是否应该学习或推断。具体来说，所有三个学习组件都可以在系统使用的任何时候进行，但只有在提供了标签信号的情况下。否则，网络会进行推断，即根据提供的实例和存储的原型之间的相似性做出最佳猜测。值得注意的是，在我们的架构中，相似性度量是S2神经元的激活水平(C1的二元特征峰与C1→S2突触的非负整数权值之间的简单点积)，该阈值由S2神经元产生输出峰。由于特征输入和权值都没有被标准化，所以相似度也没有被标准化。当前体系结构的这种限制将在结果和讨论部分中讨论。

该学习过程的神经形态实现包括突触塑性层的学习规则和神经状态机(NSM)来计算并提供必要的信号给这一层。突触可塑性规则在数学上可以用以下方程来描述：

这里，$x_{j}x\_j$ (t)和$y_{j}y\_j$ (t)是突触前和突触后的尖峰痕迹；$x_{imp}x\_\{imp\}$ 和$y_{imp}y\_\{imp\}$ 是每次突触前和突触后神经元突增时分别加到各自轨迹上的脉冲振幅；${\sigma }_i\backslash sigma\_i$ (t)和${\sigma }_e\backslash sigma\_e$ (t)分别为突触后(S2)神经元和错误(3rd 因子)神经元的脉冲序列；$e_{ij}e\_\{ij\}$ 是存储在突触标签变量中的合格迹线，${\tau }_x\backslash tau\_x$,${\tau }_y\backslash tau\_y$ ${\tau }_e\backslash tau\_e$ 是对应迹线的衰减时间常数，a+，a−，b+ >0为正学习率。

公式(1)中的第一项涉及突触增强(重量增加)，包括分配(新神经元的招募)和合并成分。第二个术语描述了突触抑制(体重下降)，即惩罚。更具体地说，公式(1)的抑制成分是一个三因素学习规则，用于减少/惩罚导致错误的权重:如果有一个错误峰，即${\sigma }_e\backslash sigma\_e$ (t)≠0，那么所有突触前活动不为零的突触——那些最近活跃的突触——将减少它们的权重。为此目的，$e_{ij}e\_\{ij\}$ 保留突触前活动的痕迹，这些活动先于突触后活动，并随着${\tau }_e\backslash tau\_e$ 时间常数的衰减而衰减(公式(3))。只有当出现错误峰值时，这个所谓的合格性跟踪才作为负权重变化应用于突触，误差信号由NSM根据网络的预测(推断)和用户提供的标签计算，如第2.2.3节所述。

在Loihi1芯片中，每个突触只能接收到一个广播的第三因子信号，而在我们的网络中，我们有两个这样的信号：label和error。我们选择利用这个信道来传播错误信号。因此，增强一词只需要基于突触前和突触后的痕迹。这导致我们设计了第二个(增强)项作为一种改进的Hebbian学习规则：它包括额外的乘法项($y_{i}y\_i$ (t)−$y_{imp}y\_\{imp\}$)，它根据突触后激活的数量调节正向权重变化。实际上，这实现了一种促进学习的机制。

然而，这种方法带来了新的挑战。首先，第一个挑战，由于学习从未被“关闭”，我们需要一种机制来保证在推断期间，权值不被学习规则改变。这是通过利用任何S2神经元(学习规则中的突触后)在推理过程中每个输入模式只能发出一次尖峰信号来实现的，因为在我们的网络中是单尖峰传播。第二个挑战是，我们有两种类型的突触增强(分配和合并)需要加以区分。这种区分是通过基于便利的学习完成的，它根据突触后活动的水平更新权重。在学习过程中，这个活动由NSM控制。S2所有神经元的初始权值均为0。在分配方面，我们希望网络学习所呈现的模式作为一个新的原型。这需要在相应的突触上进行较大的正权重改变。另一方面，对于合并，我们不希望完全覆盖现有的原型，而是将新模式的大幅缩小副本叠加到这个原型上，因此合并需要更小的突触增强。

总的来说，我们的方法可以看作是呈现对象的不同视图的模式的顺序聚类。分配新的S2神经元类似于定义一个以新模式为中心的新簇，而合并则将簇的中心移向原型和新模式的总和。由错误信号触发的突触抑制将簇中心推向一个与呈现的模式正交的向量。通过这种方式，SNN实现了有监督的、动态进化的模式聚类，导致快速学习和使用本地片上学习规则的持续适应。

2.2.3 神经状态机

这项工作的主要贡献是展示如何学习和推理可以完全自动化的神经元网络。特别是芯片上的尖峰神经元网络如何在交互场景中运行，可以使用神经元状态机(NSM)的概念来实现这一目的。我们的NSM是一个小型的神经元互连网络，它从用户那里接收标签，检测整个SNN的不同状态，并触发不同的计算阶段，动态地重新参数化网络的部分内容。它通过四个主要功能控制推理和学习阶段：分配新的S2神经元；检测表征偏移并相应更新存储模式(合并)；计算错误信号；生成其他状态输出，表示它对输入的知识(包括视觉输入和标签输入)。NSM的不同部分在图2的子图中突出显示，并在下面详细介绍。

图2：神经状态机(NSM)。(a)控制自主学习过程；(b)两个对象训练实例期间的误差信号计算；(c)对同一对象组中的2个S2神经元进行S2视图神经元的自主分配和合并。

• S2 Neuron Allocation S2神经元分配。在我们的网络中，易化信号(第2.2.2节介绍)由标记神经元通过S2神经元的不同树突区(“输入通道”)提供(见图2b)。S2神经元有一个Soma(深蓝色的圆圈)，它接收来自C1层和四个不同的树突室(D1−D4)的可塑性突触。这些树突将标签信号从标签神经元LB传播到Soma，并调节分配和合并。

在分配时，采用直接D1通路：由于对应的LB→D1突触延迟不同，组中每个S2神经元在接收标签信号的时间点略有不同。这使得S2神经元的逐一分配成为可能：当一个标签信号第一次出现在一个特定的目标组时，D1延迟最小的神经元将被激活，并抑制同一目标组的所有其他D1区。然后神经处理的进展如下：D1到S2的突触具有可塑性，最初较强；通过该突触，用户激活的标签神经元第一次向对应的S2神经元提供强刺激，并将($y_{i}y\_i$ (t)−$y_{imp}y\_\{imp\}$ )项驱动至高值(见第2.2.2节)；这增加了活动突触的权重，因此学习了模式。随后，这个D1→S2突触被完全抑制，即被切断，以避免在后续试验中重新分配，最终完成了这个S2神经元的分配，同一组中其他S2神经元的分配方式相同。

• Merging 合并。对于随后出现的相同标签的模式，我们希望网络在决定分配一个新的S2神经元之前，首先检查这些模式是否与任何存储的模式相似。这就把我们带到了合并的情况，它要求自动叠加与存储的原型之一相似的标记模式。在这里，我们通过结合两种机制来实现：(1)检测所呈现模式与存储原型之间的相似性，(2)适度促进相似性最高的S2神经元更新原型。第一种机制是通过以下途径实现的:所提供的标签信号通过D2室一定程度地促进所有S2神经元的激活；如果分配的S2神经元中有一个触发，则认为这是高相似性检测，随后该神经元会阻止任何新的神经元分配。相同的突刺与标签突刺一起通过D3和D4区隔(Soma→D4→D3→Soma)形成正反馈回路，并迫使Soma突刺更多，从而增强活跃的C1→S2突触;这种增强是存储模式和输入的合并。然而，与分配情况相比，这是一个较弱的增强，因此只能缓慢地调整权重来跟踪任何缓慢的代表性漂移。
• Error Signal Calculation 计算误差信号。正如我们在2.2.2节中介绍的，在学习过程中，错误神经元的峰值为学习规则提供了第三个因素。对于每个目标神经元，都有一个错误神经元，它表示目标神经元的峰与标签神经元的峰不对应。计算方法如(图2a)：当提供一个标签时，它会刺激相应错误神经元的抑制性树突隔室(橙色菱形)(因此抑制它)，同时也会激活“可用标签”(LA)神经元。反过来，LA神经元抑制所有错误神经元的树突隔间，除了被活跃的标签神经元激发的那个。因此，如果提供了一个标签，那么所有的Error神经元都被解除抑制，除了与标签对应的那个。被解除抑制的错误神经元可以对传入的物体神经元脉冲作出反应。每个这样的尖峰产生一个错误尖峰，表示预测对象与所提供的标签不对应。
• Auxiliary Neural State Outputs 辅助神经状态输出。为了实现交互场景，对象识别网络除了它的分类决策之外，还会检测并向网络的其他部分、其他行为模块(例如，注意力、语音)和用户“知道”当前呈现的对象实例及其标签的其他信息。为此，我们额外实现了6个神经元组作为神经元状态机的一部分(图中没有显示)：“可用输入”(IA)神经元表示网络是否收到了任何视觉输入；“已知物体”(KO)和“未知物体”(UkO)神经元发出信号，表示网络是否“知道”物体。对对象的类有很强的信心；“已知标签”(KLb)和“未知标签”(UkLb)神经元报告，如果网络之前“听到”一个特定的专家提供的标签;“学习完成”(LF)神经元表示当前对象实例的学习过程结束。然而，这些神经元的用例超出了本文所提供的实验和设置的范围。这些神经元可以在闭环学习场景中用于控制机器人行为的激活：转移注意力，移动传感器来收集事件，或向用户请求标签。

3 实验

3.1 数据采集模拟实验装置

为了测试我们的神经网络用于交互式连续对象学习，我们在Gazebo模拟器中使用一个模拟机器人环境(图3)运行iCub机器人的模型。在Gazebo中，我们将模拟的iCub机器人放置在桌子前，并将YCB数据库中的3D物体渲染到桌子上，为iCub创建一个视觉场景。

图3：Gazebo模拟环境下数据采集的实验设置

我们将YCB数据库中19个不同的日常对象中的一个放在桌子上预定义的位置上，iCub的视线将指向这个位置。我们使用基于事件的摄像机模拟器eSim根据模拟的iCub的摄像机视频生成事件。因为在我们的对象学习场景中，机器人盯着静态对象，我们需要移动机器人的摄像头来生成事件并“看到”对象。这些眼球运动的灵感来自于人类被称为微眼跳(MS)[30]的微小注视眼球运动。生成的输出的一些示例如图4所示。请注意，我们在这项工作中没有利用MS的任何特征提取特性，但想指出这是未来研究的机会。

图4：收集到的视觉输出示例：整个视野(摄像机视图)和两个不同物体(剪刀和碗)的关注区域(ROI)

每个物体被放置在20个不同的角度中的一个，以模拟物体的不同视角。对于每一个物体的放置，机器人注视物体并执行5次微眼跳。我们对所有的物体和旋转重复这个过程。最后，我们收集了19个物体20次旋转的事件流数据记录，最终得到380次记录，其中每个记录包含5个微眼跳。所描述的模拟器设置可以用于生成新的样本来基准模型，并在真实的机器人上模拟交互式学习。

3.2 事件流的预处理

在我们的实现中，由微眼跳生成的事件流首先在CPU上进行预处理。每个记录被分成多个100 ms的微跳“块”(一个块=一个微跳)，只提取一个以对象为中心的感兴趣区域(ROI)(图4)。这个预处理步骤是一个自底向上的场景对象注意机制的占位符。在未来的研究中，ROI将通过自下而上的显著性和视觉搜索驱动的自上而下的注意力模块来选择。

3.3 评估框架

我们在与用户的模拟交互中评估了我们架构的交互式持续学习能力。每次实验，在记录的19个对象中随机抽取8个对象。对于所有被选中的对象，前8次旋转被选中，总共记录64次。每段录音被分成两组：5组中，前3组用于学习，而我们在后2组中测试学习到的表征。为了训练网络，“用户”将所有64段(8次旋转，8个物体)的训练微跳以随机序列逐个呈现。每次输入后，用户观察网络的输出，并与实际的标签进行比较，如果预测不正确，就与标签信号一起重新呈现相同的输入，否则继续进行下一个输入。换句话说，我们模拟按需在线学习过程。

每个学习环节之后都有一个测试环节，以展示该网络到目前为止已经学习了什么。将所有物体和旋转的测试微眼跳按顺序呈现给网络，由用户观察推理输出。在这些会话中，不提供标签信号，而是用户衡量测试微眼跳的准确性已经学习的对象。按需学习和测试环节穿插在一起，以衡量学习过程的演变。在下一节中，我们将展示这些实验的结果，同时分析Gabor滤波器产生的潜在空间，并在准确性、速度和能耗方面与其他在线学习方法进行比较。

4 结果

4.1 特征提取层的识别能力

由于我们使用浅层和简单的特征提取，我们提出了一个潜在空间的分析，由S1和C1层创建的不同批次的8个对象，每个旋转8次，由5种不同的微眼跳采样(图5)，以评估持续学习任务的复杂性，解决SNN的塑料层。为了探索提取的特征表示，我们计算了不同对象、它们的视图和微眼跳的所有组合的余弦相似度矩阵。因此，图5a展示了所有物体不同姿态之间的相似性，表明一些物体在不同视角下看起来相似(对角线周围的深蓝色块)，其他物体在不同视角下不相似，可能与其他物体的视图重叠(非对角线的深蓝色块)。图5b中两种不同的微眼跳对同一物体的相似度矩阵进一步揭示了不同的微眼跳可能会对物体的外观进行不同的采样，这使得分类任务更加困难。这种对潜在空间的探索表明了后续分类器尽可能达到最佳精度的限制。

图5：C1层输出余弦相似度(不同对象提取的特征)：(a)所有对象旋转8次，(b)所有对象两次微扫视(旋转相同)

4.2 持续学习模式

我们按照第3.3节所述进行主要实验。在这里展示的所有测试中，使用了以下设置：8个物体和每个物体8个姿势；对于这64个对象实例中的每一个都记录了5个微眼跳(MS)，总共320个微眼跳块。前三个MSs用于按需学习，而测试阶段衡量两个不可见MSs的性能。这一过程重复了3个时期。在训练过程中，物体姿势实例被随机打乱。我们将分类器的类的数量限制在8个对象，以保持在单个芯片的计算范围内，但对象是在每次迭代的实验中从19个记录的对象中随机选择的。

图6显示了按需学习与测试阶段交织的单一实验运行。这三个时间序列图显示了Output、Label和Error神经元的峰值。通过测试会话，我们评估网络在不同时间点的性能，即在每个按需学习会话之后:所有物体的所有姿态被逐个呈现，并将响应存储在一个混淆矩阵中。图的右边显示了混淆矩阵的几个快照。我们可以看到，在第一个学习期之后，混淆已经很少见了(<20%)， SNN的准确率进一步提高，经过三个学习期后达到96.55±2.02%。这一结果是通过12次重复实验得到的，从19个记录对象中随机选取8个不同的对象。

图6：连续学习试验的一次迭代显示了输出、标签和错误神经元的峰值。对于几个测试会话，混淆矩阵显示在右边。在训练集的第一次迭代(所有三个训练MS)之后，几乎没有错误，因此没有标签请求。实验对象：大钳0只、网球1只、金枪鱼鱼盒2只、香蕉3只、剪刀4只、海绵5只、螺丝刀6只、罐头7只。

值得注意的是，在这些测试中，我们使用LIF神经元的内部状态变量的值来强制对一个对象做出决定，这增加了混淆。或者，可以引入一个输出激活阈值，并使用“未知对象”神经元来表示对决策的低信心，导致在学习事件后几乎为零的混淆错误。

对图6的进一步分析揭示了一些重要的观察结果。首先，作为按需学习过程的结果，Label和Error神经元的稀疏尖峰指向稀疏权值更新。如果正确推断对象，则不会提供标签，也不会发生权重更新。只有当选择了错误的对象，并且“用户”检测到这个错误时，才会提供标签。然后NSM也会检测到这个错误，它会降低相应的权重(参见章节2.2.2和2.2.3了解更多细节)。因此，增加了特征空间中正误类之间的距离。随着在线培训的进行，该网络犯的错误越来越少。

这些实验的另一个关键结果是所提出架构的资源效率，图7b显示了在持续学习过程中不同对象组中分配的S2神经元数量。我们可以观察到，更多的神经元被分配给在不同视角下看起来不同的物体，而旋转对称的物体需要更少的原型(S2)神经元(如碗、魔方或汤罐)。这表明有效表示的自主学习，其复杂性取决于对象的复杂性。尽管在当前网络中，每个对象预分配的神经元的最大数量是固定的，但在架构的下一个迭代中，我们的目标是从共享池中实现神经元分配，以进一步提高资源效率。

图7：(a)对8个物体的8个姿态、3个训练和2个测试微扫视的分类精度：我们的方法与在线线性SVM (SGD)、感知器、被动攻击分类器和朴素贝叶斯多项式方法的比较。在每个测试阶段记录准确性，在每个按需学习阶段(共9个测试阶段)后执行。这9个阶段分为3个阶段，每个阶段依次有3个学习MSs。(b)在12次不同的学习过程中，为不同对象招募的姿势神经元数量。

4.3 与非神经形态方法的比较

下一步，我们将我们架构的连续分类器(S2原型层+ NSM)与同一测试设置中的其他在线学习方法进行比较。图7a比较了不同在线学习算法对8个物体、8个姿态的测试精度。用于比较的非神经形态算法是分类方法，直接应用于C1层提取的特征向量。这些分类器使用1的小批大小进行训练，因此每次只显示一个样本(在线训练)，就像我们最初的实验一样。每种方法12次迭代的平均精度，阴影区域为测试精度的标准差。我们的分类器在准确率上的方差更小，收敛速度更快，比在线线性SVM(带折线损失的随机梯度下降)、感知器和被动攻击分类器更快。尽管朴素贝叶斯分类器获得了略高的精度，但后续的处理速度和能耗基准测试揭示了我们的方法的其他优点。

在这方面，我们隔离了对象识别网络的连续分类器，并将其与运行在CPU上的传统在线分类器方法进行了基准测试，在学习和推理的处理速度和能量消耗方面(表2)。结果表明，每个学习实例的能量提高了300倍(在推理方面提高了150倍)，同时显示了学习实例的最佳执行时间，并在推理时间上与其他方法相同。注意，在Loihi 1中，每个训练和测试实例需要100个时间步骤，因此报告的执行时间是每100个时间步骤。在我们的架构中，用于推理和学习的延迟和能量数字是相同的。显然，学习对延迟和能量的影响可以忽略不计，因为网络使用快速的学习规则，这些规则在时间上是精确的：网络中不到0.4%的权值需要每100个时间步更新。100个时间步的要求是一个算法约束，在未来的工作中将会有所放宽，包括接下来在loihi2硬件中实现连续分类器。

表2：处理/执行时间和能源消耗基准测试结果以及分类精度。实验针对8个对象，8个姿势，3次训练，2次测试微眼速，比较我们的方法(Loihi连续分类器)和在线线性支持向量机(SGD)，感知器，被动攻击分类器，朴素贝叶斯多项式方法。我们报告了所有方法每个推理和学习实例的ET(执行时间)和能量消耗。值得注意的是，我们在学习一个实例时可以获得最多300倍的能量(而在推理时可以获得最多150倍的能量)，同时显示了学习一个实例的最佳执行时间，并且在推理时间上与其他方法相同。

5 讨论与结论

在这项工作中，我们提出了一种基于神经网络的对象学习的新方法，特别针对机器人中的应用，在部署后可能需要学习新的对象。学习过程可以与用户互动，自主展开，对象的视图可以通过将学习定位到单层的可塑性突触来快速学习，并确保通过招募新的局部视图神经元(即原型)来考虑存储不同对象视图所需的复杂性。我们在这里提供了一个简单的、小规模的例子，它可以被缩放，并对物体视觉外观的变化具有鲁棒性，例如增加缩放和平移不变性，并使用更丰富的特征表示。在我们的交互式按需学习实验中，我们达到了96.55±2.02%的准确率，尽管目前的架构和算法的限制，但证明与其他在线学习方法相比，节省了高达300倍的能源效率和更好的延迟。

缺乏权重归一化或明确的长期电压阈值适应是当前架构的一个限制：未归一化的点积是不可靠的相似性度量。此外，特征提取层非常简单，只有一层Gabor滤波器。在现代AI文献的背景下，生成并用于学习和测试的数据集也很小，但由于所探索的领域在许多方面都是新颖的，我们相信这个数据集是一个良好的开端，数据生成管道允许未来的扩展。我们需要在现实世界中用实际的机器人和更多的物体来测试我们的算法，以了解我们算法的规模。

总的来说，这项工作有助于机器人在交互式环境中自主工作的学习方法，同时让我们在计算机视觉基准上实现深度学习的成功。我们的方法依赖于使用机器人模拟器，并可以扩展到具有闭环行为的物理平台，以测试学习过程的自主性，并演示持续学习。作为下一步，我们看到了在这种闭环互动学习环境中比较先进的持续学习方法和我们的建筑有很大的潜力。

原文链接：http://sandamirskaya.eu/resources/Interactive_Continual_Learning_for_Robots__Neuromorphic_Approach__ICONS_.pdf