自主车辆必须能迅速准确地识别遇到的物体，无论是停在角落的熄火送货卡车，还是飞驰而来的自行车者。为了做到这一点，车辆可能会使用强大的计算机视觉模型，对这个场景的高分辨率图像中的每个像素进行分类，以便不会失去在低质量图像中可能被遮挡的物体。然而，这个被称为语义分割的任务非常复杂，当图像具有高分辨率时，需要大量的计算。

麻省理工学院、麻省理工-IBM沃森人工智能实验室和其他地方的研究人员开发出了一种更高效的计算机视觉模型，极大地降低了这个任务的计算复杂性。他们的模型可以在硬件资源有限的设备上实时准确地执行语义分割，比如内置计算机能够做出瞬间决策的自主车辆。

最新的语义分割模型直接学习了图像中每对像素之间的相互作用，因此随着图像分辨率的增加，它们的计算量呈二次增长。然而，尽管这些模型准确，但在传感器或手机等边缘设备上实时处理高分辨率图像的速度太慢。

麻省理工学院的研究人员设计了一种新的语义分割模型构建块，它具有与最先进的模型相同的能力，但计算复杂性线性，并且具有高效的硬件操作。

结果是当这个新模型系列部署在移动设备上时，比以前的模型快了多达9倍。重要的是，这个新模型系列的准确度与这些替代方案相同或更好。

这种技术不仅可以用于帮助自主车辆实时做出决策，还可以提高其他高分辨率计算机视觉任务的效率，例如医学图像分割。

虽然研究人员已经使用传统的视觉变压器进行了相当长时间的研究，并且取得了非凡的成果，但我们希望人们也关注这些模型的效率方面。我们的研究表明，明显减少计算量，使得实时图像分割可以在设备上进行本地处理是可行的。

这项研究将于10月2日至6日在巴黎举行的国际计算机视觉会议上进行报告，并在arXiv预印版服务器上提供。

简化的解决方案

为一个有可能包含数百万像素的高分辨率图像中的每个像素进行分类对于机器学习模型来说是一项艰巨的任务。最近一种强大的新模型，称为视觉变压器，已经被有效地使用。

变压器最初是为自然语言处理而开发的。在那个背景下，它将句子中的每个单词编码为一个标记，然后生成一个关注映射，它捕捉到每个标记与其他所有标记的关系。这个关注映射有助于模型在做出预测时理解上下文。

使用相同的概念，视觉变压器将图像切割成像素块，并将每个小块编码为一个标记，然后生成一个关注映射。在生成这个关注映射时，模型使用一个直接学习了每对像素之间相互作用的相似函数。这样，模型形成了所谓的全局感受野，即可以访问图像的所有相关部分。

由于一个高分辨率图像可能包含数百万像素，被分解成成千上万个像素块，关注映射很快就会变得庞大。因此，计算量随着图像分辨率的增加呈二次增长。