人类是物理世界的优秀领航员，部分原因在于我们构建构成空间记忆基础的认知地图的非凡能力——从定位不同本体论层面的地标（如客厅书架上的一本书）到确定是否布局允许从 A 点导航到 B 点。构建精通导航的机器人需要对 (a) 视觉和自然语言（关联地标或遵循指令）和 (b) 空间推理（连接地图将环境表示为对象的真实空间分布）。虽然最近有很多进展在互联网规模数据上训练联合视觉语言模型时，弄清楚如何最好地将它们连接到机器人可以使用的物理世界的空间表示仍然是一个悬而未决的研究问题。

为了探索这一点，弗莱堡大学和纽伦堡大学的研究人员合作开发了视觉语言地图(VLMaps)，这是一种将预训练的视觉语言嵌入直接融合到环境 3D 重建中的地图表示。VLMaps 将出现在ICRA 2023上，它是一种简单的方法，允许机器人： (1) 使用自然语言描述在地图中索引视觉地标，(2) 使用代码作为策略来导航到空间目标，例如“去在沙发和电视之间”或“向椅子右侧移动三米”，以及（3）生成开放式词汇障碍图— 允许具有不同形态的多个机器人（例如，移动机械手与无人机）使用相同的 VLMap 进行路径规划。VLMaps 可以开箱即用，无需额外的标记数据或模型微调，并且在 Habitat 和 Matterport3D 中具有挑战性的目标目标和空间目标导航任务上比其他零样本方法高出17 %以上，另外还发布了用于实验的代码以及交互式模拟机器人演示。

VLMaps 可以通过将预训练的视觉语言嵌入融合到环境的 3D 重建中来构建。在运行时，机器人可以查询 VLMap 以定位给定自然语言描述的视觉地标，或构建用于路径规划的开放词汇障碍地图。

具有现代多模式转折的经典 3D 地图

VLMaps 将经典 3D 重建的几何结构与在互联网规模数据上预训练的现代视觉语言模型的表达相结合。当机器人四处移动时，VLMaps 使用预训练的视觉语言模型从 RGB 相机视图中计算密集的每像素嵌入，并将它们集成到与物理世界的现有 3D 重建对齐的大型地图大小的 3D 张量中. 这种表示允许系统通过将它们的文本嵌入与张量中的所有位置进行比较并找到最接近的匹配来定位地标，给出它们的自然语言描述（例如“客厅书架上的一本书”），查询这些目标位置可以直接作为目标坐标进行语言条件导航。

VLMaps 可用于在给定自然语言描述的情况下返回地标的地图坐标，它可以包装为原始 API 函数调用，用于代码即策略以对多个目标远距离导航指令进行排序。

结果

我们评估 VLMaps 在Habitat和Matterport3D 中具有挑战性的零样本目标和空间目标导航任务，无需额外的训练或微调。要求机器人导航到以自然语言顺序指定的四个子目标。我们观察到 VLMaps 由于其改进的视觉语言基础，显着优于强大的基线（包括CoW和LM-Nav）高达 17%。

VLMaps 方法在多对象导航（成功率 [%]）上优于替代的开放式词汇基线，特别是在具有多个子目标的长期任务上表现出色。

VLMaps 的一个关键优势是它能够理解空间目标，例如“进入沙发和电视之间”或“向椅子右侧移动三米”。远距离空间目标导航的实验显示了改进高达 29%。为了更深入地了解地图中针对不同语言查询激活的区域，我们将对象类型“椅子”的热图可视化。

开放式词汇障碍图

同一环境的单个 VLMap 也可用于构建用于路径规划的开放词汇障碍地图。这是通过将二进制阈值检测图与机器人可以或不能遍历的地标类别列表（例如“桌子”、“椅子”、“墙壁”等）相结合来完成的。这很有用，因为具有不同形态的机器人可能会在同一环境中以不同方式移动。例如，“桌子”对于大型移动机器人来说是障碍物，但对于无人机来说可能是可以穿越的。我们观察到，与为每个机器人使用单个共享障碍物地图相比，使用 VLMaps 创建多个特定于机器人的障碍物地图可将导航效率提高多达 4%（根据按路径长度加权的任务成功率衡量）。

在AI2THOR模拟环境中使用移动机器人 ( LoCoBot ) 和无人机进行实验。左图：环境的俯视图。中间列：代理在导航期间的观察结果。右图：为具有相应导航路径的不同实施例生成的障碍物地图。

结论

VLMaps 迈出了第一步，将预训练的视觉语言信息建立在空间地图表示上，机器人可以使用这些表示进行导航。在模拟和真实环境中进行的实验表明，VLMaps 可以使使用语言的机器人：(i) 在给定自然语言描述的情况下索引地标（或相对于它们的空间位置），以及 (ii) 生成用于路径规划的开放词汇障碍地图。扩展 VLMaps 以处理更多动态环境（例如，移动的人）是未来工作的一个有趣途径。

参考链接：https://ai.googleblog.com/2023/03/visual-language-maps-for-robot.html