
机器人应该理想地以灵活的方式与用户及其周围的物体进行交互,而不总是固守相同的应对和行动模式。近来,一个旨在实现这一目标并引起了重大研究关注的机器人学方法是零射目标导航(Zero-shot Object Navigation,简称ZSON)。
ZSON是一种开发先进计算技术的概念,它使机器人能够在未知环境中导航,与之前未见过的物体进行交互并回应各种指令。虽然一些技术已经取得了令人鼓舞的成果,但往往只能让机器人定位到一般类别的物体,而不能利用自然语言处理来理解用户的提示并定位到具体的物体。
密歇根大学的一组研究人员最近开始尝试开发一种全新的方法,以增强机器人在开放式环境中探索和个性化导航的能力。他们在arXiv预印版服务器上发表的一篇论文中介绍了他们提出的框架,该框架利用了大型语言模型(LLMs),使机器人能够更好地响应用户的需求,例如定位附近的特定物体。
“在现有的ZSON工作中,主要侧重于遵循个别指示来寻找通用物体类别,忽视了自然语言交互的利用以及识别用户特定对象的复杂性,” Yinpei Dai、Run Peng及其同事在他们的论文中写道。“为了解决这些局限,我们引入了零样冷启动个性化目标导航(ZIPON)系统,其中机器人需要在与用户交谈的同时导航到个性化目标对象。”
戴、彭和他们的合作者在他们的论文中首次介绍了一项新任务,他们将其称为ZIPON。该任务是ZSON的一个推广形式,要求准确回应个性化提示并定位特定目标对象。
如果传统的ZSON需要找到附近的床或椅子,那么ZIPON将更进一步,要求机器人能够识别特定人的床、从亚马逊购买的椅子等等。随后,研究人员尝试开发一个计算框架,来有效地解决这个问题。
在他们的论文中,戴(Dai)、彭(Peng)和他们的同事写道:“为了解决ZIPON,我们提出了一个新的框架,称为开放-世界交互式个性化导航(ORION),它使用大型语言模型(LLMs)进行顺序决策,以操作不同的感知、导航和通信模块。”
这个研究团队开发的新框架包括六个关键模块:控制、语义地图、开放词汇检测、探索、记忆和交互模块。控制模块使机器人能够在其周围移动,语义地图模块对自然语言进行索引,开放词汇检测模块则使机器人能够根据语言描述来检测物体。
机器人随后使用探索模块在周围环境中搜寻物体,同时将来自用户的重要信息和反馈存储在存储模块中。最后,交互模块使机器人能够与用户进行对话,口头回应他们的请求。
戴、彭和他们的同事们对他们提出的框架进行了模拟和实际实验,使用了名为TIAGo的移动轮式机器人,该机器人具有两只机械臂。他们的研究结果令人鼓舞,因为他们的框架成功地提升了机器人在尝试定位特定附近物体时利用用户反馈的能力。
戴、彭及其同事解释道:"实验结果显示,可以利用用户反馈的交互代理的表现出现了显著的改进。然而,对于所有方法来说,在任务完成和导航与交互效率之间取得良好平衡仍然具有挑战性。我们进一步提供了更多关于不同用户反馈形式对代理性能影响的发现。"
尽管ORION框架展现了改善个性化机器人在未知环境中导航能力的潜力,但团队发现同时确保机器人成功完成任务、平稳地导航未知环境,并与用户良好互动极具挑战性。将来,该研究可能对开展ZIPON任务的新模型的发展提供启示,从而解决团队所提出框架的某些不足之处。
“这项工作只是我们在个性化导航中探索LLMs的初步步骤,并且有一些限制,”戴、彭和他们的同事在论文中写道。“例如,它无法处理更广泛的目标类型,比如图像目标,也不能在现实世界中与用户进行多模态交互。我们未来的努力将在这些方面展开,以提升交互机器人在人类世界中的适应性和多样性。”









