
机器人看着Shikhar Bahl打开冰箱门,同时它记录了他的动作、门的摆动、冰箱的位置等等,机器人在分析这些数据,并准备模仿Bahl的行为。一开始它失败了,有时完全没有抓住把手,有时抓错了地方或拉错了。但经过几个小时的练习,机器人成功地打开了门。
“模仿是一种很好的学习方式,”卡内基梅隆大学计算机科学学院机器人研究所(RI)的博士生 Bahl说。“让机器人直接通过观察人类来学习仍然是该领域尚未解决的问题,但这项工作在实现这一能力方面迈出了重要的一步。”
Bahl与国际研究院的两位教员 Deepak Pathak和Abhinav Gupta合作,开发了一种新的机器人学习方法,称为WHIRL(In-the-Wild Human Imitating Robot Learning)即野外人类模仿机器人学习的缩写。WHIRL是一种高效的一次性视觉模仿算法,它可以直接从人类互动视频中学习,并将这些信息归纳为新的任务,使机器人非常适合学习家务。人们经常在家里做各种各样的事情,使用WHIRL,机器人可以观察这些任务并收集所需的视频数据,从而最终决定如何自己完成任务。

每次,机器人都会观看一个人完成任务一次,然后开始练习和学习自己完成任务。WHIRL的研究团队本月在纽约举行的机器人:科学与系统会议上展示了他们的研究成果。
国际研究院助理教授、该团队成员Pathak说:“这项工作提出了一种将机器人带入家庭的方法,我们无需等待机器人被编程或训练成功完成不同的任务,然后再将它们部署到人们的家中,这项技术让我们可以部署机器人,让它们学习如何完成任务,同时通过观察来适应环境,并进行改进。”
目前教机器人完成任务的方法通常依赖于模仿或强化学习。在模仿学习中,人类手动操作机器人,教它如何完成任务。在机器人学习之前,这个过程对于一个任务必须进行多次。在强化学习中,机器人通常会接受数以百万计的模拟例子的训练,然后要求其适应现实世界的训练。

这两种学习模型在结构化环境中教机器人完成单一任务时都很有效,但它们难以扩展和部署。而WHIRL可以从任何人类完成任务的视频中学习,它很容易扩展,不局限于一个特定的任务,可以在现实的家庭环境中操作。该团队正在甚至在研究一种通过观看YouTube和Flickr上的人类互动视频来训练的WHIRL版本。
计算机视觉的进步使这项工作成为可能,利用互联网数据训练的模型,计算机现在可以理解并模拟3D运动。该团队使用这些模型来理解人体运动,促进了WHIRL的训练。

有了WHIRL,机器人可以在自然环境中完成任务。电器、门、抽屉、盖子、椅子和垃圾袋都没有经过修改或操作以适应机器人。机器人在一项任务上的最初几次尝试都以失败告终,但一旦获得成功,它就会很快掌握并完成任务。虽然机器人可能不会用和人类一样的动作来完成任务,但这不是目标。人类和机器人有不同的部位,移动方式也不同。重要的是最终的结果是一样的,比如门开了,开关关闭了,水龙头开着了。
最后Pathak说:“要在野外扩展机器人的技术,数据必须可靠和稳定,机器人应该通过自己练习在环境中变得更好。”
原文链接:https://techxplore.com/news/2022-07-robots-household-tasks-humans.html