
卡内基梅隆大学机器人学研究所的研究人员表明,与静止物体相比,计算机视觉系统更容易检测到运动中的物体,比如一辆在街上行驶的汽车或者一个过街人行道上行走的人。
卡内基梅隆大学计算机科学学院院长、机器人学研究所教授马修·赫伯特和机器人学博士生宝志鹏与丰田研究院合作进行了这个项目的研究。这项研究可以帮助计算机和机器人更好地自动检测视频中的物体。
物体识别是理解现实场景的基础,因此通过开发以动作为导向的探测方法,可以提高自动驾驶的能力。这也可能对零售机器人、机器人操作和家用机器人等领域有所帮助。
在与丰田、加州大学伯克利分校和伊利诺伊大学厄巴纳-香槟分校的同事合作下,卡内基梅隆大学的研究人员开发了一个名为MoTok的框架,使计算机能够自行识别移动物体的特征。MoTok然后利用这些特征来重建物体,使计算机能够发现该物体,并能再次找到同一物体。
研究人员后来延伸了这项工作,使计算机能够以简化、虚拟化的方式描绘这些特征。这一发展使计算机能够更好地识别高层特征,使其能够对物体进行分类,而不仅仅是识别特定的物体。该论文目前可在arXiv预印本服务器上获取。
对于人类来说,视觉化物体是自然而然的,事实上,视觉是难以反思的。
"我们对自己是如何做到这一点没有意识的,"赫伯特说。
机器学习的进步已经帮助提高了计算机识别物体的能力,尽管方式与人类非常不同。然而,这些方法需要数以万计的包含有标注物体的视频。这是费时费力的,昂贵的,并且在实验室以外容易失败。
"显然,这是不可扩展的,"赫伯特说。
我们需要的是一种通用的方法,使计算机程序能够自行发现视频中的物体,而无需标签或监督。正如MoTok所展示的,使用运动来引导物体探测是实现这一目标的一种方式。
"运动中的物体与静止背景容易区分,"宝志鹏说,“运动还可以帮助定义一个具有多个移动部分的物体。汽车的车门可能会打开和关闭,车轮可能会旋转,但是当整个车辆沿着街道行驶时,所有部件的协同运动可以帮助计算机程序更好地理解汽车的概念。”
该团队于今年6月在视觉和模式识别会议上展示了关于MoTok的论文。关于MoTok的更多信息可以在项目网站上找到。