
由加州大学圣迭戈分校领导的研究人员开发了一种新模型,可以让四肢机器人在三维空间中更清晰地看到。这一进展使机器人能够自主轻松地穿越具有挑战性的地形,包括台阶、崎岖的地面和充满障碍的路径,并清除它路径上的障碍物。
研究人员将在2023年计算机视觉与模式识别会议(CVPR)上展示他们的工作,该会议将于6月18日至22日在加拿大温哥华举行。
“通过为机器人提供更好的三维环境理解,它可以在更复杂的真实环境中进行部署,”这项研究的高级作者、加州大学圣迭戈分校杰克斯工程学院电气与计算机工程教授王晓龙说道。
机器人配备了一个向前的深度相机在其头部。相机向下倾斜,以一定角度观察其前面的场景和底下的地形,提供良好的视野。
为了提高机器人的三维感知能力,研究人员开发了一个模型,该模型首先将相机拍摄的二维图像转换为三维空间。它通过观察由当前帧和几个之前帧组成的短视频序列,从每个二维帧中提取一些三维信息来完成这一任务。其中包括关于机器人腿运动的信息,如关节角度、关节速度和与地面的距离。该模型将之前帧的信息与当前帧的信息进行比较,估计过去和现在之间的三维变换。
该模型将所有信息融合在一起,以便它可以使用当前帧来合成先前的帧。随着机器人的移动,该模型会将合成的帧与相机已经捕获的帧进行比对。如果它们是一个良好的匹配,那么模型就知道它已经学习了正确的3D场景表达。否则,它会进行更正,直到获得正确的结果。
3D表现法被用来控制机器人的运动。通过合成过去的视觉信息,机器人能够记住它曾经看到过的事物,以及它的腿之前采取的动作,并利用这个记忆来指导下一步的行动。
王说:“我们的方法允许机器人建立一个三维环境的短期记忆,以便它更好地行动。”
这份新研究基于该团队之前的工作,研究人员开发了将计算机视觉和本体感结合起来的算法——其中包括运动、方向、速度、位置和触觉的感觉——以使四腿机器人在避开障碍物的同时能够在不平坦的地面上行走和奔跑。这里的进步在于,通过提高机器人的三维感知能力(并将其与本体感结合起来),研究人员展示了机器人可以穿越比以前更具挑战性的地形。
“令人振奋的是,我们已经开发了一个单一的模型,可以处理不同种类的具有挑战性的环境,”王说。“这是因为我们对 3D 周围环境的理解更好,让机器人在不同情况下更具多功能性。”
然而,这种方法有其限制。王指出,他们目前的模型无法引导机器人到达特定的目标或目的地。当机器人部署时,它只是沿直线路径行走,如果它看到障碍物,它就会通过另一条直线路径避开它。他说:“机器人并不能完全控制它去哪里。在未来的工作中,我们希望包括更多的规划技术,并完成导航流程。”