机器人无处不在，有从在空中拍摄视频的无人机，有到在餐馆提供食物服务机器人，再到在紧急情况下拆除炸弹的安全机器人。机器人正在通过增强我们的能力、腾出时间、增强我们的人身安全和福祉，缓慢而坚定地改善人类的生活质量。虽然现有的机器人在完成简单任务方面越来越熟练，但要处理更复杂的请求，在机动性和智能方面都需要进一步发展。

哥伦比亚工程学院和丰田研究所的计算机科学家正在深入研究心理学、物理学和几何学，以创建算法，使机器人能够适应周围环境，并学习如何独立做事。这项工作对于使机器人能够应对老龄化社会带来的新挑战，并为老年人和残疾人提供更好的支持至关重要。

教机器人遮挡和物体持久性

计算机视觉领域一个长期存在的挑战是物体持久性，这是心理学中一个众所周知的概念，涉及到理解物体的存在与物体在任何时刻是否可见是分开的。对于机器人来说，理解我们不断变化的、动态的世界是至关重要的。但是计算机视觉中的大多数应用程序完全忽略遮挡，往往会失去对暂时隐藏在视野之外的物体的跟踪。

“对于人工智能来说，一些最难的问题对人类来说是最简单的，”计算机科学副教授、丰田研究所(Toyota Research Institute)青年教师奖获得者Carl Vondrick说。想想蹒跚学步的孩子是如何玩躲猫猫的，并了解到当他们遮住脸时，他们的父母不会消失。另一方面，一旦某物被挡住或隐藏在视野之外，计算机就会失去跟踪，无法处理该物体的去向或回忆起它的位置。

为了解决这个问题，Vondrick和他的团队向神经网络传授了成人和儿童天生具有的基本物理概念，类似于孩子通过观察周围发生的事件来学习物理，该团队创造了一种通过观看许多视频来学习物理概念的机器，关键是训练计算机预测未来场景的样子。通过在许多例子中训练机器解决这个任务，机器自动创建一个内部模型，说明物体在典型环境中如何物理移动。例如，当一个汽水罐从冰箱里消失时，机器学会记住它仍然存在，因为一旦冰箱门重新打开，它就会再次出现。

动态场景补全：给定一个单眼视频作为输入，该框架会生成一个 4D 表示，该表示随着时间的推移捕获整个场景内容以及其中的所有静态和动态对象

视频链接：https://youtu.be/Fn0XKUhkfqA

“我以前处理过图像和视频，但让神经网络很好地处理3-D信息是非常棘手的，”博士生Basile Van Hoorick说，他与Vondrick合作开发了可以在遮挡发生时理解遮挡的框架。与人类不同，计算机并非天生就能理解我们世界的三维空间，该项目的第二个飞跃不仅是将摄像机的数据无缝地转换为3D，而且还重建了超出可视范围的整个场景配置。

这项工作可以广泛扩展家用机器人的感知能力，在任何室内环境中，事物总是被隐藏起来。因此，机器人需要智能地解读周围环境。“汽水罐在冰箱里”的情况就是其中一个例子。不过，很容易看出，如果机器人能够利用它们的记忆和物体永久推理技能来跟踪物体和人类，那么任何使用视觉的应用程序都将受益。

超越了刚体假设

如今，大多数机器人的编程都带有一系列的假设，以便它们能够工作。一种是刚体假设，它假设物体是固体，不会改变形状，这简化了很多事情。机器人专家可以完全忽略与机器人交互的物体的物理性质，只需要考虑机器人的运动。

哥伦比亚大学人工智能与机器人(CAIR)实验室由计算机科学助理教授Shuran Song领导，一直在以不同的方式研究机器人的运动。她的研究重点是可变形的非刚性物体——它们可以折叠、弯曲和改变形状，在处理可变形物体时，机器人专家不能再依赖刚体假设，这迫使他们重新思考物理学。

“在我们的工作中，我们试图调查人类是如何凭直觉做事的，”丰田研究所青年教师奖获得者Shuran Song说。她的团队没有试图解释每一个可能的参数，而是开发了一种算法，允许机器人从做中学习，使其更具普遍性，减少了对大量训练数据的需求。这迫使小组重新思考人们如何做一个动作，比如用绳子击中一个目标。我们通常不会考虑弦的轨迹——相反，我们会试着先击中物体，然后调整我们的动作，直到我们成功。Shuran Song指出:“这种新的视角对于解决机器人领域的这一难题至关重要。”

她的团队在机器人科学与系统会议(RSS 2022)上获得了最佳论文奖，因为他们开发的算法迭代剩余策略(IRP)。IRP是用于具有复杂动态的可重复任务的通用学习框架，其中单个模型使用不准确的模拟数据进行训练。该算法可以从这些数据中学习，并在机器人实验中使用不熟悉的绳子击中许多目标，精度达到亚英寸，展示了强大的泛化能力。

机器人在七次尝试中学会了如何击中目标（黄色杯子）

视频链接：https://youtu.be/KZNHYY4XjOY

“以前，要达到这种精度水平，机器人可能需要完成100到1000次任务，”与Shuran Song合作开发IRP的三年级博士生Cheng Chi说。“有了我们的系统，我们可以在十次之内做到这一点，这和人类的表现差不多。”

研究人员注意到，他们的机器人所能做的投掷运动仍有一些局限性。虽然投掷运动是有效的，但它受到机械臂速度的限制，这意味着它不能处理大型物品，更不用说在人群周围快速投掷是很危险的。

Shuran Song的团队将这项研究进一步推进，并开发了一种利用主动吹气来操纵它们的新方法。他们给机器人配备了一个气泵，它能够迅速展开一块大布或打开一个塑料袋，他们称之为DextAIRity的自我监督学习框架通过一系列抓取或吹气动作来学习有效地执行目标任务。通过视觉反馈，该系统采用闭环配方，不断调整其吹气方向。

DextAIRity 基于学习的方法可以快速可靠地打开大多数经过测试的袋子

视频链接：https://youtu.be/iEU7Z29g_M8

我们需要做些什么才能让机器人在我们家里更有用呢?

目前，机器人可以成功地在具有明确定义区域的结构化环境中机动，并同时完成一项任务。然而，一个真正有用的家用机器人应该具备各种技能，能够在一个非结构化的环境中工作，比如地板上有玩具的客厅，并处理不同的情况。这些机器人还需要知道如何识别任务，以及哪些子任务必须以何种顺序完成。然后，如果他们在工作中失败了，他们需要知道下一步该做什么，以及如何适应完成目标所需的下一步。

“Carl Vondrick和Shuran Song在他们的研究中取得的进展直接有助于丰田研究所的使命，”大学研究项目顾问Eric Krotkov博士说。“TRI在机器人及其他领域的研究重点是开发能力和工具，以应对老龄化社会、劳动力短缺和可持续生产等社会经济挑战，赋予机器人理解被遮挡物体和处理可变形物体的能力将使它们能够提高所有人的生活质量。”

Shuran Song和Vondrick计划合作，将他们各自在机器人和计算机视觉方面的专长结合起来，创造出在家里帮助人们的机器人。通过教机器理解家里的日常物品，如衣服、食物和盒子，该技术可以使机器人帮助行动不便的人，提高人们的日常生活质量。通过增加机器人可以学习的物体和物理概念的数量，该团队的目标是使这些应用在未来成为可能。

参考链接：https://techxplore.com/news/2023-03-psychology-physics-geometry-robots-intelligent.html

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文