为了协助人类在日常活动中顺利完成家务，机器人应该能够有效地操作我们每天使用的物品，包括餐具和清洁设备。然而，由于形状、柔韧性或其他特性的原因，有些物体对于机器人的手部来说很难抓取和处理。

这些物体包括基于纺织品的布料，人类常用它们来清洁表面、擦亮窗户、玻璃或镜子，甚至擦地板。这些都是机器人有可能完成的任务，但在此之前，机器人需要能够抓取和操纵布料。

苏黎世联邦理工学院的研究人员最近引入了一种新的计算技术，可以创建起皱的布料的视觉表示，从而有助于规划机器人在完成任务时抓取和使用布料的有效策略。这种技术在arXiv上预发布的论文中介绍，据发现它在具有不同物理特性、形状、尺寸和材料的布料上泛化效果良好。

"Wenbo Wang、Gen Li、Miguel Zamora和Stelian Coros在他们的论文中写道："精确重建和操纵一个起皱的布料是具有挑战性的，因为布料模型的维度很高，并且在自遮挡区域观察有限。"我们借鉴了单视角人体重建领域的最新进展，通过我们提出的模拟-真实注册协议，仅通过从上方观察布料的深度信息，对起皱的布料进行基于模板的重建。

为了重建起皱的布料的整个网格，王、李和他们的同事使用了基于图神经网络（GNNs）的模型。这是一类旨在处理可表示为图形的数据的算法。

为了训练他们的模型，研究人员编制了一个包含超过120,000个来自布料网格模拟和渲染的顶视图RGBD布料图像的合成图像数据集，以及3000多个在真实环境中捕获的布料图像的标注图像数据集。经过对这两个数据集的大量训练，团队的模型被发现可以通过从上方观察布料来有效预测布料顶点的位置和可见性。

"Wang、Li和他们的同事写道："与之前的隐式布料表示相比，我们的重建网格明确指示了整个布料网格顶点的位置和可见性，使得双臂和单臂的目标定向操作更加高效。

为了评估他们的模型性能，研究人员在仿真和实验环境中进行了一系列测试。在这些测试中，他们将他们的模型应用于ABB YuMi机器人，一种具有两只手臂和手的人形机器人半身像。

在仿真和实验中，他们的模型能够产生布料的网格表示，能够有效地指导ABB YuMi机器人的动作。这些网格使得机器人能够更好地抓取和操纵各种布料，无论是使用一只手还是双手。

研究人员写道："实验证明，我们的基于模板的重建和目标定向操纵系统可以应用于具有类似拓扑结构的日常布料，但具有不同的形状、尺寸、图案和物理特性。

研究人员编制的数据集和模型代码是开源的，可以在GitHub上获得。在未来，这项最新工作可能为机器人学领域的进一步发展铺平道路。最值得注意的是，它可以帮助推动设计用于协助人类家务的移动机器人的能力发展，提高这些机器人处理桌布和其他常用清洁布料的能力。