近日，密歇根大学的一项新研究通过创建神经辐射场(NeRF) 来展示这些对象的移动方式，从而为机器人提供了一种了解工具机制和其他现实世界铰接对象机制的方法，从而可能允许机器人进行交互与它们一起使用，无需繁琐的专用预配置。
通过利用工具（或任何具有合适参考的对象）内部运动的已知源参考，NARF22 可以合成工具及其移动范围和操作类型的逼真近似。
机器人需要做的不仅仅是避开行人或执行精心编制的程序(对于这些不可重复使用的数据集可能已被标记并花费一定费用进行训练)，如果它们要处理我们其他人必须处理的相同材料和物体，就需要这种适应能力。
到目前为止，给机器人系统注入这种多功能性还存在许多障碍。这包括可应用数据集的缺乏，其中许多数据集的对象数量非常有限;生成逼真的、基于网格的3D模型所需的巨大费用，可以帮助机器人在现实世界中学习工具;这些数据集的非真实感可能真的适合挑战，导致物体看起来与机器人感知的周围世界脱节，并训练它寻找一个永远不会在现实中出现的卡通一样的物体。
为了解决这个问题，密歇根大学的研究人员，他们的论文题为《NARF22：用于配置感知渲染的神经关节辐射场》，开发了一个两阶段的管道来生成基于 NeRF的铰接对象，具有“真实世界”的外观，并包含任何特定的铰接对象的运动和随后的限制。
尽管它看起来更复杂，但NARF22管道的两个基本阶段涉及到呈现运动工具的静态部分，然后将这些元素合成到第二个数据集中，该数据集被告知这些部件所具有的运动参数。
该系统被称为神经铰接辐射场或NARF22，以将其与另一个类似名称的项目区分开来。
NARF22
要确定一个未知的物体是否被潜在地连接起来，需要几乎不可想象的大量人类式的先验知识。例如，如果你以前从未见过一个关闭的抽屉，它可能看起来是任何其他类型的装饰镶板，直到你真正打开一个抽屉，你才会把“抽屉”内化为一个具有单一运动轴(向前和向后)的连接对象。
因此，NARF22并不是一个用来捡起东西并观察它们是否有可操作的活动部件的探索性系统——这几乎是猿类行为，这将导致许多潜在的灾难性场景。相反，该框架基于通用机器人描述格式(Universal Robot Description Format, URDF)中可用的知识——这是一种基于XML的开源格式，可广泛应用并适合于该任务。URDF文件将包含对象中可用的移动参数，以及描述和对象部分的其他标记方面。
在常规管道中，必须从本质上描述对象的连接能力，并标记相关的关节值。这不是一项廉价或容易扩展的任务。相反，NaRF22工作流在使用URDF提供的运动参数将每个静态组件“组装”成基于 NeRF的连接表示之前呈现对象的各个组件。
在这个过程的第二阶段，一个全新的渲染器被创建，它包含了所有的部分。尽管在早期阶段简单地连接各个部件并跳过后续步骤可能更容易，但研究人员观察到，最终模型在AMD 5600X CPU下的NVIDIA RTX 3080 GPU上训练，在反向传播过程中比这种突然和过早的组装具有更低的计算需求。
此外，第二阶段模型的运行速度是连在一起的“强制”程序集的两倍，任何可能需要利用模型静态部分信息的辅助应用程序都不需要自己访问URDF信息，因为这已经被合并到最后阶段渲染器中。
数据和实验
研究人员进行了许多实验来测试NARF2：一个是评估每个物体的配置和姿态的定性渲染；将渲染结果与真实机器人看到的相似视点进行定量测试；演示了配置估计和使用NARF22执行基于梯度的优化的6 DOF（景深）优化挑战。
训练数据来自于进度工具数据集，该数据集来自于较早的一篇论文，由几位当前工作的作者提供。Progress Tools包含大约6000个RGB-D(即，包括深度信息，对机器人视觉至关重要)图像，分辨率为640×480。使用的场景包括8个手动工具，分为它们的组成部分，完整的网格模型和关于对象的运动学属性的信息(即，它们被设计用来移动的方式，以及运动的参数)。
Progress Tools 数据集具有四个明确的工具。上面的图像是来自 NARF22 的基于 NeRF 的渲染。
在这个实验中，只使用线工的钳子、长鼻钳和夹子(见上图)来训练最终的可配置模型。训练数据包含钳子的单一配置，以及每个钳子的配置。
NARF22的实现基于FastNeRF，并修改了输入参数，以专注于连接和空间编码的工具位姿。FastNeRF使用分解多层感知器(MLP)与体素化采样机制(体素本质上是像素，但具有完整的3D坐标，因此它们可以在3D空间中运行相结合）。
对于定性测试，研究人员观察到夹具有几个闭塞的部分，例如，中央脊柱，不能通过观察物体来知道或猜测，而只能通过与它相互作用，系统很难创建这种“未知的”几何形状。
工具的定性渲染
相比之下，钳子能够很好地泛化到新的配置(即，在URDF参数内，但在模型的训练材料中没有明确处理的部分的扩展和移动)。
然而，研究人员观察到，钳子的标记错误导致了非常详细的工具提示的渲染质量的下降，对渲染效果产生了负面影响，这个问题与标记物流、预算和计算机视觉研究部门的准确性有关，而不是NARF22管道中的任何程序缺陷。
渲染精度测试的结果
对于配置估计测试，研究人员从初始的“刚性”姿势执行了姿态优化和配置估计，避免了FastNeRF本身使用的任何缓存或其他加速工作区。
配置估计测试的结果
然后，他们从进度工具的测试集中训练了17个有序的场景(在训练期间被放在一边)，在Adam优化器下运行了150次梯度下降优化迭代。据研究人员称，这一过程“非常好”地恢复了配置估计。
原文链接：https://www.unite.ai/teaching-robots-about-tools-with-neural-radiance-fields-nerf/
