
麻省理工学院和斯坦福大学的研究人员开发了一种新的机器学习方法,可以更有效、更高效地控制机器人,如无人机或自动驾驶车辆,以便在条件快速变化的动态环境中使用。
这种技术可以帮助自动驾驶车辆学习在湿滑的路面条件下进行补偿,避免打滑,使机器人飞到天空中不同的物体上,或者使无人机在强风的作用下紧密跟随下坡滑雪者。
研究人员的方法将一定的控制理论结构引入到模型学习过程中,这样可以导致一种控制复杂动态的有效方法,比如飞行器轨迹受风的影响所造成的动态。可以将这种结构视为控制系统的一种指导,可以帮助人们如何控制该系统。
研究的重点是学习系统动力学中的内在结构,以便设计更有效的稳定控制器。通过从数据中联合学习系统的动力学和这些独特的控制导向结构,从而能够在真实世界中自然地创建更有效的控制器。
利用这种学习模型中的结构,研究人员的技术可以立即从模型中提取出一个有效的控制器,而不需要其他机器学习方法那样需要单独从数据中推导或学习一个控制器。通过这种结构,他们的方法还可以使用更少的数据来学习一个有效的控制器。这可以帮助他们的基于学习的控制系统在快速变化的环境中更快地实现更好的性能。
研究的第一作者Spencer M. Richards是斯坦福大学的研究生,他说:“这项工作试图在确定系统结构与仅从数据中学习模型之间找到平衡。我们的方法受到机器人学家利用物理学推导机器人的简化模型的启发。对这些模型的物理分析通常会得出一个对控制很有用的结构-一个你在试图朴素地将数据拟合到模型时可能会忽略的结构。相反,我们试图从数据中识别出类似有用的结构,这些结构表明如何实施控制逻辑。”
学习控制器
确定如何控制机器人以完成给定任务可能是一个困难的问题,即使研究人员知道如何对系统进行建模。
控制器是使无人机能够按照预期轨迹飞行的逻辑。例如,这个控制器会告诉无人机如何调整其旋翼力以补偿风的影响,以便保持稳定的路径并达到目标。
这个无人机是一个动力学系统-一个随着时间推移而演变的物理系统。在这种情况下,它的位置和速度随着飞行环境的变化而变化。如果这样的系统足够简单,工程师们可以手工推导出一个控制器。
手工建模系统会从根本上捕捉到一定的结构,基于系统的物理性质。例如,如果使用微分方程手动对机器人进行建模,就会捕捉到速度、加速度和力之间的关系。加速度是速度随时间的变化率,由机器人的质量和施加在机器人上的力来确定。
但是,系统往往过于复杂,无法通过手工准确地建模。空气动力学效应,例如旋风推动飞行器的方式,是手动导出的尤其困难,Richards解释说。研究人员会测量无人机的位置、速度和旋翼转速随时间的变化,并使用机器学习将一个动力学系统的模型拟合到数据中。
但是,这些方法通常不会学习到基于控制的结构。这种结构对于确定如何最好地设定旋翼转速以控制无人机的运动是有用的。
一旦他们对动力学系统进行建模,许多现有的方法还使用数据来学习系统的一个单独的控制器。
Richards说:“从数据中分别学习动力学和控制器的其他方法在哲学上与我们通常为更简单的系统所做的方式有些脱节。我们的方法更像是通过物理手工推导模型并将其与控制联系起来。”
识别结构
麻省理工学院和斯坦福大学的团队开发了一种使用机器学习来学习动力学模型的技术,但以一种对控制系统有用的规定结构的方式来进行模型学习。
有了这个结构,他们可以直接从动力学模型中提取出一个控制器,而不是使用数据来学习一个完全独立的控制器模型。
“我们发现,在学习动力学的同时,学习支持有效控制器设计的控制导向结构也是必不可少的。通过对动力学进行状态相关系数分解的学习方法,在数据效率和跟踪能力方面优于基线,被证明在有效、稳定和鲁棒地控制系统轨迹方面取得了成功。” Azizan说。
当他们测试这种方法时,他们的控制器紧密地遵循期望的轨迹,超过了所有基准方法。从他们学习的模型中提取出的控制器几乎与基于系统精确动力学构建的地面实际控制器的性能相匹配。
Richards补充道:“通过进行较简化的假设,我们得到了一种比其他复杂的基准方法更好的效果。”
研究人员还发现,他们的方法在数据效率方面非常高,即使只有少量的数据,也能实现高性能。例如,它只使用100个数据点就可以有效地建模一个高度动态的旋转驱动车辆。使用多个学习组件的方法在小型数据集上的性能下降更快。
这种效率可以使他们的技术在无人机或机器人需要在快速变化的环境中快速学习的情况下尤其有用。
此外,他们的方法是通用的,可以应用于许多类型的动态系统,从机器人手臂到在低重力环境中操作的自由飞行航天器。
未来,研究人员希望开发更具物理可解释性的模型,并能够识别动力学系统的非常具体的信息,Richards说。这可能会导致性能更好的控制器。