无人机（UAVs），通常被称为无人机，已经在解决各种现实世界问题方面证明了其不可或缺的价值。例如，它们可以协助人类进行交付、环境监测、电影制作和搜救任务。

虽然过去十年间，无人机的性能大幅提升，但其中许多仍然拥有相对较短的电池寿命，因此在完成任务之前就可能耗尽能量停止操作。因此，机器人领域的许多最近研究都旨在提高系统的电池寿命，同时开发计算技术，使其能够尽可能高效地完成任务和计划路线。

慕尼黑工业大学（TUM）和加利福尼亚大学伯克利分校（UC Berkeley）的研究人员一直试图为解决常见的研究问题寻找更好的解决方案，该问题被称为覆盖路径规划（CPP）。在最近一篇在arXiv上预发布的论文中，他们介绍了一种基于强化学习的新工具，该工具可以优化整个任务期间无人机的轨迹，包括在电池电量不足时访问充电站。

此项研究的执行者之一Marco Caccamo告诉Tech Xplore说：“这项研究的根源可以追溯到2016年，当时我们开始研究‘太阳能长航时无人机’。在开展这项研究几年后，我们逐渐认识到CPP是使无人机能够部署到数字农业、搜救任务、监视等多个应用领域的关键组成部分。这是一个复杂的问题，需要考虑许多因素，包括碰撞避免、摄像机视野和电池寿命。这激发了我们对强化学习进行研究，作为整合所有这些因素的潜在解决方案。”

在之前的工作中，Caccamo和他的同事试图使用强化学习来解决更简单版本的CPP问题。具体而言，他们考虑了一个无人机存在电池限制并需要在有限时间内完成任务（即在电池耗尽之前）的场景。

在这个场景中，研究人员使用强化学习使无人机在一次电池充电中完成尽可能多的任务或移动尽可能大的空间。换句话说，机器人不能打断任务来充电，然后从之前停止的位置重新开始。

Alberto Sangiovanni-Vincentelli解释说：“此外，代理人还必须学习安全约束，即避免碰撞和电池限制，这在大多数情况下都会产生安全轨迹，但并非每次都如此。在我们的新论文中，我们希望通过允许代理人充电来扩展CPP问题，以便在这个模型中考虑的无人机可以覆盖更大的空间。此外，我们还希望确保代理人不违反安全约束，这是一个实际场景中的明显要求。”

强化学习方法的一个关键优势是它在不同情况和情景下往往具有良好的泛化能力。这意味着使用强化学习方法进行训练后，模型通常可以解决之前未遇到的问题和场景。

这种泛化能力很大程度上取决于问题如何呈现给模型。具体来说，深度学习模型应该能够以结构化的方式查看手头的情况，例如以地图的形式。

为了解决他们论文中考虑的新CPP场景，Caccamo、Sangiovanni-Vincentelli及其同事们开发了一个基于强化学习的新模型。该模型基本上观察和处理无人机移动的环境，该环境被表示为地图，并将其以其位置为中心。

随后，该模型将整个“中心地图”压缩为全局地图和高分辨率的局部地图，仅显示机器人的附近区域。然后对这两个地图进行分析，优化无人机的轨迹并决定其未来的行动。

Mirco Theile说：“通过我们独特的地图处理流程，代理人能够提取出解决未知场景覆盖问题所需的信息。此外，为了确保代理人不违反安全约束，我们定义了一个安全模型，确定可能的操作哪些是安全的，哪些是不安全的。通过采用动作屏蔽方法，我们利用这个安全模型，在代理人遇到的每个情况中定义了一组安全动作，并让代理人在安全动作中选择最佳动作。”

研究人员在一系列的初步测试中评估了他们的新优化工具，并发现其在轨迹规划方法上明显优于基准线。值得注意的是，他们的模型在不同目标区域和已知地图上表现出了很好的泛化能力，并且还可以处理一些未知地图的场景。

Theile说：“带充电的CPP问题比无充电的问题更具挑战性，因为它涉及更长的时间跨度。代