近年来，深度学习算法在包括艺术学科在内的多个领域都取得了显著的成果。事实上，世界各地的许多计算机科学家已经成功地开发出了可以创作艺术作品的模型，其中包括诗歌、绘画和素描。
首尔大学研究人员最近推出了一种新的艺术深度学习框架，旨在提高素描机器人的技能。他们研究的框架在ICRA 2022上发表的一篇论文中做了介绍，并在arXiv上预先发布，它允许素描机器人同时学习基于笔画的渲染和电机控制。
“我们研究的主要动机是利用深度学习等非规则机制创造出一些很酷的东西，如果绘画表演者是一个博学的机器人而不是人类，我们认为绘画是一件很酷的事情，”论文的第一作者Ganghun Lee说。“最近的深度学习技术在艺术领域显示了惊人的结果，但其中大多数是生成模型，可以一次性产生整个像素的结果。”
“我们提出了一个自动学习框架的机器人素描代理，能够学习基于笔画绘制和运动控制同时进行。我们将机器人素描问题表述为深度解耦分层强化学习；分别学习了基于笔画的绘制策略和电机控制策略，分别完成绘制子任务，并在配合实际绘制时形成层次关系。该方法无需手工制作特征、绘制序列或轨迹以及反向运动学，可以从头开始训练机器人绘图代理。我们用一个6自由度的机器人手臂进行实验，用2F抓手来绘制草图。实验结果表明，两种策略成功地学习了子任务，并协同完成了目标图像的勾画。同时，通过不同的绘图工具和曲面检验了该算法的鲁棒性和灵活性。”
Ganghun Lee和他的同事没有开发通过生成特定像素图案来生成艺术作品的生成模型，而是创造了一个框架，将绘画表现为一个连续的决策过程，这个连续的过程类似于人类用钢笔或铅笔画单独的线以逐渐创建一个草图的方式。
然后，研究人员希望将他们的框架应用到机器人素描剂上，这样它就可以使用真正的钢笔或铅笔实时绘制草图。虽然其他团队过去为“机器人艺术家”创建了深度学习算法，但这些模型通常需要包含草图和绘图的大型训练数据集，以及逆向运动学方法来教机器人操作钢笔和素描。
另一方面，由Lee和他的同事创建的框架，并没有在任何真实世界的绘画例子上训练。相反，它可以随着时间的推移，通过试错的过程，自主地开发自己的绘图策略。
Lee说：“我们的框架也没有使用逆运动学，这使得机器人的运动有点严格，相反，它还让系统找到自己的运动技巧(调整关节值)，使运动风格尽可能自然。换句话说，它不用基元就能直接移动关节，而许多机器人系统通常使用基元来移动。”
这组研究人员建立的模型包括两个“虚拟代理”，即上层代理和下层代理。上层智能体的作用是学习新的绘画技巧，下层智能体的作用是学习有效的运动策略。
这两个虚拟代理分别使用强化学习技术进行训练，只有在它们完成各自的训练后才会结合在一起。然后，Lee和他的同事们在一系列真实世界的实验中测试了他们的综合性能，使用一个带有2D抓手的6自由度机械臂。这些初步测试的结果非常令人鼓舞，因为该算法允许机器人代理生成特定图像的良好草图。
Lee解释说：“我们发现，为每个目标训练的基于强化学习的模块可以合并，以实现更大的协作目标。在层级设置中，来自上层主体的决策可以是‘中间状态’，它允许下层主体观察并做出低级决策。如果每个层次的代理都经过良好的训练，并足够一般化到每个状态空间，那么由每个模块组成的整个系统就可以发挥很大的作用。然而，最基本的条件是，就像所有的强化学习方法一样，每个智能体的奖励函数应该是良好的(这并不容易)。”
在未来，Lee和他的同事们创建的框架可以用来改善现有和新开发的机器人素描剂的性能。与此同时，Lee正在开发类似的基于创造性强化学习的模型，包括一个可以产生艺术拼贴的系统。
Lee补充说：“我们也想将这项任务扩展到更复杂的机器人绘图，如绘画，但我现在更关注强化学习应用本身的实际问题，而不是机器人绘图。我希望我们的论文成为一个有趣而有意义的纯强化学习应用的例子，特别是配备了机器人的应用程序。”
原文链接：https://techxplore.com/news/2022-08-deep-framework-capabilities-robotic-agent.html
