
卡内基梅隆大学机器人研究所有了一位新的驻校艺术家:FRIDA是一个粘着画笔的机械手臂,它利用人工智能与人类合作创作艺术作品。让FRIDA画一幅画,它就会开始工作,把画笔放在画布上。
机器人研究所计算机科学学院博士生Peter Schaldenbrand与FRIDA合作,探索人工智能和创造力,他说:有一幅青蛙芭蕾舞演员的画,我认为效果非常好。”“这真的很傻很有趣,我认为FRIDA根据我的输入产生的惊喜真的很有趣。”
FRIDA,以Frida Kahlo的名字命名,代表发展艺术的框架和机器人倡议,该项目由Schaldenbrand与国际扶轮教员Jean Oh和Jim McCann领导,并吸引了CMU的学生和研究人员。
用户可以通过输入文字描述来指导FRIDA,提交其他艺术作品来激发它的风格,或者上传一张照片并要求它画出它的表现形式。该团队也在试验其他输入方式,包括音频,他们演奏了ABBA乐队的《舞后》,并请FRIDA为其作画。

“FRIDA是一个机器人绘画系统,但FRIDA不是艺术家,”Schaldenbrand说。“FRIDA并没有产生交流的想法,FRIDA是一个艺术家可以与之合作的系统,艺术家可以为FRIDA指定高级目标,然后FRIDA可以执行这些目标。”
机器人使用的人工智能模型类似于OpenAI的ChatGPT和DALL-E 2等驱动工具,它们分别根据提示生成文本或图像。FRIDA模拟了如何用笔触绘制图像,并使用机器学习来评估其工作过程。
FRIDA的最终产品是印象主义和异想天开,它的笔触很大胆,它们缺乏机器人经常追求的精确度,如果FRIDA犯了一个错误,它就会重复它,把错误的油漆斑点融入到最终的结果中。
“FRIDA是一个探索人类和机器人创造力交集的项目,”McCann说。“FRIDA正在使用已经开发出来的人工智能模型来做一些事情,比如标题图像和理解场景内容,并将其应用于这个艺术生成问题。”

FRIDA在其艺术过程中多次利用人工智能和机器学习。首先,它要花一个多小时学习如何使用画笔;然后,它使用在海量数据集上训练的大型视觉语言模型,这些数据集将从互联网上抓取的文本和图像配对,例如OpenAI的对比语言图像预训练(CLIP),以理解输入;人工智能系统使用这些模型根据提示生成新的文本或图像。
其他图像生成工具,如OpenAI的DALL-E 2,使用大型视觉语言模型来生成数字图像。FRIDA更进一步,使用其具身机器人系统来制作实体绘画。在制作物理图像时,最大的技术挑战之一是减少模拟与真实之间的差距,即FRIDA在模拟中构成的内容与它在画布上绘制的内容之间的差异。FRIDA使用了一种名为real2sim2real的想法。机器人的实际笔触被用来训练模拟器,以反映和模拟机器人和绘画材料的物理能力。
FRIDA的团队还试图通过不断改进他们使用的大型视觉语言模型来解决当前的一些局限性。该团队为模型提供新闻文章的标题,让它了解世界上正在发生的事情,并进一步训练它们使用更能代表不同文化的图像和文本,以避免美国或西方的偏见。

一旦FRIDA的人类用户指定了他们想要创作的绘画的高级概念,机器人就会使用机器学习来创建它的模拟,并制定一个计划来创作一幅画,以实现用户的目标。FRIDA在电脑屏幕上显示一个颜色托盘,供人类混合并提供给机器人。自动调漆技术目前正在研发中,由建筑学院硕士生jiying Wei)领导,机器学习系教员Eunsu Kang负责。
有了画笔和颜料,FRIDA将开始它的第一笔。每隔一段时间,机器人就会使用头顶的摄像头捕捉画作的图像。该图像有助于FRIDA评估其进展并在必要时完善其计划,整个过程需要几个小时。
“人们想知道FRIDA是否会抢走艺术家的工作,但FRIDA项目的主要目标恰恰相反。我们希望通过FRIDA真正促进人类的创造力。”“例如,我个人想成为一名艺术家。现在,我可以与FRIDA合作,用绘画表达我的想法。”
有关FRIDA的更多信息可以在其网站上找到,该团队将在今年5月于伦敦举行的2023年IEEE机器人与自动化国际会议上展示其项目的最新研究:《FRIDA:具有可微分、Real2Sim2Real规划环境的协作机器人画家》。
参考链接:https://techxplore.com/news/2023-02-ai-powered-frida-robot-collaborates-humans.html