Spellburst:一个由大型语言模型驱动的互动画布,为生成艺术家提供支持

煤油灯科技2023-09-25 22:31

生成艺术家使用代码进行创作。他们使用像Processing或AI文本到图像工具这样的编程语言,将富有表现力的语义转化为代码行,形成旋转缤纷的图案或超现实的景观。

但是编写艺术作品是一个费时且复杂的过程。虽然一支铅笔的橡皮可以修正错线,一点黄色可以点亮绘画中的黑暗天际线,但改进生成艺术需要通过多次迭代进行试错,而通常这些界面让人感到深不可测,令人沮丧。

在对这些创作挫折进行专家数字艺术家访谈后,斯坦福学者开发了一种名为Spellburst的工具,以改进构思和编辑过程。

将艺术家的想象力转化为代码需要很多时间,而且非常困难。一个大型的语言模型可以给你一个很好的起点。但是当艺术家想要探索不同的质感、不同的颜色或图案时,此时他们想要更精细的控制,而大型语言模型无法提供这样的控制。Spellburst实际上帮助艺术家在语义空间和代码之间无缝切换。

Spellburst使用大型语言模型GPT-4构建,允许艺术家输入初始提示,比如“一个美丽明亮的玻璃花窗图像”。模型随后生成呈现该概念的代码。但如果花太粉红,或者玻璃花窗看起来不太对呢?艺术家可以打开一个由之前的提示生成的动态滑块面板,改变图像的任何方面,或者添加修改说明("使花变得深红")。

这些创作者可以合并不同的版本("将版本4中的花的颜色与版本9中的花瓶形状结合起来")。该工具还允许艺术家从基于提示的探索过渡到程序编辑-他们可以点击图像来显示代码,以进行更精细的微调。

更大的创造飞跃

为了更好地了解Spellburst的设计,研究团队采访了10位专业的创意编码者,了解他们如何开发自己的概念,他们的创作工作流程以及他们面临的最大挑战。随后,团队将工具与专业的生成艺术家进行了测试。

反馈总体上非常积极。大型语言模型帮助艺术家更快地从语义空间切换到代码,同时也帮助他们探索许多不同的变化并进行更大的创造飞跃。

当然,这个工具也有局限性。研究团队在一些提示中发现错误和意外结果,特别是在版本合并中,还不清楚哪些提示会导致期望的结果。此外,提供反馈的艺术家样本太小,无法代表整个生成艺术家群体。

研究团队希望在今年晚些时候以开源的方式发布这个工具,以便艺术家们可以开始使用它,但我们也想研究这样一个工具如何帮助新手学习如何用代码创作艺术。

研究结果已在arXiv预印服务器上发表。

 

---煤油灯科技victorlamp.com编译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文