
《科学报告》上发表的一项研究指出,大型语言模型(LLM)的人工智能聊天机器人在创造性思维任务中可能会胜过平均水平的人类。该任务要求参与者针对日常物品构思出替代用途(即发散思维的一个例子)。然而,得分最高的人类参与者仍然胜过了最好的聊天机器人回答。
发散思维是一种常与创造力相关的思维过程,涉及为给定任务生成许多不同的想法或解决方案。常用替代用途任务(AUT)来评估发散思维,参与者需要在短时间内想出一个日常物品的尽可能多的替代用途。回答将根据流畅度、灵活度、独创性和详尽程度四个不同的类别进行评分。
Mika Koivisto和Simone Grassini将256名人类参与者的回答与三个AI聊天机器人(ChatGPT3、ChatGPT4和Copy.Ai)的回答进行了比较,对四个物品(绳子、盒子、铅笔和蜡烛)的AUT进行了评估。作者根据回答与物品的原始用途的语义距离(回答与原始用途的密切相关程度)和创造力对回答的独创性进行了评估。
计算方法被用来将语义距离量化为0到2的范围内,而对于创造力,对回答进行评分的人类评估者不知道回答的来源,他们会给出1到5的评分。
平均而言,聊天机器人生成的回答在语义距离(0.95对0.91)和创造力(2.91对2.47)方面得分明显高于人类回答。人类回答的分数范围要大得多 — 最低分比AI回答低得多,但最高分通常更高。最好的人类回答在八个评分类别中有七个超过了每个聊天机器人的最好回答。
这些发现表明,现在AI聊天机器人在创造性思维方面至少能和普通人类一样产生创造性的想法。然而,作者指出他们只考虑了与创造力评估相关的单个任务的表现。作者建议未来的研究可以探索如何将AI融入创造过程以提高人类表现。