
人工智能聊天机器人ChatGPT的问世以其能够产生类似于人类的文本和对话的能力引起了世界的轰动。然而,根据6月7日在《Cell Reports Physical Science》杂志上发表的一项研究,许多明显的迹象可以帮助我们区分AI聊天机器人和人类。基于这些迹象,研究人员开发出了一种工具,可以以超过99%的准确性识别由AI生成的学术科学写作。
“我们很努力地创建了一种易于获取的方法,以便即使是高中生在很少的指导下也能建立不同类型写作的人工智能检测器,” 第一作者、堪萨斯大学的教授Heather Desaire表示。“需要解决人工智能写作的问题,而人们不需要计算机科学学位来为这个领域做出贡献。”
“现在,AI写作存在一些相当明显的问题。”Desaire说道,“其中最大的问题之一是它从许多来源组合文本,并没有任何精确性检查——有点像‘两个真话和一个谎言’的游戏。”
尽管许多人工智能文本检测器可在网上获得且表现相当不错,但它们并非专门用于学术写作而建造的。为了弥补这一空白,团队旨在构建一个更具有明确目的的表现更好的工具。他们专注于一种名为“观点”的文章类型,该类型由科学家撰写,提供具体研究主题的概述。团队选择了 64 个“观点”,并创建了同一研究主题的 128 篇 ChatGPT 生成的文章来训练模型。当他们比较这些文章时,他们发现了一种人工智能写作的指示标记——可预测性。
与人工智能不同的是,人类的段落结构更加复杂,每个段落的句子数量和总词数变化很大,并且句子长度也会波动。标点符号和词汇的偏好也是一个线索。例如,科学家倾向于使用像“然而”、“但是”和“虽然”这样的单词,而ChatGPT在写作中经常使用“其他人”和“研究人员”。这个团队为模型列出了20个特征。
测试结果显示,该模型在区分人类撰写的完整透视文章和AI生成的文章方面取得了100%的准确率。对于识别文章中的单个段落,该模型的准确率为92%。研究团队的模型在类似测试中也远远超过市场上可用的AI文本检测器。
接下来,团队计划确定这种模型的适用范围。他们希望在更广泛的数据集和不同类型的学术科学写作中进行测试。随着AI聊天机器人的进步和变得更加复杂,研究人员还想知道他们的模型是否能够经受住考验。
Desaire表示:“当人们听说这项研究时,首先想要知道的是'我能用这个来判断我的学生是否真正写了自己的论文吗?'”虽然这个模型非常擅长区分AI和科学家,但Desaire说,它并不是为了帮助教育工作者识别由AI生成的学生论文而设计的。但是,她指出,人们可以轻松地复制他们的方法,为自己的目的建立模型。









