新工具以99%的准确率检测ChatGPT生成的学术文本

煤油灯科技2024-07-18 09:04

来自堪萨斯大学化学家Heather Desaire,将机器学习应用于生物医学研究,成功研发出一种新型工具,能够以99%的准确率识别由人工智能文本生成器ChatGPT所产生的科学文本。

近期在同行评议的期刊《Cell Reports Physical Science》上发表的一项研究展示了她的人工智能检测方法的有效性,并提供了足够的源代码,供他人复制该工具。

KU的化学Keith D. Wilner教授Desaire表示,迫切需要准确的AI检测工具来捍卫科学的完整性。

她说,她的检测方法的成功取决于将受审查的文本范围缩小到同行评审期刊中常见的科学写作。这对比现有的AI检测工具(如RoBERTa检测器)更加准确,这些工具旨在检测更一般的写作内容中的AI。

“如果你限制自己只考虑特定一组以特定方式书写的人,你可以轻松构建一种区分人类和ChatGPT写作的方法,并且精度非常高,” Desaire说道。“现有的AI检测器通常被设计成通用工具,可以在任何写作形式上使用。它们对于预定的目的非常有用,但在任何特定形式的写作上,它们不会像专为特定狭窄目的而构建的工具那样准确。”

Desaire表示,大学教师、赠款机构和出版商都需要一种精确的方法来检测作为人类思维产物的人工智能输出。

Desaire说:“当你开始考虑‘AI抄袭’时,90%的准确率是不够的。你不能随便指控人们偷偷使用AI,却频繁地错误地指控 —— 精度至关重要。但为了获得精度,往往要进行一些普适性的取舍。”

Desaire的合作者均来自于她在KU的研究小组,包括化学助理教授Romana Jarosova、信息系统分析师David Huax以及研究生Aleesa E. Chua和Madeline Isom。

Desaire及其团队在检测AI文本方面获得成功,可能源于设计该代码时的高度人类洞察力(相对于机器学习模式检测)。

“我们使用了远远较小的数据集,并进行了更多的人为干预,以确定我们的检测器所关注的关键区别。”Desaire说,“准确地说,我们仅使用了64篇人工编写的文档和128篇AI文档作为我们的训练数据。这可能比用于训练其他检测器的数据集的大小小100,000倍。人们经常忽略数字。但是100,000倍——这是一杯咖啡和一栋房子的成本之间的区别。因此,我们有了这个小数据集,可以超快速地处理,而且所有文档实际上都可以被人们阅读。我们利用我们的人脑在文档集中找到有用的差异,没有依赖之前开发的区分人类和AI的策略。”

事实上,该KU研究人员表示该组在构建其方法时没有依赖以往的人工智能检测策略。由此产生的技术在AI文本检测领域中具有完全独特的元素。

"我有一点难为情地承认,我们在手头拥有一个可用的工具之后,才去查阅关于AI文本检测方面的文献," 德赛尔说道,“我们并不是基于计算机科学家对文本检测的想法来进行工作,而是凭直觉去探索什么方法会有效。”"

在另一个重要方面,Desaire及其团队颠覆了以前构建AI检测方法团队所使用的方法。

“我们在开发关键功能时,并没有将AI文本作为重点,”她说道。“我们将人类文本作为重点。大多数正在构建AI检测器的研究人员似乎会问自己,‘AI生成的文本是什么样的?’ 而我们则问,‘这个独特的人类写作群体看起来像什么,它与AI文本有何不同?’ 最终,AI写作也是人类写作,因为AI生成器是通过大量人类写作的库而建立的。但至少从ChatGPT的角度来看,AI写作是从各种来源中概括出来的人类写作。”

“科学家的写作并不是普通人的写作,它是科学家的写作。而我们科学家是一个非常特殊的群体。”

Desaire已经使她团队的AI检测代码对那些有兴趣基于此构建的研究人员完全开放。她希望其他人意识到AI和AI检测不仅仅是计算机程序员的领域,也可以被那些现在可能不认为自己是计算机程序员的人所掌握。

“ChatGPT真是一个非常激进的进步,而且被如此多的人快速地采用,这似乎是我们依赖人工智能的一个转折点,”她说道。“但实际上,通过一些指导和努力,一个高中生也可以像我们一样做到这一点。”

“即使没有计算机科学学位,人们也有很大机会参与人工智能的发展。我们手稿上的所有作者都没有计算机科学学位。我希望通过这项工作,让对人工智能感兴趣的人知道,开发像我们的产品这样真正有用的产品的障碍并不高。只需要一些基础知识和一点创意,很多人都可以为这个领域做出贡献。”

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文