在《Patterns》杂志发表的一篇观点论文中，研究人员表明，常用于判断文本是否由人工智能编写的计算机程序往往错误地将非母语者撰写的文章标记为人工智能生成。研究人员警告不要使用这种不可靠的人工智能文本检测器，因为它可能对个人造成负面影响，包括学生和求职者。

斯坦福大学的资深作者詹姆斯·周表示：“我们目前的建议是，我们应该尽可能小心并且避免使用这些检测器。如果这些检测器被用于审核工作申请、大学入学论文或高中作业等事项，可能会产生重大后果。”

OpenAI的ChatGPT聊天机器人等人工智能工具可以撰写文章、解决科学数学问题并生成计算机代码。美国各地的教育工作者对于学生使用人工智能进行学习的情况越来越担忧，许多人已经开始使用GPT检测器来筛查学生的作业。这些检测器声称能够判断文本是否由人工智能生成，但它们的可靠性和有效性尚未经过测试。

Zou和他的团队对七款流行的GPT检测器进行了测试。他们使用一种被广泛承认的英语能力考试，即托福（Test of English as a Foreign Language），对91篇非母语英语写作的英语文章进行了检测。这些检测器错误地将超过一半的文章标记为AI生成，其中一款检测器将近98%的文章标记为由AI撰写。相比之下，这些检测器能够准确分类超过90%的由美国八年级学生撰写的文章为人工生成的。

邹解释道，这些检测器的算法是通过评估文本困惑度来工作的，即一篇文章中词语选择的令人惊讶程度。“如果你使用通俗的英语词汇，检测器会给出一个低的困惑度分数，这意味着我的作文很可能会被标记为人工智能生成的。而如果你使用复杂和更炫酷的词汇，那么它更有可能被算法分类为人类撰写，”他说。邹补充道，这是因为像ChatGPT这样的大型语言模型被训练成生成具有低困惑度的文本，以更好地模拟普通人的说话方式。

因此，非英语母语的作者选择使用更简单的词汇，使得他们更容易被标记为使用人工智能。

团队随后将人工撰写的托福作文输入到ChatGPT中，并引导其通过使用更复杂的语言进行文本编辑，包括将简单词汇替换为复杂词汇。GPT检测器将这些经AI编辑的作文标记为人工撰写。

“在课堂环境中使用这些检测器时，我们应该非常谨慎，因为它们仍然存在许多偏见，并且只需最少量的提示设计就可以欺骗它们，”邹（Zou）表示。使用GPT检测器还可能对教育行业以外产生影响。例如，像谷歌这样的搜索引擎会贬低由人工智能生成的内容，这可能无意中使非英语母语的作者失去表达声音的机会。”

虽然人工智能工具对学生学习可能产生积极影响，但在投入使用之前，GPT检测器应进行进一步增强和评估。邹表示，训练这些算法使用更多多样化的写作类型可能是改善这些检测器的一种途径。