在最近一期《Patterns》杂志上发表的一项研究中，研究人员表明，计算机算法经常被用来识别人工智能生成文本，但往往错误地将非母语的作者所写的文章标记为人工智能生成。研究人员警告称，这些人工智能文本识别程序的不可靠表现可能会对许多人造成不利影响，包括学生和求职者。

斯坦福大学的资深作者詹姆斯·邹表示：“我们目前的建议是，我们应该极度谨慎，并尽量避免使用这些检测器。”他说：“如果这些检测器被用于审查工作申请、大学入学论文或高中作业等事物，可能会产生重大后果。”

OpenAI的ChatGPT聊天机器人等人工智能工具可以撰写文章、解决科学和数学问题，并生成计算机代码。美国各地的教育者对人工智能在学生作业中的使用越来越担忧，并且其中许多人已经开始使用GPT检测器来筛查学生的作业。这些检测器声称可以识别文本是否由人工智能生成，但它们的可靠性和效果尚未得到测试。

邹和他的团队对七个流行的GPT检测器进行了测试。他们将91篇由非母语英语人士撰写的英语文章（用于一项被广泛认可的英语能力考试TOEFL）通过这些检测器进行了检测。结果显示，这些平台错误地将超过一半的文章标记为人工智能生成，其中一个检测器将近98%的文章标记为由人工智能撰写。相比之下，这些检测器能够将90%以上由美国八年级学生撰写的文章正确分类为人工生成。

邹解释说，这些检测器的算法是通过评估文本的困惑度来工作的，困惑度是指文章中的选词有多令人惊奇。他说：“如果使用常见的英语词汇，检测器将给出一个较低的困惑度分数，意味着我的文章很可能被标记为人工智能生成。如果使用复杂和更高雅的词汇，那么它更有可能被算法分类为人工生成。”这是因为ChatGPT等大型语言模型被训练成生成困惑度较低的文本，以更好地模拟平均人类的表达方式。

因此，非母语英语作者使用的较简单的词汇选择会使他们更容易被标记为使用人工智能。

然后，团队将由人类撰写的TOEFL文章输入ChatGPT，并提示其使用更复杂的语言进行编辑，包括用复杂的词汇替换简单的词汇。GPT检测器将这些经过人工智能编辑的文章标记为人类撰写。

邹表示：“在课堂环境中使用任何这些检测器时，我们应该非常谨慎，因为它们仍然存在许多偏见，并且只需极少的提示设计就容易被欺骗。”使用GPT检测器可能还会对教育部门之外产生影响。例如，像谷歌这样的搜索引擎会贬低人工智能生成的内容，这可能会无意中使非母语英语作者的声音被沉默。

虽然人工智能工具可以对学生学习产生积极影响，但在使用之前，GPT检测器应该得到进一步的提升和评估。邹表示，训练这些算法使用更多样化的写作类型可能是改进这些检测器的一种方式。