AI文本生成器（例如ChatGPT）的公开发布在那些将该技术视为沟通的巨大飞跃的人群和那些预言该技术带来可怕影响的人群中引起了巨大的轰动。然而，AI生成的文本出了名地容易出现错误，而人工评估仍然是确保准确性的黄金标准，尤其是在生成复杂文本的长篇摘要等应用中。然而，长篇摘要的人工评估并没有被广泛接受的标准，这意味着即使是黄金标准也不可信。

为了纠正此不足，由马营信息与计算科学学院的研究生Kalpesh Krishna领导的一支计算机科学团队，刚刚发布了一套名为LongEval的指南。这些指南在协会年会的欧洲分会上被介绍，并且因此获得了杰出论文奖。

"目前还没有可靠的方式来在没有人类的情况下评估长篇生成文本，甚至目前的人类评估规则也非常昂贵、耗时且变异性较高," Krishna表示。 "适用的人类评估框架对于构建更准确的长篇文本生成算法至关重要。" Krishna在参加Allen Institute for AI的实习期间开始了这项研究。

Krishna和他的团队，包括UMass Amherst的计算机科学助理教授Mohit Iyyer，在长篇摘要方面调查了162篇论文，以了解人类评估的工作原理。在这个过程中，他们发现73%的论文根本没有对长篇摘要进行人工评估。其余的论文采用了各种不同的评估方法。

尤耶尔表示：“这种缺乏标准是有问题的，因为它阻碍了可重复性，并且不允许不同系统之间进行有意义的比较。”

为了进一步达到人工智能生成的摘要评估的高效、可复制和标准化的目标，Krishna和他的合著者提出了三项全面建议的清单，涵盖了评估员应该如何以及应该阅读哪些内容，以判断摘要的可靠性。

“对于能够准确快速地评估人类生成的长文本算法，我对LongEval感到非常兴奋。” Krishna表示：“我们已经使LongEval非常易于使用，并以Python库的形式发布。我对研究界如何进一步拓展LongEval并将其应用于研究中充满期待。”

这项研究已在arXiv预印本服务器上发表。