GPT-4未达到图灵门槛

煤油灯科技2023-12-11 10:09

在ChatGPT在人工智能领域迅速崛起为超级明星的过程中,有一个问题始终不离其身:它是否通过了图灵测试,生成了与人类回应无法区分的输出?

加利福尼亚圣地亚哥大学的两位研究人员表示,这个观点近乎正确,但还未完全达到。

ChatGPT可能聪明、迅捷且令人印象深刻。它在展示明显的智能方面做得很好。它在与人交谈时听起来像是人类,甚至能够展示幽默感,模拟十几岁青少年的措辞,并且能通过法学院的考试。

但是有时候,它被发现会提供完全错误的信息。它幻想了。它并不反思自己的输出结果。

卡梅伦·琼斯(Cameron Jones)专注于语言学、语义学和机器学习,而本杰明·伯根(Benjamin Bergen)是一位认知科学教授,他们借鉴了70年前阿兰·图灵(Alan Turing)的研究成果。图灵当时提出了一种过程,用于确定机器是否能够达到智能和对话能力的水平,以至于能够愚弄某人,让对方误以为它是一个真实的人类。

他们的报告题为《GPT-4 是否通过图灵测试?》已经在arXiv预印版服务器上公开。

他们招募了650名参与者,并生成了1,400个“游戏”,参与者之间进行了简短的对话,对话对象可能是另一个人或者一个GPT模型。参与者被要求确定他们正在与谁进行对话。

研究人员发现,GPT-4模型在41%的时间里成功愚弄了参与者,而GPT-3.5仅在5%至14%的时间里实现了这一目标。有趣的是,在这些尝试中,人类只有63%的成功率让参与者相信他们并非机器。

研究人员得出结论:“我们没有找到GPT-4通过图灵测试的证据。”

然而,他们指出,图灵测试仍然具有作为机器对话有效性衡量标准的价值。

他们说:“这项测试作为一个衡量流畅社交互动和欺骗,并理解人类适应这些机制的策略的框架,具有持续的重要性。”

他们警告说,在许多情况下,聊天机器人在许多情况下仍能够以令人信服的方式进行沟通,以至于能够欺骗用户。

他们表示:“41%的成功率表明,AI模型可能已经很有可能进行欺骗,尤其是在人类对可能没有与人类对话的可能性警觉性较低的情境中。能够可靠地模拟人类的AI模型可能会产生广泛的社会和经济影响。”

研究人员观察到,能够正确识别的参与者注重了几个因素。

过于正式或不够正式的模型会引起参与者的警觉。如果语言过于冗长或过于简洁,如果语法或标点的运用异常地优秀或是“令人不太信服”地差劲,这些细节便成为决定参与者是否在与人或机器交互的关键因素之一。

考试参与者还对听起来普遍的回答具有敏感度。

研究人员表示:“LLM学习产生高度可信的完整性,并经过微调以避免引起争议的观点。这些过程可能鼓励产生一些整体上典型但缺乏个体特异性的普遍性回应,类似生态学谬误。”

研究人员建议跟踪人工智能模型,因为它们在对话中变得更加流畅,并吸收了更多类似人类的独特之处,这一点至关重要。

他们表示:“识别导致欺骗的因素以及缓解欺骗的策略将变得越来越重要。”

你可能也喜欢这些文章