人们对开放领域的聊天机器人越来越感兴趣，这种机器人可以与人类就任何主题、任务或领域进行交流。这种兴趣得到了娱乐行业中的虚构角色和系统(如电影《她》)的支持，也得到了大型科技公司实验室开发的聊天机器人的媒体关注，如Google的LaMDA和Facebook的Blender。

术语“开放域”（open-domain）意味着这些聊天机器人可以就任何话题进行对话，这被认为比早期构建特定任务系统的尝试更具挑战性。然而，“开放”的界限和评估这些对话的标准并不明确。

通常情况下，人工测试人员会得到一个空提示，并被要求“只与系统交谈”。对于人类交流来说，这是一个非常不寻常的环境，因为我们不会随意地和任何人、任何地方谈论任何事情。相反，我们更有选择性地选择我们的交流话题，根据我们的谈话对象和上下文(例如，在工作或在学校)。因此，构建一个真正的“开放域”聊天机器人可能是不现实的，甚至没有必要，因为人与人之间的对话也不是那么开放领域和随机的。

在最近的一篇论文中，我们认为“开放域”这个术语可能不是很有用，而且目前评估开放领域聊天机器人的方法可能并不能真正测试它们是否真的能像人类一样参与所有不同形式的对话。

当我们作为人类进行交流时，我们假设了某种形式的共同点，也就是说，我们彼此之间有一些共同点。除了文化规范和(也许)共同的经历，我们假定的一件事是某种形式的共同活动，或谈话的目的。即使我们在等车的时候开始和陌生人闲聊，我们都知道这是我们所从事的活动类型，这将指导我们在那种情况下谈论什么可能是合适的。当被要求和电脑“只是聊天”时，我们无法假定有什么共同点或共同活动。

对对话中的联合活动进行分类的一种方法是Goldsmith & Baxter(1996)提出的“言语事件”的概念，他们记录了学生在几周内的日常对话，确定了39个言语事件。这些可以大致分为非正式/肤浅的谈话(例如，“闲聊”，“开玩笑”，“体育谈话”，“八卦”，“认识某人”)，涉及谈话(例如，“化妆”，“爱情谈话”，“关系谈话”，“抱怨”)，目标导向谈话(例如，“小组讨论”，“说服谈话”，“决策谈话”，“询问”，“请求帮助”)。

当被要求“只是聊天”时，开放域聊天机器人的用户实际上参与了什么样的言语活动？为了回答这个问题，我们让两名注释者根据语音事件类别注释公开可用的“开放域”谷歌Meena聊天机器人对话的随机样本，大多数的对话(约88%)都是关于“闲聊”的演讲类别，尽管事实上人类测试者被要求在话题上不受任何限制地谈论任何事情。

如前所述，虽然实际的闲聊也有某种形式的共同点，但在有限的指示下，这可能是最有可能发生的讲话事件。如果这些是在这些评估中发生的唯一的言语事件，我们如何知道它们是真正的“开放领域”？目前的开放域聊天机器人能够参与其他语音活动吗?

为了解决这个问题，我们用Facebook的Blender聊天机器人进行了初步实验。一名(人类)测试人员根据上面列出的16种语音事件类别与聊天机器人进行交互。为了建立一个相似的环境，同一个测试人员还会与另一个人就相同的话题聊天。这两个人(即测试人员和对话者)事先并不认识彼此，也不知道彼此的身份。

结果的对话被比较(人与人 VS 人与系统)，并由第三方的人类裁判进行评估。总的来说，评估者在许多评估标准上对人与人之间的对话给予了更高的评价，并解释说，人与人之间的对话比人与聊天机器人之间的对话更连贯，更流畅。这与描述Facebook Blender的论文中给出的评价形成了鲜明的对比，在Facebook Blender中，评委们无法根据他们对它的评估方式(正如我们所看到的，这导致了闲聊对话)真正决定他们更喜欢人类与人类还是人类与聊天机器人的文本。因此，他们的评估真正显示的是Blender聊天机器人非常擅长闲聊，但不擅长“开放域”对话。

自从我们在2021年进行研究以来，新的“开放域”聊天机器人出现了，使用了更多的参数，接受了更多的数据训练，比如谷歌的LaMDA。我们还没有测试它们在多大程度上可以处理其他形式的言论事件，以及它们是否真的是“开放领域”，但正如我们所展示的，目前的评估无法帮助回答这个问题。

一个可能更重要的问题是，“开放域”聊天机器人的想法对我们人类来说是否有意义。相反，我们也许应该把重点放在对话系统上，这些系统以一种有意义的方式位于人类活动中，并且用户可以在其中假设某种形式的共同点和联合活动。

原文链接：https://bdtechtalks.com/2022/10/13/open-domain-chatbots/

---煤油灯科技victorlamp.com翻译整理---