人工智能(AI)和机器学习技术已经被证明在完成许多任务方面上非常有前景，这包括那些涉及处理和生成语言的任务。与语言相关的机器学习模型能够创建可以与人类互动和交谈的系统，包括聊天机器人、智能助手和智能音箱。
为了处理面向对话的任务，语言模型应该能够学习高质量的对话表达。这些表达总结了讨论特定话题的双方表达的不同想法，以及这些对话是如何构建的。
美国西北大学和AWS人工智能实验室的研究人员最近开发了一种自我监督学习模型，可以学习不同类型对话的有效对话表达，研究人员在arXiv上预发表的一篇论文中介绍了这个模型，它可以使用有限的训练数据来开发更通用、性能更好的对话系统。
研究人员在论文中写道：“我们引入了对话句子嵌入(DSE)，这是一种自我监督的对比学习方法，可以学习适用于广泛对话任务的有效对话表示，DSE从对话中学习，将同一对话的连续话语作为积极成对进行对比学习。”
自我监督学习模型DSE是由Zhou和他的同事开发的，他们从以前专注于对话模型的研究中获得了灵感。由于对话本质上是相互关联的连续句子或话语，该团队开发了一个模型，通过将同一个对话中连续的话语配对来学习对话表达。
通过一种被称为对比学习的方法，这些配对被用来训练模型。对比学习是一种自我监督学习技术，它使用输入数据的增强来设计几个类似的数据表示。
研究人员在他们的论文中解释说：“尽管DSE很简单，但它比其他对话表示模型和通用句子表示模型具有更好的表达能力。”
Zhou和他的同事们评估了他们的模型在五个不同的对话任务上的表现，每个任务都关注对话表示的不同语义方面。然后，他们将该模型的性能与其他现有方法进行了比较，包括TOD-BERT和SimCSE模型。
研究人员在他们的论文中写道：“在少样本和零样本设置中的实验表明，DSE 在很大程度上优于基线。” “例如，在 6 个数据集的 1-shot 意图分类中，它比最强的无监督基线平均性能提高了 13%。”
在最初的测试中，新的对话表示学习模型取得了显著的性能提高。因此，在未来，它可以用于提高聊天机器人和其他对话系统的性能。
在他们的论文中，Zhou和他的同事也概述了他们的模型的局限性和潜在的应用，未来的工作可以继续完善他们的方法，以克服它的一些缺点。
研究人员补充说：“我们相信DSE可以作为对话表示模型(例如，文本编码器)的临时替代品，用于广泛的对话系统。”
原文链接：https://techxplore.com/news/2022-06-self-supervised-effective-dialog-representations.html
