
加利福尼亚大学伯克利分校的计算机科学家团队,与来自加利福尼亚大学圣地亚哥分校和卡内基梅隆大学的同行合作,创建了一个包含一百万个真实世界对话的大规模数据集,用以研究人们如何与大型语言模型(LLMs)进行交互。他们已经在arXiv预印版服务器上发表了一篇描述他们工作和研究结果的论文。
近年来,像ChatGPT这样的LLM已经迅速进入公众领域,为全球用户提供了与由人工智能支持的聊天机器人互动的机会。这种接触不仅促成了数百万次“智能”对话,还助力人们进行编程、文本写作和考试等活动,不仅是提供了讨论,更是提供了协助。
在这项新的研究中,研究团队希望了解人工智能聊天机器人所发生的各种互动情况的分类百分比,例如,这些对话中多少百分比是关于编程或者相关主题的。为了找出答案,他们获得了超过100万次真实世界中人与人工智能聊天机器人之间的对话,然后按主题类型进行了解析。
这些对话属于全球性质,涉及到使用150种语言进行交谈的人与他们的聊天机器人。为了更深入地了解这类对话的性质,研究人员使用了一个程序来随机选择了10万个对话供研究之用。
研究团队发现,大约一半的AI聊天机器人对话聚焦在他们所称之为“安全”的话题上,比如计算机编程、寻求写作文本帮助,甚至园艺——其中最受欢迎的话题涉及软件错误解决和解决方案。
他们还发现,大约10%的这类对话涉及他们团队所称的“不安全”话题——那些具有性或暴力内容的对话。例如,他们发现许多人向他们的聊天机器人要求提供色情故事或与他们进行性别扮演。
研究人员建议研究现实世界中的LLM / 人类对话,有助于制造商们定义他们希望产品使用的方式,以及了解旨在防止“不安全”使用的有效控制措施的运行情况。









