
巫师3是一款沉浸式的游戏吗?《模拟人生》是一款角色扮演游戏吗?全球的游戏玩家可能会有不同的观点,但根据康奈尔大学、Xbox和微软研究部门的新研究,思想的多样性有助于开发更好的算法,帮助全球的受众选择合适的游戏。
在超过5000名游戏玩家的帮助下,研究人员表明,在由来自不同国家的游戏玩家标记的大规模数据集上训练的预测模型,相较于由单一国家的游戏玩家标记的模型,提供了更好的个性化游戏推荐。
该团队的发现和相关指导原则不仅适用于游戏领域,而且可以为希望进行更具全球适用性数据标记和更准确预测的人工智能(AI)模型的研究人员和从业者提供广泛的应用。
“事实上,我们表明,通过使预测模型所依赖的数据多样化,可以达到不亚于甚至更好的效果。”康奈尔大学计算与信息科学学院信息科学助理教授艾莉森·考内克(Allison Koenecke)说道。
艾莉森·考内克是《审计为推荐系统进行跨文化一致性标注的研究》的高级作者,该研究于六月份在计算机协会公正、问责和透明性(ACM FAccT)会议上进行了发布。
大规模数据集为推荐系统背后的预测模型提供信息。模型的准确性取决于其基础数据,尤其是在庞大数据中对每个个体进行适当标记。研究人员和从业者越来越多地借助众包工人进行这些标记工作,但众包工作人员往往是同质化的。
在数据标记阶段,文化偏见会悄然产生,最终会影响旨在服务全球受众的预测模型,艾莉森·考内克指出。
“对于算法过程中使用的数据集,仍然需要有一些规则或者对于某个数据点标记某种方式的一些普遍意义的理解。”考内克说道。“这就涉及到了人的这个方面,因为在这个过程中,人们必须成为决策者。”
该团队调查了5174名来自世界各地的Xbox游戏玩家,以帮助标记游戏标题。他们被要求为他们玩过的游戏贴上“舒适”、“幻想”或“和平主义者”等标签,并考虑不同因素,例如一个游戏的复杂程度、游戏控制的难度等。
一些游戏标签,比如“禅意”,用来描述宁静、平和的游戏,被应用得在各国间一致;而其他标签,比如一个游戏是否“可重复玩”,则被不一致地应用。为了解释这些不一致性,该团队采用了计算方法,发现游戏玩家之间的文化差异以及某些标签的翻译和语言奇异性共同导致了各国的标签差异。
研究人员随后构建了两个可以预测来自每个国家的游戏玩家如何为某个游戏贴上标签的模型,其中一个模型使用了来自全球代表性游戏玩家的调查数据,另一个模型仅采用了来自美国游戏玩家的调查数据。他们发现,在与只用美国游戏玩家标记的模型相比较时,那个训练于来自全球各地不同种群标记的模型能够使得全球游戏玩家的预测提高了8%。
“我们发现,即使是对于美国的游戏玩家,当训练数据从完全以美国为中心变得更具全球代表性时,也会有改善。”艾莉森·考内克表示。
除了他们的研究发现,研究人员还设计了一个框架,指导其他研究人员和从业者审核底层数据标签以检查全球包容性。
“公司往往会使用同质化的数据标记工人进行数据标记,如果你试图构建一个全球产品,你将会遇到问题。”艾莉森·考内克说道。“通过我们的框架,任何学术研究人员或者从业者都可以审查他们自己的底层数据,以查看他们是否在数据标签或选择方面会遇到代表性问题。