
近年来,自监督学习(SSL)在推荐系统中取得了巨大成功。然而,SSL推荐模型往往会受到虚假相关性的影响,导致泛化能力不佳。为了减轻虚假相关性的影响,现有研究通常追求基于ID的SSL推荐或利用特征工程来识别虚假特征。
然而,基于ID的SSL方法会牺牲不变特征的正面影响,而特征工程方法则需要高成本的人工标注。在《机器智能研究》发表的一篇论文中,一组研究人员旨在自动减轻虚假相关性的影响,并解决这些问题。这个目标要求在没有监督的情况下自动屏蔽虚假特征,并在SSL期间阻止虚假特征对其他特征的负面影响传递。
自监督学习(SSL)方法最近成为个性化推荐的最新技术。SSL在推荐中的核心思想是通过额外的自我区分任务学习更好的用户和物品表示,该任务通过对用户-物品特征或用户-物品交互图的增强进行对比,以发现特征和交互之间的相关关系。
尽管取得了巨大成功,基于SSL的推荐模型由于从输入特征到交互的相关性拟合而导致虚假相关性的出现。由于数据收集过程中的选择性偏差,训练数据中不可避免地存在虚假相关性,其中一些虚假特征与用户的正向互动显示出强相关性。通过自我区分任务,SSL模型往往会捕捉到这些虚假相关性,导致泛化能力差。
为了减轻虚假相关性对SSL模型的有害影响,现有解决方案主要分为三类:第一类是基于ID的SSL方法,仅利用用户和物品的ID进行协同过滤,从而避免某些虚假特征的有害影响。
然而,用户和物品特征仍然在推荐中是有用的,尤其对于交互稀疏的用户来说。有必要考虑某些因果影响交互的不变特征。第二类是特征工程方法,能够手动或使用人机混合方法识别一组虚假特征。然后,他们可以通过丢弃被识别出的特征来训练SSL推荐模型。
然而,特征工程方法需要大量的人工标注工作,因此不适用于具有大量用户和物品特征的大规模推荐。第三类是信息特征选择方法,能够在训练过程中自动识别有信息量的交叉特征并去除多余的特征。然而,虚假特征在训练数据中对交互预测可能非常有信息量,从而降低了泛化能力。
为了解决这些问题,研究人员要求SSL模型自动减轻虚假相关性的影响。为了实现这一目标,存在两个关键挑战:第一个挑战是在没有监督的情况下屏蔽虚假特征并非易事。另一个挑战是阻止虚假特征对其他特征的影响传递至关重要。
为了解决这两个挑战,研究人员考虑从多个环境学习特征遮罩机制,以估算虚假特征的概率,然后采用这个遮罩机制来指导SSL模型中的特征增强。具体来说,研究人员可以将交互聚类到多个环境中,每个环境具有相似的特征分布,但分布在环境之间会发生变化。
分布变化将引导遮罩机制捕获环境间的不变特征并排除虚假特征。此外,他们可以利用遮罩机制将虚假特征丢弃为增强样本,然后最大化增强样本中的不变特征与实际样本中的所有输入特征之间的互信息,推动SSL模型忽略虚假特征并切断虚假特征对不变特征的负面影响传递。
为此,研究人员提出了一种用于SSL推荐模型以减轻虚假相关性的不变特征学习(IFL)框架。具体而言,IFL将训练交互聚类到多个环境中,并采用[0, 1]范围内可学习参数的掩码机制来屏蔽虚假相关性。为了优化掩码参数,IFL采用方差损失来识别不变特征,并在环境间实现鲁棒的预测。