对于那些使用机器学习模型来帮助自己做出决策的工作者来说，知道什么时候该相信模型的预测并不总是一件容易的事情，尤其是在这些模型往往非常复杂而且其内部工作机制仍然是一个谜的情况下。

用户有时会使用一种被称为选择性回归的技术，在这种技术中，模型对每个预测估计其置信水平，当置信水平过低时，将拒绝预测。然后，人类可以检查这些案例，收集额外的信息，并手动对每个案例做出决定。

尽管选择性回归已被证明可以提高模型的整体性能，但麻省理工学院(MIT)和麻省理工学院IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)的研究人员发现，对于数据集中代表性不足的人群，这种技术可能会产生相反的效果。模型的置信度随着选择性回归的增加而增加，它做出正确预测的机会也会增加，但这并不总是发生在所有子群中。

例如，一个建议贷款批准模型的错误平均可能更少，但实际上它可能对黑人或女性申请人做出更多的错误预测。出现这种情况的一个原因是，模型的置信度测量是使用过度代表的群体进行训练的，对于这些不足代表的群体可能不准确。

一旦他们发现了这个问题，麻省理工学院的研究人员就开发了两种算法来解决这个问题，他们使用真实世界的数据集，表明算法减少了影响边缘子群体的性能差异。

麻省理工学院的资深作者Greg Wornell说：“最终，这是关于更聪明地把哪些样本交给人类处理。" Greg Wornell也是MIT-IBM沃森AI实验室的成员。

与Wornell一起发表这篇论文的是EECS研究生Abhin Shah和RLE博士后Yuheng Bu，以及MIT-IBM沃森人工智能实验室的研究人员Joshua Ka-Wing Lee SM’17、ScD’21、Subhro Das、Rameswar Panda和Prasanna Sattigeri，这篇论文将发表在本月的机器学习国际会议上。

预测或不预测

回归是一种估计因变量和自变量之间关系的技术。在机器学习中，回归分析通常用于预测任务，例如根据房屋的特征(卧室数量、面积等)预测房屋的价格。有了选择性回归，机器学习模型可以对每个输入做出两种选择之一——如果它对自己的决定没有足够的信心，它可以做出预测或放弃预测。

当模型弃权时，它就减少了用于预测的样本的比例，这就是所谓的覆盖率。通过只对它高度确信的输入进行预测，模型的整体性能应该会提高。但这也会放大数据集中存在的偏差，当模型没有从某些子群体获得足够数据时就会出现这种情况，这可能会导致未被充分代表的个人出现错误或糟糕的预测。

麻省理工学院的研究人员旨在确保随着模型的总体错误率随着选择性回归的提高，每个子组的表现也会提高，他们称之为单调选择风险。

Shah说：“对于这个特殊的问题，想出公平的正确概念是具有挑战性的。但是通过执行这个标准，单调的选择风险，我们可以确保当你减少覆盖范围时，模型的性能实际上在所有子组中都变得更好，”。

注重公平

目前该团队开发了两种神经网络算法，利用这种公平标准来解决问题。

一种算法保证模型用于预测的特性包含数据集中与目标变量相关的所有敏感属性信息，如种族和性别。敏感属性是可能不会用于决策的特性，通常是由于法律或组织政策的原因。第二种算法采用校准技术，以确保模型对输入做出相同的预测，无论输入是否添加了任何敏感属性。

研究人员通过将这些算法应用于现实世界的数据集来测试这些算法，这些数据集可以用于高风险的决策。一个是保险数据集，使用人口统计数据预测每年向患者收取的总医疗费用；另一个是犯罪数据集，使用社会经济信息来预测社区暴力犯罪的数量。两个数据集都包含个人的敏感属性。

当他们在选择回归的标准机器学习方法上实现他们的算法时，他们能够通过在每个数据集中实现较低的少数子组错误率来减少差异。此外，这是在没有显著影响总体错误率的情况下完成的。

Sattigeri说：“我们发现，如果我们不施加某些约束，在模型非常自信的情况下，它实际上可能会犯更多的错误，这在一些应用中可能会非常昂贵，比如医疗保健。所以如果我们扭转这个趋势，让它更直观，我们会发现很多这样的错误，这项工作的一个主要目标是避免错误悄无声息地消失，”

Shah表示，研究人员计划将他们的解决方案应用到其他应用中，比如预测房价、学生GPA或贷款利率，看看算法是否需要为这些任务进行校准，他们还希望探索在模型训练过程中使用较少敏感信息的技术，以避免隐私问题。

他们希望改进选择性回归的置信度估计，在其预测是正确的情况，以防止模型的置信度较低，这可以减少人类的工作量，并进一步简化决策过程。

原文链接：https://techxplore.com/news/2022-07-technique-fairness-accuracy-artificial-intelligence.html