设想一支科学家团队研发了一种机器学习模型，能够通过肺部扫描图像预测病人是否患有癌症。他们希望与全球各地的医院分享这个模型，以便临床医生能够开始在诊断中使用它。
然而，存在一个问题。为了教会模型如何预测癌症，科学家们展示了数百万张真实的肺部扫描图像给它，这个过程被称为训练。这些敏感的数据现在已经被编码到模型的内部运作方式中，有可能被恶意代理人提取出来。科学家们可以通过添加噪声或更通用的随机性来防止这种情况发生，以使对手更难猜测出原始数据。然而，扰动会降低模型的准确性，所以能添加的噪声越少，越好。
麻省理工学院的研究人员近期取得了一项技术突破，使用户能够在保护敏感数据的同时，尽可能地添加最少量的噪音。
研究人员创造了一种全新的隐私度量标准，他们将其称为"可能近似正确"（PAC）隐私，并基于该度量标准构建了一个框架，可以自动确定需要添加的最小噪音量。此外，该框架无需了解模型的内部运作或其训练过程，这使得它更易于在不同类型的模型和应用中使用。
在若干例子中，研究人员表明使用PAC隐私相对于其他方法可以显著降低保护敏感数据免受对手侵害所需的噪声量。这有助于工程师们构建机器学习模型，确保训练数据能够被可证明隐藏，同时在现实环境中保持准确性。
"隐私保护（PAC Privacy）以有意义的方式利用敏感数据的不确定性或熵值，这使得我们能够在许多情况下减少一个数量级的噪声。该框架允许我们自动理解任意数据处理的特征并进行隐私保护，而无需人为修改。虽然我们仍处于初期阶段，只能展示简单的示例，但我们对这项技术的潜力感到兴奋。"——斯里尼·德瓦达斯（Srini Devadas），电气工程学埃德温·西布利·韦伯斯特教授和PAC隐私新论文的合著者。
德瓦达斯与主要作者骞燊肖合著了这篇论文，骞燊肖是一位电气工程与计算机科学的研究生。该研究将于2023年8月24日在国际密码学会议（Crypto 2023）上进行展示。
界定隐私
数据隐私中一个根本性的问题是：当一个机器学习模型中添加了噪音后，敌方能恢复多少敏感数据？
差分隐私是一种广受欢迎的隐私定义，它表示如果一个对手观察到发布的模型，无法推断一个任意个体的数据是否被用于训练处理，那么隐私就得到了保护。然而，要证明有效地防止对手区分数据的使用通常需要大量的噪音来掩盖。而这种噪音会降低模型的准确性。
PAC Privacy持有不同的观点。它着眼于对待问题的方式有所不同。它描述的是，在添加噪声之后，对于任意随机采样或生成的敏感数据的任何部分，对手要重建的难度，而不仅仅只关注可区分性问题。
例如，如果敏感数据是人类面部的图像，差分隐私将关注于敌手能否判断数据集中是否存在某人的面部。而在PAC隐私方面，则会考虑敌手是否能够提取一种轮廓——即一种近似——使得某人可以将其识别为特定个人的面容。
一旦他们确定了PAC隐私的定义，研究人员便设计出了一个算法，可以自动向用户提供添加噪声的建议。这样可以防止对手能够准确地重构出敏感数据的近似值。小杰表示，即使对手拥有无限的计算能力，该算法也能确保隐私的保护。
为了找到最佳的噪声量，PAC隐私算法依赖于对手从原始数据角度的不确定性或熵。
这种自动化技术从数据分布或大型数据池中随机取样，并在这些子样本数据上运行用户的机器学习训练算法，从而生成一个学习模型输出。它重复多次在不同的子样本上进行操作，并对所有输出进行方差比较。这个方差决定了需要添加多少噪音-较小的方差意味着需要较少的噪音。
算法的优势
不同于其他隐私方法，PAC隐私算法并不需要了解模型的内部运作方式或训练过程。
当实施PAC隐私时，用户可以在开始时指定他们期望的信心水平。例如，也许用户希望保证敌方不会有超过1%的信心，确认他们已经成功重构了敏感数据，使其与实际值相差不超过5%。PAC隐私算法会自动告诉用户在将输出模型公开之前需要添加的最佳噪音量，以实现这些目标。
“从我们的角度来说，噪音是最佳选择，如果你加入的噪音少于我们告诉你的数量，一切可能都会打乱。但是，在给神经网络参数添加噪音的同时，其效果是复杂的，我们不保证模型在添加噪音后会遭受什么程度的效用下降。”小说道。
这表明了PAC隐私的一个局限性——该技术无法告诉用户一旦加入噪音，模型将损失多少准确度。PAC隐私还涉及对数据进行多次子采样，并反复训练机器学习模型，因此可能会耗费大量的计算资源。
为了提高PAC隐私性，一种方法是修改用户的机器学习训练过程，使其更加稳定，即当输入数据从数据池中进行子采样时，所产生的输出模型变化不大。这种稳定性会减小子样本输出之间的差异，因此不仅PAC隐私算法需要较少次地运行以确定噪音的最佳数量，而且需要添加的噪音也较少。
稳定模型的一个附加好处是通常具有更少的泛化误差，这意味着它们可以在以前未见数据上进行更准确的预测，这是机器学习和隐私之间的双赢局面，Devadas补充道。
"在接下来的几年里，我们希望能够更深入地探索稳定性与隐私之间的关系，以及隐私与泛化误差之间的关系。我们正在敲打一扇门，但目前还不清楚这扇门通向何方，"他说。
