对于某些人来说，“黑匣子”一词让人想起飞机上的记录设备，如果发生不可想象的事情，这些设备对于事后分析很有价值。对于其他人来说，它让人联想到小型、配备最少的剧院，但黑匣子也是人工智能领域的一个重要术语。
人工智能黑匣子是指内部运作方式对用户不可见的人工智能系统，您可以向他们提供输入并获得输出，但您无法检查系统代码或产生输出的逻辑。
机器学习是人工智能的主要子集，它是ChatGPT和DALL-E 2等生成式人工智能系统的基础。机器学习包含三个组成部分：一个算法或一组算法、训练数据和模型，算法是一组过程。在机器学习中，算法在对大量示例（训练数据）进行训练后学习识别模式，一旦训练了机器学习算法，结果就是机器学习模型，模型是人们使用的。
例如，可以设计一种机器学习算法来识别图像中的模式，而训练数据可以是狗的图像。由此产生的机器学习模型将是一只狗观察员。您可以将图像作为输入提供给它，并将图像中的一组像素代表狗的位置和位置作为输出。
机器学习系统的三个组件中的任何一个都可以隐藏起来，或者放在黑盒子里。通常情况下，该算法是众所周知的，这使得将其放入黑匣子中的效率降低。因此，为了保护自己的知识产权，AI 开发人员经常将模型放入黑匣子中。软件开发人员采用的另一种方法是隐藏用于训练模型的数据——换句话说，就是将训练数据放在黑匣子中。
黑盒子的反面有时被称为玻璃盒子。人工智能玻璃盒子是一个系统，其算法、训练数据和模型都可供任何人查看，但研究人员有时甚至将这些方面描述为黑匣子。
这是因为研究人员并不完全了解机器学习算法，尤其是深度学习算法的运作方式。可解释人工智能领域正在努力开发算法，虽然不一定是玻璃盒子，但可以被人类更好地理解。
为什么 AI 黑匣子很重要
在许多情况下，有充分的理由对黑盒机器学习算法和模型保持警惕。假设机器学习模型对您的健康做出了诊断，您希望模型是黑盒还是玻璃盒？给你开疗程的医生怎么样？也许她想知道模型是如何做出决定的。
如果确定您是否有资格从银行获得商业贷款的机器学习模型拒绝了您怎么办？你不想知道为什么吗？如果你这样做了，你可以更有效地对决定提出上诉，或者改变你的情况以增加下次获得贷款的机会。
黑匣子对软件系统安全也有重要影响。多年来，计算领域的许多人都认为将软件保存在黑匣子中可以防止黑客检查它，因此它是安全的。这一假设在很大程度上已被证明是错误的，因为黑客可以对软件进行逆向工程——即通过密切观察软件的工作原理来构建复制品——并发现可利用的漏洞。
如果软件在一个玻璃盒子里，那么软件测试人员和好心的黑客就可以检查它并告知创建者弱点，从而最大限度地减少网络攻击。
