【猎云网（微信号：ilieyun
）】7月25日报道（编译：油人）
今天的人工智能系统在贷款、医疗诊断和假释等方面的决策中扮演了重要角色。而由于它们也是不透明的系统，所以使得它们容易受到偏见影响。在缺乏透明度的情况下，我们永远不会知道为什么一名41岁的白人男性和一名18岁的黑人女性犯下类似的罪行，会被AI软件分别评估为“低风险”与“高风险”。
出于商业和技术原因，目前无法对大多数人工智能决策进行自动生成的高保真解释。这就是为什么我们应该推动负责高风险决策的AI系统的外部审计。大规模的自动审计可以系统地探测AI系统，并发现偏见或其他不良行为模式。
最臭名昭著的黑匣子AI偏见例子是美国司法系统中使用的软件，该软件用于推荐量刑和罚款数额等。ProPublica对用于假释决策的、最广泛使用的再犯算法之一的分析揭示了潜在的重大偏见和不准确性。在探测更多信息时，创建者拒绝分享其专有算法的细节。这种保密使被告难以在法庭上质疑这些决定。
其实媒体也报道了在其他许多情况下存在的人工智能偏见，比如一个令人畏惧的机器人，告诉亚洲人在护照取证时“睁开眼睛”；比如面部识别系统在识别黑皮肤和女性面孔方面不太准确；比如人工智能招聘工具歧视女性等。
作为回应，监管机构试图通过所谓的“可解释人工智能”来强制实现透明度。例如，在美国，拒绝个人贷款申请的贷方必须为不利决定提供“具体原因”。在欧盟，GDPR要求所有高风险自动决策的“解释权”。
不幸的是，可解释AI的挑战是艰巨的。首先，解释可以揭露专有数据和商业秘密。解释在大数据集上训练的复杂非线性神经网络模型的行为也非常困难。我们如何解释从数千个输入的加权非线性组合得出的结论，每个输入都为整体判断提供了微观的百分点？因此，我们通常会在自动解释AI决策时在保真度和准确度之间进行权衡。
例如，Netflix试图根据你之前观看过的一个节目来解释其推荐算法。实际上，它的建议基于众多因素和复杂算法。尽管Netflix建议背后的简化说明是无害的，但在高风险情况下，这种过度简化可能是危险的。
即使是简单的预测模型也可能表现出违反直觉的行为。AI模型容易受到称为辛普森悖论的普遍现象的影响，其中行为由潜在的未观察变量所驱动。在最近的一个案例中，研究人员发现，哮喘病史会降低患者肺炎死亡的风险。对于医疗保健从业者和哮喘患者来说，这种天真的解释会产生误导。实际上，这一发现归因于那些有哮喘病史的人更有可能立即得到护理。
这不是一个孤立的事件，这些错误的结论不能用更多的数据轻易解决。尽管我们付出了最大的努力，但人工智能的解释仍然很难理解。
为了提高透明度，我们倡导可审计的人工智能，这是一种可以通过假设案例进行外部查询的人工智能系统。这些假设情况可以是合成的也可以是真实的——允许对模型进行自动、即时、细粒度的询问。这是监控AI系统偏见或脆弱迹象的简单方法：如果我们改变被告的性别会怎样？如果贷款申请人居住在历史上的少数民族社区，会发生什么？
与可解释的AI相比，可审计的AI有几个优点。让中立的第三方调查这些问题比使用算法创建者控制的解释更好地检查偏见。其次，这意味着软件的生产者不必暴露其专有系统和数据集的商业秘密。因此，人工智能审计可能会面临较小的阻力。
审计是对解释的补充。事实上，审计可以帮助调查和验证（或无效）AI解释。比如Netflix推荐《阴阳魔界》，因为我看过《怪奇物语》。它还会推荐其他科幻小说恐怖节目吗？它是否向所有观看过《怪奇物语》的人推荐《阴阳魔界》？
可审计人工智能的早期用例已经产生了积极的影响。ACLU最近透露，亚马逊可审计面部识别算法的准确度几乎是错误识别的两倍。越来越多的证据表明，公共审计可以提高代表性不足群体的模型准确性。
在未来，我们可以设想一个强大的审计生态系统，提供对AI的见解。我们甚至可以想象“AI监护人”，一个基于审计建立AI系统的外部模型。监管机构可以坚持要求用于高风险决策的AI系统提供审计接口，而不是要求AI系统提供低保真度的解释。
可审计的AI不是灵丹妙药。如果AI系统正在进行癌症诊断，患者仍然需要准确且易于理解的解释，而不仅仅是审计。这些解释是正在进行的研究主题，并且有望在不久的将来为商业用途做好准备。但与此同时，可审计的人工智能可以提高透明度，并打击偏见。
