【猎云网（微信号：ilieyun
）】5月21日报道（编译：商纣）
编者注：Lizzie O’Shea是一名律师、作家和博客。她经常在美国国家电视节目和电台上发表文章，评论法律、数字技术、企业责任和人权，她的文章也出现在《纽约时报》、《卫报》和《悉尼先驱晨报》等杂志上。
从引爆Ford Pintos到种族主义算法，所有的有害技术都是不道德设计的产物。然而，同70年代的汽车公司一模一样，今天的科技公司宁愿责怪用户。
1972年春末，Lily Gray在洛杉矶的一条高速公路上驾驶着她的新福特Pinto，她年仅13岁的邻居Richard Grimshaw坐在副驾驶上。然后汽车抛锚了，被从尾部以时速50公里的速度撞了出去。Pinto被熊熊大火包围，Gray在车祸中丧身，Grimshaw受了重伤。他的脸和身体受到了永久性的毁容性烧伤，失去了几根手指，即使经历了多次手术也回不到当初了。
六年后，在印第安纳州，三个十几岁的女孩死在一辆被货车从后面追尾撞击的福特Pinto里。据报道，汽车的车身“像手风琴一样”倒塌，把他们困在里面。随后，燃料箱破裂并将整个汽车燃烧成一个火球。
上述两起悲伤地事故都是法律诉讼的主题，现在已经成为美国消费史上最大的丑闻之一。在这些案件中，最著名的指控是1977年迈克·道伊（Mike Dowie）在《琼斯母亲（Mother Jones）》一书中披露的，福特对其客户的生命表现出了冷酷无情的鲁莽。该公司明明知道Pinto的设计存在的缺陷使其容易受到燃油泄漏和火灾的影响，从而引发火灾。当然，这不是一个无法被解决的问题，方案包括一些可能的设计改变，其中之一是在保险杠和燃油箱之间插入一个塑料缓冲垫，花费大约一美元。然而由于各种原因，类似于相关的成本和缺乏严格的安全法规，福特批量生产的Pinto没有缓冲液。
最让人恼火的是，道伊通过内部备忘录记录了福特公司在某一时刻对设计过程进行成本效益分析的全过程，烧伤和烧伤死亡被分配了一个价格（分别为67000美元和200000美元），这些价格是根据实施各种可能提高Pinto安全性的选择的成本来衡量的。事实证明这是一个巨大的误判，但是，撇开这一点，这种做法的道德性引发了公众的讨论。“福特知道Pinto是个陷阱，” 道伊写道，“但它已经在庭外支付了数百万美元，以了结损害赔偿诉讼，并准备再花数百万美元游说反对安全标准。”
我们现在很难想象，但在半个世纪以前，车祸通常完全归咎于司机，尽管汽车在制造过程中很少纳入安全标准。每一个问题都归因于驾驶汽车的那个人。汽车行业竭力游说，要求限制其对道路交通事故的责任，并将安全视为与汽车销售完全不相容的一个命题。1961年，约翰·F·戈登（John F. Gordon）警告说：“自称是专家的一些人提出了激进而欠考虑的建议，他们认为提高汽车设计安全性的唯一可行途径就是联邦法规。”当时，戈登是通用汽车公司的总裁，他在全国安全大会上发表了这样的言论。
他毫不掩饰自己的怀疑，他说:“有人建议，我们应该放弃教导司机避免交通事故的希望，转而专注于设计能够让碰撞变得无害的汽车，这是失败主义和一厢情愿的令人费解的结合。”他的讲话赢得了热烈的掌声。强大的商业委员会，和美国资本主义的许多其他领导人一样，都支持这个行业。坎贝尔汤公司（CampbellSoup Company）总裁墨菲（W.B.Murphy）公开表示了自己的不屑：“这和呼啦圈是一回事。”他谈到汽车安全问题时说。“六个月后，我们可能会迎来另一波反弹。”
这种态度在一定程度上是监管环境松懈的产物。国家监管机构人手不足，资金不足。在尼克松总统任期内，各机构的关键职位仍然空缺。20世纪60年代末，美国国家机动车安全咨询委员会（National Motor Vehicle Safety Advisory Council）主席Thomas Malone博士就资金不足的问题致函美国国家公路交通安全管理局（National Highway Traffic Safety Administration）秘书长：“联邦资金与问题的规模不相称，授权和拨款之间的严重差距阻碍了该方案的向前推进。“但是，作为推动战后美国经济繁荣的最大产业之一，美国政界对向其施加太大压力并不感兴趣。接受道路安全是个人责任的观点，要比直面行业问题容易得多。”
由于这些原因，人们继续在道路上死亡，尽管已知的技术完全有可能使汽车和道路更加安全。1966年，美国国家科学院（National Academy of Sciences）将汽车旅行的危险描述为“现代社会被忽视的流行病”和“国家最重要的环境健康问题”。目前还不确定有多少人是因为Pinto油箱着火而丧生或受伤：估计数字从数百到数千不等。但这起丑闻就像一根避雷针，促使监管者重新思考汽车行业公开宣扬的所谓常识，并开始考虑他们对于制造商的要求是否足够。
福特工程师们用以衡量死亡、重伤与成本及市场价值的计算系统是冷酷无情的，且这种衡量永远无法得到正确的答案。也就是说，这本是一场可以预防的灾难。且这场福特有意识引发的灾难并不是单一的企业个例。
在20世纪60年代，通用汽车的Corvair也出现了类似的设计问题，影响了汽车的转向，导致了一百多起诉讼案件。这场悲剧不是从汽车的制造开始的，甚至也不是在测试引发的失败。律师兼消费者维权人士Ralph Nader认为，这场悲剧“始于通用汽车的主要工程师们对Corvair的构想和开发”，“这是一种全行业的文化，没有考虑到设计最终会对用户产生的影响，将道德责任推卸给了消费者。就像Pinto一样，Corvair也是一个在最初设计上就已经被默许的问题。”
当然了，这不是要把责任归咎于工程师或设计师的邪恶。制造这些汽车的人在特定的公司环境中工作，他们所处的组织由冷酷无情的主管领导。福特和通用等公司的领导层在与其他公司竞争时忽视了安全问题，这甚至不仅仅是汽车行业所特有的问题。还有许多类似的丑闻，涉及到企业对设计不当的消费品造成的人类后果漠不关心。这些丑闻并非单一的个例，它们发生在一定的背景下，为了避免再次发生，需要一种政治策略来打破产生这些丑闻的可恶逻辑。
哈佛大学的Latanya Sweeney教授在谷歌上输入了她的名字；很快她就找到了自己之前发表的一篇旧论文。然后她又看到一则标题为“Latanya Sweeney”的广告弹出，她很震惊。因为她明确地知道自己没有过犯罪记录。她点击了那条广告链接，然后被导流到一家公司的网站上，该网站出售对公共记录的访问权。她付了那笔钱以获取自己的“犯罪”材料，然而材料证实她并没有犯罪记录。当她的同事Adam Tanner进行类似的搜索时，来自同一家公共记录搜索公司的广告也映入眼帘，不一样的是这条广告没有煽动性的标题。他二人唯一的区别是，Tanner是白人，Sweeney是非裔美国人。
Sweeney决定对这些类型的广告展开研究，看看是否有规律。她不希望她的研究结果是令人失望的。但不幸的是，她的研究得出了一个明确的结果：“暗示逮捕的广告往往会出现与黑人有关的名字，而中性广告或无广告往往会出现与白人有关的名字，无论该公司是否有与该名字有关的逮捕记录。”
换言之，在文字有出现过“逮捕”一词的广告中，与黑人相关的名字所占比例要高于“白人”的名字。实际犯罪记录的存在似乎并不是决定因素。
这是怎么回事呢？要解释清楚这一点，需要对在线广告业务进行一些拆解。每次你点击一个网站，一个即时的广告空间拍卖就会发生在竞争你的注意力的公司之间。正如我们所知，监控资本主义有各种各样的方法来确定你对市场营销人员的价值，让平台对你的眼球时间做出准确的出价。这些公司比我们更了解我们的习惯，他们对我们的抽象身份有一个详细的描述——我们自我意识的历史，由消费定义和为消费定义——他们利用这些信息在最佳时刻向我们发送营销信息。如果任其自生自弃，就会造成一种新技术重现现实世界形式的压迫的局面。
围绕广告空间的选项有多种定制方式。谷歌不仅允许公司定制哪些受众看到广告，还允许公司定制广告本身的内容。
Sweeney解释说：谷歌知道广告客户可能并不明确哪一个广告副本工作的最有效，因此广告客户可以为同一个搜索字符串提供多个模板，“谷歌算法”会随着时间的推移从广告的浏览者那里了解到哪一个广告文本点击次数最多。它通过根据每个广告的点击历史分配权重（或概率）来实现这一点。起初，所有可能的广告副本都是相同的权重，它们产生点击的可能性都是相同的。然后随着时间的推移，当人们倾向于点击某个版本的广告文本而不是其他版本时，权重会发生变化，因此点击最多的广告文本最终会显示得更频繁。这种方法将谷歌作为广告交付者的财务利益与广告客户联系起来。
由于算法的设计方法，机器学会了将非裔美国人的名字与犯罪联系起来。即使用户个人不点击广告，他也会从其他用户点击的内容中体验到机器学习的后果，这会限制显示给所有后续用户的选择。
对此，一个可能的回答是，算法是中立的，它只是广告的载体，自动响应人们如何使用它；算法不是种族主义，而人类却是种族主义者。但该算法的构建方式也证实了现实世界中存在的隐含偏见，而且这种情况一而再、再而三地发生。认为非裔美国人不如白人可信的假设是一种普遍存在的隐性偏见，从求职者的成功概率到警察在枪口对准人时做出的分秒决定，它在很多方面都具有现实意义。在斯韦尼的研究中，我们看到这种态度在数字技术世界中被有意或无意地复制。这不是一个谜，也不是一个深不可测的结果。谷歌对影响自动广告的种族主义并不完全负责，但它不能逃避责任。成百上千的人被活活烧死在Pinto汽车里，福特并不是唯一的责任方，但公众舆论的法庭正确地认为，如果福特的汽车设计不同，很容易就能阻止这些悲惨事故的发生。
这则广告之所以带有种族主义色彩，部分原因在于，设计算法并根据真实数据训练算法的过程基本上是零透明度的。这些输入是秘密的，并且没有正式的规则可以适当地适应这些过程。像斯韦尼这样的用户在销售广告空间时，其糟糕的体验不会出现在这些公司的成本效益分析中。他们甚至没有正式的渠道和方式来投诉这种种族歧视，不想管的人几乎没有办法知道这件事。有偏见的算法对我们生活的许多方面产生了相当大的影响，而且影响越来越大。只要它们一直保持隐藏或未经检查，我们就会不断允许各种危险和压迫的做法嵌入到新技术中，因为机器会不断学会吸收现实世界中存在的隐含偏见。
当我们认为掌握并根据这些信息采取行动的权力就在谷歌手中时，谷歌没有任何责任的观点就失去了说服力。谷歌的决策者知道广告客户，也就是他们的付费客户，计划使用的内容。因为他们设计了这个系统，所以他们处于最有利的位置来了解潜在的问题以及它可能如何显现。目前，他们计算出发现和解决这些问题的成本要高于忽视这些问题的成本，而忽略这些问题的成本是由其他人承担的。我们必须找到改变这种计算的方法。
谷歌的高管们应该为他们的技术所产生的结果承担责任。在这种情况下，谷歌提供了一种服务，它所做的正是其设计初衷：最有效地将广告货币化。换句话说，将种族主义引入数字技术，并没有在设计过程中考虑隐性偏见，这并不是一个缺陷，而是技术资本主义的一个特征。
基于这个原因，也许最可鄙的情况是，这种设计歧视的发生是没有实际理由的。网络是一个可以在结构上最小化、承认和消除压迫态度的空间。我们不仅可以制定政策防止种族主义广告的投放，我们还可以设计出更好的多样性表现形式，积极地将偏见最小化。我们可以预见隐性偏见，并提前找到抵消其影响的方法，我们甚至可以阻止公司利用它的存在。我们可以设计和建造数字基础设施，帮助人们社会化，避免歧视性的隐性偏见。这样的前景引发了各种有趣的问题，关于它在实践中是如何工作的，我们可以共同着手解决这项任务。
我们可以宣传并起草有关设计和工程流程的法律法规，就像消费者权益倡导者要求联邦政府实施汽车安全法规一样。我们需要建立规则，优先考虑消除压迫的目标，而不是将网络货币化的目标。这是一个难得的机会。如果我们只是等待这些问题自己出现，或者在它们出现时零敲碎打地加以解决，那我们的视线只会拘泥于冰山一角。如果这样的话，我们就是在鼓励一个行业固步自封，集中力量反对透明度和问责制，同时在出现问题时将责任归咎于用户。目前，我们依靠像Sweeney这样的人来发现这些问题的存在，而她只是偶然发现了这些问题。
数据科学家Cathy O 'Neil观察到，粗心的逻辑、缺乏反馈和不规范的数据输入（这也是许多算法的共同特点）结合在一起，这种结合被她称为“毁灭数学的武器”。她写道，这些算法共有一种倾向，会“随意地生成自己的实相”。“数字化过程的感知中立性为草率和分裂的人们提供了借口，同时再将一系列活动的管理进行外包，种种行为唤醒了潜在的恶。”
她写道：“管理者们认为这些分数是真实的，足够有用，而且这种算法使艰难的决策变得容易。他们可以解雇员工，削减成本，并将他们的决定归咎于一个客观的数字，不管这个数字是准确的还是不准确的。”在大数据时代，用于确定复杂问题答案的计算机程序创造了令人兴奋和变革的可能性，但它们也给糟糕的治理和管理带来了准确性和中立性的过度粉饰。
透过Sweeney打开的那扇小小的令人不安的舷窗，我们瞥见了一片风起云涌的汪洋大海。算法正在以各种各样的方式被使用，这些方法可能对人们产生深远的影响。一个例子是依靠自动化程序筛选求职者，这可能会对有精神病史的人或英语为第二语言的人产生偏见。另一个例子是大学入学标准化考试。招生过程，尤其是在不需要标准化考试的情况下，可能会根据申请人的人口统计学特征，使用预测的分数作为代理，而不清楚替代数据的准确性。
算法也用于决定假释申请，假释申请依赖于案件工作者填写的表格，而没有任何指示这些答复如何影响算法的输出。在一个令人深恶痛绝的例子中，谷歌照片应用程序曾将一些黑人的照片贴上大猩猩的标签，该应用程序自动按主题对照片进行排序。秘密的、专有的算法往往会以科学逻辑的形式产生几乎不加掩饰的偏见。这些问题不仅仅是失误，更像是Corvair转向不良或Pinto燃油箱缓冲不足一样，不仅仅是不幸的错误。它们是有缺陷的设计过程产生的恶劣后果。
这些算法决策过程对处于不同社会阶层的人们有着不同的影响。正如O’Neil指出的那样，机器既便宜又高效，它们的决策更容易强加给穷人。“特权阶层，”她观察到，“更多的是由人来处理，而穷人则更多的是由机器来处理。”而且，面对这些机器的人们，几乎不可能质疑或挑战他们的决定，就算他们知道自己在被如何区别对待也没有什么办法。
例如，沃尔玛为低收入人群创建了商品目录，相对于更健康的选择，这些人被推销的垃圾食品数量占比更高。当与其他数据集交叉引用时，有关逮捕的数据也可以以压制性的方式使用。逮捕的证据可能意味着，自动简历分类软件可能会先发制人地将候选人排除在求职考虑之外，或者拒绝让一个人获得消费金融服务，有时甚至在逮捕已经从公共记录中删除之后也是如此。机器学习经常被用于穷人身上并对他们进行测试，而社会上最容易受到伤害的人最终要应对这些后果。
不可否认，类别的动态性受到了压制性算法的影响。技术，尤其是在精英阶层的管理下，反映了支撑社会分裂的价值体系。我们目前关于人工智能危险的许多讨论，都被此类技术可能导致第三次世界大战的可能性所主导。无论这些担忧多么有效，其框架揭示了一些更深层次的东西。许多推动这些对话的人都是富有的白人男性，正如研究人员Kate Crawford所指出的那样，“对他们来说，最大的威胁可能是一种人工智能顶端捕食者的崛起。但对于那些已经面临边缘化或偏见的人来说，威胁就在这里。”
越来越多复杂的算法网络产生了各种各样的社会、经济和文化后果。抽象识别总是依赖于基于数据的分析，或者与抽象身份相关的识别。这是一种数据歧视的做法。也就是说，为了营销的目的，社区和个人被分割成不同的受众，往往是基于对具体和不完整的数据的肤浅假设，这种假设具有高度分裂效应和加速影响。正如Adam Greenfield所言：“当代技术从来就不是独立、独立、独立的产物。网络收集和交换数据，这些数据由于路径依赖而流向不同的方向，而市场功能和社会偏见放大了这一点。机器的决策功能不仅具有再现传统社会断层的能力，而且还具有加剧阶级断层的能力。”
到了1978年，在声讨者和监管机构的双重压力下，福特同意自愿召回1971年至1976年间生产的所有Pinto。就在几个月前，陪审团裁定Richard Grimshaw损失1.26亿美元，虽然该裁决被初审法官减少了一些，但仍然数额可观。Grimshaw的决定在上诉中得到了确认，法院指出，“福特管理层的行为应该受到极端的谴责。”调查发现，管理层“为了最大化公司利润，故意漠视公共安全……危及成千上万名平托购买者的生命”。几个月后，福特因印第安纳州两名少女的死亡而被提起刑事诉讼。福特在这起案件中被判无罪。但它最终支付了随后针对它提出的与Pinto有关的索赔。到1980年，这款车就停产了。
Pinto丑闻不应被视为福特工程师们的偶发性德道失误，他们在设计过程中未能正确地评价人类的生命。尽管对参与设计过程的每个人来说，深思熟虑和了解他们的工作是很重要的，但也必须承认这些工程师和设计师是在业务驱动的环境中工作的。福特公司的执行领导做出了关键决定，忽略了提供给他们的重要信息。福特还在一个竞争激烈的市场中运作，在这个市场上，监管机构要么坐视不管，要么更糟，被行业所俘获。改变这种情况需要编辑、活动家和律师的共同努力，还需要当局制定新的规章制度，以预测危险设计的风险，并创造条件，使工程师能够在不危及其就业的情况下进行符合道德标准的工作。在资本主义制度下，保护人类的生命和尊严不受底线的影响是一场永无止境的战斗。
计算机代码本身就是一种法律形式。它由人类书写，像其他权力分配系统一样，它控制着人类的行为。它不是一个客观的过程或自然的力量，它表达了编码器和用户之间的一种权力关系，反映了编码器工作的系统。“代码永远找不到，” 劳伦斯·莱斯格（Lawrence Lessig）提醒我们：“这是唯一的办法，也是我们唯一的办法。”“让自由市场来决定这些事情意味着，数字技术有可能在一个不可思议的过程的掩护下，重现歧视。” Joy Buolamwini是算法公正联盟（Algorithmic Justice League）的创始人之一，该组织旨在宣传和挑战算法中的偏见。在她看来，只有围绕一个特定的目标和意图组织起来，我们才能做到这一点。
目前已经存在了一些关于歧视的法律禁令，这些禁令将捕捉到其中一些例子，因为它们体现在有偏见的代码中。但这些限制还远远不够，执行这些限制也需要监管机构不断更新权力。要发现这些问题，还需要对科技公司征收更高的关税。我们需要要求立法者和公共机构，在民主权威的名义下，介入这些市场，并对行业发布和执行设计要求。Nader在1965年对汽车工业进行评述时写道：“一个民主政府在解决相互竞争的利益和决定（改善交通安全）时所需的一切方面，远比那些追求越来越高利润的公司更有能力。”今天的科技公司和政府也是如此。
重要的是，开发这种技术的人们在改变设计文化方面也扮演着重要的角色。伦理设计考虑可以作为一种工业和政治组织工具，充当抵御掠夺性商业实践的壁垒。世界上最大的计算机科学家和工程师组织，计算机械协会（the Association for Computing Machinery）主席Cherri M. Pancake写道：“技术专家是第一道也是最后一道防御技术滥用的防线。”
2018年，该组织发布了一份最新的道德规范，要求开发者识别可能的有害副作用或误用其工作的可能性，考虑不同用户群体的需求，并特别注意避免对特殊群体的权利剥夺。在ACM收到的关于代码的反馈中，有一位年轻的程序员这样评论：“现在我知道如果老板要求我再做类似的事情，我该怎么告诉他。”解决设计中涉及的伦理问题不是一项简单的任务，但也不是不可能，为技术人员创造空间，让他们考虑各种选择，并充分利用它们，是其中的一个重要组成部分。
随着越来越多的大型科技公司员工以道德为理由与老板展开较量，我们已经可以看到这种做法在实践中是什么样子了。微软员工组织起来要求他们的公司取消与移民和海关执法部门以及其他直接帮助他们的客户的合同。他们写道：“作为微软从中获利的技术研发人员，我们拒绝与之串通一气。我们是一个不断壮大的运动的一部分，这个运动包括了整个行业的许多人，他们认识到，那些创造强大技术的人必须承担重大责任，确保他们所创造的东西是用于造福，而不是有害。拒绝开发有害技术的道德和最终政治决定不是基于个人，而是基于集体和工业。”
谷歌也发生了类似的员工运动，4000名工人代表军方和高级工程师签署了一份反对某个项目的请愿书，拒绝从事特定项目的工作，该工作将使谷歌赢得一份另多方敏感的军事合同。这种集体组织具有通过自组织改变技术生产文化的巨大潜力，比任何自上而下的纪律或服从形式更能够有效地提出并解决伦理问题。
数字时代的设计过程需要让工程师更容易地考虑用户的兴趣。但是，我们如何理解用户的兴趣可能是一个复杂的问题，将这些兴趣纳入设计过程需要时间和精力。当我们开发技术并发掘其潜力时，如果我们要避免造成伤害，我们可能还必须限制我们的技术能力。
这是一个特别重要的考虑因素，因为我们见证了物联网的飞速发展。越来越多的日常设备都安装了网络连接，你可以买一个冰箱、烤箱或者一个连接到互联网的家庭气候系统，从而可以在物体和人之间传输数据。正在开发的产品范围（必须说，通常从过度到无用）也揭示了这种技术的潜在积极性，例如它可以为家庭中有流动性问题的人提供帮助，为帮助治疗各种形式的残疾而建造的技术正在取得惊人的进展。厂商还有更加方便的承诺：如果你的智能手提箱丢了，你立马可以上网追踪它的位置。
但智能设备也有一个令人不安的方面。当我们把更多的智能家居设备带到我们的家里，以我们无法控制的方式与外界交流时，物联网可以说正在变成一个巨大的监视装置。这是弱势群体面临的一个特殊问题。正如Elise Thomas的观点，他讨论了关于技术和家庭暴力的话题：技术的进步对家庭暴力的目标来说是福也是祸。新的“智能”技术可以让他们更容易地获得帮助并记录下虐待行为，但同样，它也可能被滥用，监控他们的活动、窃听他们的对话、甚至实时跟踪他们的位置……
从前，一个电话号码就足以让人丧命。那么，当我们进入一个有权使用智能设备跟踪每一个动作、听到每一次呼吸、读取屏幕上每一个心跳的世界时，对于家庭暴力的目标来说，这意味着什么呢？
物联网对家庭暴力幸存者的影响是深远的。随着越来越多的生活设备连接到网络，且我们无法控制这些数据流，其他人更容易访问我们的大量信息。可穿戴技术可以被黑客攻击，汽车和电话可以被跟踪，来自恒温器的数据可以显示是否有人在家。
这种深度和广度的数据对于任何经历过虐待关系的人来说都是可怕的，也就是说，很多很多的人被再一次放置在危险之中。在美国，超过三分之一的女性和四分之一以上的男性一生中经历过强奸、身体暴力或亲密伴侣的跟踪。
技术滥用现在是选择使用暴力的人的标准做法。在2014年一项针对家庭暴力幸存者的服务提供商的调查中，97%的人报告说，他们的用户因滥用技术而遭受虐待者的骚扰、监控和威胁。这通常是电话骚扰和滥用，如短信和社交媒体发帖。但60%的服务提供商也报告说，滥用者通过技术手段对儿童和幸存者进行了监视或窃听。滥用者通过给孩子送礼物或在孩子的物品上安装装置来达到这一目的，甚至有11%的人报告说，有隐藏的“间谍”技术的玩具。
调查还发现，45%的项目报告了滥用者试图通过技术找到幸存者的案例。这些发现得到了另一项研究的支持，该研究发现85%的受访庇护所与施虐者使用GPS跟踪他们的幸存者一起工作，75%的受访幸存者使用隐藏的智能手机应用程序远程窃听他们的谈话。近一半接受调查的收容所禁止使用Facebook，因为他们担心会向跟踪者透露位置信息。
这些社会问题不是科技公司有义务必须去解决的，但它们是科技公司所塑造的社会中不可否认的一个特征。它们应该在开发的早期阶段被考虑，并在设计过程中被适应。我们经常被告知，将越来越多的个人设备连接到互联网是多么方便和未来主义。但不是每个人都有这种感觉，大量个人数据的生成，以及我们无法控制这些数据的收集和存储方式，都会产生严重的后果，尤其是对某些群体而言。然而，社会大部门的经验，特别是那些易受伤害的部门的经验，通常似乎不在设计过程中。
这种方法最终会影响到每个人，而不仅仅是那些有特定弱点的人：随着技术资本主义找到了了解我们个人生活的新方法，我们可以预测未来政府的间谍能够找到他们自己的方式进入这个信息宝库。在2016年2月提交给美国参议院的证词中，时任国家情报局局长的詹姆斯·克拉珀（James Clapper）很好地表达了这一点。克拉珀说：“未来，情报部门可能会利用物联网进行识别、监视、监测、定位跟踪，并瞄准招聘，或获取网络或用户证书。”美国经常利用产业创新为自己的利益重新调整用途。作家埃夫根尼·莫罗佐夫（Evgeny Morozov）简明扼要地说：“如果你想知道‘智慧城市’或‘智慧家庭’中的‘智慧’意味着什么，那么我可以告诉你是作为革命性技术营销的监视之眼。”
公司对用户体验的漠不关心部分源于对可用性和实用性的特定理解，Pinto丑闻爆发时，汽车行业也处于类似的心态。Ralph Nader在《任何速度驾驶都是不安全的（safe at Any Speed）》一书中指出，福特公司基本上对花钱提高安全性不感兴趣，大约166美元用于研究每一起交通事故，其中四分之一来自工业。
相比之下，航空业和政府在每名乘客死亡后的安全工作上共投入了5.3万美元。尽管汽车公司乐于投资于制造更快或更具未来感的汽车，但当安全特性威胁到美学设计原则时，汽车行业却抵制了它们。科技公司坚持把所有东西都连接到物联网上，并在设计产品时考虑到某种特定的用户，它们也采用了类似的模式。他们喜欢谈论服务客户，但是这个目的是通过一个特定的和狭窄的框架来理解的。
其中一个最明显的原因是，设计我们数字技术的人来自特定的人群。硅谷白人男性比例过高是众所周知的。据调查报道中心透露，2016年硅谷10家大型科技公司没有雇佣一名黑人女性。其中3家公司根本没有黑人员工，6家公司没有一位女性高管。
也有一些公司做得比其他公司好，许多大公司都发布了多样性报告，这是与过去几年相比的一个明显变化。但是白人，尤其是男性，无论是相对于人口还是相对于整个私营部门而言，在科技行业中的比例仍然过高。这种趋势在行政领导层中更为极端。正因为如此，我们看到网络设备的设计方法对家庭暴力等威胁漠不关心，尽管它是社区中普遍存在的问题。考虑到在座的特定人群，这些公司做出的决定不可避免地会显示出特定的偏见，而且任何人想要纠正这些偏见的可能性都更低。
这也有一个类动态。Adam Greenfield指出，物联网是由一群特定的人来设计的，他们将Uber、Airbnb和Venmo等服务完全融入了自己的生活，尽管这并不能反映一种普遍的体验。他们拥抱了数字化、个性化、最优化和商品化的世界:“这些主张对他们来说变得正常，因此对其他人来说也变得正常。然而事实上，有相当一部分人从未使用过这些服务，甚至从未听说过它们。但他们并不是由技术发展服务的群体。
一位编辑注意到，2018年的消费电子展似乎“更多的是为1%的富人提供更好的生活条件，而不是解决未满足需求的真正的创新突破。”另一位评论人士则更为直率:“旧金山的科技文化专注于解决一个问题：我母亲不再为我做什么？参与设计过程的人往往来自富裕的经历，以及特定的性别，这更普遍地影响着技术的发展，对我们所有人都产生了影响。”
程序员队伍中的多样性对于改变这种文化至关重要。这不仅仅是渠道问题，也是技术公司内部的问题，需要改变招聘实践、问责流程和与工作条件相关的政策。2018年谷歌罢工事件中，该公司2万名员工停止工作，抗议该公司如何处理不当性行为案件，并强调其对职场女性的影响。工人们几乎立刻就赢得了一些权利，但还有更多的工作要做。它是一个鼓舞人心的例子，说明了培养多样化劳动力存在的复杂障碍，以及如何通过组织来消除这些障碍。如果科技公司忽视这一点，他们将面临危险。目前，该行业缺乏多样性，这是一个亟待改变的问题，为实现这一点而提出的建议引起了广泛和主流的关注。虽然这方面的成功前景是一个值得反思的有趣话题，但它们已经成为大量讨论和活动的焦点。我想谈一个更广泛的问题。
仅改变开发人员的多样性是远远不够的，我们需要改变围绕道德设计的文化。那些敦促程序员快速行动并打破现状的高管们，显然是在期待其他人来收拾残局。我们需要论证的是，这种模式应该是建立考虑周到的程序，尊重设计的影响，并对用户的身份进行批判性思考。伦理困境不应该被认为高于程序员的薪酬等级，它们不应该被外包给其他人，但这需要程序员有足够的技能和能力去驾驭他们。这将意味着扩大现有的道德教育项目，使其成为主流。但要将这些计划付诸实施，科技公司还必须为适应这些审议过程提供空间。这也可能意味着优先考虑人类参与决策和调节，而不是自动化过程，即使自动化过程成本更高、效率更低。
创建一种更重视授权人员和限制伤害风险的编程文化是解决其中一些问题的必要步骤。随着时间的推移，这类工作可能会扩大到有关政治权力的问题，并最终培育出一种文化，这种文化崇尚和平的技术，并挑战其在监狱、警务和军事等暴力和压迫行业的普遍性。
当然，人们是自愿购买和使用现有产品的，我们尊重他们做出这些选择的权利，但不可能认为这些人中的每一个人都完全了解最新技术的性质和含义。三星在其智能电视隐私政策中加入了一项警告，提醒消费者“要知道，如果你说的话包括个人或其他敏感信息，这些信息将在通过你的语音识别捕获并传输给第三方的数据中。”
即使是芭比娃娃也不能远离网络：美泰公司发布了一款芭比娃娃，它使用Wi-Fi将数据发送回公司进行研发。但她也有自己的弱点，安全研究员Matt Jakubowski报告说，尽管制造商采取了保护消费者隐私的重大措施，但他们还是能够破解这个娃娃。他说：“直到我们能用我们的服务器替换她的服务器，让她说出我们想要的一切，这只是时间问题。”
在20世纪60年代对汽车工业的分析中，Ralph Nader认为，保密是对提高汽车安全最有害的政策之一。“这一行业秘密不仅阻碍了对知识的搜索以拯救生命……而且还保护了汽车制造商不被要求对他们正在做或不做的事情负责。”我们可以看到，如今，当算法被用作人类决策的替代品而没有适当的透明度或问责时，类似的力量正在发挥作用。政府使用的专有算法通常出于安全原因保密，或出于商业原因由制造公司保密，因此他们可以收取产品使用费。透明度和问责制的缺失破坏了机会平等，掩盖了结果的不平等。我们需要强制打开“黑匣子”算法。
DNA证据分析算法在刑事案件中的应用是一个很好的例子。DNA证据正成为一个高度复杂的领域，因为越来越小的样本都可以用来检测DNA的存在。因此，样本几乎总是显示DNA混合，在那里可以对个体进行多次匹配。这可能发生在不同的人在数小时甚至数天内接触到的物体上。每个人对混合物的贡献程度取决于许多因素，例如他们释放DNA物质的速度，而不仅仅是他们接触的顺序。这种复杂的样品越来越难以分析，尤其是人类实验室的技术人员，并且已经产生了后来被怀疑的结果。在这种情况下，政府官员越来越依赖计算机程序来分析这些样本，而这些程序通常由私营公司提供。
如果没有这些计划如何运作的透明度，那就会有很大的不公正的可能性。DNA证据对陪审团来说很有说服力，计算机化的结果生成过程只会加强这种趋势。在纽约市，一些辩护律师反对使用这些证据，理由是这种方法没有被科学界认为是可靠的。辩护律师被拒绝访问程序代码，因此无法确定进入算法的逻辑输入。在科学和数学研究者以及法医专家的帮助下，法律援助律师成功地对软件进行了逆向工程。这是来自公众拥护者的巨大努力，并且最终取得了成果。在听取了广泛的专家证词后，法官认为这种证据是不可靠的，因此是不可接受的。但这项裁决并不是计算机DNA检测的终结，它仍然被美国各地的司法管辖区用作证据。
如果公共决定是关于一个人的——尤其是涉及到一个人的自由——人们应该有权知道这个决定是如何达成的。在没有证据法的情况下，我们不再在秘密法庭里完成定罪，因为这被认为是不公平的。律师对专家证言进行严格的质证，并仔细评估证人的证件是否足以支持他们得出的结论。正义必须得到伸张。在这种情况下，黑盒算法产生的DNA证据具有很高的影响力，并且在科学上存在缺陷。构建这些算法的更透明的过程对于防止错误逻辑进入我们的司法系统至关重要。计算机程序应该像专家证人一样被对待，我们应该对程序的假设进行类似程度的审查，而不是把它当作客观真理的惰性提供者。
没有理由说，这些方案不能由一个公共当局制定或使用公共资金，或不能接受该机构的审计。可能会有报告指导方针、确定项目是否产生有偏见的结果的认证过程，或其他任何数量的监管制度。LRMix Studio提供了另一种选择：它是一个开源软件产品，可以解释复杂的法医DNA档案。类似的开源工具也被开发出来，用于将样本与DNA数据库进行匹配，以降低误报和漏报的风险。为了达到科学界可接受的可靠性标准，特别是在持续的基础上，这种透明度是必不可少的。
当然，有一种危险，那就是让这些算法透明化会给人们一个颠覆它们的机会。例如，专业的罪犯可能会学会如何避免在犯罪现场丢失DNA。但这些问题并不新颖，它们不能排除其他收集证据的方法，也不能形成一个足够好的借口来巩固一个充满偏见的世界。反对自证其罪的特权和获得法律顾问的权利被认为是刑事司法系统正常运作的关键，它二者都使有罪的人更容易自由行走。尽管如此，我们还是认为这是正确执行司法所必需的。在刑事司法系统中，用于辅助决策的计算机程序也应该如此。
正如我们对预算决策或公共资源分配的透明度的期望一样，用于公共决策目的的算法应可供审查，以确保逻辑和数据输入是公平的。越来越多的人呼吁各国政府拒绝在公共决策过程中使用黑盒算法，并向公众开放所有代码供审查。这些都是很好的出发点，并且可以作为长期目标的一部分，这种审查不仅仅应当应用于公共机构。
目前，私营企业处于研究复杂算法的中心，这些算法被频繁应用于机器学习。由于谷歌、Facebook和亚马逊等公司的数据热潮，研究学院已经无法与庞大的资源竞争。这一点尤其正确，因为科技行业大举投资于机器学习，将其熟练的专业人员吸引到私营企业，在很大程度上将公众排除在这些发展的利益之外。微软研究院副总裁彼得·李（Peter Lee）表示，2017年聘请顶级研究员的成本与在NFL签下一名四分卫的成本大致相同。正如《连线》杂志所观察到的，“自那以后，人才市场只会变得越来越热……大公司现在正在收购那些尚未起步的人工智能初创企业。”
机器学习的逻辑输入非常复杂，甚至个别的工程师也很难解释机器如何产生特定的响应。在这种情况下，严格的测试和标准是至关重要的，以便在问题发生之前发现问题。尽管最近出现了一些重要的旨在行业自律的举措，但这些举措还不够。我们需要公共的、民主负责的当局的干预。我们需要开始思考，如何像技术发展的所有领域一样，将公正和公平的原则注入机器学习，并使之触手可及，以便分享这些进步带来的好处。我们需要了解权力集中是如何阻碍这一目标实现的。
在道伊关于Pinto灾难的文件中，他讨论了福特和国家公路交通安全局（NHTS）就起草和实施行业新标准进行谈判的所有方式。道伊概述了福特如何能够拖延数年而不实施标准，如果不进行昂贵的重新设计，福特将难以满足这些标准。NHTS最终发现Pinto有一个安全缺陷，这促使福特召回了它。但随后对丑闻的分析揭示了NHTS发现的安全缺陷是如何操纵标准测试的结果。除此之外，NHTS增加了碰撞试验的速度，它使用了一种不同类型的车辆作为与Pinto发生碰撞的“子弹车”，以最大程度地与燃料箱接触，并确保前灯被打开以提供可能的点火源。
这意味着，这些对标准测试过程的修改是为了回应道伊的文章和诉讼引发的公众愤怒。福特被要求遵守其他公司不遵守的标准，而它自己却不知道这些标准是必须遵守的。福特从未承认自己做错了什么。
然而，我们的教训是：随着我们对一个行业和技术了解的更多，我们需要在安全和责任方面更新我们的期望。我们需要组织活动家、律师和编辑，突出设计不当的技术对人类的影响，并迫使行业适应重视安全和工作的设计文化，以减轻偏见。我们需要要求政府干预这一行业，以建立公开确定的标准和方法，让公司在违反规定时承担责任。随着我们更多地了解问题并尝试解决方案，这些标准必须不断更新并响应不断变化的环境。
为什么我们不应该进行人工智能的碰撞测试？或者机器学习的认证过程？为什么我们不应该有一个专家小组，要求他们保持独立于行业，他们可以在代码装运前提供测试和解决偏差的指导，或者在产品销售前提供安全风险，并且在成功地通过网络时调查实例？我们需要更广泛的、更具代表性的测试样本，以确保设计师从平均用户群之外获得反馈。我们需要将适当的反馈循环和有意义的呼吁渠道结合起来，为那些需要自动化决策的人服务，这样就不会留下错误供用户独自面对和解决。我们必须找到避免对相对未知的现有数据进行私有化的方法，以避免从现有数据集中导入偏见，并低估我们知识的局限性。我们需要更多的人来监督自动化决策，我们必须停止不加思考地使用后者来替代前者。我们需要制定关于最佳实践算法和设计过程的公共指南，并授权机构以负责任的方式监控标准。
“汽车的监管必须经历三个阶段，”纳德尔写道。“公众意识和行动要求的阶段，立法的阶段，以及持续管理的阶段。”我们今天应该对技术资本主义采取类似的方法，在这种方法中，我们审视行业，围绕变革的要求团结起来，并制定持续问责的程序。这样的监管过程一定是不完美的：它们可能很繁琐，容易受到行业捕获和误导。但这同样适用于许多对我们健康至关重要的行业，如食品安全监测、医疗产品监管和汽车行业。
算法、技术设备和人工智能，如果设计得不好，就会像不卫生的饭菜或有故障的起搏器一样让我们面临风险。如果被政府使用，它们甚至可能会损害管理我们社会保障的行政程序或有关我们个人自由的司法决定。我们需要将它们视为设计和可修改的产品，并拒绝技术精英们提出的否认对其影响负责的论点，不要让用户被权力指责。
