【猎云网（微信号：ilieyun
）】7月21日报道 （编译：堆堆）
很多算法走上歧路并非是有意而为之。但有那么一些算法却在设计之初就决定了它的非法本性。算法通常是由计算机代码写成的规范化规则，它可以基于一直以来记录的模式预测未来的事件。要训练一种算法，你就需要提供历史数据以及衡量算法是否成功的限定。
近几十年来，算法已然占领了金融行业。交易算法利用历史数据来预测市场的动态变化。
这类算法成功与否，依据的是该算法对市场变化的预测以及对之前出现过的模式的警觉。金融风险模型还能利用历史市场变化来预测全球范围内出现的大变动，这并非是针对单一股票，而是针对整个市场的。抵押贷款证券风险模型在业内一直是“臭名昭著”，对于这些模型的信任危机源于2008年金融危机造成的大规模影响和后续损失。
从2008年开始，我们就很少听闻金融领域算法的应用，更多听闻的是大数据算法。新一代算法的目标受众已经从抽象的市场转变为个人了。但是算法的功能没有发生任何变化：收集关于人的数据、记录他们的在线行为、位置、问卷答案，然后利用大规模的数据组去预测他们未来的购买行为、投票行为以及职业道德。
普通人大多不会留意到算法已经渗透进入了大数据模型。可以这么说：在大家与官僚系统打交道的过程中，评分系统就采用了一种算法。上大学、找工作、员工评估、申请信用卡或保险、投票甚至于警务方面，算法都在其中扮演了重要角色。此外，这些系统决策中采用的技术大多是不透明的，即便是算法的制造者也不清楚。至今为止，这种技术还避开了一些法律法规的管制。这就让我们不由产生了疑惑——究竟哪一种算法是在为我们工作，扮演着更重要且紧急的角色。
关于恶性算法，我将其分成了四个等级。顶端是会反映文化歧视的无意识问题。比方说，哈佛大学教授Latanya Sweeney发现谷歌在搜索看上去很像是黑人使用的名字时，它产生的广告就是与犯罪行为有关的，因而我们可以假设谷歌中没有工程师在编写和种族主义有关的代码。事实上，这些恶性广告的出现是由之前使用谷歌搜索的用户行为导致的。当他们在谷歌中搜索一个听上去很像是黑人使用的名字时，他们有更多可能会去点击犯罪记录有关的广告。再举一个例子：在谷歌图片搜索关键词“非专业化头发”时，显示出的图片几乎全部都是黑人女性，这同样也是源于之前用户的搜索行为。
下一层便是由于疏忽而导致一些算法偏离了正轨。这包括一些安排日程的程序，这些程序会阻止低薪工人过上像样的生活。算法将这些人当作是社会中无足轻重的成员，在一周的不同日子里、一天内的不同时间点安排他们去工作，这就使得他们无法照顾孩子、兼职或是上夜校。这些算法残酷、高效、规模极大而又合乎法律，它们是在工人身上榨取他们的血汗钱。拿谷歌给照片自动加标签的系统来说吧。一直以来它都存在这样一个问题，即黑人会被加上大猩猩的标签。这就是由于谷歌疏忽了一个本质——对产品本身的质量评估：他们在发布代码之前没有去验证产品是否适用于大范围的测试用例。
第三层则是一些性质恶劣但却合乎法律的算法。举个例子，澳大利亚的Facebook高管就曾向广告商展示可以如何找到易受广告影响的青少年受众。此举非常可怕，但却不一定是违法的。事实上，在线广告大体上可被视作是一种波谱图。一方面，富人看到的广告都是关于奢侈品的，而穷人则会被提供在线短期小额贷款服务的放贷人盯上。如果一些受众不大可能会货比三家，那么算法就会向这部分受众收取数额更高的车险。Uber也刚刚搁置了它过去一直使用的一种预测薪水最低可以发放多少的算法，为的是能缩小男女之间收入的不平等。
最下面一级是由一些故意为之的恶劣算法组成的，有些时候这些算法甚至是公然违法的。有数百家私营企业提供大众监视工具，英国也有数十家。这些算法是作为一种可以确定恐怖分子或犯罪分子位置的方法进行宣传的，但它们也可以被用来确定公民活动家的位置并将其铲除。由于算法收集了大量的数据，预测型算法以及评分系统就可以被用来筛选出关键信息。此行业的非法性依旧饱受争议，不过最近半岛电视台编辑开展的一次卧底行动却揭露了伊朗、南苏丹地区代表专制政权的中间人可以很方便得购买到这些系统。同样，观察者们也批判了中国的社交信用评分体系，即“芝麻信用”。它被标榜为一种信用评分，但它却同样可以被用来密切观察用户的政见，这也可以被当做是一种哄劝用户服从的方式。
再来看看本国的情况。Uber之所以设计出“Greyball”算法，就是为了在其出租车非法运营的城市里让汽车避免被监测。算法利用数据可以预测哪一个乘客违反了Uber的服务条款，抑或是哪一个乘客有可能是政府派来的卧底。Greyball获取到的一些会暴露乘客身份的信息包括一天之内使用多个应用或是将信用卡与警察联合会绑定。
至今为止，性质最为恶劣的非法算法就是大众在全球1100万辆汽车中使用的算法，用于在排放测试中造假，尤其是该算法掩盖了大众汽车的实际一氧化氮排放最高可达到法律规定的35倍的事实。尽管这看上去像是一个私密装置，但实际是也可以当作是一种算法。该算法是用来识别路况并在一定情况下预测测试情况的，根据路况结果做出不同的反应。这就和Uber的“Greyball”算法一样，都是用来欺骗世人的。
（2015年，电商企业Poster Revolution被控利用算法，勾结其他卖家来给商品定价。）
汽车制造商的这个案例值得我们进一步深思，原因在于算法世界是一个年轻且极具风险的新行业，事先也没有做好任何安全预防措施，这就和早期的汽车行业很像。人工智能世界对于自己的技术迷之自信，这个世界推销的是一种近乎等同于汽车的物品——但没有保险杠，车轮也随时有可能飞离汽车。我确信这种汽车时不时得就会被制造出来，但一段时间之后，由于这种存在问题的设计带来了越来越多的损失，我们也就会制定出更多的规定来保护乘客和行人。那么在非法软件肆行的大背景下，如今已经成熟的汽车制造商世界又可以为我们提供哪些经验教训呢？
首先，其他汽车制造商也会使用类似的软件，即在一定环境下就关闭排放量的控制。换句话说，这并非是只存在一个违法者的情况，而是存在一个标准操作流程。此外，我们可以假设这种情况还不包括汽车制造商与他人勾结的可能性，仅将其当作是制造商们在利益的驱使下，觉得自己被抓包的可能性极小。之后，我们就可以合理推测，也许有大量算法已经被汽车制造商们采用，用以躲避法律条例的约束，特别是有些自命不凡的算法设计者会觉得自己的算法不可能会被抓包。
大众汽车的骗局开始于2009年，这就意味着有五年时间，这场骗局都没有被人戳穿。那这五年时间内又发生了什么其他事情呢？这一系列的思考让我们开始四下观察，疑惑哪一家公司能够成功骗过执法者、逃避隐私法亦或是利用算法舞弊但却可以免受惩罚。
事实上，从成本效益分析来说，算法骗局就像是一个十拿九稳的业务模型：一直进行欺骗直至公司被监管者抓包。如果不幸被抓包了，我们就需要支付一笔有限的罚款，这笔钱对于我们的累计利润不会产生任何影响，如同九牛一毛。毕竟，这是在金融危机的波及下大家所采用的应对方式。打着为股东创造价值的名义，我们“有充分的理由”这样行事。
换言之，我们预计在未来几年（至多几十年），汽车可以实现无人驾驶。倘若此事成真，全球范围内是否会制定国际协议呢？无人驾驶汽车对应的道德规范又是什么样的？当路面上突然出现一个坑时，行人的命运是否任由汽车制造商们来摆布呢？如果我们制定了相应的法规，那么法规是否会因为国家的不同而在执法问题上产生差异呢？甚至于会按照制造商所在的国家而有所区分呢？
倘若在处理车祸这样易于监管的问题上都难以实现的话，我们不妨想象一下在复杂的“深度学习”模式中，幕后又会发生什么样的情况呢？
无疑，这些工具已然存在了。近来，中国已经向大家诠释了面部识别技术的厉害之处——它足以让你找到乱穿马路的人以及偷厕纸的人。这就意味着公司有很大可能性可以在消费者或自己要雇佣的员工身上应用这些技术。关于这一点，诱因也出现了。就在上个月，谷歌因为滥用自己在搜索领域的垄断优势，不公平地把客户引向谷歌购物（Google Shopping）服务而被罚24亿欧元。同样，去年ProPublica也就定价算法问题投诉了亚马逊，表示亚马逊也会优先展示自营产品——即便这不是最划算的选择。如果你认为大数据公司在互联网上会争相获得你的注意力，那么我们就可以想象未来会出现更多这类的算法。
最后，关于大众汽车的丑闻骗局，还有一件事值得提一下。2014年，西弗吉尼亚大学由教授和老师组成的团队发现了大众汽车排放量的不符之处。团队申请并荣获了国际清洁运输委员会（International Council on Clean Transportation）提供的一笔微薄奖金，这是由美国纳税人交钱运营的一家非营利性的独立组织。团队用这笔钱在全国范围内驾驶汽车然后获取到排放数据，这是一个便宜而又直接明了的测试。
（2015年，大众汽车被发现在排放量测试中利用恶意算法来舞弊。七位大众汽车高管在美国被起诉了。）
什么样的组织能够制止未来非法算法的涌现呢？还有和国际清洁运输委员会类似的机构吗？是否存在这样一个机构——它有能力也有兴趣制止非法算法的存在并且证明这些算法的危害性呢？迄今为止，这些问题的答案依旧是否定的。事实上，美国境内有一些联邦机构政府正在他们的行业或领域中负责执法，但这些领域无一是特定针对大数据算法的。欧盟似乎也正在调查谷歌的反垄断行动以及Facebook的虚假新闻问题，但监管却不会涉及到其他行业。
更关键的问题是，我们如何调查算法呢？现在，算法的本质都是私密专有的代码，它们被当作是公司的“秘密武器”而保护起来。这些算法异常之神秘，以至于目标受众都不一定会了解这些在线评分系统，这指的是受众自己都不知道自己的评分结果，同样也不可能进行投诉或是辩驳。最重要的是，当一些不公平的事情发生在他们身上时，他们自己都不知道。
考虑到这些问题，我们确实很难想象政府要如何监管算法，即便是这些算法有可能会被滥用，以至于危害民众。就此看来，并非所有类型的危害在一开始都是可以量化的。有人也许会这样说，随着这些虚假新闻的流传，民主也受到了影响。但你又是如何量化民主的呢？
当然，我们不能说这并非是毫无希望。毕竟，从定义上来看，任何违法的算法都是违反了我们所指出的某些法律法规。最终，总有人要对违法行为负责的。问题依旧会存在，那么法律法规又该如何来执行呢？
马里兰大学帕克分校的计算机教授Ben Shneiderman在阿兰·图灵研究所（Alan Turing Institute）做演讲时提出了建立“国家算法安全理事会”的想法，旨在让其调查地面和空中交通事故。这一组织同样也会负责调查伤害情况，并具体确定谁要为算法造成的伤害负责。
（算法会筛选历史数据来给房屋估值。在美国，一个房主起诉房产信息网站Zoopla，后者采用了错误的数据，以至于房主的房产价值少了10万美元。）
这也许是一个好主意。当我们找到这些有问题的算法时，我们应该去深入调查，设定一个正规流程也是不错的。如果这一组织有足够大的执法能力，那么理事会也许可以深入调查很多常识性的问题。不过，目前尚不清楚它的范围可以达到多大。
拿汽车制造商做的类比还可以这样来分析：算法世界中，不存在任何30辆车堆砌在一起的对等物。大多数伤害都是悄无声息得发生在独立个体身上。相比众目睽睽之下发生的交通事故，那些悄无声息、无法查明的事故更难进行调查。
我仍然认为我们有望能够应对这些问题。在满是数据福音传道者的世界里，一个数据怀疑论者不免感到讶异的是：科技给人们留下了深刻的印象，即便无意之中科技对人类造成了危害，他们也会公开称赞科技的惊人之处。事实上，我们已经经历了许多算法给人类带来危害的情况。即便这些算法是如此隐秘和晦涩，但在他们造成大麻烦之后，终有一日这些算法会被揭露出来。
这对未来意味着什么呢？首先，我们需要开始注意算法的发展动态。我们发现的每一个犯罪算法都应当被当作是一个测试用例。违反法规的人是否被警方传讯了？处罚结果是否严重？警察是否执法了呢？处罚结果如何？我们从2008年金融危机中已经获悉，如果违反法律受到的惩罚少于他们盗用的利益，那么法规就会被大家无视。之后，大家也许会变本加厉，更加频繁得违反法规。
一旦我们开始记录执法情况，那么一场军备竞赛也随之拉开帷幕。我们很快就会期待出现大量逃脱法律、发展成熟的算法。这些算法复杂深奥而又悄无声息，与法律法规打着擦边球。它们会从其他被抓包的算法那里学习如何进步。换句话说，我们也将越难找到这些算法欺骗世人的证据。当然，我们的策略也会随之变得更好。
（预测型警务算法会使用历史数据来预测接下来回在哪里发生犯罪行为。民权团体认为这些系统会使得现有的警方偏见更为严重。）
预计，大公司还会告知我们它们正在“私下进行处理”。在反恐方面，这种情况已然出现。当大公司这么表态时，我们就不应当相信它们。我们需要建立一个标准的测试框架——对于伤害也要有一个限定作为参考标准——并且要求公司提交算法进行测试。我们的测试不能只在“实验室测试环境”下，否则我们将会重蹈大众汽车排放量骗局的覆辙。
其中面临的最大一道难题就是谷歌、Facebook还有亚马逊都不同意由外界研究员来进行测试。这些公司提供的都是定制化的个人服务，要了解这些服务的唯一方式就是采用多个人的资料，但此举是不被允许的。就拿大众汽车的测试来说吧：我们要求拥有更多权限并持续进行监控，尤其是在我们发现存在非法行为时。同样，所有的行业采用的算法都应当受到监测，包括保险和雇佣行业，监测也不能仅限于单个罪犯。
是时候我们要进行战斗了。最终，这会变成一场科技军备竞赛，但在开始之际——也就是现在，这是一场政治斗争。我们需要证据来证明有可能会伤害人类利益的算法看上去是合法的。当我们找到问题时，我们需要执行相应的法律并且对使用恶性算法的公司处以天价罚款，这样这些公司就会意识到一开始就行骗并不能为其带来什么盈利。我们是时候开始要求这些机器为我们服务，而不是我们为其服务了。
