【猎云网（微信号：ilieyun
）】10月11日报道（编译：福尔摩望）
编者注：本文原作者Danah Boys从事技术与社会交叉学科的研究，是微软研究所数据与社会部门的研究员。
1998年，斯坦福大学的两位研究生决定尝试“修复”主流搜索引擎的问题。Sergey Brin和Larry Page合作撰写了一篇文章，描述了他们的PageRank算法是如何能够消除大量的“垃圾结果”的。他们的想法对于谷歌的创立是至关重要的。但是这一算法却无法阻止人们尝试弄乱他们的系统。事实上，Google的崛起只增加了在搜索引擎优化方面的复杂性。
时间快进到2003年，宾夕法尼亚州参议员Rick Santorum公开将同性恋比作是兽恋症和恋童癖。不用说，LGBT社区对此是非常愤怒的。编辑Dan Savage呼吁他的读者用一种方式来“纪念这一丑闻”。其中一位粉丝创建了一个网站，将Santorum的名字与肛交一词联系在一起。出于对参议员的愤怒，无数的公众人士点击这一网站的链接，希望能够影响搜索引擎。这种以众包形式出现的搜索引擎优化行为通常被称为“谷歌轰炸”，属于旨在混乱数据和信息环境的媒体操纵形式。
媒体操纵并不是新鲜事。正如许多敌对行为者所知道的那样，宣传与社交媒体营销之间的界限往往是模糊的。此外，任何使用公共信号推广其产品的公司都非常清楚，你所创建的任何系统都会被娱乐、利润、政治、意识形态和权力所利用。即使是国会，也不可避免的落俗。但是我在这里并不是告诉你现在发生了什么，而是帮助你了解未来会发生什么。
在目前这一阶段，AI正成为每一次商务对话的中心话题。无论是公司、政府还是研究人员都痴迷于数据。敌对行为者也是，并不奇怪。目前，我们正在目睹数据被操纵的方式的演变。如果我们相信数据可以而且应该用于通知人们和辅助技术，那么我们需要开始建设必要的基础设施，以限制这些数据的腐败和滥用行为，并了解具有偏见和问题的数据是如何影响技术和社会基础的。
总之，我认为我们需要重新考虑如何定义数据驱动世界的安全性。
第一部分：玩弄系统
像搜索引擎一样，社交媒体成为了数据操纵的新目标。涉及的人群各种各样，包括社交媒体营销人员和政客。操纵Twitter的热门话题或Facebook的新闻排名成为很多人的爱好。只需要5美元，任何人都可以轻松的在几乎所有大型网站上购买粉丝、点赞和评论，也就是我们常说的水军。这一行为在经济和政治领域是可以理解的，但是除此以外，很多人对系统进行攻击的目的并不清晰。
例如，当一群互不认识的人决定帮助Rick Astley（60年代的某英国歌手）在《Never Gonna Give You Up》发行20年之后再一次进入榜单前列时，他们并没有想给Astley带来实质的利益（虽然事实上是）。就像通过诸如4chan等网络创造出来的内容一样，这样的行为纯粹只是为了追求刺激。但正是通过这些行为，很多人学会了如何炒作。换句话说，他们学会了如何操纵舆论。而且在这样做的时候，他们形成了可以导致严重后果的操纵策略。
像“#披萨门”这样的假新闻并不是偶然发生的（披萨门是指美国大选后期保守派捏造的克林顿家族利用一家披萨店进行儿童性交易的假新闻），它们是由一群分散在网络世界中的网民编造的。他们通过创建跨平台的虚假账号来微妙地影响编辑和大V来关注他们所制造出来的问题、博文和YouTube视频。
编造这样假故事的目的并不是让编辑相信这是真的，但却足以让编辑们在用正规渠道进行否认时扩大 这一假新闻的传播范围。这就产生了一种“飞反效应”，通过一些相信阴谋论而不信任媒体的人促使一些人进行所谓的“自我调查”。
此外，推荐引擎可以鼓励那些对问题框架持开发态度的人进一步深入。Joan Donovan是研究白人至上主义的研究员，她在下班后无法打开亚马逊、Netflix或者YouTube等网站，因为这些网站会向她推荐新纳粹主义的音乐、视频和品牌。激进组织知道如何利用这种基础设施制造麻烦。著名的激进组织weev在没有违反任何Twitter保护机制的情况下，使用该公司的广告基础设置向那些专注于社会正义的人展示了白人至上主义的观念，引起了一些群体的愤怒。
总而言之，这些玩弄手段已经算是对算法系统的手动攻击，但是我们也知道，这些手段也一直发生着变化。现在，它将会再次改变。
第二部分：脆弱的训练集
训练机器学习系统需要数据，很多很多的数据。虽然存在一些标准的语料库，但是计算机科学的研究人员、创企和大公司都渴望着全新的、不同的数据。
第一个问题是，由于数据代表着人类及其社会，所以所有的数据都是有偏见的。以受欢迎的ImageNet数据集为例，由于人类按形状分类的速度要快于按颜色分类，所以会得到一些奇怪的结果。
当你处理社会偏见时，事情会变的更加复杂。当Latanya Sweeney在谷歌上搜索她的名字时，她很惊讶的发现广告推荐她查看自己是否有犯罪记录。作为一名好奇的计算机科学家，她决定通过系统运行一系列常见的白人和黑人姓名，看看是否会弹出这条广告。毫不奇怪，只有输入黑人姓名时会出现刑事判决的广告。这并不是因为谷歌故意以不同的方式对待这些姓名，而是因为搜索者在搜索黑人姓名时更有可能点击刑事判决广告。谷歌习得了美国的种族主义，并将之应用于所有用户。
对于想要打造基于数据对人类进行分类的系统的人来说，解决数据中隐含的文化偏见将是一个巨大的挑战。但是一个新的挑战正在显现。那些一直试图混乱社交媒体和搜索引擎的人和政客正在越来越多的盯上了各大公司用来训练和改进系统的数据。
以Reddit和Twitter的训练数据集为例，计算机科学家早已从这些公司的API中训练了各种各样的模型，试图理解自然语言、开发围绕链接的元数据和跟踪社会模式。他们已经训练了一些模型用来检测抑郁症、评价新闻和参与交流。首先忽略这些数据并不具有代表性的事实，大多数使用这些API的工程师认为可以清洗数据并删除所有有问题的内容。但我可以保证你并不能做到。
先不说需要排除的子类别的数量，光是要熟悉推文种类和有问题的词汇就足以让你成为那些别有用心的人。
我目睹了无数的大V采用各种方式来混乱大型公司的公开数据。他们一直在悄悄的进行这一切。如果你没有一个稳定的结构来战略性地解决掉这些试图搅乱计划的人，那你就是脆弱的。这不是关于意外的或者自然的内容，甚至不是关于文化偏见的数据。这是关于如何战略性地排除别有用心之人输入系统的内容。
如果你想具体了解，可以参考Nicolas Papernot及其同事于去年发表的实验。为了了解计算机视觉算法的脆弱性，他们决定改变停车标志的图像，在人类观察者认为仍然是停车标志的同时，让底层神经网络将之解析为前进标志。想想这对自动驾驶汽车意味着什么。如果分类器可以很容易的被操纵，那这项技术会被广泛的采用吗？
目前，对机器学习模型最成功的数据攻击都发生在研究领域，但是越来越的人正在试图搅乱主流系统。不能因为他们还没有取得成功，就认为他们没有从自己的尝试中吸取教训。
第三部分：构建技术抗体
许多公司经历了几十年时间也不会认真对待安全漏洞，直到造成伤害，上了新闻头条。在开始构建工具以解决这个新的漏洞之前，我们真的需要再次经历同样的痛苦吗？
如果你正在打造数据驱动系统，你需要开始考虑数据会以什么样的方式被谁以什么目的所操纵。
在科技行业，我们已经失去了这种测试文化，部分责任要归结于社交媒体。十五年前，我们曾有意愿打造一个“永恒测试”文化。我们邀请公众成为我们的质量保证工程师。但是内部的质量保证并不仅仅只是发现错误，它是将对抗思维融入到设计和开发过程中，而且这样的措施在别有用心之人试图混乱系统时效果并不好。此外，目前没有任何激励或路径可以私下里告诉我们出错的地方。只有当新闻编辑羞辱我们的时候，我们才会注意到。然而，有些充满恶意的别有用心之人试图长期混乱我们的数据。为什么我们不能超越他们提前制止呢？
从好的方面看，研究人员正在将对抗思维融入到机器学习系统的发展中。
以生成性对抗网络（GANs）为例，对于不熟悉这一研究工作的人来说，这个想法是使用两个无监督的机器学习算法，一个用于生成内容，一个用于评估。第一个算法会试图欺骗第二个算法接收错误的信息。这项研究工作可以帮助找到模型的边界和数据的潜在空间。我们需要看到更多类似的研发工作，这种研究的重点就是测试文化，将真正的对抗思维直接置入到建模过程中。
但这些研究工作还不够。我们需要积极有意识地打造对抗测试、审计和学习的文化。我们需要建立分析方法来评估我们所使用的任何数据集的偏见。我们需要构建工具来监控我们的系统是如何发生改变的。我的同事Matt Goerzen认为，我们还需要战略性的邀请白帽黑客混乱我们的系统，帮助我们了解其中的漏洞。
科技行业已经不再是一群追求酷事的极客们的“速度与激情”了。现在，它是我们的民主、经济和信息环境的基础。我们不再只要考虑想要建设的世界，我们必须具有战略性思维，思考其他人会如何操纵我们的系统来造成伤害和混乱。
