【AI星球（微信ID：ai_xingqiu） 】8月20日报道 （编译：堆堆）
去年六月在迪士尼，Instagram首席执行官Kevin Systrom表示互联网已经变成了污水池并决意要将其净化。公司当时正在公园举办2016年度 VidCon私人活动，这是一场吸引社交媒体名人的年度盛会。Systrom见到了很多Instagram上的名人。他们聊天嬉笑，用彼此的手机镜头拍照发帖。但这样的帖子却带来了负面效果。Instagram本应是一个表达自我、给人带来愉悦的地方。谁想要遭受帖子下面的“评论暴力”呢？他们想要表现自我，但结果却是被羞辱、嘲讽或骚扰。如果时不时七个小矮人就会嚷嚷着白雪公主变胖了的话，那么Instagram是有一点像迪士尼的。
聊天之后，33岁的Systrom上传了他自己蹲在名人之间的视频。在这条短视频里，20个年轻人一边晃动着身体，一边微笑着。而在右下角，一位年轻的女士挥着手，膝盖则在相互碰撞。她挥手的样子就好像是在打蛋做蛋奶酥一样。
帖子下面的评论最开始是一个emoji爱心，然后就是“Hoooooo”、“太有趣了”。但很快，喷子们就又出现了。评论的画风开始变味了，例如说“走到窗户边跳出去吧”。还有一些评论中都带有emoji的西瓜表情。根据不同场景，这种表情带有种族主义、性别歧视亦或是计划野餐等含义。另类右翼人士一遍又一遍宣称“表情包很重要”。帖子下有一个链接可以连至迪拜商机的文本网页。还有一个用户要求Systrom关注他，留言——“请回关@kevin”。有一些勇士对Instagram将照片显示顺序按照相关性而非时间的变动大肆发表了言谈：“请重新按照时间顺序显示照片！”
Systrom是一个高高瘦瘦的男士，为人谦逊。他非常友善，器宇高雅，现在已经是一个亿万富翁，但他无意于成为同龄人中的领袖。他没有游艇，也不会去什么早期初选州，更没有与之前的合作伙伴签署保密协议。Systrom自己Istagram上的照片基本都是狗狗、喝咖啡、骑车或是与明星的合照。几年前，Valleywag称他的声音是“一个人阅读自己讣告时那种生硬、不自然的腔调”，但他之后的声音就变得醇和多了。如果非要说他有什么做得失败的事情的话，那些鸡蛋里挑骨头的人就会说“他是一个失败者”，因为他和联合创始人Mike Krieger过早得把Instagram卖给Facebook了。从斯坦福毕业几年后，他们就创建了Instagram平台，很快平台就大获成功。凭此，他们赚到了10亿美元。而拒绝Facebook收购要约的Snap如今价值约170亿美元。
Systrom一直以心善闻名，他认为这是Instagram基因中关键的一部分。当Instagram服务在2010年推出时，他和Krieger会删除一些负面评论。他们甚至还会亲自拉黑一些用户，以减少喷子的数量。他还表示Krieger“一直是微笑着的，也很善良”。在他和妻子在一起之后——“一位非常心善的女子”，他也试图规范自己的行为。Kevin Systrom本人也希望成为Instagram主页上表现出来的那样阳光正能量的人。
因此，当Systrom从VidCon回到Menlo Park的Instagram总部时，他告诉同事他们有了一个新的使命。Instagram将要成为社交媒体上的一个乌托邦：网络上最美好的地方。接下来（恰好在美国独立日前），Systrom在Instagram上传了一张自制椒盐卷饼的照片。
“这就像是你妈妈的圆发髻。”@ streamlinedude评论道。@ Juliamezi补充道：“如果你停止阅读，你就会死。”之后，这位用户又很奇怪地补充道：“如果你不在20张照片上贴出我说的话，那么你就会和我永远在一起滚床单。”
依传统观念看来，科技平台并非是中立的。它们的设计和架构也会促使一些行为，算法也会更多的控制用户行为。我们也许会感觉是自己在掌舵，但平台是河流，算法则是水流。
作为服务7亿用户平台的首席执行官，Systrom意识到他有点像是一个国家的慈善统治者，而这个国家的规模是美国的两倍多。他所做的决定会影响到所有用户的生活——其中一些用户是缺乏安全感的青少年，有一些是能很好地适应环境的成年人，有些是广告商，还有一些是和喷子对抗的流行歌手们。
2016年七月中旬，就在参加完VidCon之后，Systrom就面临了一次绿蛇emoji事件。不知道怎么的，在那一周，歌手Taylor Swift与Calvin Harris、Katy Perry以及Kim Kardashian闹翻了。Swift被指控成了一位背信弃义的小人。很快，她的主页上就如同是国家动物园里的爬行动物中心。几乎所有帖子下面都被网友留有蛇的emoji表情。群蛇或堆积出现，或按照数量排列，亦或是与猪的emoji表情交替出现。然后，突然之间，蛇的emoji表情在她的主页上就开始消失了。很快，Taylor的Ins主页又恢复了过往的样子——几乎都是她和朋友穿着泳装的照片，评论中都是些溢美之词。
这并不是偶然。过去几周内，Systrom和他的Instagram团队悄悄设计了一个过滤器，它可以删除用户主页上出现的特定字眼以及emoji表情。Swift的蛇emoji就是第一次真实的试例。九月，Systrom向世人宣布了这项功能。用户可以点击“隐藏不当评论”，这样就可以屏蔽一系列公司挑选出来的词汇，包括种族诽谤或是像破鞋这类词汇。他们还可以自定义添加关键词甚至是emoji表情，比如说蛇。
互联网净化之战，Instagram的工程师才刚刚开始。十月，Instagram上线了一系列工具，如果有中学辅导员非法入侵你的手机，那么这些工具可以粗略预测会发生什么。如果你输入“自杀”，你就会看到一个小方框内显示——“如果你正在经历一些坎坷，我们很愿意为你提供帮助”。紧接着，屏幕就会为你提供帮助，包括显示出预防自杀热线的电话。两个月后，即2016年12月，公司“放权”给用户，让其可以关闭某一帖子的评论。当你需要独自记录一些事情而不想与人讨论时，你就可以使用该功能。
愤世嫉妒者也许会指出这些变动同样会让企业受益。广告商们会喜欢在正能量平台上花钱，明星也喜欢这种自己不会被嘲讽的平台。如果家长不阻止，青少年也感到安全的话，他们便会公开自己的账号。
但如果你和Instagram公司里上上下下任何一个人沟通过的话（从Systrom往下到基层员工），你会发现他们在内心深处都是将其当做是一场净化运动，而不是什么盈利计划。Instagram公共政策总监Nicky Jackson Colaco表示自己的孩子还有许多青少年的第一次社交媒体使用体验就是Instagram。“我认为我们的净化运动实际要传达的理念是——我们想要生活在一个不一样的世界里。”她这样说道。
但Instagram平台无法仅仅靠技术补救（例如自动删除蛇emoji表情）来实现其建造美好世界的目标。因此，即便去年秋天Instagram上线了很多产品，但实际上工程师已经在着手开发一些更为复杂的产品了。
将互联网上的废话与理智评论区分开来，这对人类来说一直是一项亟待实现的任务。多亏了人工智能，机器可以更好地胜任这项工作。去年六月，大约就是Systrom参加VidCon的时间点，Facebook宣布它已经开发出了一项工具来帮助计算机理解语言。这款被称之为DeepText的系统是基于一个机器学习概念，叫做单词嵌入。当系统碰到一个新单词时，它会试图根据该单词周围的其他词汇来尝试推断其含义。如果一个西瓜的emoji表情同右派表情包一同出现，这就是暗含一些意义了。当分类引擎分析的数据越多，系统就会变得越聪明。和我们人类一样，它也会不断进行学习。但有一点不同于我们，它不会因为要连续阅读cuck这个单词72遍而感到疲倦或是压抑。
有一种方法可以帮助我们理解DeepText，它就像是一个成年人的大脑。大脑的全部记忆都已经被抹除，它将致力于完成你分派给它的语言任务。Facebook从本质上来说就是一个满是这些空大脑的冷冻室，它会将其分发给工程师团队。一些大脑会被训练来辨别Messenger用户是否需要打车服务，还有部分大脑则会被训练来帮助用户在市场交易平台上出售自行车。
“我认为我们的净化运动实际要传达的理念是——我们想要生活在一个不一样的世界里。”Instagram公共政策总监Nicky Jackson Colaco说道。
在了解了DeepText,之后，Systrom意识到他的工程师可以将其训练为对抗Instagram上的垃圾评论。但首先，这就像是儿童学习语言一样，它需要有人来教它。因此，Systrom集结了一个团队，从平台上整理出大量废话、打诨以及低级恐吓。
他们会将评论标记为垃圾评论或非垃圾评论，之后将这一切数据都输入给DeepText。机器就会研究这些分类，然后制定出一些规则来辨别这是否真的是迪拜给出的交易发盘，以及这是朋友还是机器人想要求“互粉”。一旦DeepText能够足够准确地区分垃圾评论，工程师就可以直接给出信号。公司在去年十月悄然上线了该产品。
之后，Systrom又有了一个更为复杂的念头：如果Instagram可以利用DeepText移除一些恶意评论呢？忘记要求互粉的评论吧。想想人工智能是否能够学会过滤掉那些模棱两可的内容呢？像“走到窗子边，跳出去”这种话绝对是恶意的，但它并不包含任何恶意的字眼。“别紧闭着...等等...张开腿...宝贝”明显是粗俗的，但计算机能够识别吗？“这就像是你妈妈的圆发髻”，这句话非常没礼貌且与照片主题无关。但如果这评论来自于你的一位幼时朋友，而他是真得欣赏你母亲做的德国椒盐卷饼，那么这又是正面的了。
其他社交媒体公司也在尝试过滤垃圾评论，但Instagram的新计划——让整个平台更加友好——却是野心极大的。Systrom让他的团队努力实现这一目标。
Instagram是一个相对较小的公司。员工总数大约为500人——平均每个人要负责150万活跃用户。训练机器友善化的团队规模也非常小。当我在去年6月去拜访时，团队大约是20人，每个人坐在独立的办公桌旁，周围全是四处散落的消毒湿纸巾盒。每个人看上去都很年轻，团队成员也来自不同种族。一个戴着头巾的女士坐在穿着Tim Lincecum运动衫的白种人旁边。他们的工作是仔细研究评论，然后决定每一条评论是否确切或是在精神上符合Instagram的社区指导方针。这一方针是于2012年首次起草的，它相当于是社交媒体平台的宪法，目前外界可获取到的是简化了的1200字版本。（简而言之：尊重别人，穿好衣服。）但评估人员则可以获得更长的机密版指导方针，并用此来衡量哪些评论是负面的，哪些是正面的。团队共有几十位评估人员，所有人都至少能掌握两种语言。他们分析的评论数量已经超过了200万条，每一条评论都至少被评估过两次。
在处理一些极端冒犯性的言论时，一些细微的差别就显得至关重要了。“如果你使用N字开头、侮辱黑人的字眼，那么在我们的平台上是不会允许的。”Instagram的内容运营总监James Mitchell（他还负责管理评估人员）说道，“当然也有例外情况，比如说自指或是你在叙述一个自己被歧视的经历时。”
当评估人员整理完了数据，他们会将分类好的4/5的文本都输入到DeepText中。机器会研究所有的评论，在正面评论和负面评论中找到分类依据。最终，Instagram 中使用DeepText系统的工程师制定出了一套规定，可以基于帖子内容本身以及其他因素来辨认负面评论，比如说作者和评论者两人之间的关系。公司还会采用工程师内部称之为是“karma score”的指标，这可以获取到用户一直以来上传帖子的质量。之后，这部分规则会被应用到剩余1/5没有输入进DeepText中的数据，从而了解机器与人类评估之间的适配情况。
机器会给每一条评论0到1分的评级——比如说0.41或0.89——这是判断Instagram评论是冒犯性或不合适的方式。分数越高，评论内容越恶劣，到达一定限度后，评论就会被抹除。Instagram调整了系统，这样系统就会存在1%的误报比例，这就意味着机器删除的评论中，有1%是用户实际可以接受的。
有时候，使用机器其实是解决问题最清晰的一种方式。人类一直在酝酿歧视和矛盾，而计算机却没有这些情绪。机器的好坏实则取决于它的编程。今年前些时候，文本分析公司Luminoso的首席科学家Rob Speer基于单词嵌入设计出了一个算法，尝试理解文本帖子中的一些情绪。他将这种算法应用到餐厅评价上，然后奇怪得发现墨西哥的餐厅表现都不佳。他没有预想到这种情况，于是便去深入分析了数据。人们喜欢墨西哥食物，但是系统却表明他们并不喜欢。最终，他找到了罪魁祸首：“原因在于，系统是通过阅读网页学习到‘墨西哥’这个词。”而在互联网上，墨西哥这个词通常是与“非法”这个词相连的，这在算法看来，就意味着负面的一些内容。
Systrom对于这个故事的回应是：“这太糟糕了。”之后，他表示Instagram的评级并非是基于这样的算法，而是基于人类评估员的判断。但评估员也许在某种程度上含有偏见呢？如果穿着Tim Lincecum运动衫的男士对于身高较高女性的负面评论比较敏感，但对于个字不高的女性却没那么在意呢？如果他认为#memelivesmatter这样的标签是恶意的呢？在办公室里大家累积起来的偏见也许会造成过滤器的偏见，然后这便会影响7亿用户所处的世界。
产品是于去年六月亮相的。至今为止，用户反馈也都还算不错。事实上，只有极少数人注意到这件事。过滤器还有待完善之处，它也存在问题。举个例子，一些词在不同文化中有着不同的含义。它会拦截使用了“fag”的句子，但在英国俚语中这实际上指的是香烟。它会拦截新帐户发的“你需要检查一下你的BMI指数”，却不会拦截已验证过的账号。它也无法识别Kanye West的歌词。因为歌词中的一些话都是被禁止的，如“For my southside niggas that know me best / I feel like me and Taylor still might have sex / Why, I made that bitch famous”。其中“nigga”还有“bitch”这些字眼都是不当的。
Instagram面临的一大风险就是过滤器将会慢慢地改变平台的宗旨。当然，Instagram上主要都是些图片，但如果真诚的见解和深思熟虑的评论以更低频率出现呢？事情又会发生什么变化？最好的想法通常不会是以一种正面且友好的形式出现。众所周知，如果没有iPhone，那么Instagram也就不会出现。就连苹果的Steve Jobs也曾有过一些言论是无法通过过滤器的。很有可能，Systrom想要建立的世界没有想象中那么美好——它有可能只是感觉被净化了的，就好像是迪士尼一样，这与现实世界还是有很大不同的。
当他在去年六月宣布这项产品的问世时，Systrom公开了一张图片（图中是由字母组成的心形）并且解释了他正在做的事情。图片下面的评论大部分都是积极的，大家都是欢天喜地。“这太棒了！”“神奇！”“谢谢你”“干得好！”
但是有一些批判性的评价却没有“惊扰”到过滤器，这大都是一些关于时间线顺序安排的抱怨。还有部分人仅仅认为这件事太奇怪了。但有一些读者，包括一个@futurestrader的账户却精确得指出了问题所在：“尽管我确实赞同IG等社交媒体几乎成为了喷子聚集的地方，但我希望这种过滤器不会迫使我们在发表评论和观点时遵从它的审查规定。”
Instagram的内容运营主管James Mitchell负责监管公司内分析200多万评论的评估人员。
硅谷的审查界定——什么是可以通过的，什么是不可以通过的——其实是不自然的，或者至少说是非常模糊的。宪法规定政府是有权审查你的，但私人平台是无权这样做的。当然，言论自由在硅谷一直都是大家关心的话题。早期计算机编程人员遇到的黑客道德以及代码问题，都推崇的是信息的自由化。2009年，Facebook宣称它的使命是“让世界更开放更互联”。同一年，伊朗爆发的绿色革命虽然以失败告终，但它也被大家简称为是“Twitter革命”。“我们想要最大限度增加互联网上观点的数量，因为我们相信越多的言论便是越好的言论。” Twitter创始团队成员之一的Jason Goldman这样说道。2012年，公司的一位高管将平台称之为“言论自由党派中的言论自由阵线”。
如今，Twitter公司再回首那段时间，那就像是一种天真的理想主义：未能理解深层次性别歧视甚至于是法西斯主义的年轻人创造出的一种产物，隐藏在人类ID背后。回首那时，要求言论自由的人都是一些想要推倒独裁专政的人。如今，这部分人似乎是那些要求有权说出一些种族主义言论但却不会被打上“种族主义者”标签的人。
因此，对在互联网领域运行的公司来说，言论自由的概念已经发生了转变。Facebook在News Feed上出现虚假故事之后就有了新的考量——从某种意义上来说，言论自由似乎帮助川普取得了大选胜利。无独有偶，去年六月，Facebook也更改了公司的使命声明。如今，Facebook想要“赋予人创建社群的权力，让世界融合在一起”。最初的使命声明有点像是James Madison会说的话，但后来的声明则有点像是可口可乐广告。
对Systrom来说，这其实非常简单：言论自由并不意味着你可以随意发表不当言论。他的网站并非是一个广场，而是一个人们可以选择是否要使用的平台。在涉及到言论自由的问题上，他提出了质疑：“言论自由就意味着可以对别人说一些刻薄的话吗？”Jackson Colaco也用更为尖锐的措辞发表了同样的观点：“如果平台上的恶意已经让人们不再想发表评论了，他们更不会去想分享自己的想法，实质上这已经威胁到人们表达的权利了。”
但她的评论又引发了一个新的问题：你是否能清楚知道何时限制言论是在保护言论呢？什么时候少即多？什么时候少即少呢？这些问题都不是轻易能解答的，Systrom将这些问题置于一边并且指出——Instagram针对的是一些最为恶劣的评论。“我们讨论的这部分评论大约占5%，是那种确实恶劣的内容。”
十年前，Tristan Harris和Mike Krieger均在斯坦福大学著名的说服技术实验室里做研究。在那儿，他们了解到了科技是如何改变人类行为的。他们两人曾嘲讽过一个名叫Send the Sunshine的应用，这是类似于Instagram的一个简化版本。应用会提示用户在阳光明媚的地方拍照片发给阴天的朋友。
Harris在谷歌待了好几年时间，如今他正运营着一个叫做Time Well Spent的非营利公司，凭此他正面向社交媒体宣战了。他选择的武器是：长篇新闻报道。在《The Atlantic》采访他之后，大众的目光便开始聚焦在Harris身上。杂志称他是“硅谷最接近良心的存在”。在接受60 Minutes采访并与Sam Harris会谈之后，他的声望日益增加。“他们所做的一切事情都是为了增加用户活跃度。”这里“他们”指的是科技巨头。“你可以用‘上瘾’来替换‘活跃’，两者其实都一样。”
Harris曾与一个叫做Moment的应用合作过，后者是测量人们在手机上使用其他app所花的时间，之后它会询问用户是否对此结果感到满意。90%的用户都对他们花时间使用Google Calendar感到满意，96%的用户对在Waze上花时间感到满意。超过一半的用户对于自己在Instagram所花的时间表示了不满，平均一天要花54分钟。Facebook更糟糕——这是人们抱怨第三多的应用，仅次于Grindr和Candy Crush Saga。
当我在采访中提到Harris时，Systrom笑了并且在我指出Harris对Instagram的批判之前就给出了回复：“不好意思，我之所以笑了，是因为我觉得有人要设计出那种让用户恶性上瘾的应用，其想法实在是太过牵强附会。我们是试图为用户解决问题，如果这意味着他们喜欢使用这个产品，那么我想这也是一种成功。”
两位斯坦福同班同学在本质上都同意一点：人们使用科技的方式有可能是极度不健康的。但是Harris想要科技公司“停止为了活跃度而操纵用户大脑的行为”。Systrom希望产品活跃度本身能够带来更多正能量的部分。
在去年六月推出评论过滤器之后，Systrom就开始着手另一个相关的任务：促进用户消息中的高质量评论，但是这种改变就像是公司基于相关性、而非时间顺序来重新整理主要消息一样。其本意是为了促进模仿效应。当人们看到别人说一些正面评论时，他们也会给出一些正能量的评论。
Systrom的野心并非仅限于完善Instagram。他的首要目标是要净化他运营的平台。采访了很长时间之后，Systrom还想向我们传达互联网上的恶意其实不是必然的。“也许向其他公司传递这样一个信号——让大家意识到净化社交媒体的重要性，然后开始在国内外开展关于创建安全、包容性在线社区的对话，这不仅仅是为了我们的孩子，也同样是为了我们的朋友和家人。”他说道，“我认为我们能取得成功。”
当问及他的最终目标是否是让Instagram变得更好或是说让人类变得更好时，他给出了否定回答：“我实际上是想让互联网变得更好。”
一个更加平静、善良的互联网就会更好吗？也许是吧。完全被过滤之后的Instagram并不能推倒独裁专政。也许它甚至不像现在那么有趣了。看到Swift完美的夏日聚会被emoji绿蛇干扰的样子，这也不失为一种乐趣。你很难去做出这样的抗辩——互联网可以变得更刻薄一些，尤其是在川普时代，尤其是如今有很多青少年都在使用这项服务。
在产品推出之后，这个观点很快就得到了验证。七月中旬，悲剧发生了。Systrom的挚友、Instagram的一个高级设计师Joy-Vincent Niemantsverdriet在游泳时过世了。心神错乱的Systrom在员工会议上直接哭出来了。Instagram展现的梦幻生活看上去是要优于我们实际生活的，但是这个残酷的世界也会有办法打破这种梦幻。几天前，Systrom给他的前同事致敬：“JV代表着IG的一切。他支持设计，关爱一切而不求回报，怀揣好奇之心看待这个世界。”
不管是因为过滤器起作用了或是因为人类有时候也会感同身受，最初几天网上看不到任何负面评论。有的仅仅只有同情、悲伤甚至是顿悟——无人想要将大家对JV的缅怀掩盖过去。
