【猎云网（微信号：ilieyun
）】7月9日报道 （编译：小白）
在他的职业生涯中，Instacart的产品副总监Elliot Shmukler始终极力推崇A/B测试法，不仅把它作为完善产品开发的实用方法，也作为一种有效的管理工具。
在eBay的时候，Shumkler率先使用A/B测试法来提高eBay的搜索体验，并协助推出了eBay Express。在LinkedIn的时候，他领导了一支15人的产品团队，负责近半数的网站访问量。
而在Wealthfront担任产品副总监时，Shumkler不仅让这家创业公司的客户资产从1.5亿美元发展到30亿美元以上，还发布了其他服务以及公司第一个移动应用。
纵观他的职业生涯，他对A/B测试方法掌握地炉火纯青，不管是开发产品还是管理团队，都能从中获得好处。
今天这篇采访中，Shumkler向我们解释了他为什么把A/B测试作为管理架构，举例说明了这个方法是如何促进快速决策以及鼓励团队做决策。
他分别指出A/B测试作为管理架构的好处和可能面临的难题，以及如何在创业公司中推行这种方法。每一个产品或者发展经理都将从他以数据驱动管理产品和团队的方法中受益匪浅。
两种决策类型
任何一种管理架构的核心目标是更好地决策。在给股东的年度公开信中，亚马逊CEO杰夫·贝索斯提到了两种不同的决策：不可逆型和可变型。
•不可逆型决策：“有些决策重要且不可逆，这些决策必须谨慎对待，一旦决定之后无从更改。”
•可变型决策：“不过大多数决策还是可以改变的。如果是这种决策，即便结果不尽如人意你也可以想办法重来。可变型决策可以且应该由具备高度判断力的人或小群体快速制定。”
随着公司发展，对这两种决策方式的应用会越来越广泛。Shumkler认为，强调组织进行可变型决策时，A/B测试法是一个理想的途径。他说，“把A/B测试法应用到可变型管理决策时，我们可以轻松地审视各种决策的可能结果。即便是在不可逆决策过程中，必要时A/B测试法也能发挥关键作用。”
A/B测试法作为管理架构的案例
在职业生涯早期，Shmukler联合创办了Sombasa Media，也就是在这个时候，他首次注意到了两种不同的产品管理决策风格：远见型和数据驱动型。他说，“前者风格的产品经理更倾向于靠直觉决策，而后者更常以经验和分析来决策。但是我觉得应该还有更有效的决策制定架构，能将这两种决策风格的各自优势结合在一起。”
考虑到两种截然不同的风格很难在产品管理上达成一致，Shumkler举例说，“这时候你就需要用A/B测试来分析两方理论，让数据判断。虽然一开始看上去似乎对数据驱动一方有利，不过实际上最终这样的方法会推动双方的理念共同前进。”
Shumkler进而解释道：“当双方争执不下时，他会要求小组成员一起坐下来把他们各自的理论放到测试中衡量结果。然后各自收集数据等。所有的结果都公开在白板上，整个公司人都可以看到。最后，双方都有收获：数据驱动型产品经理拿到了验证结果的数据，远见型产品经理验证了他们的理念。皆大欢喜。”
不管最后哪种理念获胜，产品经理之间都不会存在不愉快，因为结果来自权威的测试而不是某一权威人士。其中的关键在于，这样的A/B测试方法不仅快速而且对所有人都公开透明。接下来是对这种方法的好处与挑战的总结：
好处
•自主性。“每个人都可以说出它们的想法。作为管理者，我更像仲裁者而非独裁者。”
•降低风险。“一方面验证决策的成本降低了，另一方面又减少了整体风险。”
•员工参与积极。“有了分享理念和验证理念是否可行的渠道后，团队中的产品经理变得更加积极，有热情了。”
•改变方法，而非风格。“这种测试方法改变的只是评估理念的方式，而不是他们的决策风格。”
难题
•用户样本规模。“一开始的时候，创业公司不得不偏向于远见型模式。你需要更多的牵引和用户基础才能让这个测试系统有效地运行起来。”
•遗留下来的决策方法。“曾经我工作过的一家公司，他们对A/B测试毫不知情。相反，他们要求所有人都为每个可能决策的结果准备一份详细的金融和影响分析。这很不高效，但有些公司仍在这样做。”
•围绕指标而非实验的企业文化。“曾经有家公司，在每日管理业务指标上做的十分到位，但从来不进行A/B测试或其他实验。公司极度依赖高级指标，但是一旦问题出现后便很难快速解决。”
如何应用与推广A/B测试法
这些年来，Shmukler没少听过反对意见，认为A/B测试作为产品开发和管理工具是行不通的。他说，“大公司不愿冒险，而创业公司总以时间和成本为由拒绝接受新方法。然而当我工作的创业公司只有20个人时，我用这套方法让公司员工发展到了100人以上。”
Shmukler以自己在大公司和创业公司的经历告诉我们，不管公司规模大小，这种测试架构造成的摩擦很小，它不会增加时间或成本，具体原因如下：
投资轻量型实验工具。Shmukler的经验是，只需少许工程师就可以搭建一个初始工具和分析仪表板来进行管理、监测、评估A/B测试。“很多人以为会花很多资源，其实不然。一个月不到的时间，创业公司就可以运行A/B测试。产品经理也可以毫不费力地很快获得结果。”
如果你没有工程师资源，那么很多工具也可以做到这一点。比如Optimizely，你甚至都不需要为运行A/B测试写代码。再退一步说，本质上就是你选择一个用户，然后用扔硬币的方法把他们分到A、B两组，再收集数据分析，真的不难，也不需要太多时间和成本。
减少单个决策的测试障碍。让A/B测试成为通用方法意味着把每个实验变成简单、即时的选择。Shmukler建议产品小组采用可以自动识别变化发生的仪表板。比如，你为实验选择一个目标，然后根据这个目标，它会告诉你应该跟踪哪几项指标。接着，系统会即时评估数据，给出红、绿两种信号告诉你应该继续往下走还是返回上一步。
梳理测试之间的相互作用。任何系统，随着规模扩大稳定性越差。比如单个页面的访问量测试可能会影响其他的测试结果。因此，在LinkedIn工作时，Shmukler和他的团队采用了严格挑选的标准来避免各个实验之间的互相影响。
另外，遇到复杂度大幅上升的并发实验时，仪表板应该设计地越简单越好。“最好的仪表板也是最简单的——只给出指示性的红、绿信号——但是你仍然需要仔细查看结果。”
理解实验的广泛影响。当A/B测试工具的作用越来越明显时，远见型和数据驱动型产品经理都会越来越信赖这个测试。“大部分测试只会告诉你测试的主意是好还是坏。下一步该做的就是为产品或公司设计一个能够根据关键指标体现影响的仪表板。”Shmukler解释说。
深度扩展测试软件的能力，使其能够把实验结果解读为深层次影响，应该是每个产品小组在使用A/B测试过程的一个目标。
总结
很多创业公司都知道A/B测试作为产品发展工具的价值，但事实上它也可以作为一个内置机制更好地开发管理产品团队。通用的A/B测试不仅可以解决不同类型产品经理之间的矛盾，还可以给予他们自主权，认可他们的个人风格。即使创业公司面临样本规模太小等问题，投资轻量级实验工具总是值得的。
Shmukler说：“A/B测试的作用不仅只是加速产品评估——对团队亦是如此。使用通用A/B测试作为管理工具，意味着告诉各种不同风格的产品经理：不管是谁的理念，只要被证实有效，就值得尝试。”
