近几年，关于算法的推荐机制一直饱受争议。一方面，平台通过算法根据用户的使用习惯来推荐商品、广告以及新闻资讯等，一定程度上降低了人们的选择成本，使得商品的成交率更高，用户反馈更好。另一方面，关于信息“茧房”的呼声也越来越高，算法推荐机制正在为每个人营造一个虚拟的世界，人们面临着成为算法社会“囚徒”的风险。
字节跳动一直是算法推荐领域的“佼佼者”，该公司旗下核心产品：今日头条、抖音短视频等早已家喻户晓。而这些互联网产品无一例外地使用了算法的推荐机制，并在市场上获得了极大的认可。4月20日，在字节跳动旗下火山引擎技术开放日上，字节跳动副总裁、算法和数据技术负责人杨震原首次阐释了算法的核心要素，也即如何使用A/B测试（A/B Test）。
A/B测试是指对不同策略进行对比实验，根据结果选择最优方案。这有点类似于科学实验中的“双盲实验”。早在十八世纪，一位英国医生把患有坏血病的水手随机分成六组，用不同方法进行治疗，从而确定了柠檬和橘子能有效治疗坏血病，这是人类有记载最早的A/B测试。在互联网时代，A/B测试被谷歌等巨头广泛使用在产品开发和运营中，有研究者也把A/B测试视为字节跳动快速增长的重要因素。
据杨震原介绍，公司成立之初，今日头条就在做策略推荐类的A/B测试。2016年，字节跳动建立了支持大规模产品实验的A/B测试平台，之后陆续接入抖音、西瓜视频等全线业务，把A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。
根据字节跳动公布的数据显示，其每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖400多个大大小小的业务。随着公司发展，这些数字还在不断扩大。截至今年3月底，字节跳动累计已经做了70多万次A/B测试。
这种做法在市场上也得到了认可。会上介绍了某网约车公司的成功案例，该公司已通过火山引擎进行了70多次A/B测试，约有60%为正向实验，提升产品转换率约40%，以往需要一周时间的需求复盘数据分析，现在只要一天就能得到数据结论，更直观地量化了需求价值，极大地提升了效率。
这实际上是一个科技向善的过程。也就是通过了解用户的行为，让算法记录并学习这一过程，并进而根据得到的数据帮助企业提高决策质量、促进业务增长。杨震原进一步解释说：“当我们想观测某个方面，比如说人群或者某类产品，就把人群和产品分成A、B两组，比如你的操作是发红包，或者改了设计页面，又或者是做了运营活动。除了这些操作之外，其他的分布完全一样。”最后根据反馈的结果来帮助决策者进行决策。
然而，杨震原也坦言，A/B测试不是万能的。它仍旧存在一些局限和问题。以“抖音”为例，当初给短视频平台起名时内部进行了A/B测试，“抖音”这个选项实际位列第二名，但当时产品经理们从经验角度认为“抖音”长期来讲更符合认知，更能体现这个产品的形态，并最终选择了“抖音”这个名字。
所以A/B测试的过程，有时不完全看它的结论，它也会带来很多认知，这就是经验带来的偏差。A/B测试可以纠正这些偏差，但是它也会有这样或那样的问题，有时候决策者不一定会完全采纳它的结论。
真正做一个科学决策，没有“一招鲜，吃遍天”的方法，只有最合适的方法。充分使用A/B测试能够在很大程度上补充可能遗漏的信息，能够帮助决策者消除很多偏见，能够带来很多客观的事实。但是它也不是完美的，需要和其他方法配合着一起使用。正如“抖音”这个名字的来源一样，在决策中更广泛地使用A/B测试，可以完善算法的推荐机制，帮助决策者做出更准确的决策。
