元气森林爆款频出有何秘笈?A/B测试让数据驱动成为习惯

近日,元气森林创始人唐彬森发表演讲时表示:“因为我们对用户体验的极致追求,所以我们才有了数据分析;我们才有了各种A/B测试,才有了各种做分析的手段,所以说我们才会非常关注留存率、NPS、次日留存和月度留存一系列的概念,因为我们很关注用户在每一个环节的流失。”

据报道,元气森林尚有 95% 的产品未推向市场,其主要产品“燃茶”的上市是将几十种饮料反复在互联网上测试的结果。在其他饮料公司仍可能踩进“预先生产大批量产品、发现问题再喊停”这个坑的同时,元气森林已经习惯了在快速测试中遇到问题及时调整或终止,试错成本已降低至每批次 40-50 万左右,不及最初的 1/10。

唐彬森提到的“A/B测试”,是指对不同策略进行对比实验,根据结果选择最优方案。在互联网领域,A/B测试早已获得广泛的应用,国际知名的互联网巨头,几乎所有的产品改动都要经过严格的A/B测试验证后才能上线,亚马逊甚至称自己为“A/B测试公司”。

更经典的一个案例是,2007年,一名互联网工程师通过A/B测试为奥巴马的竞选网站提供优化策略,为奥巴马团队额外获得了三百万的支持者,增加了5700万美元的捐款额。

奥巴马竞选网站的A/B测试(左侧为四种备选方案,右侧为最终采用的转化率最高的方案)

在国内,像BAT、字节跳动、美团等多家大型互联网公司也都建立了自己的A/B测试平台。以字节跳动为例,每天同时进行的A/B测试有上万场,还把测试平台通过火山引擎开放给外部企业客户,中小企业可以申请限期免费使用。

A/B测试虽好,自建此类工具却不容易。因为A/B测试所涉及的实验自动分流、流量正交互斥、指标设计和解读、置信度统计等功能对研发资源、技术成熟度都有较高的要求。对中小企业来说,使用互联网公司的工具是更为便利的选择。

(0)
上一篇 2021年6月17日 10:54
下一篇 2021年6月17日 10:54