“迭代”早已成为互联网、金融、零售等很多行业产品开发的基础和准则。然而在现实经营过程中，产品的迭代开发却不是那么简单。很多企业表示，在传统架构下，缺乏高效且精准的工具，迭代往往成为堆砌人力的低效过程，经常无法达到企业的预想目的。而一些新的工具，如A/B测试则给这些企业的产品迭代开发带来新的思路。
4月26日，由市场研究公司Forrester调研撰写的《火山引擎A/B测试总体经济影响白皮书》（以下简称《白皮书》）正式发布，揭示了A/B测试对于企业营收增长、运营成本、生产力优化等方面的重要影响。基于对多家企业调研，Forrester发现企业营收增长与其洞察力高度相关，A/B测试已成为企业提升洞察力最有效的工具之一。
据了解，A/B测试在谷歌、亚马逊、Facebook等互联网公司被大规模应用。谷歌每月仅搜索广告产品上就会做几百、上千次实验，而亚马逊在购物流程的优化上，小到一个按钮的变化，大到一个流程的改变，全部应用A/B测试作为核心优化策略。在国内，字节跳动在2021年初每天同时进行的A/B测试也达到上万场，单日新增实验数量超过1500个，覆盖400多个大大小小的业务，而且这些数字还在不断扩大。
具体到“迭代开发”问题，《白皮书》发现，引入A/B测试产品，可以帮助企业有效提升产品迭代效率。其采集的受访公司数据显示，使用火山引擎A/B测试后，产品上线迭代效率普遍提升程度达到了20%。
《白皮书》指出，在使用火山引擎A/B 前，受访企业的产品迭代开发已经成为一项繁琐且需要大量人力的工作，以某受访企业为例，产品迭代开发需要包括开发、测试、运营以及数据分析在内的共计 7 名工程师，累计投入时间 840 小时，才能保证产品的发布及上线。而调查显示，通过火山引擎 A/B 测试平台的“灰度发布”功能，大大减轻了原有模式中需要测试、逐项发布、监控以及回滚带来的负担及风险。
受访企业还表示，除了开发环节之外，产品的全部生命周期中，还需要包括产品经理、数据分析师以及运营人员在内的共计 5 名人员，负责前期需求论证以及运营优化，每次新功能或新版本的规划需要投入时间 400 小时。而通过使用火山引擎A/B 测试产品，使公司得以更好地洞察客户，在正式产品上线前验证不同优化措施的效果，确定最优的方案。以上这两项改善措施的应用，使公司的产品迭代开发效率大为提升，三年之中，已为企业节省超过127万元的成本。
《白皮书》提到，受访的某互联网公司CTO表示：“在我们过去的交互设计以及运营策略的优化上，主要依靠经验判断，例如会员价格的调整，先推出上线，看效果不好再去改，反复试错，效率非常低。”
另一家受访企业负责人表示，尽管公司采取了 Release Train 的开发模式，但随着产品以及APP 功能的不断丰富，产品及功能上线决策以版本迭代的问题还是不断暴露出来，包括开发主要依靠产品经理个人的经验及认知，缺乏科学的决策方法。同时，对于开发及测试人员，每次更新的版本都要经过大量的开发和测试环境的测试，再通过灰度发布进行小规模的 UAT 测试，一旦出现问题就要回滚。当出现多个需要测试的功能或版本时，效率就非常堪忧。
通过火山引擎 A/B 测试的 A/B 测试上线方法，可以同步进行多个版本的测试，改进灰度上线方法。《白皮书》显示，通过引入火山引擎A/B测试产品，受访企业在开发测试和运营人员方面，可以分别得到20%及30%的效率提升。所节省下来的时间，可以用来进行其它工作，因此而带来生产效率的提升，为企业带来了更多收益，生产力转化系数达到了60%。
除迭代开发之外，火山引擎A/B测试产品的应用，在数据分析，和其他如提升点击通过率、客户参与及活跃度，以及降低产品新版本发布风险等非量化收益方面，也都展现出了非常大的价值；同时，部署具有灵活性，且成本可控，对迫切希望全面改善运营效率的企业来说，是不错的选择。（作者：王振）
