软件测试技术趋势:从案例实战看AB Test系统设计及其原理
软件测试技术趋势:从案例实战看AB Test系统设计及其原理关于A/B Test的案例有很多,最常见的无非就是一个按钮的颜色或者是按钮的文案,虽然很经典但未免太简单,以至于有的地方涉及到的实验知识点无法详细展开。今天我们就拿一个工作中的实际例子来举例:目前A/B Test比较常见的应用场景如下:如果你也遇到过以上问题,那我们今天就从数据产品经理的角度通过实战案例一起来探讨一下A/B Test具体怎么做及其里面的原理是什么,以及如何将A/B Test产品化。A/B Test的思想最初应用于化学、生物、医疗等传统学术研究领域,叫做双盲实验,在2000年由谷歌引进到在互联网中进行了第一次A/B Test。A/B Test解决的是在现有认知下不确定哪种方案更优的问题,避免了拍脑袋决策,那么什么场景下适合做A/B Test呢?首先有两个条件:
编辑导语:AB Test,即有A、B两个设计版本。通过小范围发布,得到并比较这两个版本之间你所关心的数据,最后选择效果最好的版本。对于互联网产品来说,通过A/B测试提升点击转化率,优化获客成本可以得到越来越多的关注。本文作者从案例实战出发,为我们分享了AB Test系统设计及其原理。
在实际工作中,我们经常会遇到这种问题,准备上线的新策略真的会比老策略好吗?遇到这些问题总是让人不知所措左右为难,难道真的只能遇事不决量子力学了吗?
在数据驱动时代,只要你遇到的问题是数据可量化的,还真的有这么一个万能工具能回答你的这些困惑,它就是A/B Test。
相信大家对A/B Test并不陌生,但大部分人仅仅处在了解阶段,在真正动手做A/B Test实验的时候还是会遇到各种各样的问题。
如果你也遇到过以上问题,那我们今天就从数据产品经理的角度通过实战案例一起来探讨一下A/B Test具体怎么做及其里面的原理是什么,以及如何将A/B Test产品化。
一、A/B Test的前世今生A/B Test的思想最初应用于化学、生物、医疗等传统学术研究领域,叫做双盲实验,在2000年由谷歌引进到在互联网中进行了第一次A/B Test。A/B Test解决的是在现有认知下不确定哪种方案更优的问题,避免了拍脑袋决策,那么什么场景下适合做A/B Test呢?
首先有两个条件:
- 有两个到多个待选方案;
- 有最直接的数据指标可衡量各待选方案,如:比率、数值。
目前A/B Test比较常见的应用场景如下:
二、abtest案例引出关于A/B Test的案例有很多,最常见的无非就是一个按钮的颜色或者是按钮的文案,虽然很经典但未免太简单,以至于有的地方涉及到的实验知识点无法详细展开。今天我们就拿一个工作中的实际例子来举例:
某产品想上线付费发表情功能,于是产品同学A设计了一套付费引导流程:点击表情按钮->弹出付费引导弹窗->点击付费弹窗支付按钮->支付成功。
在需求评审上,产品同学B提出了不同意见:为什么不在用户点击具体某个表情的时候再弹出付费弹窗,使用如下引导逻辑:点击表情按钮->弹出表情面板->点击具体某个表情->弹出付费引导弹窗->点击付费弹窗支付按钮->支付成功。
根据以上逻辑,两个方案的转化漏斗如下:
假设:点击表情按钮人数=n,那么两个方案看到付费引导弹窗用户数分别为:
- A方案看到付费引导弹窗人数 = n*x%
- B方案看到付费引导弹窗人数 = n*100%*a%*100%=n*a%
付费用户数分别为:
- A方案付费用户数 = A方案看到付费引导弹窗人数*y%*z% = n * x% * y% * z%
- B方案付费用户数 = B方案看到付费引导弹窗人数*b%*c% = n * a% * b% * c%
针对两个方案孰优孰劣,两个产品同学分别给出了以下观点: