---

AB测试，增长工作中的圭臬，产品/运营小伙伴们信手拈来的利器。接触多了，经验教训也丰富了，这次就来聊聊五个实战中的关键事项。

一、样本规模预估

样本量越大，实验时间越长，结果越。的定决性著显准确。这是常识，但背后是由统计显著性决定的。

统计显著性，就是对照组和实验组数据差异有多大可能是真实存在的，而非随机误差。

周期长、样本量多的AB测试更有说服力，但产品迭代快，周期不能过长。所以，AB测试前的样本规模预估非常关键。

计算样本量有点复杂，推荐使用在线样本预估计算器。输入原始版本转化率和优化版本转化率，设置统计显著性水平，即可快速得到样本数量结果。

比如，原始版转化率是10%，优化版转化率预期是12%，两组实验每组用户样本数据达到2900以上时，才能说明优化版转化率有显著差异，是可信的。

计算完预估样本数量后，还要预估实验周期。如果实验需要29天后才达到样本量，就要评估这个周期是否可接受。

二、测试结果分析

样本规模预估是在AB测试前进行，而实际结果数据需要统计显著性检验，保证差异显著可信。

有一个在线工具，输入AB两组实际数据，即可看到转化率差异和试验结果的统计显著性。

比如，B组转化率比A组高，但样本量小，试验结果未达到显著差异，不能得出优化比A组更好的结论。

可以选择继续实验或放弃实验，根据实际情况判断是否需要停止AB测试。

三、反向相关指标

AB测试时，关注核心指标的同时，不能忽略反向指标，即可能负面影响的指标。

比如，为了提升新用户注册率，过度包装新人权益，可能导致新用户首单转化率降低。

关注反向指标，避免得不偿失的风险。

四、辛普森悖论

辛普森悖论，某些条件下两组数据分别满足某种性质，但合并考虑却可能导致相反结论。

比如，对首购流程的AB测试实验，分别看，B组转化率高于A组，但合计数据A组转化率高于B组。

辛普森悖论要求用户样本合理选择、样本量监控调整、全面数据分析。

五、分层实验

对于大体量产品和成熟增长团队，存在多个AB测试同时进行的情况，需要考虑分层实验。

比如，电商产品新人流程，同时进行多个AB实验，保证变量唯一性，将流量分成两层，下层实验使用上层实验的流量。

分层实验需要团队间沟通，避免实验相互影响。

以上，就是关于AB测试的五个阶段性分享，希望对大家有所帮助。