怎么用
- 填入页面现在的转化率,例如询盘率 3%。
- 填想检测的最小提升:值得上线的最小改进是多少。
- 填每天访客数和参与测试的比例,得到需要的样本量和测试周数。
计算公式
每组样本量 n = (z₁₋α/₂ · √(2p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)²,其中 p̄ 是两组转化率的平均值。多个变体时 α 除以比较次数(Bonferroni)。
开测前的检查清单
- 只设一个主要目标,开测前写下来,不中途更换。
- 样本量和时长事先定好,到点再看结论,不要每天看到显著就停。
- 至少跑满一到两个完整的星期,覆盖工作日和周末。
- 确认分流比例正常、两个版本都能正常显示和提交表单。
常见问题
A/B 测试需要多少样本量?
取决于原转化率、想检测的最小提升(MDE)、置信度和统计功效。转化率 3%、想看出 10% 的相对提升、95% 置信度和 80% 功效时,每个版本约需要 5.3 万访客;想看出 20% 的提升只需约 1.4 万。
最小可检测提升(MDE)怎么定?
先问:提升多少才值得上线这个改动?再看流量能支撑多大的 MDE。MDE 越小需要的样本越多(样本量大约和 MDE 的平方成反比),流量小的网站应该测改动更大的版本。
为什么测试时长要凑满整周?
工作日和周末的访客、转化率常常不同。按整周运行能让每个版本都覆盖完整的周期,结果更稳定。本工具会把天数向上取整到整周作为建议。
流量太小做不了 A/B 测试怎么办?
可以测更靠近转化的目标(例如询盘按钮点击而不是成交)、测改动更大的版本、只测流量最大的页面,或者延长测试时间;不要为了快而降低置信度后又把结果当成定论。
XunL A/B 实验:可视化改页面、按访客稳定分组、成功询盘由服务器确认,报告给出置信区间和是否可以下结论。