A/B TEST / SAMPLE SIZE · DURATION · MDE

A/B 测试样本量计算器

开测之前先算好:要多少访客、跑几周。

本地计算 · 数据不上传
最小可检测提升(MDE)
%
每个版本
—
合计访客
—
建议测试时长
—

测完算显著性 →

按需连接下一步

从一次网站检查,走向日常监控

注册公司账号,集中管理网站与通知。Pro 支持 5 个站点、5 分钟级可用性监控,深度诊断按套餐与权限开放。

新公司享 14 天 Pro 试用,无需绑卡;试用不含付费月度积分。

已有公司账号?打开对应工作台 →

怎么用

  1. 填入页面现在的转化率,例如询盘率 3%。
  2. 填想检测的最小提升:值得上线的最小改进是多少。
  3. 填每天访客数和参与测试的比例,得到需要的样本量和测试周数。

计算公式

每组样本量 n = (z₁₋α/₂ · √(2p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)²,其中 p̄ 是两组转化率的平均值。多个变体时 α 除以比较次数(Bonferroni)。

开测前的检查清单

  • 只设一个主要目标,开测前写下来,不中途更换。
  • 样本量和时长事先定好,到点再看结论,不要每天看到显著就停。
  • 至少跑满一到两个完整的星期,覆盖工作日和周末。
  • 确认分流比例正常、两个版本都能正常显示和提交表单。

常见问题

A/B 测试需要多少样本量?

取决于原转化率、想检测的最小提升(MDE)、置信度和统计功效。转化率 3%、想看出 10% 的相对提升、95% 置信度和 80% 功效时,每个版本约需要 5.3 万访客;想看出 20% 的提升只需约 1.4 万。

最小可检测提升(MDE)怎么定?

先问:提升多少才值得上线这个改动?再看流量能支撑多大的 MDE。MDE 越小需要的样本越多(样本量大约和 MDE 的平方成反比),流量小的网站应该测改动更大的版本。

为什么测试时长要凑满整周?

工作日和周末的访客、转化率常常不同。按整周运行能让每个版本都覆盖完整的周期,结果更稳定。本工具会把天数向上取整到整周作为建议。

流量太小做不了 A/B 测试怎么办?

可以测更靠近转化的目标(例如询盘按钮点击而不是成交)、测改动更大的版本、只测流量最大的页面,或者延长测试时间;不要为了快而降低置信度后又把结果当成定论。

想在自己的网站上直接跑 A/B 测试?

XunL A/B 实验:可视化改页面、按访客稳定分组、成功询盘由服务器确认,报告给出置信区间和是否可以下结论。

进入 A/B 实验后台 →

A/B 测试样本量计算器实用指南与常见问题

什么是A/B 测试样本量计算器?

按双比例检验的标准公式计算每组样本量,支持相对或绝对提升、90% 到 99% 置信度、80% 或 90% 功效和最多 5 个版本(Bonferroni 校正),并给出不同提升幅度的对照表。

适合谁用,什么时候用?

准备开测的运营、产品和投放人员,需要在开始前知道每个版本要多少访客、按现有流量要跑几周。

如何使用A/B 测试样本量计算器?

填原转化率、想检测的最小提升、置信度和功效,再填每天访客数,得到每组样本量、合计访客和建议的整周时长。

如何理解A/B 测试样本量计算器的结果?

估算假设访客相互独立、转化率稳定;季节、促销和回访访客会让实际需要的样本更多,时长按整周取整更稳妥。

内容在哪里处理,会提交到哪些服务?

样本量和测试时长在浏览器本地计算,填写的转化率和流量不会发送到服务器。