怎么用
- 按版本填入访客数和转化数，第一行是原版（对照组）；有多个新版本时点「添加变体」。
- 选择置信度和检验方式。没有特别理由就用 95% 和双侧检验。
- 看结论、提升幅度的置信区间和 p 值；分流比例异常时先排查数据。
计算方法
- 显著性：合并比例的双比例 z 检验，p 值按所选单侧或双侧计算。
- 转化率区间：Wilson 区间；差值区间：Newcombe 混合得分法；相对提升区间：对数比值法。小样本和接近 0% 的转化率也不会算出负数。
- 多个变体：每个变体与原版比较，p 值用 Holm 方法校正。
- 样本比例检查：按计划分流比例做卡方检验，p 值低于 0.001 时提示 SRM。
- 还需要多少样本：假设真实提升等于当前观察值，按 80% 功效估算每组所需访客。
常见问题
A/B 测试结果怎样才算显著？
p 值小于 1 减置信度（95% 置信度对应 0.05），并且转化率差值的置信区间不包含 0，才说明两个版本的差异大概率不是随机波动。还要确认样本量达到事先计划、测试跑满整周，否则早停看到的“显著”很可能是假的。
p 值是“B 比 A 好的概率”吗？
不是。p 值是在两个版本其实没有差别的前提下，看到当前或更极端差异的概率。它不能直接读成 B 胜出的概率；判断业务价值要看提升幅度和它的置信区间。
单侧检验和双侧检验选哪个？
默认用双侧：新版本变差也要能发现。只有事先就决定“B 不比 A 好就不上线、变差也不关心”时才用单侧，而且要在看数据之前定好，不能看完结果再换。
多个变体一起测，为什么 p 值变大了？
每多比较一次，碰巧“显著”的机会就多一次。本工具对多个变体用 Holm 方法校正 p 值，控制整体误判率，所以变体越多，单个变体需要的证据越强。
什么是 SRM（样本比例不匹配）？
计划 50/50 分流，实际两组访客数却差得明显（卡方检验 p 值低于 0.001），通常说明分流、跳转或统计脚本出了问题。这时转化率对比不可信，要先排查数据再看结论。
想在自己的网站上直接跑 A/B 测试？
进入 A/B 实验后台 →XunL A/B 实验：可视化改页面、按访客稳定分组、成功询盘由服务器确认，报告给出置信区间和是否可以下结论。