Cómo usarlo
- Ingrese visitantes y conversiones por variante; la primera fila es el control. Utilice Agregar variante para obtener más versiones.
- Elija la confianza y el tipo de prueba. Sin motivo concreto, utilice 95% y bilateral.
- Leer el veredicto, el intervalo de confianza del levantamiento y el valor p; Si la división parece incorrecta, corrija los datos primero.
Cómo se calcula
- Significancia: prueba z de dos proporciones agrupada, con el valor p para la prueba unilateral o bilateral elegida.
- Intervalos de tasas: Wilson; intervalo de diferencia: puntuación híbrida de Newcombe; intervalo de elevación relativo: relación logarítmica. Las muestras pequeñas y las tasas cercanas al 0% nunca producen límites negativos.
- Varias variantes: cada una se compara con el control y los valores p se ajustan según Holm.
- Verificación de proporción de muestras: prueba de chi-cuadrado frente a la división planificada; SRM se marca cuando p es inferior a 0,001.
- Aún se necesitan visitantes: suponiendo que el aumento real sea igual al observado, los visitantes por variante tienen una potencia del 80 %.
Preguntas frecuentes
¿Cuándo es estadísticamente significativo el resultado de una prueba A/B?
Cuando el valor p está por debajo de 1 menos el nivel de confianza (0,05 al 95 %) y el intervalo de confianza de la diferencia excluye cero, es poco probable que la brecha sea ruido aleatorio. También verifique que se alcanzó el tamaño de muestra planeado y que la prueba se realizó durante semanas enteras; un resultado “significativo” observado al suspender el tratamiento temprano suele ser falso.
¿Es el valor p la probabilidad de que B gane a A?
No. El valor p es la posibilidad de ver una diferencia al menos así de grande si las versiones fueran realmente idénticas. No es la probabilidad de que B gane; Juzgue el valor del negocio a partir del incremento y su intervalo de confianza.
¿Debo utilizar una prueba unilateral o bilateral?
Utilice dos caras de forma predeterminada para que también se detecte una variante peor. Use unilateral solo si decidió antes de mirar los datos que enviará B únicamente si es mejor y no le importa cuánto peor pueda ser; nunca cambie después de ver los resultados.
¿Por qué los valores p aumentan cuando pruebo varias variantes?
Cada comparación adicional es otra posibilidad de que se produzca una casualidad. Con varias variantes, la calculadora aplica la corrección de Holm para controlar la tasa general de falsos positivos, por lo que cada variante necesita evidencia más sólida.
¿Qué es la discrepancia en la proporción de muestras (SRM)?
Si planeó una división 50/50 pero el recuento de visitantes difiere claramente (chi-cuadrado p por debajo de 0,001), la división, una redirección o el seguimiento generalmente no se realizan. No se puede confiar en la comparación de conversiones hasta que se solucione el problema de los datos.
Experimentos XunL: edite páginas visualmente, asigne visitantes de manera consistente, confirme las consultas aceptadas en el servidor y obtenga informes con intervalos de confianza y un estado de decisión claro.