Cómo usarlo
- ingrese la tasa de conversión actual de la página, por ejemplo, una tasa de consulta del 3%.
- Introduzca el ascensor más pequeño que valga la pena enviar como MDE.
- ingrese los visitantes diarios y la participación en la prueba para obtener el tamaño de la muestra y el número de semanas.
Fórmulas
Por variante n = (z₁₋α/₂ · √(2p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)², donde p̄ es la media de los dos tarifas. En el caso de varias variantes, α se divide por el número de comparaciones (Bonferroni).
Lista de verificación antes de comenzar
- Elija un objetivo principal, escríbalo antes de comenzar y no lo cambie a mitad de camino.
- Fije el tamaño y la duración de la muestra de antemano y decida al final; No pares el primer día, parece significativo.
- Ejecute al menos una o dos semanas completas para cubrir los días laborables y los fines de semana.
- Verifique que la división sea según lo planeado y que ambas versiones muestren y envíen formularios correctamente.
Preguntas frecuentes
¿Cuántos visitantes necesita una prueba A/B?
Depende de la tasa de conversión inicial, el efecto mínimo detectable (MDE), la confianza y la potencia. Con una base del 3%, un aumento relativo del 10%, un 95% de confianza y un 80% de potencia, se necesitan alrededor de 53.000 visitantes por variante; un aumento del 20% necesita alrededor de 14.000.
¿Cómo elijo el efecto mínimo detectable?
Pregunte cuánto incremento haría que valga la pena enviar el cambio y luego verifique qué MDE puede admitir su tráfico. Los MDE más pequeños necesitan muchos más visitantes (aproximadamente inversamente proporcional al cuadrado del MDE), por lo que los sitios con poco tráfico deberían probar cambios más audaces.
¿Por qué una prueba debería ejecutarse durante semanas enteras?
Los visitantes entre semana y los fines de semana a menudo realizan conversiones de manera diferente. Ejecutar en semanas enteras le da a cada variante el ciclo completo y un resultado más estable, por lo que la calculadora redondea la duración a semanas enteras.
¿Qué pasa si mi tráfico es demasiado bajo para una prueba A/B?
Mida un objetivo más cercano a la conversión (un clic en una consulta en lugar de una venta), pruebe cambios más audaces, concéntrese en las páginas con mayor tráfico o publíquelas por más tiempo. No bajes la confianza para terminar antes y luego tratar el resultado como concluyente.
Experimentos XunL: edite páginas visualmente, asigne visitantes de manera consistente, confirme las consultas aceptadas en el servidor y obtenga informes con intervalos de confianza y un estado de decisión claro.