Comment l'utiliser
- Inscrivez le taux de conversion actuel de la page, par exemple un taux d'enquête de 3 %.
- Entrez le plus petit ascenseur qui vaut la peine d'être expédié en tant que MDE.
- Entrez les visiteurs quotidiens et la part du test pour obtenir la taille de l'échantillon et le nombre de semaines.
Formules
Par variable n = (Z₁₋α/₂ · √(2C'est vrai.(1-p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)², où p̄ est la moyenne des deux taux . Avec plusieurs variantes α est divisé par le nombre de comparaisons (Bonferroni).
Liste de contrôle avant de commencer
- Choisissez un but principal, écrivez-le avant de commencer et ne le changez pas à mi-chemin.
- Fixer la taille et la durée de l'échantillon à l'avance et décider à la fin; ne pas arrêter le premier jour il semble significatif.
- Exécutez au moins une ou deux semaines complètes pour couvrir les jours de semaine et les week-ends.
- Vérifiez que la scission est comme prévu et que les deux versions affichent et soumettent les formulaires correctement.
Foire aux questions
Combien de visiteurs ont besoin d'un test A/B?
Cela dépend du taux de conversion de base, de l'effet détectable minimum (EMI), de la confiance et de la puissance. A 3 % de base, 10 % de lifting relatif, 95 % de confiance et 80 % de puissance, vous avez besoin d'environ 53 000 visiteurs par variante; 20 % de lifting a besoin d'environ 14 000.
Comment puis-je choisir l'effet détectable minimum?
Demandez combien d'ascenseur ferait le changement vaut la peine d'expédition, puis vérifiez ce que MDE votre trafic peut supporter. Les petits MDE ont besoin de beaucoup plus de visiteurs (à peu près inversement proportionnels au carré du MDE), de sorte que les sites à faible trafic devraient tester des changements plus audacieux.
Pourquoi un test devrait-il durer des semaines entières ?
Les visiteurs en semaine et le week-end se convertissent souvent différemment. Courir en semaines entières donne à chaque variante le cycle complet et un résultat plus stable, de sorte que la calculatrice tourne la durée jusqu'à des semaines entières.
Et si mon trafic était trop bas pour un test A/B ?
Mesurez un objectif plus près de la conversion (un clic d'enquête plutôt qu'une vente), testez des changements plus gras, concentrez-vous sur vos pages de trafic les plus élevés ou exécutez plus longtemps. Ne diminuez pas la confiance pour terminer plus tôt, puis traitez le résultat comme concluant.
XunL Experiments: éditer visuellement les pages, affecter les visiteurs de manière cohérente, confirmer les demandes acceptées sur le serveur et obtenir des rapports avec des intervalles de confiance et un état de décision clair.