Comment l'utiliser
- Entrez les visiteurs et les conversions par variante; la première ligne est le contrôle. Utiliser Ajouter une variante pour plus de versions.
- Choisissez le type de confiance et de test. Sans raison particulière, utilisez 95 % et deux faces.
- Lisez le verdict, l'intervalle de confiance de l'ascenseur et la valeur de p; si la scission semble fausse, corrigez d'abord les données.
Comment il est calculé
- Importance: essai à deux proportions en z, avec valeur p pour l'essai à un ou deux côtés choisi.
- Intervalles de vitesse : Wilson ; intervalle de différence : score hybride Newcombe ; intervalle de levage relatif : rapport logarithmique. De petits échantillons et des taux proches de 0 % ne produisent jamais de limites négatives.
- Plusieurs variantes : chacune est comparée avec le contrôle et les valeurs p sont ajustées Holm.
- Contrôle du rapport d'échantillonnage: test chi carré par rapport à la fraction prévue; SRM est signalé lorsque p est au-dessous 0.001.
- Visiteurs encore nécessaires : en supposant que le véritable ascenseur soit égal à celui observé, les visiteurs par variante pour 80% de puissance.
Foire aux questions
Quand est statistiquement significatif le résultat d'un test A/B?
Lorsque la valeur de p est inférieure à 1 moins le niveau de confiance (0,05 à 95 %) et que l'intervalle de confiance de la différence exclut zéro, il est peu probable que l'écart soit un bruit aléatoire. Vérifiez également que la taille prévue de l'échantillon a été atteinte et que le test a été effectué pendant des semaines entières; un résultat significatif vu en arrêtant tôt est souvent faux.
La valeur de p est-elle la probabilité que B batte A ?
C'est pas vrai. La valeur de p est la possibilité de voir une différence au moins aussi grande si les versions étaient en fait identiques. Ce n'est pas la probabilité que B gagne; juge la valeur commerciale de l'ascenseur et son intervalle de confiance.
Dois-je utiliser un test recto-verso ou recto-verso?
Utilisez deux faces par défaut afin qu'une variante pire soit également détectée. Utilisez un côté seulement si vous avez décidé avant de regarder les données que vous allez envoyer B seulement si elle est meilleure et ne se soucie pas à quel point elle pourrait être pire; ne changez jamais après avoir vu les résultats.
Pourquoi les valeurs de p montent-elles quand je teste plusieurs variantes ?
Chaque comparaison supplémentaire est une autre chance de fluke. Avec plusieurs variantes, la calculatrice applique la correction Holm pour contrôler le taux global de faux positifs, de sorte que chaque variante a besoin de preuves plus solides.
Qu'est-ce que l'inadéquation des ratios d'échantillonnage (SRM)?
Si vous avez prévu une 50/50 split mais le nombre de visiteurs diffère clairement (chi-carré p ci-dessous 0.001), la scission, une redirection ou le suivi est généralement cassé. La comparaison de conversion ne peut pas être fiable jusqu'à ce que le problème de données soit corrigé.
Qu'est-ce qu'un test A/B et comment fonctionne-t-il habituellement?
Un test A/B divise au hasard les visiteurs en deux groupes — l'un voit l'original A, l'autre le changement B — et compare le taux de conversion ou une autre mesure pour voir si le changement fonctionne vraiment. Choisissez un métrique primaire et le plus petit ascenseur qui mérite d'être détecté, calculez les visiteurs nécessaires par groupe avec une calculatrice de taille d'échantillon, exécutez les deux groupes en même temps sans s'arrêter tôt lorsque les résultats semblent bons, et une fois l'échantillon atteint, utilisez cet outil pour la valeur de p et l'intervalle de confiance. Changer une chose à la fois maintient la conclusion claire.
XunL Experiments: éditer visuellement les pages, affecter les visiteurs de manière cohérente, confirmer les demandes acceptées sur le serveur et obtenir des rapports avec des intervalles de confiance et un état de décision clair.