So verwenden Sie es
- Geben Sie Besucher und Conversions pro Variante ein; Die erste Zeile ist die Kontrolle. Für weitere Versionen verwenden Sie Variante hinzufügen.
- Wählen Sie die Konfidenz und den Testtyp. Ohne besonderen Grund 95 % und beidseitig verwenden.
- Lesen Sie das Urteil, das Konfidenzintervall des Lifts und den p-Wert. Wenn die Aufteilung falsch aussieht, korrigieren Sie zuerst die Daten.
Wie es berechnet wird
- Signifikanz: gepoolter Z-Test mit zwei Anteilen, mit dem p-Wert für den ausgewählten ein- oder zweiseitigen Test.
- Ratenintervalle: Wilson; Differenzintervall: Newcombe-Hybrid-Score; relatives Hubintervall: logarithmisches Verhältnis. Kleine Stichproben und Raten nahe 0 % führen nie zu negativen Grenzen.
- Mehrere Varianten: Jede wird mit der Kontrolle verglichen und die p-Werte werden Holm-adjustiert.
- Überprüfung des Stichprobenverhältnisses: Chi-Quadrat-Test gegen die geplante Aufteilung; SRM wird markiert, wenn p unter 0,001 liegt.
- Besucher werden noch benötigt: Unter der Annahme, dass der tatsächliche Anstieg dem beobachteten entspricht, sind die Besucher pro Variante 80 % Leistung.
Häufig gestellte Fragen
Wann ist ein A/B-Testergebnis statistisch signifikant?
Wenn der p-Wert unter 1 minus dem Konfidenzniveau (0,05 bei 95 %) liegt und das Konfidenzintervall der Differenz Null ausschließt, ist es unwahrscheinlich, dass es sich bei der Lücke um zufälliges Rauschen handelt. Überprüfen Sie außerdem, ob die geplante Stichprobengröße erreicht wurde und der Test ganze Wochen lief; Ein „signifikantes“ Ergebnis, das durch ein frühes Absetzen erzielt wird, ist oft falsch.
Ist der p-Wert die Wahrscheinlichkeit, dass B A schlägt?
Nein. Der p-Wert gibt die Chance an, einen mindestens so großen Unterschied zu sehen, wenn die Versionen tatsächlich identisch wären. Es ist nicht die Wahrscheinlichkeit, dass B gewinnt; Beurteilen Sie den Geschäftswert anhand des Lifts und seines Konfidenzintervalls.
Sollte ich einen einseitigen oder zweiseitigen Test verwenden?
Standardmäßig zweiseitig verwenden, damit auch eine schlechtere Variante erkannt wird. Verwenden Sie einseitig nur, wenn Sie vor der Betrachtung der Daten entschieden haben, dass Sie B nur versenden, wenn es besser ist, und es Ihnen egal ist, wie viel schlechter es sein könnte; Wechseln Sie niemals, nachdem Sie die Ergebnisse gesehen haben.
Warum steigen die p-Werte, wenn ich mehrere Varianten teste?
Jeder zusätzliche Vergleich ist eine weitere Chance auf einen Zufall. Bei mehreren Varianten wendet der Rechner die Holm-Korrektur an, um die Falsch-Positiv-Gesamtrate zu kontrollieren, daher benötigt jede Variante stärkere Beweise.
Was ist eine Sample Ratio Mismatch (SRM)?
Wenn Sie eine 50/50-Aufteilung geplant haben, sich die Besucherzahlen aber deutlich unterscheiden (Chi-Quadrat-p unter 0,001), scheitert die Aufteilung, eine Weiterleitung oder das Tracking in der Regel. Dem Konvertierungsvergleich kann nicht vertraut werden, bis das Datenproblem behoben ist.
XunL-Experimente: Seiten visuell bearbeiten, Besucher konsistent zuordnen, akzeptierte Anfragen auf dem Server bestätigen und Berichte mit Konfidenzintervallen und einem klaren Entscheidungsstatus erhalten.