So verwenden Sie es
- Geben Sie die aktuelle Conversion-Rate der Seite ein, zum Beispiel eine Anfragerate von 3 %.
- Geben Sie als MDE den kleinsten Aufzug ein, der einen Versand wert ist.
- Geben Sie die täglichen Besucher und den Anteil am Test ein, um die Stichprobengröße und die Anzahl der Wochen zu erhalten.
Formeln
Pro Variante n = (z₁₋α/₂ · √(2p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)², wobei p̄ der Mittelwert der beiden ist Tarife. Bei mehreren Varianten wird α durch die Anzahl der Vergleiche dividiert (Bonferroni).
Checkliste, bevor Sie beginnen
- Wählen Sie ein Hauptziel aus, schreiben Sie es vor Beginn auf und ändern Sie es nicht mittendrin.
- Legen Sie die Stichprobengröße und -dauer im Voraus fest und entscheiden Sie am Ende; Hören Sie nicht gleich am ersten Tag auf, wenn es bedeutsam aussieht.
- Führen Sie mindestens eine oder zwei volle Wochen aus, um Wochentage und Wochenenden abzudecken.
- Überprüfen Sie, ob die Aufteilung wie geplant erfolgt und beide Versionen Formulare korrekt anzeigen und übermitteln.
Häufig gestellte Fragen
Wie viele Besucher benötigt ein A/B-Test?
Es hängt von der Basiskonversionsrate, dem minimal nachweisbaren Effekt (MDE), dem Vertrauen und der Leistung ab. Bei einer Basislinie von 3 %, einem relativen Anstieg von 10 %, 95 % Vertrauen und 80 % Leistung benötigen Sie etwa 53.000 Besucher pro Variante; Für eine 20-prozentige Steigerung sind etwa 14.000 nötig.
Wie wähle ich den minimal erkennbaren Effekt aus?
Erkundigen Sie sich, wie viel Lift die Änderung lohnenswert machen würde, und prüfen Sie dann, welche MDE Ihr Datenverkehr unterstützen kann. Kleinere MDEs benötigen weitaus mehr Besucher (ungefähr umgekehrt proportional zum Quadrat der MDE), daher sollten Websites mit geringem Traffic mutigere Änderungen testen.
Warum sollte ein Test ganze Wochen laufen?
Besucher an Wochentagen und am Wochenende konvertieren oft unterschiedlich. Durch die Ausführung in ganzen Wochen erhält jede Variante den vollen Zyklus und ein gleichmäßigeres Ergebnis, daher rundet der Rechner die Dauer auf ganze Wochen auf.
Was passiert, wenn mein Traffic für einen A/B-Test zu gering ist?
Messen Sie ein Ziel, das näher an der Conversion liegt (ein Klick auf eine Anfrage statt einem Verkauf), testen Sie mutigere Änderungen, konzentrieren Sie sich auf Ihre Seiten mit dem höchsten Traffic oder lassen Sie sie länger laufen. Verlieren Sie nicht das Selbstvertrauen, früher fertig zu werden und betrachten Sie das Ergebnis dann als schlüssig.
XunL-Experimente: Seiten visuell bearbeiten, Besucher konsistent zuordnen, akzeptierte Anfragen auf dem Server bestätigen und Berichte mit Konfidenzintervallen und einem klaren Entscheidungsstatus erhalten.