Stichprobengröße für A/B-Tests berechnen
Planen Sie einen A/B-Test oder einen Vergleich zwischen zwei Gruppen. Geben Sie die beiden erwarteten Quoten sowie das gewünschte Konfidenzniveau und die Teststärke ein.
So rechnen Sie selbst nachWerte eingeben
Die Ergebnisse werden während der Eingabe aktualisiert.
So geben Sie Ihre Daten ein
Hier verwenden Sie Zahlenfelder und Auswahllisten; eine Datentabelle müssen Sie nicht einfügen. Geben Sie die beiden Quoten als Zahlen ohne Prozentzeichen ein, beispielsweise 20 statt 20%. Wählen Sie anschließend das Konfidenzniveau und die statistische Teststärke aus. Das Ergebnis wird automatisch aktualisiert.
Stichprobenumfang je Gruppe
je Gruppe
Der Stichprobenrechner für A/B-Tests zeigt, wie viele Beobachtungen Sie in jeder der beiden Gruppen benötigen, bevor Sie die Ergebnisse vergleichen, etwa bei einer bisherigen und einer neuen Version eines Feedbackbogens. Geben Sie die aktuelle Quote und die Quote ein, die Sie mit der neuen Version erreichen möchten. Der Rechner ermittelt, wie groß beide Gruppen sein sollten, damit sich der erwartete Unterschied mit der gewählten Teststärke erkennen lässt. So können Sie vorab eine ausreichend große Stichprobe planen.
Selbst nachrechnen
Beispiel: Planen Sie zwei gleich große Gruppen, um eine Veränderung von 20 % auf 30 % bei 95 % Konfidenzniveau und 80 % Teststärke zu erkennen.
Gehen Sie das Rechenbeispiel durch und wiederholen Sie die Schritte anschließend mit Ihren eigenen Zahlen.
Erwartete Anteile umrechnen und mitteln
p₁ = 0,20; p₂ = 0,30; mittlerer Anteil p = (0,20 + 0,30) ÷ 2 = 0,25; Differenz = 0,10Faktoren für Konfidenzniveau und Teststärke nachschlagen
zα = Φ⁻¹(0,975) ≈ 1,959964; zβ = Φ⁻¹(0,80) ≈ 0,841621Verwenden Sie eine Tabelle der Standardnormalverteilung. Das Konfidenzniveau wird zweiseitig berücksichtigt; für den Faktor der Teststärke verwenden Sie direkt 0,80.
Die beiden Streuungsterme berechnen
A = √[2 × 0,25 × 0,75] ≈ 0,612372; B = √[0,20 × 0,80 + 0,30 × 0,70] ≈ 0,608276Die Formel für zwei Anteile anwenden
n je Gruppe = (zα × A + zβ × B)² ÷ (p₂ − p₁)² ≈ 293,1513Rechnen Sie nach Möglichkeit bis zum letzten Schritt mit ungerundeten Tabellenwerten.
Den Umfang jeder Gruppe aufrunden
294 Teilnehmende je Gruppe; insgesamt = 2 × 294 = 588
Diese Näherung setzt unabhängige Beobachtungen und gleich große Gruppen voraus. Der Unterschied beträgt 10 Prozentpunkte, nicht 10 % relativ. Planen Sie zusätzliche Teilnehmende ein, wenn nicht von allen verwertbare Daten zu erwarten sind.
Ergebnis im Rechner überprüfenIhre Ergebnisse aus PaperSurvey.io verwenden
Planen Sie hier die benötigte Anzahl von Teilnehmenden je Gruppe und vergleichen Sie anschließend die erhobenen binären Ergebnisse in PaperSurvey.
Anwendungsbereiche
- Kleine Unternehmen: Ein Geschäftsinhaber möchte zwei Feedbackkarten vergleichen und prüft vorab, wie viele Beobachtungen je Version nötig sind, um die Rücklaufquoten belastbar vergleichen zu können.
- Marketing und Kundenservice: Ein Team testet zwei E-Mail-Versionen für eine Umfrage und ermittelt, wie viele Empfänger jede Version benötigt, um Unterschiede im Rücklauf erkennen zu können.
- Studierende und Forschende: Eine Studentin plant eine Studie zu den Anmeldequoten zweier unterschiedlicher Plakate und berechnet, wie viele Personen jede Gruppe umfassen muss.
Teststärke und Konfidenzniveau
Die Teststärke gibt an, mit welcher Wahrscheinlichkeit ein tatsächlich vorhandener Unterschied erkannt wird; üblich sind 80%. Das Konfidenzniveau bestimmt das zulässige Risiko eines falsch positiven Ergebnisses. Je kleiner der Unterschied zwischen den beiden Quoten ist, desto größere Stichproben benötigen Sie für einen zuverlässigen Nachweis.
Wann ist der Rechner sinnvoll?
Verwenden Sie den Rechner vor einem Vergleich zweier Varianten, bei dem jede Person ein bestimmtes Verhalten entweder zeigt oder nicht, etwa einen Fragebogen zurückgibt oder einen Link anklickt. Er ermittelt vorab die benötigte Gruppengröße, damit der Test ausreichend aussagekräftig ist. Das ist beispielsweise beim Vergleich zweier Feedbackkarten, E-Mail-Versionen, Anmeldeseiten oder Erinnerungsverfahren hilfreich, wenn Sie prüfen möchten, ob sich die Ergebnisse statistisch nachweisbar unterscheiden.
Was bedeutet das Ergebnis?
Angezeigt wird der Stichprobenumfang je Gruppe. Sie benötigen also ungefähr so viele Beobachtungen für jede Version; die Gesamtzahl ist doppelt so groß. Bei kleineren Gruppen kann ein tatsächlich vorhandener Unterschied unentdeckt bleiben und zu einer falschen Schlussfolgerung führen. Häufig verwendet werden ein Konfidenzniveau von 95 Prozent und eine Teststärke von 80 Prozent. Je geringer der erwartete Abstand zwischen den Quoten, desto größere Gruppen sind für den Nachweis erforderlich.
Häufige Fehler vermeiden
Geben Sie nicht zweimal dieselbe Quote ein: Ohne erwarteten Unterschied lässt sich keine erforderliche Stichprobengröße berechnen. Tragen Sie Quoten als Zahlen ohne Prozentzeichen ein. Beachten Sie, dass das Ergebnis je Gruppe gilt und für den Gesamtumfang verdoppelt werden muss. Beenden Sie den Test nicht vorzeitig, nur weil eine Version zunächst besser abschneidet; warten Sie, bis beide Gruppen die geplante Größe erreicht haben. Schätzen Sie die erwartete Quote möglichst anhand früherer Ergebnisse, statt willkürlich einen Wert zu wählen.
So verwenden Sie diesen Rechner
- Geben Sie im ersten Feld die Ausgangsquote als Zahl ein: den Prozentwert, den Ihre bisherige Version erzielt.
- Tragen Sie im zweiten Feld die Quote ein, die Sie mit der neuen Version erreichen möchten.
- Wählen Sie Konfidenzniveau und statistische Teststärke aus. Übliche Werte sind 95 Prozent und 80 Prozent.
- Lesen Sie den Stichprobenumfang je Gruppe ab. So viele Beobachtungen benötigen Sie für jede Version; für die Gesamtzahl verdoppeln Sie den Wert.
Rechenbeispiel
In einem Café geben etwa 20 von 100 Gästen eine Feedbackkarte zurück. Eine freundlichere Gestaltung soll diese Quote auf 25 von 100 erhöhen. Geben Sie im ersten Feld 20 und im zweiten 25 ein; Konfidenzniveau und Teststärke bleiben auf 95 Prozent beziehungsweise 80 Prozent eingestellt. Der Rechner ergibt ungefähr 1.094 Personen je Gruppe, also insgesamt etwa 2.188 Personen, bei denen die Rückgabe der jeweiligen Kartenversion beobachtet wird. Diese Gruppengröße ist nötig, um den erwarteten Unterschied mit der gewählten Teststärke nachweisen zu können.
Häufig gestellte Fragen
Was gebe ich in das erste Feld ein?
Die Ausgangsquote ist das Ergebnis, das Ihre bisherige Version erzielt, als Prozentwert. Wenn beispielsweise jede fünfte Person den Fragebogen zurückgibt, tragen Sie 20 ein.
Was bedeutet die erwartete Quote?
Das ist die Quote, die Sie mit der neuen Version erreichen möchten, ebenfalls in Prozent. Geben Sie den gewünschten Wert ein, beispielsweise 25.
Woher bekomme ich diese Zahlen?
Verwenden Sie Ergebnisse aus früheren Befragungen oder Ihren Aufzeichnungen. Wenn Sie die Quote noch nie gemessen haben, testen Sie zunächst die bisherige Version eine Zeit lang oder setzen Sie einen plausiblen Schätzwert an.
Was bedeuten Konfidenzniveau und Teststärke?
Das Konfidenzniveau legt das Signifikanzniveau des Tests fest: Bei 95 Prozent beträgt es 5 Prozent. Unter der Annahme, dass kein Unterschied besteht, begrenzt dieses Niveau das Risiko eines falsch positiven Ergebnisses. Die Teststärke ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied der geplanten Größe zu erkennen; üblich sind 80 Prozent. Wenn Sie unsicher sind, können Sie die Voreinstellungen beibehalten.
Was sagt mir das Endergebnis?
Das Ergebnis gibt die benötigte Zahl von Beobachtungen je Gruppe an. Erheben Sie mindestens so viele pro Version und vergleichen Sie anschließend die beiden Quoten.
Mit PaperSurvey.io loslegen
Sie können sofort starten: 14 Tage kostenlos und ohne Kreditkarte.