Cohens Kappa berechnen
Messen Sie die zufallsbereinigte Übereinstimmung zweier Beurteilender. Geben Sie die Übereinstimmungsmatrix ein: eine Zeile je Kategorie von Person A, eine Spalte je Kategorie von Person B.
So rechnen Sie selbst nachWerte eingeben
Die Ergebnisse werden während der Eingabe aktualisiert.
So geben Sie Ihre Daten ein
Geben Sie eine Tabelle mit einer Tabellenzeile je Eingabezeile ein. Die Zeilen entsprechen den Kategorien der ersten beurteilenden Person, die Spalten denen der zweiten. Jede Zelle enthält die Anzahl der Fälle mit dieser Kombination. Trennen Sie die Werte einer Zeile durch Kommas und verwenden Sie für beide Personen dieselbe Reihenfolge der Kategorien. Die Tabelle muss quadratisch sein, also gleich viele Zeilen und Spalten haben.
Cohens Kappa
Prüfen Sie Ihre Eingaben
Geben Sie gültige Werte ein, um Ihr Ergebnis zu sehen. Die Hinweise an den Feldern und die Anleitung zur Dateneingabe helfen Ihnen dabei.
Cohens Kappa beschreibt, wie gut zwei Beurteilende bei der Einordnung derselben Fälle in Kategorien übereinstimmen, etwa „bestanden“ oder „nicht bestanden“. Anders als die reine Übereinstimmungsquote berücksichtigt Kappa die Übereinstimmung, die aufgrund der Kategoriehäufigkeiten schon zufällig zu erwarten wäre. Häufig liegt der Wert zwischen 0 und 1; höhere Werte bedeuten eine stärkere Übereinstimmung über das Zufallsniveau hinaus. Auch negative Werte sind möglich.
Selbst nachrechnen
Verwenden Sie für 100 beurteilte Fälle eine Übereinstimmungstabelle zweier Beurteilender mit den Zeilen 40, 10 und 5, 45.
Gehen Sie das Rechenbeispiel durch und wiederholen Sie die Schritte anschließend mit Ihren eigenen Zahlen.
Beobachtete Übereinstimmung bestimmen
Pₒ = Diagonalsumme ÷ Gesamtzahl = (40 + 45) ÷ 100 = 0,85.Erwartete Übereinstimmung aus den Randverteilungen berechnen
Zeilensummen = 50, 50; Spaltensummen = 45, 55. Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0,5.Die erwartete Übereinstimmung herausrechnen
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0,85 − 0,5) ÷ 0,5 = 0,7.
Ordnen Sie die Kategorien in Zeilen und Spalten gleich an, damit die Diagonalzellen Übereinstimmungen darstellen. Berechnet wird das ungewichtete Kappa für kategoriale Beurteilungen.
Ergebnis im Rechner überprüfenIhre Ergebnisse aus PaperSurvey.io verwenden
Erfassen Sie für jeden Fall die Kategorien beider Beurteilenden und geben Sie die daraus gebildeten Übereinstimmungshäufigkeiten in diesen Rechner ein.
Anwendungsbereiche
- Lehrkräfte: Zwei Lehrkräfte bewerten dieselben Aufsätze als bestanden oder nicht bestanden und überprüfen vor der endgültigen Benotung, wie gut ihre Urteile übereinstimmen.
- Personalabteilungen und Recruiting: Zwei Personen beurteilen dieselbe Auswahl an Bewerbenden als geeignet oder nicht geeignet und prüfen anschließend die Übereinstimmung ihrer Bewertungen.
- Forschende: Zwei Forschende ordnen dieselben offenen Umfrageantworten Themen zu und prüfen, ob sie die Kategorien einheitlich angewendet haben.
Kappa interpretieren
Cohens Kappa misst, wie stark zwei Beurteilende über die zufällig erwartete Übereinstimmung hinaus übereinstimmen. Landis und Koch schlagen folgende Einteilung vor: 0,01–0,20 geringe, 0,21–0,40 mäßige, 0,41–0,60 mittlere, 0,61–0,80 erhebliche und 0,81–1,00 nahezu vollständige Übereinstimmung.
Wann ist der Rechner sinnvoll?
Verwenden Sie diesen Rechner, wenn zwei Personen dieselben Fälle jeweils in Kategorien einordnen und Sie ihre Übereinstimmung untersuchen möchten. Die Kategorien sollten Klassen wie „bestanden/nicht bestanden“, „Ja/Nein“ oder Themenbezeichnungen sein, keine kontinuierlichen Messwerte. Beide Personen müssen genau dieselben Fälle beurteilen. Cohens Kappa ist für zwei Beurteilende vorgesehen. Für numerische Bewertungen oder kontinuierliche Skalen ist in der Regel ein anderes Übereinstimmungsmaß geeigneter.
Was bedeutet das Ergebnis?
Das Ergebnis ist der Kappa-Koeffizient, der häufig zwischen 0 und 1 liegt. Bei 1 stimmen beide Personen in allen Fällen überein. Bei 0 entspricht die Übereinstimmung dem aufgrund der Kategoriehäufigkeiten erwarteten Zufallsniveau; negative Werte bedeuten weniger Übereinstimmung als zufällig erwartet. Nach der häufig verwendeten Einteilung von Landis und Koch gelten 0,01 bis 0,20 als gering, 0,21 bis 0,40 als mäßig, 0,41 bis 0,60 als mittel, 0,61 bis 0,80 als erheblich und 0,81 bis 1,00 als nahezu vollständig. Diese Einteilung dient der Orientierung; welche Übereinstimmung ausreicht, hängt vom Anwendungsgebiet ab.
Häufige Fehler vermeiden
Ein häufiger Fehler ist, dass die beiden Personen unterschiedliche Fälle beurteilen. Stellen Sie deshalb vorab eine gemeinsame Fallliste bereit. Die Tabelle muss gleich viele Zeilen und Spalten haben; verwenden Sie auf beiden Achsen dieselben Kategorien in derselben Reihenfolge. Nutzen Sie diesen Rechner nicht für drei oder mehr Beurteilende, denn Cohens Kappa ist auf zwei Personen ausgelegt. Für kontinuierliche Punktwerte oder stufenlose Bewertungsskalen ist ein anderes Maß geeigneter. Sehr kleine Stichproben liefern zudem unsichere Ergebnisse; erfassen Sie deshalb genügend Fälle.
So verwenden Sie diesen Rechner
- Zählen Sie die Ergebnisse in einer Tabelle zusammen: Tragen Sie für jede Kombination der Kategorien beider Beurteilenden die entsprechende Anzahl an Fällen ein.
- Geben Sie die Tabelle mit einer Tabellenzeile je Eingabezeile ein und trennen Sie die Häufigkeiten durch Kommas. Behalten Sie die Reihenfolge der Kategorien bei.
- Prüfen Sie, dass die Tabelle quadratisch ist, also genauso viele Zeilen wie Spalten hat, damit beide Beurteilenden mit denselben Kategorien abgebildet werden.
- Lesen Sie Kappa ab und ordnen Sie den Wert anhand der Richtwerte ein. Werte ab 0,61 gelten häufig als erhebliche Übereinstimmung.
Rechenbeispiel
Zwei Lehrkräfte beurteilen dieselben 50 Hausaufgaben als bestanden oder nicht bestanden. Bei 20 Aufgaben stimmen beide mit „bestanden“, bei 15 mit „nicht bestanden“ überein. Bei 8 Aufgaben sagt die erste Lehrkraft „bestanden“ und die zweite „nicht bestanden“, bei 7 ist es umgekehrt. Geben Sie in der ersten Zeile „20, 8“ und in der zweiten „7, 15“ ein. Obwohl beide bei 35 von 50 Aufgaben übereinstimmen, ergibt sich Kappa von ungefähr 0,39, was nach einer gebräuchlichen Einteilung nur einer mäßigen Übereinstimmung entspricht.
Häufig gestellte Fragen
Was gehört in jede Tabellenzelle?
Jede Zelle enthält eine Häufigkeit: wie viele Fälle die erste Person der Zeilenkategorie und die zweite Person der Spaltenkategorie zugeordnet hat. Auf der Hauptdiagonalen stehen die Fälle, bei denen beide dieselbe Kategorie gewählt haben.
Woher bekomme ich diese Zahlen?
Lassen Sie beide Personen dieselben Fälle unabhängig voneinander kategorisieren. Zählen Sie anschließend für jede Kombination der beiden Urteile, wie viele Fälle darauf entfallen, und tragen Sie diese Häufigkeiten in die Tabelle ein.
Was gilt als guter Kappa-Wert?
Höhere Werte bedeuten stärkere Übereinstimmung. Nach der gebräuchlichen Einteilung von Landis und Koch entsprechen 0,61 bis 0,80 einer erheblichen und Werte ab etwa 0,81 einer nahezu vollständigen Übereinstimmung. In vielen Bereichen gelten Werte ab 0,61 als solide; die angemessene Bewertung hängt jedoch vom Anwendungsgebiet ab.
Kann ich drei oder mehr Beurteilende vergleichen?
Nein. Cohens Kappa vergleicht genau zwei Beurteilende. Für drei oder mehr Beurteilende kommt beispielsweise Fleiss’ Kappa infrage.
Warum ist Kappa niedrig, obwohl wir bei den meisten Fällen übereinstimmen?
Kappa berücksichtigt die zufällig erwartete Übereinstimmung. Wenn fast alle Fälle derselben Kategorie zugeordnet werden, ist bereits aufgrund dieser Verteilung viel Übereinstimmung zu erwarten. Deshalb kann Kappa trotz einer hohen beobachteten Übereinstimmungsquote niedrig ausfallen.
Mit PaperSurvey.io loslegen
Sie können sofort starten: 14 Tage kostenlos und ohne Kreditkarte.