Fleiss’ Kappa berechnen
Messen Sie die zufallsbereinigte Übereinstimmung mehrerer Beurteilender, etwa bei drei oder mehr Personen. Geben Sie pro Fall eine Zeile mit der Anzahl der Urteile in jeder Kategorie ein.
So rechnen Sie selbst nachWerte eingeben
Die Ergebnisse werden während der Eingabe aktualisiert.
Fleiss’ Kappa
Prüfen Sie Ihre Eingaben
Geben Sie gültige Werte ein, um Ihr Ergebnis zu sehen. Die Hinweise an den Feldern und die Anleitung zur Dateneingabe helfen Ihnen dabei.
Selbst nachrechnen
Drei Beurteilende ordnen drei Fälle jeweils einer von zwei Kategorien zu. Die Häufigkeitszeilen für die Kategorien lauten 3, 0; 2, 1; und 0, 3.
Gehen Sie das Rechenbeispiel durch und wiederholen Sie die Schritte anschließend mit Ihren eigenen Zahlen.
Übereinstimmung für jeden Fall berechnen
Pᵢ = [Summe der quadrierten Kategorienhäufigkeiten − 3] ÷ [3 × (3 − 1)]. Die drei Ergebnisse sind 1, 1/3 und 1.Die Übereinstimmung über alle Fälle mitteln
P̄ = (1 + 1/3 + 1) ÷ 3 = 7/9.Erwartete Übereinstimmung aus allen Kategoriezuordnungen berechnen
Kategorienanteile = 5/9 und 4/9. Pₑ = (5/9)² + (4/9)² = 41/81.Zufällig erwartete Übereinstimmung berücksichtigen
κ = (7/9 − 41/81) ÷ (1 − 41/81) = 22/40 = 0.55.
Jede Zeile enthält Häufigkeiten je Kategorie, keine Einzelbewertungen. Die Summe jeder Zeile muss derselben Anzahl von Beurteilenden entsprechen.
Ergebnis im Rechner überprüfenIhre Ergebnisse aus PaperSurvey.io verwenden
Exportieren Sie die erfassten Beurteilungen, zählen Sie für jeden Fall die Kategoriezuordnungen und berechnen Sie Fleiss’ Kappa hier.
Wann wird Fleiss’ Kappa verwendet?
Cohens Kappa vergleicht genau zwei Beurteilende. Fleiss’ Kappa erweitert das Prinzip auf eine feste Anzahl von Bewertungen je Fall; dabei müssen nicht für jeden Fall dieselben Personen urteilen. Sie geben keine einzelnen Urteilspaare ein, sondern zählen, wie viele Beurteilende jeden Fall der jeweiligen Kategorie zugeordnet haben.
Das Ergebnis interpretieren
Kappa kann höchstens 1 betragen. Bei 1 liegt vollständige Übereinstimmung vor, bei 0 entspricht sie dem Zufallsniveau. Nach Landis und Koch gelten positive Werte bis 0,20 als gering, 0,21 bis 0,40 als mäßig, 0,41 bis 0,60 als mittel, 0,61 bis 0,80 als erheblich und Werte über 0,80 als nahezu vollständig. Negative Werte bedeuten weniger Übereinstimmung, als aufgrund der Kategoriehäufigkeiten zufällig zu erwarten wäre.
Häufig gestellte Fragen
Wie ordne ich meine Daten an?
Eine Zeile pro Fall, eine Spalte pro Bewertungskategorie. Jede Zelle enthält die Zahl der Beurteilenden, die diesen Fall der jeweiligen Kategorie zugeordnet haben. Die Zeilensummen müssen überall der gleichen Anzahl von Beurteilenden entsprechen.
Mit PaperSurvey.io loslegen
Sie können sofort starten: 14 Tage kostenlos und ohne Kreditkarte.