Kalkulator kappy Cohena
Oceń zgodność dwóch osób z uwzględnieniem zgodności przypadkowej. Wklej macierz: wiersze to kategorie oceniającego A, a kolumny oceniającego B.
Zobacz, jak wykonać obliczenia samodzielnieWpisz wartości
Wyniki aktualizują się podczas wpisywania.
Jak wprowadzić dane
Wprowadź tabelę liczebności, po jednym wierszu w każdej linii. Wiersze odpowiadają kategoriom pierwszego oceniającego, a kolumny kategoriom drugiego. Każda komórka określa liczbę obiektów z danym zestawem dwóch ocen. Oddzielaj liczby przecinkami i zachowaj tę samą kolejność kategorii w obu osiach. Tabela musi mieć tyle samo wierszy co kolumn.
Kappa Cohena
Sprawdź dane
Wpisz poprawne wartości, aby zobaczyć wynik. Skorzystaj z podpowiedzi przy polach lub instrukcji wprowadzania danych.
Kappa Cohena mierzy zgodność dwóch osób, które przypisują te same obiekty do kategorii, na przykład „zaliczone” albo „niezaliczone”. Uwzględnia zgodność oczekiwaną przypadkowo na podstawie częstości stosowania kategorii, zamiast opierać się wyłącznie na odsetku zgodnych ocen. Wynik zwykle mieści się między 0 a 1; wyższy oznacza większą zgodność. Możliwe są także wartości ujemne.
Oblicz samodzielnie
Użyj tabeli zgodności dwóch oceniających z wierszami 40,10 i 5,45, obejmującej 100 ocenianych obiektów.
Prześledź przykład, a następnie wykonaj te same kroki dla własnych danych.
Oblicz zgodność obserwowaną
Pₒ = suma przekątnej ÷ suma ogólna = (40 + 45) ÷ 100 = 0.85.Oblicz zgodność oczekiwaną z proporcji brzegowych
Sumy wierszy = 50, 50; sumy kolumn = 45, 55. Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0.5.Uwzględnij zgodność oczekiwaną
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0.85 − 0.5) ÷ 0.5 = 0.7.
Zachowaj tę samą kolejność kategorii w wierszach i kolumnach, aby przekątna oznaczała zgodne oceny. Jest to nieważona kappa dla ocen kategorialnych.
Sprawdź wynik w kalkulatorzeWykorzystaj wyniki z PaperSurvey.io
Zbierz kategorie przypisane każdemu obiektowi przez dwie osoby, a następnie użyj tabeli ich zgodności w tym kalkulatorze.
Przykłady zastosowań
- Nauczyciele: Dwaj nauczyciele oceniają ten sam zestaw wypracowań jako zaliczone lub niezaliczone i sprawdzają zgodność przed zatwierdzeniem wyników.
- Specjaliści HR i rekrutacji: Dwie osoby prowadzące rekrutację klasyfikują tych samych kandydatów jako odpowiednich lub nieodpowiednich, a następnie oceniają zgodność decyzji.
- Badacze: Dwaj badacze przypisują tematy do tych samych odpowiedzi otwartych i sprawdzają, czy stosują kategorie w podobny sposób.
Interpretacja współczynnika kappa
Kappa Cohena mierzy zgodność dwóch oceniających ponad poziom oczekiwany przypadkowo. Skala Landisa i Kocha proponuje następujące opisy: 0,01–0,20 zgodność nieznaczna, 0,21–0,40 niewielka, 0,41–0,60 umiarkowana, 0,61–0,80 znaczna, a 0,81–1,00 niemal doskonała. Traktuj te zakresy jako wskazówki, nie uniwersalne wymagania.
Kiedy go używać?
Użyj kalkulatora, gdy dwie osoby przypisują te same obiekty do kategorii, a chcesz ocenić zgodność ich klasyfikacji. Kategorie mogą oznaczać zaliczenie, odpowiedź „tak/nie” lub tematy wypowiedzi. Obie osoby muszą oceniać dokładnie ten sam zestaw obiektów. Ta wersja oblicza nieważoną kappę dla dwóch oceniających. Przy ocenach ciągłych lub gdy liczy się wielkość różnicy między punktami odpowiedniejsza może być inna miara zgodności.
Co oznacza wynik?
Wynik to współczynnik kappa. Wartość 1 oznacza pełną zgodność, 0 zgodność równą oczekiwanej przypadkowo, a wynik ujemny zgodność niższą od tego poziomu. Często stosowana skala Landisa i Kocha określa 0,01–0,20 jako zgodność nieznaczną, 0,21–0,40 niewielką, 0,41–0,60 umiarkowaną, 0,61–0,80 znaczną, a 0,81–1,00 niemal doskonałą. Oceniaj wynik także w świetle celu i konsekwencji oceny.
Jakich błędów unikać
Przede wszystkim upewnij się, że obie osoby oceniały te same obiekty. Tabela musi mieć równą liczbę wierszy i kolumn oraz identyczną kolejność kategorii na obu osiach. Nie stosuj kappy Cohena do trzech lub większej liczby oceniających. Nieważona kappa nie uwzględnia odległości między ocenami liczbowymi, więc nie jest właściwa do każdego rodzaju skali. Mała liczba obiektów może dawać niestabilny wynik.
Jak korzystać z kalkulatora
- Utwórz tabelę liczebności dla wszystkich połączeń kategorii przypisanych przez dwóch oceniających.
- Wprowadź każdy wiersz tabeli osobno, oddzielając liczby przecinkami i zachowując stałą kolejność kategorii.
- Sprawdź, czy tabela jest kwadratowa i na obu osiach ma te same kategorie w tej samej kolejności.
- Oceń wynik kappa w kontekście zastosowania. Orientacyjnie wartości od 0,61 często określa się jako znaczną zgodność.
Przykład obliczeń
Dwaj nauczyciele oceniają te same 50 prac jako zaliczone lub niezaliczone. Obaj zaliczają 20 prac, a 15 nie zalicza żaden z nich. Dla 8 prac pierwszy nauczyciel wystawia zaliczenie, a drugi nie; dla 7 jest odwrotnie. Wpisz 20, 8 w pierwszym wierszu oraz 7, 15 w drugim. Zgodność obejmuje 35 z 50 prac, ale kappa wynosi około 0,39, co według często stosowanej skali oznacza niewielką zgodność ponad oczekiwaną przypadkowo.
Często zadawane pytania
Co wpisać w poszczególnych komórkach tabeli?
Każda komórka zawiera liczbę obiektów, którym pierwszy oceniający przypisał kategorię z danego wiersza, a drugi kategorię z danej kolumny. Zgodne oceny znajdują się na głównej przekątnej.
Skąd wziąć te dane?
Poproś obie osoby o niezależne sklasyfikowanie tych samych obiektów. Następnie policz, ile obiektów przypada na każde połączenie ich kategorii, i utwórz tabelę.
Jaka wartość kappa jest dobra?
Wyższa wartość oznacza większą zgodność. W często stosowanej skali Landisa i Kocha zakres 0,61–0,80 opisuje znaczną zgodność, a 0,81–1,00 niemal doskonałą. Są to orientacyjne wskazówki; wymagany poziom zależy od zastosowania.
Czy można porównać trzech lub więcej oceniających?
Nie. Kappa Cohena porównuje dokładnie dwie osoby. Dla trzech lub większej liczby oceniających rozważ kappę Fleissa, jeśli dane spełniają jej założenia.
Dlaczego kappa jest niska, skoro większość ocen się zgadza?
Kappa uwzględnia zgodność oczekiwaną na podstawie częstości kategorii. Gdy niemal wszystkie obiekty trafiają do jednej kategorii, oczekiwana zgodność jest wysoka. Wtedy kappa może być niska mimo dużego odsetka jednakowych ocen.
Zacznij korzystać z PaperSurvey.io
Pierwsze 14 dni bez opłat. Konto założysz od razu, bez podawania karty płatniczej.