Coheno kapa skaičiuoklė
Įvertinkite dviejų vertintojų sutapimą, atsižvelgdami į atsitiktinumą. Įklijuokite matricą: eilutės žymi A vertintojo kategorijas, stulpeliai – B vertintojo kategorijas.
Sužinokite, kaip apskaičiuoti patiemsĮveskite savo reikšmes
Rezultatai atnaujinami įvedant duomenis.
Kaip įvesti duomenis
Įveskite skaičius lentelėje, po vieną jos eilutę kiekvienoje teksto eilutėje. Kiekviena eilutė atitinka vieną pirmojo vertintojo kategoriją, o kableliais atskirti skaičiai rodo, kiek tų objektų antrasis vertintojas priskyrė kiekvienai kategorijai. Visur laikykitės tos pačios kategorijų tvarkos. Lentelė turi būti kvadratinė – joje turi būti tiek pat eilučių, kiek stulpelių.
Coheno kapa
Patikrinkite įvestus duomenis
Įveskite tinkamas reikšmes, kad pamatytumėte rezultatą. Jei reikia pagalbos, žr. laukų paaiškinimus arba atverkite duomenų įvedimo vadovą.
Coheno kapa – rodiklis, parodantis, kiek sutampa dviejų žmonių vertinimai, kai jie tuos pačius objektus priskiria kategorijoms, pavyzdžiui, „išlaikė“ arba „neišlaikė“. Jis ne tik suskaičiuoja sutapimus, bet ir atsižvelgia į sutapimą, kurio būtų galima tikėtis atsitiktinai, todėl leidžia tiksliau įvertinti suderinamumą. Rezultatas dažniausiai yra nuo 0 iki 1: didesnė reikšmė reiškia didesnį vertintojų sutapimą.
Apskaičiuokite patys
Naudokite dviejų vertintojų sutapimo lentelę: pirmoje eilutėje „40, 10“, antroje – „5, 45“. Iš viso įvertinta 100 objektų.
Peržiūrėkite šį išspręstą pavyzdį, tada pakartokite veiksmus su savo skaičiais.
Apskaičiuokite stebėtą sutapimą
Pₒ = įstrižainės suma ÷ bendra suma = (40 + 45) ÷ 100 = 0.85.Pagal eilučių ir stulpelių dažnius apskaičiuokite tikėtiną sutapimą
Eilučių sumos = 50, 50; stulpelių sumos = 45, 55. Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0.5.Pakoreguokite pagal tikėtiną sutapimą
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0.85 − 0.5) ÷ 0.5 = 0.7.
Eilutėse ir stulpeliuose išlaikykite tą pačią kategorijų tvarką, kad įstrižainės langeliai reikštų sutapimą. Tai nesvertinė kapa kategoriniams vertinimams.
Patikrinkite atsakymą skaičiuoklėjeNaudokite savo PaperSurvey.io rezultatus
Surinkite abiejų vertintojų kiekvienam tiriamajam priskirtas kategorijas, tada šioje skaičiuoklėje naudokite jų sutapimų dažnius.
Kur tai naudojama
- Mokytojai: Du mokytojai tą patį rašinių rinkinį įvertina „įskaityta“ arba „neįskaityta“ ir prieš tvirtindami rezultatus patikrina vertinimų sutapimą.
- Personalo ir darbuotojų atrankos specialistai: Du pokalbius vedantys darbuotojai tuos pačius atrinktus kandidatus įvertina kaip tinkamus arba netinkamus ir patikrina, ar vertino nuosekliai.
- Tyrėjai: Du tyrėjai tuos pačius atvirus apklausos atsakymus suskirsto pagal temas ir patikrina, ar kategorijas taikė vienodai.
Kaip interpretuoti kapa
Coheno kapa matuoja, kiek dviejų vertintojų sutapimas viršija tą, kurio būtų galima tikėtis atsitiktinai. Landiso ir Kocho siūlomi orientyrai: 0,01–0,20 – labai menkas, 0,21–0,40 – menkas, 0,41–0,60 – vidutinis, 0,61–0,80 – didelis, 0,81–1,00 – beveik visiškas sutapimas.
Kada ją naudoti?
Naudokite šią skaičiuoklę, kai du žmonės vertina tą patį objektų rinkinį ir kiekvieną objektą priskiria kategorijai, o jūs norite sužinoti, kiek jų vertinimai sutampa. Kategorijos turi būti pavadinimai, ne skaitiniai balai, pavyzdžiui, „išlaikė“ ar „neišlaikė“, „taip“ ar „ne“ arba temų pavadinimai. Abu žmonės turi vertinti visiškai tuos pačius objektus. Šis rodiklis skirtas tik dviem vertintojams. Jei vertinama balais ar tolydžia skale, geriau pasirinkti kitą suderinamumo matą.
Ką reiškia rezultatas?
Rezultatas – vienas skaičius, vadinamas kapa, dažniausiai nuo 0 iki 1. Reikšmė 1 reiškia, kad sutapo visi dviejų žmonių vertinimai. Reikšmė 0 rodo tik tokį sutapimą, kokio galima tikėtis atsitiktinai, o mažesnė už 0 – dar mažesnį sutapimą. Pagal plačiai naudojamus Landiso ir Kocho orientyrus 0,01–0,20 sutapimas labai menkas, 0,21–0,40 – menkas, 0,41–0,60 – vidutinis, 0,61–0,80 – didelis, o 0,81–1,00 – beveik visiškas. Reikiamas sutapimas priklauso nuo vertinimo paskirties.
Kokių klaidų vengti
Dažniausia klaida – vertinti ne tuos pačius objektus, todėl prieš pradėdami parenkite abiem vertintojams vieną bendrą sąrašą. Lentelė turi būti kvadratinė: eilučių ir stulpelių skaičius vienodas, o kategorijos viršuje ir šone išdėstytos ta pačia tvarka. Nenaudokite Coheno kapa trims ar daugiau vertintojų, nes jis skirtas tik dviem. Taip pat netaikykite jo skaitiniams balams ar tolydžios skalės įvertinimams. Labai mažos imtys gali duoti nepastovius rezultatus, todėl pirmiausia surinkite pakankamai vertinamų objektų.
Kaip naudotis šia skaičiuokle
- Sudarykite dažnių lentelę: kiekvienam dviejų vertintojų pasirinktų kategorijų deriniui nurodykite, kiek objektų į jį pateko.
- Įveskite lentelę po vieną eilutę, jos skaičius atskirdami kableliais. Išlaikykite vienodą kategorijų tvarką.
- Patikrinkite, ar lentelė kvadratinė – eilučių ir stulpelių turi būti vienodai, kad abiejose ašyse būtų visos kategorijos.
- Palyginkite kapa rezultatą su orientyrais: 0,61 ar didesnė reikšmė paprastai laikoma dideliu vertintojų sutapimu.
Išspręstas pavyzdys
Du mokytojai tuos pačius 50 namų darbų įvertina „įskaityta“ arba „neįskaityta“. Abu įskaitė 20 darbų ir abu neįskaitė 15. Dar 8 darbus pirmasis mokytojas įskaitė, o antrasis ne; 7 darbus pirmasis neįskaitė, o antrasis įskaitė. Pirmoje eilutėje įveskite „20, 8“, antroje – „7, 15“. Nors vertinimai sutapo 35 iš 50 darbų, skaičiuoklė pateikia maždaug 0,39 kapa reikšmę, kuri laikoma tik menku sutapimu.
Dažnai užduodami klausimai
Ką įvesti į kiekvieną lentelės langelį?
Kiekviename langelyje nurodomas objektų skaičius: kiek jų pirmasis vertintojas priskyrė tos eilutės kategorijai, o antrasis – to stulpelio kategorijai. Langeliai, kuriuose abiejų kategorijos sutampa, žymi vienodus vertinimus.
Iš kur gauti šiuos skaičius?
Paprašykite abiejų vertintojų įvertinti tuos pačius objektus, tada suskaičiuokite rezultatus lentelėje. Nurodykite, kiek objektų tenka kiekvienam dviejų vertintojų pasirinktų kategorijų deriniui.
Kokia kapa reikšmė laikoma gera?
Pagal įprastus Landiso ir Kocho orientyrus 0,61–0,80 reiškia didelį, o 0,81–1,00 – beveik visišką sutapimą. Tačiau tai apytikriai orientyrai, o ne universali tinkamumo riba: reikiamas sutapimas priklauso nuo vertinimo paskirties.
Ar galima vertinti trijų ar daugiau vertintojų sutapimą?
Ne. Coheno kapa skirtas tik dviem vertintojams. Jei jų turite tris ar daugiau, rinkitės giminingą rodiklį – Fleisso kapa.
Dauguma vertinimų sutapo – kodėl kapa mažas?
Kapa atsižvelgia į sutapimą, kurio galima tikėtis atsitiktinai. Kai beveik visi objektai patenka į vieną kategoriją, didelės sutapimų dalies galima tikėtis ir atsitiktinai, todėl rodiklis gali būti mažas net esant didelei paprastai sutapimų daliai.
Pradėkite dirbti su PaperSurvey.io
Išbandykite nemokamai 14 dienų. Mokėjimo kortelės nereikia, pradėti galite iš karto.