Calculateur du kappa de Cohen
Mesurez l’accord entre deux évaluateurs en tenant compte de l’accord attendu. Collez une matrice avec les catégories de A en ligne et celles de B en colonne.
Apprenez à faire le calcul vous-mêmeSaisissez vos valeurs
Les résultats se mettent à jour pendant la saisie.
Comment saisir vos données
Saisissez un tableau avec une ligne par catégorie du premier évaluateur. Les effectifs de chaque ligne, séparés par des virgules, indiquent les catégories choisies par le second évaluateur. Utilisez le même ordre de catégories pour les lignes et les colonnes. Le tableau doit être carré, avec autant de lignes que de colonnes.
Kappa de Cohen
Vérifiez vos données
Saisissez des valeurs valides pour afficher le résultat. Consultez les indications des champs ou ouvrez le guide de saisie pour obtenir de l’aide.
Le kappa de Cohen mesure l’accord entre deux évaluateurs qui classent les mêmes éléments dans des catégories, comme « réussite » ou « échec ». Il tient compte de l’accord attendu à partir de la répartition des catégories, au lieu de compter uniquement les réponses identiques. Sa valeur est souvent comprise entre 0 et 1 ; une valeur plus élevée traduit un accord plus fort au-delà de cet accord attendu.
Faites le calcul vous-même
Pour 100 éléments évalués par deux juges, utilisez le tableau d’accord dont les lignes sont 40, 10 et 5, 45.
Suivez cet exemple détaillé, puis reprenez les étapes avec vos propres valeurs.
Calculez l’accord observé
Pₒ = total de la diagonale ÷ total = (40 + 45) ÷ 100 = 0.85.Calculez l’accord attendu à partir des proportions marginales
Totaux des lignes = 50, 50 ; totaux des colonnes = 45, 55. Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0.5.Ajustez l’accord observé en tenant compte de l’accord attendu
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0.85 − 0.5) ÷ 0.5 = 0.7.
Conservez le même ordre de catégories en lignes et en colonnes pour que la diagonale représente les accords. Il s’agit ici du kappa non pondéré pour des catégories.
Vérifiez votre réponse dans le calculateurUtilisez vos résultats PaperSurvey.io
Recueillez les catégories attribuées par les deux évaluateurs à chaque sujet, puis utilisez les effectifs d’accord dans ce calculateur.
Domaines d’utilisation
- Enseignants: Deux enseignants classent les mêmes dissertations en réussite ou échec et vérifient la cohérence de leurs évaluations avant de valider les résultats.
- Équipes RH et de recrutement: Deux recruteurs évaluent les mêmes candidats selon une grille de catégories et vérifient la cohérence de leurs appréciations.
- Chercheurs: Deux personnes attribuent des thèmes aux mêmes réponses ouvertes d’une enquête et vérifient qu’elles appliquent les catégories de façon cohérente.
Comment interpréter le kappa ?
Le kappa de Cohen mesure l’accord entre deux évaluateurs au-delà de l’accord attendu. Landis et Koch proposent les repères suivants : 0,01–0,20, accord très faible ; 0,21–0,40, faible ; 0,41–0,60, modéré ; 0,61–0,80, fort ; 0,81–1,00, presque parfait.
Quand l’utiliser ?
Utilisez ce calculateur lorsque deux personnes classent exactement les mêmes éléments dans des catégories et que vous souhaitez mesurer leur accord. Les catégories peuvent être réussite/échec, oui/non ou des thèmes. L’outil est prévu pour deux évaluateurs et des catégories nominales. Pour des notes numériques ou des évaluations ordonnées, d’autres mesures, comme un kappa pondéré ou un coefficient de corrélation intraclasse, peuvent être plus appropriées.
Que signifie le résultat ?
Le kappa est souvent compris entre 0 et 1. Une valeur de 1 indique un accord parfait ; 0 correspond à l’accord attendu à partir des fréquences des catégories ; une valeur négative indique un accord inférieur au niveau attendu. La grille de Landis et Koch décrit un accord positif jusqu’à 0,20 comme très faible, de 0,21 à 0,40 comme faible, de 0,41 à 0,60 comme modéré, de 0,61 à 0,80 comme fort et de 0,81 à 1,00 comme presque parfait. Ces repères ne constituent pas des exigences universelles : le niveau d’accord nécessaire dépend de l’usage prévu et des conséquences d’un désaccord.
Erreurs à éviter
Les deux évaluateurs doivent impérativement juger les mêmes éléments : préparez une liste commune. Le tableau doit être carré et présenter les catégories dans le même ordre sur les deux axes. N’utilisez pas le kappa de Cohen avec trois évaluateurs ou plus. Il ne convient pas directement aux mesures continues ou aux notes sur une échelle graduée. Enfin, un petit nombre d’éléments peut donner une estimation instable.
Comment utiliser ce calculateur
- Construisez un tableau en comptant les éléments pour chaque combinaison de catégories choisies par les deux évaluateurs.
- Saisissez une ligne par catégorie, avec des effectifs séparés par des virgules. Conservez le même ordre de catégories en ligne et en colonne.
- Vérifiez que le tableau est carré, avec autant de lignes que de colonnes, afin que chaque catégorie figure sur les deux axes.
- Interprétez le kappa selon le contexte. La grille courante décrit les valeurs à partir de 0,61 comme un accord fort ou presque parfait.
Exemple détaillé
Deux enseignants classent les mêmes 50 devoirs en réussite ou échec. Ils s’accordent sur 20 réussites et 15 échecs. Pour 8 devoirs, le premier indique réussite et le second échec ; pour 7, c’est l’inverse. Saisissez 20, 8 sur la première ligne et 7, 15 sur la seconde. Malgré 35 accords sur 50, le kappa vaut environ 0,39, soit un accord faible selon la grille indicative de Landis et Koch.
Questions fréquentes
Que saisir dans chaque cellule du tableau ?
Chaque cellule contient le nombre d’éléments classés dans la catégorie de la ligne par le premier évaluateur et dans celle de la colonne par le second. Les cellules de la diagonale correspondent aux accords.
Où trouver ces valeurs ?
Demandez aux deux évaluateurs de classer les mêmes éléments, puis comptez les observations dans chaque combinaison de leurs choix pour remplir le tableau.
Qu’est-ce qu’un bon coefficient kappa ?
Une valeur élevée indique un meilleur accord. Dans la grille courante de Landis et Koch, 0,61 à 0,80 correspond à un accord fort, et 0,81 à 1,00 à un accord presque parfait. Le niveau acceptable dépend toutefois du domaine et de l’usage prévu.
Puis-je l’utiliser avec trois évaluateurs ou plus ?
Le kappa de Cohen compare exactement deux évaluateurs. Pour trois évaluateurs ou plus, une mesure comme le kappa de Fleiss peut être plus adaptée.
Pourquoi mon kappa est-il faible alors que nous sommes souvent d’accord ?
Le kappa corrige l’accord attendu à partir des fréquences des catégories. Si presque tous les éléments appartiennent à une même catégorie, cet accord attendu est déjà élevé. Le kappa peut donc être faible malgré une forte proportion brute de réponses identiques.
Lancez votre premier questionnaire avec PaperSurvey.io
Vous pouvez commencer tout de suite : 14 jours d'essai gratuit, sans carte bancaire.