Calculateur du kappa de Fleiss
Mesurez l’accord entre au moins trois évaluateurs en tenant compte de l’accord attendu. Collez une ligne par sujet avec le nombre d’évaluateurs ayant choisi chaque catégorie.
Apprenez à faire le calcul vous-mêmeSaisissez vos valeurs
Les résultats se mettent à jour pendant la saisie.
Kappa de Fleiss
Vérifiez vos données
Saisissez des valeurs valides pour afficher le résultat. Consultez les indications des champs ou ouvrez le guide de saisie pour obtenir de l’aide.
Faites le calcul vous-même
Trois évaluateurs classent chacun des trois sujets dans l’une de deux catégories. Les lignes d’effectifs par catégorie sont 3,0 ; 2,1 et 0,3.
Suivez cet exemple détaillé, puis reprenez les étapes avec vos propres valeurs.
Calculez l’accord pour chaque sujet
Pᵢ = [somme des carrés des effectifs par catégorie − 3] ÷ [3 × (3 − 1)]. Les trois résultats sont 1, 1/3 et 1.Calculez la moyenne des accords par sujet
P̄ = (1 + 1/3 + 1) ÷ 3 = 7/9.Calculez l’accord attendu à partir de l’ensemble des attributions de catégories
Proportions des catégories = 5/9 et 4/9. Pₑ = (5/9)² + (4/9)² = 41/81.Tenez compte de l’accord attendu par hasard
κ = (7/9 − 41/81) ÷ (1 − 41/81) = 22/40 = 0.55.
Chaque ligne contient les effectifs par catégorie, pas les notes individuelles des évaluateurs. Toutes les lignes doivent avoir pour somme le même nombre d’évaluateurs.
Vérifiez votre réponse dans le calculateurUtilisez vos résultats PaperSurvey.io
Exportez les évaluations recueillies, comptez les attributions à chaque catégorie pour chaque sujet, puis calculez ici le kappa de Fleiss.
Quand utiliser le kappa de Fleiss ?
Le kappa de Cohen s’applique à deux évaluateurs. Le kappa de Fleiss étend le principe à un nombre constant d’évaluations par sujet ; les évaluateurs ne doivent pas nécessairement être les mêmes pour chaque sujet. Les données sont les effectifs attribués à chaque catégorie pour chaque sujet, et non des paires d’évaluations individuelles.
Interpréter le résultat
Le kappa peut atteindre 1, qui indique un accord parfait. Une valeur de 0 correspond à l’accord attendu ; une valeur négative à un accord inférieur au niveau attendu. Dans la grille de Landis et Koch, un accord positif jusqu’à 0,20 est très faible, de 0,21 à 0,40 faible, de 0,41 à 0,60 modéré, de 0,61 à 0,80 fort et au-delà de 0,80 presque parfait. Ces repères doivent être adaptés au contexte.
Questions fréquentes
Comment organiser mes données ?
Une ligne par sujet et une colonne par catégorie d’évaluation. Chaque cellule contient le nombre d’évaluateurs ayant choisi cette catégorie pour ce sujet. Toutes les lignes doivent avoir le même total d’évaluations.
Lancez votre premier questionnaire avec PaperSurvey.io
Vous pouvez commencer tout de suite : 14 jours d'essai gratuit, sans carte bancaire.