Fleiss Kappa 计算器
衡量三位或更多评定者在校正偶然一致性后的一致程度。每个对象单独占一行,填写各类别对应的评定者人数。
学习手动计算方法输入数值
结果随输入自动更新。
每行对应一个对象,每列对应一个类别,单元格填写选择该类别的评定者人数。每行合计人数必须相同。
Fleiss Kappa
请检查输入
输入有效数值即可查看结果。需要帮助时,请参阅字段提示或打开数据输入指南。
计算在您的浏览器中完成,数据不会发送给我们。
自己动手计算
三位评定者分别将三个对象归入两个类别中的一个。各对象的类别人数分别为 3,0;2,1;0,3。
按照示例了解计算过程,再代入您自己的数值。
计算每个对象的评价一致率
Pᵢ = [各类别人数的平方和 − 3] ÷ [3 × (3 − 1)]。三个结果分别为 1、1/3、1。对各对象的一致率求平均
P̄ = (1 + 1/3 + 1) ÷ 3 = 7/9。根据全部分类结果计算期望一致率
类别比例 = 5/9 和 4/9。Pₑ = (5/9)² + (4/9)² = 41/81。校正偶然一致的影响
κ = (7/9 − 41/81) ÷ (1 − 41/81) = 22/40 = 0.55.
每行填写各类别的评定人数,而不是每位评定者给出的类别编号。每行合计必须等于相同的评定者人数。
在计算器中核对答案
何时使用 Fleiss Kappa
科恩 Kappa 仅用于两位评定者。Fleiss Kappa 将这一思路扩展到固定数量的多位评定者,而且不同对象不必由完全相同的人评价。输入的是每个对象被多少人归入各类别,而不是逐人的评分配对。
如何解读结果
Kappa 的上限为 1,1 表示完全一致,0 表示与偶然预期一致性相同。按 Landis–Koch 的常用参考,正值至 0.20 为较低,0.21–0.40 为一般,0.41–0.60 为中等,0.61–0.80 为较高,高于 0.80 为近乎完全一致。负值表示实际一致性低于偶然预期水平。
常见问题
数据应如何排列?
每行对应一个评价对象,每列对应一个评分类别。单元格填写有多少位评定者将该对象归入该类别,各行合计必须为相同的评定者人数。