Fleiss Kappa 计算器

衡量三位或更多评定者在校正偶然一致性后的一致程度。每个对象单独占一行,填写各类别对应的评定者人数。

学习手动计算方法

输入数值

结果随输入自动更新。

每行对应一个对象,每列对应一个类别,单元格填写选择该类别的评定者人数。每行合计人数必须相同。

Fleiss Kappa

请检查输入

输入有效数值即可查看结果。需要帮助时,请参阅字段提示或打开数据输入指南。

计算在您的浏览器中完成,数据不会发送给我们。

自己动手计算

三位评定者分别将三个对象归入两个类别中的一个。各对象的类别人数分别为 3,0;2,1;0,3。

按照示例了解计算过程,再代入您自己的数值。

  1. 计算每个对象的评价一致率

    Pᵢ = [各类别人数的平方和 − 3] ÷ [3 × (3 − 1)]。三个结果分别为 1、1/3、1。
  2. 对各对象的一致率求平均

    P̄ = (1 + 1/3 + 1) ÷ 3 = 7/9。
  3. 根据全部分类结果计算期望一致率

    类别比例 = 5/9 和 4/9。Pₑ = (5/9)² + (4/9)² = 41/81。
  4. 校正偶然一致的影响

    κ = (7/9 − 41/81) ÷ (1 − 41/81) = 22/40 = 0.55.

每行填写各类别的评定人数,而不是每位评定者给出的类别编号。每行合计必须等于相同的评定者人数。

在计算器中核对答案

使用 PaperSurvey.io 的结果进行计算

导出评定数据,统计各对象被归入各类别的次数,再在此计算 Fleiss Kappa。

PaperSurvey 的导出数据对话框提供 Excel、CSV、SPSS 和 R 格式,用于导出已收集回答。
查看原尺寸截图
PaperSurvey.io 界面示例导出已记录的评定数据,再单独计算多位评定者的一致性。

何时使用 Fleiss Kappa

科恩 Kappa 仅用于两位评定者。Fleiss Kappa 将这一思路扩展到固定数量的多位评定者,而且不同对象不必由完全相同的人评价。输入的是每个对象被多少人归入各类别,而不是逐人的评分配对。

如何解读结果

Kappa 的上限为 1,1 表示完全一致,0 表示与偶然预期一致性相同。按 Landis–Koch 的常用参考,正值至 0.20 为较低,0.21–0.40 为一般,0.41–0.60 为中等,0.61–0.80 为较高,高于 0.80 为近乎完全一致。负值表示实际一致性低于偶然预期水平。

常见问题

数据应如何排列?

每行对应一个评价对象,每列对应一个评分类别。单元格填写有多少位评定者将该对象归入该类别,各行合计必须为相同的评定者人数。

将此计算器嵌入您的网站

免费使用。将这段代码粘贴到希望显示计算器的位置即可。


让 PaperSurvey.io 处理纸质问卷

开始使用

立即开始 14 天免费试用,无需信用卡。