コーエンのκ係数の計算ツール
期待される一致を考慮して、2人の評価者の一致度を測定します。評価者Aのカテゴリを行、評価者Bのカテゴリを列にした表を貼り付けてください。
計算の手順を学ぶ数値を入力
入力に応じて結果が更新されます。
データの入力方法
第1評価者のカテゴリごとに行を設け、各行に第2評価者のカテゴリ別件数をカンマで区切って入力します。行と列のカテゴリは同じ順番にしてください。行数と列数が等しい正方形の表が必要です。
コーエンのκ係数
入力内容を確認してください
有効な値を入力すると結果が表示されます。各欄のヒントやデータ入力ガイドを確認してください。
コーエンのκ係数は、同じ対象を「合格・不合格」などのカテゴリに分類した2人の評価者の一致度を表します。単に一致した数を数えるだけでなく、カテゴリの出現割合から期待される一致を考慮します。通常は0～1程度の値をとり、高いほど期待される一致を超えた一致が強いことを示します。
自分で計算する
100件の対象を2人が評価した一致表を使います。各行の件数は40,10と5,45です。
この計算例に沿って手順を確認し、自分の数値でも計算してみてください。
観測された一致率を求める
Pₒ = 対角セルの合計 ÷ 総数 = (40 + 45) ÷ 100 = 0.85。周辺比率から期待される一致率を求める
行合計 = 50, 50; 列合計 = 45, 55。Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0.5。期待される一致を補正する
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0.85 − 0.5) ÷ 0.5 = 0.7。
対角セルが一致を表すように、行と列のカテゴリの順番を揃えてください。これはカテゴリ評価に対する重みなしκ係数です。
計算ツールで答えを確認する
活用例
- 教員: 2人の教員が同じ作文を合格・不合格に分類し、結果を確定する前に判断の一貫性を確認します。
- 人事・採用担当者: 2人の採用担当者が同じ応募者を共通のカテゴリ基準で評価し、判断がどの程度一致しているかを確認します。
- 研究者: 2人の担当者が同じアンケートの自由記述回答にテーマを割り当て、カテゴリを一貫して適用できているかを確認します。
κ係数はどう解釈しますか？
コーエンのκ係数は、期待される一致を超えた2人の評価者の一致度を表します。LandisとKochは、0.01～0.20をわずかな一致、0.21～0.40を弱い一致、0.41～0.60を中程度、0.61～0.80を高い一致、0.81～1.00をほぼ完全な一致とする目安を提案しています。
どのような場面で使いますか？
2人がまったく同じ対象をカテゴリに分類し、その一致度を調べたいときに使います。カテゴリには合格・不合格、はい・いいえ、回答のテーマなどを使えます。この計算ツールは2人の評価者による名義尺度の分類を対象としています。数値による採点や順序のある評価には、重み付きκ係数や級内相関係数など、別の指標が適している場合があります。
結果の意味
κ係数は通常0～1程度の値をとります。1は完全な一致、0はカテゴリの頻度から期待される一致と同程度、負の値はそれより低い一致を示します。LandisとKochの基準では、正の値で0.20まではわずかな一致、0.21～0.40は弱い一致、0.41～0.60は中程度、0.61～0.80は高い一致、0.81～1.00はほぼ完全な一致です。0.61以上を目標とする分野もありますが、状況に応じて基準を判断してください。
よくある間違い
2人は必ず同じ対象を評価する必要があるので、共通の対象一覧を用意してください。表は正方形とし、両軸のカテゴリを同じ順番に並べます。評価者が3人以上の場合にはコーエンのκ係数を使いません。また、連続的な測定値や段階的な評点に、そのまま適用する指標ではありません。対象数が少ないと、推定が不安定になることもあります。
この計算ツールの使い方
- 2人の評価者が選んだカテゴリの組み合わせごとに、対象の件数を数えて表にまとめます。
- カテゴリごとに1行を使い、件数をカンマで区切って入力します。行と列のカテゴリの順番は揃えてください。
- 各カテゴリが両軸に含まれ、行数と列数が等しい正方形の表になっていることを確認します。
- 状況を踏まえてκ係数を解釈します。一般的な基準では、0.61以上を高い一致、またはほぼ完全な一致とみなします。
計算例
2人の教員が同じ50件の課題を合格・不合格に分類しました。20件は両者が合格、15件は両者が不合格としました。8件は第1評価者が合格、第2評価者が不合格、残る7件はその逆でした。1行目に20, 8、2行目に7, 15を入力します。50件中35件で一致していますが、κ係数は約0.39となり、採用する解釈基準によっては弱い～中程度の一致とみなされます。
よくある質問
表の各セルには何を入力しますか？
各セルには、第1評価者が行のカテゴリ、第2評価者が列のカテゴリに分類した対象の件数を入れます。対角線上のセルが、両者の判断が一致した件数です。
この値はどこで確認できますか？
2人の評価者に同じ対象を分類してもらい、それぞれの判断の組み合わせに該当する件数を数えて表に入力します。
κ係数はどの程度なら良好ですか？
高い値ほど一致度が高いことを示します。よく使われるLandisとKochの基準では、0.61～0.80は高い一致、0.81～1.00はほぼ完全な一致とされます。ただし、必要な水準は分野や用途によって異なります。
評価者が3人以上でも使えますか？
コーエンのκ係数は、評価者が2人の場合に使います。3人以上の場合は、フライスのκ係数など別の指標が適していることがあります。
判断がよく一致しているのにκ係数が低いのはなぜですか？
κ係数は、各カテゴリの頻度から期待される一致を補正します。ほとんどの対象が同じカテゴリに入る場合、もともと期待される一致が高くなります。そのため、単純な一致率が高くてもκ係数が低くなることがあります。