Calculadora do kappa de Fleiss
Meça a concordância entre três ou mais avaliadores tendo em conta a concordância esperada. Cole uma linha por elemento, com o número de avaliadores em cada categoria.
Aprenda a fazer o cálculo passo a passoIntroduza os seus valores
Os resultados atualizam-se à medida que introduz os dados.
Kappa de Fleiss
Verifique os dados introduzidos
Introduza valores válidos para ver o resultado. Consulte as indicações dos campos ou abra o guia de introdução de dados para obter ajuda.
Faça o cálculo passo a passo
Três avaliadores classificam cada um de três elementos numa de duas categorias. As linhas de contagens por categoria são 3,0; 2,1 e 0,3.
Siga este exemplo resolvido e repita as etapas com os seus próprios valores.
Calcule a concordância para cada elemento
Pᵢ = [soma dos quadrados das contagens por categoria − 3] ÷ [3 × (3 − 1)]. Os três resultados são 1, 1/3 e 1.Calcule a média das concordâncias por elemento
P̄ = (1 + 1/3 + 1) ÷ 3 = 7/9.Calcule a concordância esperada a partir de todas as classificações atribuídas
Proporções das categorias = 5/9 e 4/9. Pₑ = (5/9)² + (4/9)² = 41/81.Tenha em conta a concordância esperada por acaso
κ = (7/9 − 41/81) ÷ (1 − 41/81) = 22/40 = 0.55.
Cada linha contém as contagens por categoria, não as classificações individuais dos avaliadores. Todas as linhas têm de somar o mesmo número de avaliadores.
Verifique a resposta na calculadoraUse os seus resultados do PaperSurvey.io
Exporte as avaliações recolhidas. Para cada elemento, conte quantas avaliações recebeu em cada categoria e calcule aqui o kappa de Fleiss.
Quando usar o kappa de Fleiss?
O kappa de Cohen aplica-se a dois avaliadores. O kappa de Fleiss estende o princípio a um número constante de avaliações por elemento; os avaliadores não têm de ser os mesmos para todos os elementos. Os dados são as contagens atribuídas a cada categoria para cada elemento, não pares de avaliações individuais.
Interpretar o resultado
O kappa pode atingir 1, que indica concordância perfeita. O valor 0 corresponde à concordância esperada; um valor negativo indica concordância inferior à esperada. Na classificação de Landis e Koch, a concordância positiva até 0,20 é ligeira, de 0,21 a 0,40 razoável, de 0,41 a 0,60 moderada, de 0,61 a 0,80 substancial e acima de 0,80 quase perfeita. Adapte estes referenciais ao contexto.
Perguntas frequentes
Como organizar os dados?
Uma linha por elemento avaliado e uma coluna por categoria de avaliação. Cada célula contém o número de avaliadores que escolheram essa categoria para esse elemento. Todas as linhas devem ter o mesmo total de avaliações.
Comece a usar o PaperSurvey.io
O teste gratuito dura 14 dias, começa de imediato e não exige cartão de crédito.