Calculadora do kappa de Cohen
Meça a concordância entre dois avaliadores tendo em conta a concordância esperada. Cole uma matriz com as categorias de A nas linhas e as de B nas colunas.
Aprenda a fazer o cálculo passo a passoIntroduza os seus valores
Os resultados atualizam-se à medida que introduz os dados.
Como introduzir os dados
Introduza uma tabela com uma linha por categoria do primeiro avaliador. As contagens de cada linha, separadas por vírgulas, correspondem às categorias escolhidas pelo segundo avaliador. Use a mesma ordem de categorias nas linhas e nas colunas. A tabela deve ser quadrada, com o mesmo número de linhas e colunas.
Kappa de Cohen
Verifique os dados introduzidos
Introduza valores válidos para ver o resultado. Consulte as indicações dos campos ou abra o guia de introdução de dados para obter ajuda.
O kappa de Cohen mede a concordância entre dois avaliadores que classificam os mesmos elementos em categorias, como «aprovado» ou «reprovado». Tem em conta a concordância esperada a partir da distribuição das categorias, em vez de contar apenas as classificações iguais. O valor situa-se frequentemente entre 0 e 1; um valor mais alto traduz maior concordância para além da esperada.
Faça o cálculo passo a passo
Para 100 elementos classificados por dois avaliadores, use a tabela de concordância com as linhas 40, 10 e 5, 45.
Siga este exemplo resolvido e repita as etapas com os seus próprios valores.
Calcule a concordância observada
Pₒ = total da diagonal ÷ total = (40 + 45) ÷ 100 = 0.85.Calcule a concordância esperada a partir das proporções marginais
Totais das linhas = 50, 50; totais das colunas = 45, 55. Pₑ = (50 × 45 + 50 × 55) ÷ 100² = 0.5.Ajuste a concordância observada tendo em conta a concordância esperada
κ = (Pₒ − Pₑ) ÷ (1 − Pₑ) = (0.85 − 0.5) ÷ 0.5 = 0.7.
Mantenha a mesma ordem das categorias nas linhas e nas colunas para que a diagonal represente as concordâncias. Trata-se do kappa não ponderado para categorias.
Verifique a resposta na calculadoraUse os seus resultados do PaperSurvey.io
Recolha as categorias atribuídas pelos dois avaliadores a cada elemento e use as contagens de concordância nesta calculadora.
Aplicações práticas
- Professores: Dois professores classificam as mesmas redações como aprovadas ou reprovadas e verificam a concordância das avaliações antes de validar os resultados.
- Equipas de recursos humanos e recrutamento: Dois recrutadores avaliam os mesmos candidatos segundo uma grelha de categorias e verificam a concordância das suas apreciações.
- Investigadores: Duas pessoas atribuem temas às mesmas respostas abertas de um inquérito e verificam se aplicam as categorias de forma consistente.
Como interpretar o kappa?
O kappa de Cohen mede a concordância entre dois avaliadores para além da esperada. Landis e Koch propõem os seguintes referenciais: 0,01–0,20, ligeira; 0,21–0,40, razoável; 0,41–0,60, moderada; 0,61–0,80, substancial; 0,81–1,00, quase perfeita.
Quando usar?
Use esta calculadora quando duas pessoas classificam exatamente os mesmos elementos em categorias e pretende medir a concordância entre elas. As categorias podem ser aprovado/reprovado, sim/não ou temas. A ferramenta destina-se a dois avaliadores e a categorias nominais. Para notas numéricas ou avaliações ordenadas, podem ser mais adequadas outras medidas, como o kappa ponderado ou o coeficiente de correlação intraclasse.
O que significa o resultado?
O kappa situa-se frequentemente entre 0 e 1. O valor 1 indica concordância perfeita; 0 corresponde à concordância esperada a partir das frequências das categorias; um valor negativo indica concordância inferior à esperada. Na classificação de Landis e Koch, a concordância positiva até 0,20 é ligeira, de 0,21 a 0,40 razoável, de 0,41 a 0,60 moderada, de 0,61 a 0,80 substancial e de 0,81 a 1,00 quase perfeita. O nível de concordância necessário depende da utilização das avaliações e das consequências de uma discordância.
Erros a evitar
Os dois avaliadores têm de classificar os mesmos elementos: prepare uma lista comum. A tabela deve ser quadrada e apresentar as categorias na mesma ordem nos dois eixos. Não use o kappa de Cohen com três ou mais avaliadores. Não se aplica diretamente a medidas contínuas ou notas numa escala graduada. Um pequeno número de elementos pode dar uma estimativa instável.
Como utilizar esta calculadora
- Construa uma tabela contando os elementos em cada combinação de categorias escolhidas pelos dois avaliadores.
- Introduza uma linha por categoria, com as contagens separadas por vírgulas. Mantenha a mesma ordem de categorias nas linhas e nas colunas.
- Verifique se a tabela é quadrada, com o mesmo número de linhas e colunas, para que todas as categorias estejam representadas nos dois eixos.
- Interprete o kappa de acordo com o contexto. A classificação habitual descreve valores a partir de 0,61 como concordância substancial ou quase perfeita.
Exemplo resolvido
Dois professores classificam os mesmos 50 trabalhos como aprovados ou reprovados. Concordam em 20 aprovações e 15 reprovações. Em oito trabalhos, o primeiro aprova e o segundo reprova; em sete, acontece o contrário. Introduza 20, 8 na primeira linha e 7, 15 na segunda. Apesar de concordarem em 35 dos 50 trabalhos, o kappa é cerca de 0,39, o que corresponde a uma concordância razoável segundo a classificação de Landis e Koch.
Perguntas frequentes
O que devo introduzir em cada célula da tabela?
Cada célula contém o número de elementos classificados na categoria da linha pelo primeiro avaliador e na categoria da coluna pelo segundo. As células da diagonal correspondem às classificações em que ambos concordam.
Onde encontrar estes valores?
Peça aos dois avaliadores que classifiquem os mesmos elementos. Depois, conte as observações em cada combinação das escolhas de ambos para preencher a tabela.
O que é um bom coeficiente kappa?
Um valor mais alto indica maior concordância. Na classificação habitual de Landis e Koch, 0,61 a 0,80 corresponde a concordância substancial e 0,81 a 1,00 a concordância quase perfeita. O nível aceitável depende da área e da utilização prevista.
Posso usá-lo com três ou mais avaliadores?
O kappa de Cohen compara exatamente dois avaliadores. Para três ou mais, pode ser mais adequada uma medida como o kappa de Fleiss.
Porque é que o kappa é baixo se concordamos tantas vezes?
O kappa tem em conta a concordância esperada a partir das frequências das categorias. Se quase todos os elementos estiverem na mesma categoria, a concordância esperada já é elevada. Por isso, o kappa pode ser baixo mesmo com uma grande proporção de classificações iguais.
Comece a usar o PaperSurvey.io
O teste gratuito dura 14 dias, começa de imediato e não exige cartão de crédito.