F1 score

F1 Score

Métrica

Básico

Categoria: Evals, testes e métricasSubcategoria: Métricas de classificação

O que significa

É um único número que combina precisão e recall por meio da média harmônica. Só fica alto quando os dois são altos: precisão de 0,95 com recall de 0,20 resulta em F1 de apenas 0,33. É útil para comparar modelos de forma rápida quando não há razão para privilegiar um dos tipos de erro. Variantes ponderadas (F-beta) permitem dar mais peso ao recall ou à precisão. Para problemas com várias classes, calcula-se o F1 de cada classe e agrega-se por média simples (macro) ou ponderada pelo tamanho de cada classe.

Como usar na prática de produto

Em Produto, o F1 é bom para ordenar candidatos e acompanhar a evolução de um modelo ao longo do tempo. É ruim como métrica de decisão final, porque esconde qual dos dois erros está acontecendo. Como o custo dos erros é quase sempre assimétrico em produto, vale olhar precisão e recall separadamente para decidir. Por exemplo, dois modelos de triagem: A tem F1 de 0,81 e B tem 0,78, mas B tem recall de 0,92 na classe “urgente”. Para o produto, B é melhor, porque perder um caso urgente é o erro mais grave.

Quando usar este termo ou outro

Use F1 para comparar modelos rapidamente e acompanhar tendências. Use precisão e recall separados para decidir limiar e desenhar o fluxo de revisão humana. Use F-beta quando quiser um número único que privilegie explicitamente um dos erros. Uma forma simples de diferenciar: F1 é o resumo; precisão e recall são o detalhe que orienta a decisão.

Exemplos de aplicação

Comparação: ordenar candidatos a modelo pelo F1 antes de analisar em detalhe.
Tendência: acompanhar o F1 ao longo de versões para detectar regressões.
Decisão: escolher o modelo com recall maior na classe crítica, mesmo com F1 menor.
Multiclasse: usar F1 macro para garantir que classes pequenas não sejam ignoradas.
Relatório: apresentar F1 junto com precisão e recall, nunca sozinho.

Como calcular

Fórmula: F1 = 2 × (precisão × recall) ÷ (precisão + recall). Passo a passo: 1. Calcule a precisão e o recall. 2. Multiplique os dois, multiplique por 2 e divida pela soma dos dois. 3. Para várias classes, calcule o F1 de cada classe e agregue: macro (média simples) ou ponderado (pelo número de casos de cada classe). Exemplo: Precisão de 0,67 e recall de 0,80: F1 = 2 × 0,536 ÷ 1,47 ≈ 0,73. Como interpretar: Um F1 alto indica que precisão e recall estão ambos razoáveis. Um F1 baixo pode vir de qualquer um dos dois; é preciso olhar cada um para saber o que corrigir.

Origem do termo

Van Rijsbergen, Information Retrieval (1979): média harmônica de precisão e recall.

Fonte técnica

Van Rijsbergen, Information Retrieval (1979); Google Machine Learning Glossary