Significância estatística

Statistical Significance / Confidence Interval

Estatística

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Avaliação de sistemas de IA

O que significa

Significância estatística é a medida de quão improvável seria observar a diferença medida se, na verdade, não houvesse diferença nenhuma (expressa pelo p-valor). Intervalo de confiança é a faixa de valores plausíveis para o efeito real, dada a amostra disponível. Juntos, dizem se um resultado é sinal ou ruído. Uma diferença “significativa” pode ser irrelevante para o negócio; uma diferença relevante pode não ter atingido significância por falta de amostra. São conceitos essenciais para não tomar decisões com base em variações aleatórias.

Como usar na prática de produto

Em Produto, dois erros são muito comuns: declarar vitória com 40 casos e parar o teste quando “deu”. Ambos levam a conclusões erradas. O antídoto é calcular a amostra antes, definir o efeito mínimo que importa e reportar o intervalo de confiança. “Melhorou entre 1 e 4 pontos” informa mais do que “p menor que 0,05”. Em evals pequenos, com 30 casos, vale reconhecer que a incerteza é grande: uma diferença de 2 ou 3 casos pode ser puro acaso.

Quando usar este termo ou outro

Use significância e intervalo de confiança em todo teste A/B e em toda comparação de modelos com amostra limitada. Dispense apenas quando a diferença é enorme e óbvia, o que quase nunca acontece. Use tamanho de amostra calculado antes como pré-requisito para qualquer conclusão. Uma forma simples de diferenciar: significância pergunta “é real?”; intervalo pergunta “quanto?”; relevância de negócio pergunta “importa?”.

Exemplos de aplicação

Comparação de modelos: 92% contra 89% em 60 casos, com intervalo da diferença que cruza zero: ampliar o eval antes de decidir.
A/B: reportar o intervalo de confiança da diferença, não só o p-valor.
Amostra: calcular o tamanho necessário antes de iniciar o experimento.
Evals pequenos: reconhecer a incerteza e não tirar conclusões fortes de 30 casos.
Comunicação: apresentar resultados como faixa plausível de efeito.

Como calcular

Fórmula (para proporções, como taxa de acerto): Erro padrão = raiz quadrada de [p × (1 − p) ÷ n], em que p é a proporção observada e n é o número de casos. Intervalo de confiança de 95% ≈ p ± 1,96 × erro padrão. Passo a passo: 1. Calcule a proporção observada (acertos ÷ total). 2. Calcule o erro padrão com a fórmula acima. 3. Calcule o intervalo de confiança. 4. Para comparar duas versões, use um teste z de duas proporções (ou teste t para médias) e calcule o intervalo da diferença. Exemplo: 27 acertos em 30 casos: p = 0,90; erro padrão ≈ 0,055; intervalo de 95% ≈ [0,79; 1,00]. Com 300 casos e a mesma proporção, o intervalo fica ≈ [0,87; 0,93]. A amostra maior reduz a incerteza. Como interpretar: Se o intervalo da diferença entre duas versões inclui zero, não é possível afirmar que uma é melhor. O p-valor abaixo de 0,05 é uma convenção, não uma lei; o intervalo de confiança comunica melhor o que se sabe.

Origem do termo

Teste de hipóteses (Fisher, Neyman e Pearson, anos 1920-30); intervalos de confiança (Neyman, 1937).

Fonte técnica

Kohavi, Tang & Xu, Trustworthy Online Controlled Experiments (2020); Wasserman, All of Statistics