Teste A/B

A/B Test

Experimento

Básico

Categoria: Evals, testes e métricasSubcategoria: Avaliação de sistemas de IA

O que significa

É o experimento em que os usuários são divididos aleatoriamente entre a versão atual (A) e a nova (B), e uma métrica de resultado é comparada entre os grupos com teste estatístico. É a única forma de medir o efeito causal de uma mudança no comportamento das pessoas. Evals offline medem a qualidade da saída; o A/B mede a reação do usuário a ela. Exige tamanho de amostra suficiente, métrica definida antes e disciplina para não parar o teste cedo demais.

Como usar na prática de produto

Em Produto, o A/B é indicado para mudanças cujo valor depende da reação da pessoa: um novo tom de resposta, uma sugestão proativa, um formato diferente de exibição. Antes de começar, defina a métrica primária, o tamanho da amostra, a duração e o critério de decisão. Olhar o resultado todo dia e parar quando “deu” é a forma clássica de se enganar. Por exemplo, respostas com citação de cláusula (B) contra respostas sem (A): a taxa de contestação caiu de 7,1% para 5,4%, com intervalo de confiança que não cruza zero.

Quando usar este termo ou outro

Use teste A/B para medir o efeito de uma mudança no usuário. Use shadow deployment para avaliar qualidade técnica sem expor usuários. Use eval offline para verificar a segurança da mudança antes de qualquer exposição. Nessa ordem: offline, sombra, A/B. Uma forma simples de diferenciar: eval mede a resposta; A/B mede a reação.

Exemplos de aplicação

Citação de fonte: medir se respostas com citação reduzem contestações.
Tom: testar se um tom mais direto aumenta a resolução no primeiro contato.
Sugestão proativa: verificar se oferecer ajuda antes do pedido melhora a satisfação.
Disciplina: definir amostra e duração antes e respeitá-las.
Métrica: escolher um indicador de negócio, não de atividade.

Como calcular

Fórmula: Efeito = métrica do grupo B − métrica do grupo A. Passo a passo: 1. Defina a métrica primária e o efeito mínimo que importa para o negócio. 2. Calcule o tamanho de amostra necessário antes de começar, a partir do efeito mínimo, da variação da métrica e do poder estatístico desejado (tipicamente 80%). 3. Divida os usuários aleatoriamente entre A e B. 4. Aguarde atingir a amostra calculada, sem olhar e parar antes. 5. Aplique um teste de significância (teste z para proporções, teste t para médias) e calcule o intervalo de confiança da diferença. Exemplo: Grupo A: 7,1% de contestação. Grupo B: 5,4%. Diferença de −1,7 ponto, intervalo de confiança de 95% entre −2,6 e −0,8. Como o intervalo não inclui zero, a redução é estatisticamente significativa. Como interpretar: Reporte sempre o intervalo de confiança, não só o p-valor. Um intervalo que cruza zero significa que não dá para afirmar diferença. Nunca decida com amostra menor do que a calculada.

Origem do termo

Experimentos controlados (Fisher, anos 1920); online A/B testing consolidado por Google, Amazon e Microsoft (anos 2000; Kohavi et al.).

Fonte técnica

Kohavi, Tang & Xu, Trustworthy Online Controlled Experiments (2020)