BLEU e ROUGE

BLEU / ROUGE

Métrica

Intermediário

Categoria: Evals, testes e métricasSubcategoria: Métricas de geração de texto

O que significa

São métricas que medem a sobreposição de palavras e sequências de palavras (n-gramas) entre o texto gerado e um texto de referência. O BLEU mede precisão: quanto do texto gerado aparece na referência. O ROUGE mede recall: quanto da referência aparece no texto gerado. São rápidas e reprodutíveis, mas cegas para o sentido: uma paráfrase correta pontua baixo; uma cópia com um erro crucial pontua alto. O BERTScore é uma alternativa que compara embeddings em vez de palavras exatas, capturando melhor a semântica.

Como usar na prática de produto

Em Produto, essas métricas são úteis para acompanhar regressões automáticas em tarefas com referência fixa, como tradução e resumo extrativo. São inúteis para julgar a qualidade de uma resposta aberta; para isso, é preciso rubrica com juiz automático e avaliação humana. Não vale reportar BLEU ou ROUGE ao negócio como “qualidade”: o número não corresponde ao que as pessoas percebem. Por exemplo, o ROUGE-L caiu de 0,71 para 0,52 após uma troca de modelo no resumo de chamados. É um sinal para investigar, não um veredito.

Quando usar este termo ou outro

Use BLEU e ROUGE para detectar regressões automaticamente em tarefas com texto de referência. Use rubrica e juiz (humano ou LLM) para avaliar qualidade real. Use correspondência exata quando a saída é curta e determinada, como um código, um valor ou uma categoria. Uma forma simples de diferenciar: BLEU e ROUGE medem semelhança de palavras; rubricas medem qualidade de sentido.

Exemplos de aplicação

Resumos: acompanhar o ROUGE entre versões do modelo como alarme de regressão.
Tradução: usar BLEU para comparar sistemas em um conjunto com referências.
Limite: não reportar BLEU ou ROUGE como métrica de qualidade ao negócio.
BERTScore: usar quando a semelhança semântica importa mais do que as palavras exatas.
Investigação: confirmar com humanos quando a métrica cai.

Como calcular

Fórmulas: ROUGE-N = n-gramas em comum entre gerado e referência ÷ n-gramas na referência (mede recall). ROUGE-L usa a maior subsequência comum entre os dois textos. BLEU = precisão de n-gramas (de 1 a 4 palavras) combinada geometricamente, multiplicada por uma penalidade para textos curtos demais. Passo a passo: 1. Tenha um texto de referência para cada caso do teste. 2. Gere o texto com o modelo. 3. Conte as palavras (ou sequências) em comum e aplique a fórmula. 4. Faça a média sobre todos os casos. Exemplo (ROUGE-1): Referência: “a franquia é de dois mil reais” (6 palavras). Gerado: “franquia de dois mil”. Palavras em comum: 4. ROUGE-1 = 4 ÷ 6 = 0,67. Como interpretar: Uma queda no ROUGE entre versões merece investigação, mas não conclusão. O texto gerado pode estar melhor e apenas usar outras palavras. Confirme com avaliação humana.

Origem do termo

BLEU: Papineni et al. (IBM, 2002) para tradução automática. ROUGE: Lin (2004) para sumarização.

Fonte técnica

Papineni et al., BLEU (2002); Lin, ROUGE (2004); Zhang et al., BERTScore (2020)