Perplexidade

Perplexity

Métrica

Avançado

Categoria: Evals, testes e métricasSubcategoria: Métricas de geração de texto

O que significa

É uma medida de quão “surpreso” um modelo de linguagem fica com um texto. Quanto menor a perplexidade, melhor o modelo prevê aquela sequência de palavras. É a métrica intrínseca do pré-treinamento e a forma clássica de comparar modelos de linguagem entre si. Uma perplexidade de 20 significa, aproximadamente, que o modelo hesita entre 20 opções igualmente prováveis a cada palavra. Não mede utilidade, veracidade nem segurança: um modelo pode ter perplexidade baixa e ainda assim alucinar.

Como usar na prática de produto

Em Produto, a perplexidade raramente aparece em decisões. Serve para entender relatórios técnicos e para avaliar se um fine-tuning “pegou” o domínio: se a perplexidade em textos do domínio caiu, o modelo aprendeu o vocabulário. Não deve ser usada como métrica de qualidade do produto. Para isso, existem as métricas de tarefa: fidelidade, taxa de sucesso, satisfação. Por exemplo, após um fine-tuning com laudos técnicos, a perplexidade em laudos novos caiu de 18 para 9, indicando que o modelo aprendeu o jargão da área.

Quando usar este termo ou outro

Use perplexidade em conversas com o time de modelagem, sobre pré-treinamento e fine-tuning. Use métricas de tarefa (fidelidade, taxa de sucesso, satisfação) para o produto. Uma forma simples de diferenciar: perplexidade mede o quanto o modelo conhece a linguagem; métricas de tarefa medem o quanto ele resolve o problema.

Exemplos de aplicação

Fine-tuning: confirmar que o modelo aprendeu o jargão pela queda na perplexidade.
Relatórios técnicos: entender comparações entre versões de modelos.
Limite: não usar como indicador de qualidade de respostas.
Domínio: medir o quão “estranho” um tipo de texto é para o modelo.
Escolha de modelo: usar como sinal preliminar, seguido de evals de tarefa.

Como calcular

Fórmula: Perplexidade = exponencial de [−(1 ÷ N) × soma dos logaritmos da probabilidade que o modelo atribuiu a cada token, dado o contexto anterior]. Em outras palavras, é o exponencial da entropia cruzada média por token. Passo a passo: 1. Passe um conjunto de textos pelo modelo. 2. Para cada token, registre a probabilidade que o modelo atribuiu a ele. 3. Calcule a média dos logaritmos negativos dessas probabilidades. 4. Aplique o exponencial. Exemplo: Perplexidade de 18 em laudos antes do fine-tuning e de 9 depois: o modelo passou a prever melhor o vocabulário da área. Como interpretar: Menor é melhor, mas só faz sentido comparar perplexidades calculadas sobre o mesmo conjunto de textos e com o mesmo tokenizador. Não compare perplexidade entre modelos de fornecedores diferentes.

Origem do termo

Teoria da informação (Shannon, 1948) aplicada a modelos de linguagem (Jelinek et al., 1977).

Fonte técnica

Jurafsky & Martin, Speech and Language Processing, cap. N-gram Language Models