Dicionário de Inteligência Artificial PM3

Accuracy

É a proporção de previsões corretas sobre o total de previsões. É a métrica mais simples e intuitiva de classificação, e também a mais enganosa em situações comuns. O problema aparece em classes desbalanceadas. Se 98% das transações são legítimas, um modelo que diz “legítima” para tudo tem 98% de acurácia e nenhuma utilidade. Além disso, uma acurácia global boa pode esconder desempenho ruim para um grupo específico de usuários.

Human Evaluation

É a avaliação em que pessoas, idealmente especialistas do domínio, julgam as saídas do sistema contra critérios explícitos. É a referência contra a qual toda avaliação automática precisa ser calibrada. É cara e lenta, por isso é usada em amostra: uma fatia aleatória revisada regularmente, que alimenta o conjunto de avaliação e calibra o juiz automático. Não existe eval sem humano em algum ponto: alguém definiu o que é uma boa resposta.

Baseline

É o ponto de comparação contra o qual se mede o ganho de uma solução: o que já acontece hoje sem o modelo (processo manual, regra atual, modelo anterior) ou um modelo trivial (prever sempre a classe mais comum, prever a média). Sem baseline não existe ganho demonstrável; existe entusiasmo. O baseline não é “zero”. É a operação de hoje, com seus acertos e seus custos.

Benchmark

É um conjunto de testes padronizado e público, usado para comparar modelos entre si em tarefas gerais: raciocínio, código, conhecimento, matemática. Os rankings de modelos que aparecem na imprensa e nos anúncios de fornecedores são baseados em benchmarks. São úteis para a triagem inicial de fornecedores. Mas não servem para decidir se um modelo atende ao seu caso: o benchmark não contém o seu domínio, o seu vocabulário nem os seus casos difíceis, e os modelos são otimizados para pontuar bem neles. Um modelo três pontos acima no ranking pode ser pior nas suas 80 perguntas reais.

BLEU / ROUGE

São métricas que medem a sobreposição de palavras e sequências de palavras (n-gramas) entre o texto gerado e um texto de referência. O BLEU mede precisão: quanto do texto gerado aparece na referência. O ROUGE mede recall: quanto da referência aparece no texto gerado. São rápidas e reprodutíveis, mas cegas para o sentido: uma paráfrase correta pontua baixo; uma cópia com um erro crucial pontua alto. O BERTScore é uma alternativa que compara embeddings em vez de palavras exatas, capturando melhor a semântica.

Calibration

É o grau em que a probabilidade que o modelo reporta corresponde à frequência real. Entre os casos em que o modelo disse “80% de chance de fraude”, cerca de 80% deveriam ser fraude de fato. Um modelo mal calibrado tem uma “confiança” que não significa nada. E limiares, filas de revisão e comunicação de incerteza ao usuário dependem de essa confiança ser real. Redes neurais e LLMs tendem a ser superconfiantes. A recalibração é relativamente barata e não exige retreinar o modelo.

Edge Case / Adversarial Case

Caso de borda é uma entrada rara, ambígua ou no limite do esperado: um cliente que é pessoa jurídica e física ao mesmo tempo, uma foto com reflexo, uma pergunta em dois idiomas. Caso adversarial é uma entrada construída para fazer o sistema falhar: uma tentativa de injeção de prompt, um pedido fora de escopo disfarçado, dados contraditórios. Ambos precisam estar no conjunto de avaliação, porque é neles que os produtos quebram.

Eval Set / Golden Set

É o conjunto congelado e versionado de casos de teste usado no eval: para cada caso, a entrada, o contexto, a saída esperada (ou os critérios que ela deve atender) e, para os casos difíceis, a explicação do porquê. Deve conter casos reais e difíceis, incluindo os que já viraram reclamação, e não apenas os fáceis. O golden set é a parte de maior confiança, revisada por especialistas. É o ativo mais valioso de um time de produto com IA, mais valioso que o prompt: prompts se reescrevem em horas; um bom conjunto de avaliação leva meses para amadurecer.

Context Precision / Context Recall

São as métricas da etapa de recuperação em um sistema de RAG, avaliadas antes da geração da resposta. O context recall mede, entre os trechos necessários para responder, quantos foram de fato recuperados. O context precision mede, entre os trechos recuperados, quantos eram necessários, e se os relevantes aparecem no topo. Recall baixo leva a respostas incompletas ou inventadas: o modelo não recebeu a informação. Precision baixa leva a contexto cheio de ruído, custo alto e modelo confuso. Permitem avaliar a busca separadamente do modelo de linguagem.

Acceptance Criterion / Threshold

Critério de aceitação é a condição mensurável que a capacidade precisa atender para entrar e continuar em produção: “95% de fidelidade no conjunto de avaliação”, “p95 abaixo de 3 segundos”. Limiar é o valor de corte sobre a pontuação do modelo que separa uma decisão da outra: “bloqueia acima de 0,8; envia para revisão entre 0,5 e 0,8; libera abaixo de 0,5”. Mover o limiar troca um tipo de erro por outro: mais rigor gera mais falsos alarmes; menos rigor deixa passar mais casos.

Cost per Request / Cost per Successful Task / Tokens per Task

O custo por solicitação é o gasto médio com modelo, infraestrutura e ferramentas em cada chamada. O custo por tarefa bem-sucedida é o gasto total dividido apenas pelas tarefas resolvidas: inclui o custo das que falharam, das novas tentativas e das escaladas. Tokens por tarefa é o consumo médio, útil para otimizar prompt e contexto. O custo por tarefa bem-sucedida é a métrica de valor; o custo por solicitação é a métrica de eficiência. Em agentes, que fazem muitas chamadas por tarefa, a diferença entre os dois pode ser grande.

Availability / Error Rate

Disponibilidade é a fração do tempo (ou das requisições) em que o serviço respondeu corretamente. É expressa em “noves”: 99,9% significa cerca de 8,7 horas de indisponibilidade por ano. Taxa de erro é a proporção de requisições que falharam: erro de API, timeout, resposta inválida. Em sistemas de IA, ambas incluem as dependências: se o fornecedor de modelo cai, a disponibilidade do produto cai junto, a menos que exista fallback.

Mean Absolute Error (MAE) / Root Mean Squared Error (RMSE)

São as métricas padrão para avaliar previsões numéricas. O erro médio absoluto (MAE) é a média das diferenças, em valor absoluto, entre o previsto e o real: “em média, o modelo erra R$ 180”. O RMSE é a raiz quadrada da média dos erros ao quadrado: penaliza erros grandes mais do que pequenos, e por isso fica maior que o MAE quando há casos com erro muito alto. O MAPE expressa o erro em porcentagem do valor real, útil quando a escala varia muito entre casos. Juntas, essas métricas dizem não só quanto o modelo erra, mas se ele erra de forma uniforme ou com alguns casos muito ruins.

Evaluation (Eval)

É a prática de medir, de forma sistemática e repetível, se uma capacidade de IA faz o que deveria. Consiste em rodar um conjunto de casos com saída esperada, comparar o resultado com critérios explícitos e obter uma taxa de acerto. Não é um teste único antes do lançamento. É uma disciplina contínua: toda mudança de prompt, modelo ou base de conhecimento reexecuta o conjunto, para garantir que o que funcionava continua funcionando. Sem eval, uma melhoria em um caso pode quebrar outro em silêncio, e ninguém descobre até o usuário reclamar.

Offline / Online Evaluation

O eval offline avalia o sistema sobre um conjunto fixo de casos, sem usuários, antes de lançar. É rápido, repetível e controlado. O eval online avalia em produção, sobre tráfego real, por amostragem humana, feedback do usuário, métricas de negócio ou testes A/B. Captura o que o offline não vê: perguntas inesperadas, contexto real, reação das pessoas. Os dois são necessários e precisam estar conectados por uma hipótese explícita sobre como a melhoria em um se reflete no outro.

F1 Score

É um único número que combina precisão e recall por meio da média harmônica. Só fica alto quando os dois são altos: precisão de 0,95 com recall de 0,20 resulta em F1 de apenas 0,33. É útil para comparar modelos de forma rápida quando não há razão para privilegiar um dos tipos de erro. Variantes ponderadas (F-beta) permitem dar mais peso ao recall ou à precisão. Para problemas com várias classes, calcula-se o F1 de cada classe e agrega-se por média simples (macro) ou ponderada pelo tamanho de cada classe.

Faithfulness / Groundedness

É a proporção das afirmações de uma resposta que são sustentadas pelo contexto fornecido ao modelo (os documentos recuperados). Mede se o modelo respondeu com base nas fontes ou inventou. Uma resposta pode ser verdadeira e infiel (o modelo acertou por conhecimento próprio, não pela fonte) ou fiel e inútil (só repete o contexto sem responder à pergunta). Fidelidade mede especificamente a ancoragem na fonte. É a métrica central contra alucinação em sistemas de RAG.

LLM-as-a-Judge

É a técnica de usar um modelo de linguagem para avaliar as saídas de outro modelo (ou do mesmo), seguindo uma rubrica: fidelidade à fonte, completude, tom, conformidade com regras. Permite avaliar milhares de casos automaticamente, o que seria inviável com pessoas. Precisa ser calibrado contra a avaliação humana e tem vieses conhecidos: tende a preferir respostas mais longas, a favorecer modelos da própria família e a ser sensível à ordem quando compara duas respostas. É o que torna o eval em escala viável em produtos com LLM.

Confusion Matrix

É uma tabela que cruza o que o modelo previu com o que era verdade. Para uma classificação com duas classes, tem quatro células: verdadeiro positivo (o modelo disse “sim” e era “sim”), falso positivo (disse “sim”, mas era “não”), verdadeiro negativo (disse “não” e era “não”) e falso negativo (disse “não”, mas era “sim”). Toda métrica de classificação, como acurácia, precisão e recall, é uma conta feita sobre essas quatro células. É o instrumento mais básico e mais útil para entender como um modelo erra, e não apenas quanto ele erra.

Mean Reciprocal Rank (MRR) / Normalized Discounted Cumulative Gain (NDCG)

São métricas que consideram a posição dos itens relevantes em um ranking, e não apenas se eles aparecem. O MRR (Mean Reciprocal Rank) é a média, sobre as consultas, do inverso da posição do primeiro item relevante. Mede quão rápido o usuário encontra algo útil: se o primeiro resultado relevante está na posição 1, vale 1; na posição 2, vale 0,5; na 3, vale 0,33. O NDCG (Normalized Discounted Cumulative Gain) soma a relevância de cada item, descontada pela posição, e normaliza pelo ranking ideal. Mede a qualidade da ordenação inteira, permitindo graus de relevância.

Perplexity

É uma medida de quão “surpreso” um modelo de linguagem fica com um texto. Quanto menor a perplexidade, melhor o modelo prevê aquela sequência de palavras. É a métrica intrínseca do pré-treinamento e a forma clássica de comparar modelos de linguagem entre si. Uma perplexidade de 20 significa, aproximadamente, que o modelo hesita entre 20 opções igualmente prováveis a cada palavra. Não mede utilidade, veracidade nem segurança: um modelo pode ter perplexidade baixa e ainda assim alucinar.

Precision

É a proporção de acertos entre os casos que o modelo marcou como positivos. Responde à pergunta: “de tudo o que o modelo apontou, quanto estava certo?”. Mede o custo do falso alarme. Precisão baixa significa muitos falsos positivos: clientes legítimos barrados, alertas que ninguém precisava ver, itens irrelevantes no topo de uma busca. É a métrica que importa quando o erro visível ao usuário é o modelo apontar algo que não deveria.

Recall / Sensitivity

É a proporção de casos positivos reais que o modelo conseguiu encontrar. Responde à pergunta: “de tudo o que existia para apontar, quanto o modelo apontou?”. Mede a cobertura. Recall baixo significa muitos falsos negativos: fraudes que passaram, defeitos não detectados, documentos relevantes não recuperados. Na estatística médica, é chamado de sensibilidade. A especificidade é o equivalente para a classe negativa.

Recall@k / Precision@k

São versões de recall e precisão restritas aos k primeiros resultados de uma busca ou recomendação. Recall@k é a fração dos itens relevantes que aparecem entre os k primeiros. Precision@k é a fração dos k primeiros que é relevante. A lógica é que o usuário (ou o modelo de linguagem) só vê os primeiros resultados. O que está além de k não conta, por melhor que seja. São as métricas mais usadas para avaliar sistemas de busca e a etapa de recuperação do RAG.

Answer Relevance

É a medida de quão diretamente a resposta atende à pergunta feita, sem desvios, redundâncias ou omissões. Complementa a fidelidade: uma resposta pode ser 100% fiel ao contexto e, mesmo assim, não responder ao que foi perguntado. Pode ser avaliada por juiz (humano ou LLM) com rubrica, ou por um método automático que gera perguntas a partir da resposta e compara com a pergunta original. Um sintoma comum de relevância baixa é o modelo responder à pergunta que gostaria de ter recebido, e não à que recebeu.

Area Under the ROC Curve (ROC AUC) / PR AUC

A curva ROC mostra, para todos os limiares possíveis, a taxa de verdadeiros positivos contra a taxa de falsos positivos. A área sob essa curva (AUC) resume a capacidade do modelo de separar as classes, independentemente do limiar escolhido: 0,5 equivale a um sorteio; 1,0 é separação perfeita. A PR AUC (área sob a curva de precisão-recall) é uma alternativa mais informativa quando a classe positiva é muito rara, situação em que a ROC AUC tende a parecer otimista. Ambas avaliam o modelo em si, não o produto que usa o modelo.

Evaluation Rubric

É a definição explícita dos critérios de qualidade e de como pontuar cada um, separadamente: fidelidade à fonte, ausência de invenção, completude, tom, conformidade com a política, formato. Cada critério tem uma escala (binária ou graduada), uma descrição de cada nível e exemplos. Não existe “acurácia” única quando a saída é texto; existe um conjunto de critérios avaliados um a um. É o instrumento que torna a avaliação de texto objetiva e comparável entre pessoas e entre versões.

Statistical Significance / Confidence Interval

Significância estatística é a medida de quão improvável seria observar a diferença medida se, na verdade, não houvesse diferença nenhuma (expressa pelo p-valor). Intervalo de confiança é a faixa de valores plausíveis para o efeito real, dada a amostra disponível. Juntos, dizem se um resultado é sinal ou ruído. Uma diferença “significativa” pode ser irrelevante para o negócio; uma diferença relevante pode não ter atingido significância por falta de amostra. São conceitos essenciais para não tomar decisões com base em variações aleatórias.

Hallucination Rate

É a proporção de respostas que contêm uma afirmação falsa ou não sustentada pela fonte, apresentada com confiança. Em sistemas de RAG, é o complemento da fidelidade: a fração de respostas com pelo menos uma afirmação não sustentada. Em respostas sem fonte, exige verificação humana ou comparação com uma base de fatos. É a métrica de risco reputacional mais direta de um produto com IA generativa.

Human Intervention Rate / Escalation Rate / Containment Rate

São três métricas que descrevem o mesmo fluxo por ângulos diferentes. A taxa de intervenção é a proporção de casos em que uma pessoa precisou entrar (aprovar, corrigir, assumir). A taxa de escalonamento é a proporção que o sistema encaminhou a um humano por baixa confiança ou regra. A taxa de contenção é a proporção resolvida sem nenhum humano. Juntas, definem o custo operacional real de uma capacidade de IA e o quanto ela é de fato autônoma. Vêm do vocabulário de centrais de atendimento, adaptadas para assistentes e agentes.

Refusal Rate / False Refusal Rate

É a proporção de pedidos que o sistema se recusa a responder. Recusas corretas (pedido fora de escopo, inseguro, sem base na fonte) são desejáveis. Falsas recusas (pedido legítimo negado) são uma falha de produto tão grave quanto a alucinação: o usuário deixa de confiar e procura outro canal. As duas precisam ser medidas separadamente. Guardrails agressivos demais e prompts defensivos em excesso são as causas mais comuns de falsa recusa.

Task Success Rate / Agent Completion Rate

É a proporção de tarefas que o sistema concluiu com sucesso, segundo um critério verificável. Não é “respondeu”, mas “resolveu”. Para agentes, inclui a conclusão dentro dos limites definidos (número de passos, tempo, custo) e sem intervenção humana. A taxa de loop, complementar, mede quantas execuções atingiram o teto de passos sem concluir. Pass@k é a variante em que se aceita sucesso em pelo menos uma de k tentativas.

Tool Success Rate

É a proporção de chamadas de ferramenta que foram bem-formadas (esquema válido, parâmetros corretos) e executadas com sucesso. As falhas se dividem em três tipos: o modelo chamou a ferramenta errada, chamou com parâmetros inválidos, ou a ferramenta em si falhou. Cada tipo aponta para uma correção diferente: descrição da ferramenta, esquema de parâmetros ou infraestrutura. É a métrica de diagnóstico mais útil para agentes que não estão funcionando bem.

A/B Test

É o experimento em que os usuários são divididos aleatoriamente entre a versão atual (A) e a nova (B), e uma métrica de resultado é comparada entre os grupos com teste estatístico. É a única forma de medir o efeito causal de uma mudança no comportamento das pessoas. Evals offline medem a qualidade da saída; o A/B mede a reação do usuário a ela. Exige tamanho de amostra suficiente, métrica definida antes e disciplina para não parar o teste cedo demais.