Dicionário de Inteligência Artificial PM3

Chain-of-Thought (CoT) Prompting

É a técnica de pedir ao modelo que exponha seu raciocínio passo a passo antes de dar a resposta final. Em vez de responder diretamente “a resposta é X”, o modelo escreve “primeiro, considero A; depois, B; portanto, X”. Funciona porque a geração é sequencial: os passos intermediários funcionam como um espaço de cálculo que melhora o resultado em tarefas de lógica, matemática e decisões com várias etapas. Modelos de raciocínio mais recentes incorporaram essa ideia internamente, “pensando” antes de responder sem que o prompt precise pedir. Variantes incluem gerar vários raciocínios e escolher o mais frequente (self-consistency) e pedir que o modelo revise a própria resposta.

Context Engineering

É a prática de decidir o que entra na janela de contexto do modelo em cada chamada, e em que ordem: instruções, trechos recuperados de documentos, resultados de ferramentas, memória de interações anteriores e exemplos. Trata o contexto como um recurso escasso e valioso, que precisa ser curado, e não como um espaço onde se joga tudo o que está disponível. Inclui técnicas como compressão de informações, resumo de histórico longo e remoção do que deixou de ser relevante. Surgiu como evolução do prompt engineering à medida que os sistemas ficaram mais complexos, com RAG, ferramentas e agentes montando o prompt dinamicamente.

Context Rot / Lost in the Middle

É a degradação da qualidade da resposta à medida que o contexto cresce, mesmo dentro do limite da janela. Informações no meio de contextos longos tendem a ser ignoradas (o fenômeno “lost in the middle”), conteúdos irrelevantes confundem o modelo e instruções dadas no início perdem força ao longo de uma conversa longa. Ou seja, ter uma janela de contexto grande não significa que o modelo usa bem tudo o que está nela. Contexto grande não é o mesmo que contexto bem aproveitado. O fenômeno foi documentado em pesquisa acadêmica e confirmado em testes com modelos recentes.

Function Calling / Tool Calling

É o mecanismo pelo qual o modelo, em vez de responder em texto, indica que uma função (ou ferramenta) deve ser executada e com quais argumentos. O sistema executa a função, devolve o resultado ao modelo, e o modelo continua a partir daí. É o que permite ao modelo consultar dados reais, fazer cálculos exatos, acessar sistemas e executar ações. Sem isso, o modelo só pode falar; com isso, ele pode fazer. Function calling é o alicerce das skills, das ferramentas de agentes e de protocolos como o MCP. O modelo não executa nada diretamente: ele pede, e o sistema decide se e como executar.

Grounding / Source Citation

Grounding é a prática de ancorar a resposta do modelo em fontes fornecidas, como documentos, resultados de busca ou dados de sistemas, em vez de deixá-lo responder apenas com o que aprendeu no treinamento. Citação de fonte é exigir que o modelo indique de onde tirou cada afirmação. Juntas, essas práticas reduzem alucinações e tornam a resposta verificável: a pessoa pode abrir a fonte e conferir. O RAG é a forma mais comum de implementar grounding. Sem grounding, o modelo responde com base em probabilidade; com grounding, responde com base em evidência.

System Prompt / Instruction Hierarchy

A instrução de sistema (system prompt) é a parte do prompt que define o papel, as regras e os limites do modelo. É escrita por quem constrói o produto, não pelo usuário, e tem precedência sobre a mensagem do usuário quando há conflito. A hierarquia de instruções define quem manda quando as instruções se contradizem: primeiro as políticas do fornecedor do modelo, depois as instruções do desenvolvedor, depois a mensagem do usuário e, por último, o conteúdo de documentos e ferramentas. Um princípio importante: o conteúdo recuperado de documentos ou retornado por ferramentas nunca deve ser tratado como instrução. É dado, não comando. Isso é a base da defesa contra injeção de prompt.

Prompt

É tudo o que é enviado ao modelo em uma chamada: a instrução de sistema, o histórico da conversa, os documentos recuperados, os exemplos e a mensagem do usuário. Não é apenas “a pergunta”, mas o pacote completo de contexto que o modelo recebe para produzir a resposta. A qualidade da saída depende muito do prompt. Em muitos casos, a diferença entre um prompt bem construído e um mal construído é maior do que a diferença entre dois modelos da mesma geração. Em produtos, o prompt costuma ser montado automaticamente pelo sistema a cada chamada, combinando partes fixas (instruções) e partes variáveis (dados do usuário, documentos, histórico).

Prompt Caching / Context Caching

É a técnica de reaproveitar o processamento de uma parte fixa do prompt entre várias chamadas, pagando uma fração do preço pelos tokens que estão em cache e reduzindo a latência. Funciona por prefixo: a parte estável do prompt (instrução de sistema longa, documentos de referência, exemplos) fica no início e é processada uma vez; a parte variável (a pergunta do usuário) fica no fim e é processada a cada chamada. Os principais fornecedores oferecem descontos de 50% a 90% nos tokens em cache, o que torna a técnica uma das otimizações de custo mais eficazes disponíveis.

Prompt Chaining

É o padrão de dividir uma tarefa complexa em uma sequência de chamadas ao modelo, cada uma com um prompt focado, em que a saída de uma etapa alimenta a próxima. Em vez de um único prompt gigante que tenta fazer tudo, cada passo faz uma coisa bem. Isso permite validar resultados intermediários, usar modelos diferentes em cada etapa (um pequeno para classificar, um grande para redigir) e isolar onde as falhas acontecem. É um workflow, não um agente: a sequência de etapas é fixa e definida por quem construiu o sistema.

Prompt Engineering

É a prática de projetar as instruções enviadas a um modelo de linguagem para que ele se comporte da forma desejada de maneira confiável. Envolve definir o papel do modelo, a tarefa, as restrições, o formato da resposta, exemplos, critérios de qualidade e o que fazer em caso de dúvida. Inclui técnicas conhecidas, como fornecer exemplos (few-shot), pedir raciocínio passo a passo (chain-of-thought) e exigir saída em formato estruturado. Apesar do nome, é menos “engenharia” e mais uma combinação de clareza de comunicação, conhecimento do problema e experimentação sistemática.

Structured Output / JSON Schema

É a capacidade de fazer o modelo responder em um formato definido, geralmente JSON com campos e tipos fixos, validado por um esquema. Em vez de um texto livre, a saída é um objeto que sistemas conseguem ler diretamente. Isso elimina a etapa frágil de “extrair a resposta do texto” e transforma o LLM em um componente de software, e não apenas em um gerador de prosa. Os principais fornecedores oferecem modos em que a aderência ao esquema é garantida, o que reduz erros de formato a praticamente zero.

Response Streaming

É o padrão de entregar a resposta ao usuário à medida que o modelo a gera, token a token, em vez de esperar a resposta completa para exibi-la. É o efeito de “texto aparecendo” que se vê nos assistentes conversacionais. O streaming não reduz o tempo total de geração, mas reduz drasticamente a latência percebida: a pessoa vê que algo está acontecendo em menos de um segundo, em vez de olhar para uma tela vazia por vários segundos. As APIs dos fornecedores oferecem o streaming como opção, e a maior parte das interfaces de chat o utiliza.

Temperature

É o parâmetro que controla o grau de aleatoriedade na geração de texto. Com temperatura próxima de zero, o modelo tende a escolher sempre o token mais provável, produzindo respostas mais previsíveis e repetitivas. Com temperatura alta (0,8 a 1,0), o modelo aceita escolhas menos prováveis, produzindo mais variedade, e também mais risco de erro. Parâmetros relacionados, como top-p e top-k, limitam de quais tokens o modelo pode escolher em cada passo. Temperatura zero não garante respostas idênticas entre chamadas; apenas reduz bastante a variação.

Prompt Template / Prompt Versioning

Um template de prompt é um prompt com espaços variáveis a serem preenchidos em cada chamada, como o nome do cliente, os trechos recuperados ou os dados do pedido. Permite reutilizar a mesma estrutura com conteúdos diferentes. Versionamento de prompt é tratar cada mudança no prompt como uma nova versão de software: com número, registro do que mudou, avaliação de regressão e possibilidade de voltar à versão anterior. Um catálogo ou biblioteca de prompts centraliza os templates aprovados, para que diferentes times usem as mesmas versões e não criem variações descontroladas.

Zero-shot / Few-shot Prompting

São duas formas de pedir uma tarefa ao modelo. No zero-shot, o prompt contém apenas a instrução, sem exemplos: “classifique esta mensagem como reclamação, dúvida ou elogio”. No few-shot, o prompt inclui alguns exemplos de entrada e da saída esperada, e o modelo imita o padrão. O few-shot melhora a consistência de formato e de critério, principalmente em tarefas com nuances difíceis de descrever em palavras. O custo é um prompt maior, com mais tokens por chamada. Ambas as técnicas se apoiam na capacidade de aprendizado em contexto dos LLMs, sem alterar o modelo.