Ingestão de documentos

É a etapa que transforma documentos brutos (PDFs, arquivos Word, planilhas, páginas web, e-mails) em texto limpo e estruturado, pronto para ser indexado. Inclui extrair o conteúdo (parsing), limpar ruídos (cabeçalhos repetidos, rodapés, marcas d'água) e preservar a estrutura (títulos, tabelas, hierarquia de seções). Também é o momento de enriquecer cada documento com metadados úteis, como data, autor, área e status de vigência. Erros nessa etapa se propagam para todo o sistema: uma tabela mal extraída vira texto sem sentido, e nenhuma busca ou modelo consegue recuperar o que foi perdido.

Em Produto, a ingestão é onde a maioria dos sistemas de RAG falha em silêncio. Tabelas viram frases soltas, PDFs digitalizados ficam ilegíveis, cabeçalhos poluem todos os trechos. O sistema parece funcionar, mas responde mal sem que ninguém saiba por quê. Uma prática simples: peça amostras do texto extraído antes de aprovar a base. Se o texto que o sistema “lê” não faz sentido para uma pessoa, não vai fazer sentido para o modelo. Se as fontes são PDFs escaneados, um OCR de qualidade é pré-requisito. Se as fontes são dados estruturados, como bancos ou APIs, muitas vezes é melhor expô-los como ferramenta do que ingeri-los como texto.

Use ingestão robusta para documentos heterogêneos e não estruturados, como contratos, manuais e apresentações. Use uma ferramenta (function calling) em vez de ingestão quando a fonte é estruturada e consultável, como um banco de dados ou uma API. Use OCR como etapa anterior quando os documentos são imagens ou escaneados. Uma forma simples de diferenciar: ingestão prepara textos para busca; ferramentas consultam dados diretamente.

Terminologia de pipelines de dados aplicada a RAG; ferramentas como Unstructured, LlamaParse e Document AI (2023) especializaram a etapa.

Microsoft Azure Architecture Center, RAG design guide; Unstructured documentation