Chunking

É a técnica de dividir documentos em pedaços menores, chamados de chunks, para que possam ser indexados e recuperados individualmente. Cada chunk precisa ser pequeno o bastante para ser encontrado com precisão e grande o bastante para carregar um sentido completo. As principais decisões são o tamanho (tipicamente entre 200 e 800 tokens), a sobreposição entre chunks vizinhos (para não cortar uma ideia ao meio) e a estratégia de divisão: por tamanho fixo, por parágrafo, por seção do documento ou por similaridade semântica. Não existe um tamanho certo universal. O melhor chunking depende do tipo de documento e do tipo de pergunta.

Em Produto, chunking é uma das decisões que mais afeta a qualidade de um RAG, e uma das menos visíveis. Chunks grandes demais trazem ruído para o contexto; pequenos demais perdem o sentido. Dividir pela estrutura do documento (seção, cláusula, artigo) quase sempre funciona melhor do que dividir por tamanho fixo. Também ajuda muito enriquecer cada chunk com o título do documento e da seção, para que ele não fique “solto”. Por exemplo, um contrato dividido por cláusula, com cada trecho prefixado por “Contrato de locação – Cláusula 7: Franquia”, é recuperado com muito mais precisão do que o mesmo contrato cortado a cada 500 tokens.

Use chunking por seção ou semântico para documentos estruturados, como contratos, manuais e políticas. Use tamanho fixo com sobreposição como ponto de partida rápido em protótipos. Use recuperação parent-child quando precisa de chunks pequenos para buscar e de um contexto maior para responder. Uma forma simples de diferenciar: chunk pequeno acha melhor; chunk grande responde melhor; a estratégia certa equilibra os dois para o seu tipo de documento.

Prática de RAG derivada da recuperação de passagens em QA (2019-2020); consolidada nos guias de Azure, LangChain e LlamaIndex.

Microsoft Azure Architecture Center, RAG chunking guide; Anthropic, Contextual Retrieval (2024)