Quantização

É uma técnica que reduz a precisão numérica dos parâmetros de um modelo, por exemplo de 16 bits para 8 ou 4 bits, para que ele ocupe menos memória e rode mais rápido. A perda de qualidade costuma ser pequena. É o que permite executar modelos grandes em uma GPU comum, ou modelos pequenos em CPU e até em celulares. O modelo continua o mesmo, apenas representado de forma mais compacta. A quantização não reduz o número de parâmetros nem muda o que o modelo sabe; ela reduz o espaço que cada parâmetro ocupa.

Em Produto, quantização é relevante quando a empresa opera modelo próprio. Quantizar pode cortar o custo de infraestrutura pela metade ou mais, sem retreinar nada. O cuidado é medir. A perda de qualidade é pequena em média, mas pode ser maior em casos específicos, como cálculos ou textos técnicos. Vale rodar a avaliação antes e depois da quantização e comparar os resultados nos casos que mais importam para o produto. Para quem consome modelos via API, a quantização é uma decisão do fornecedor e não aparece diretamente.

Use quantização para reduzir o custo de infraestrutura de um modelo próprio sem retreiná-lo. Use destilação quando o objetivo é criar um modelo de fato menor, com menos parâmetros. Use um modelo menor quando nem a quantização nem a destilação bastam para caber no orçamento. Uma forma simples de diferenciar: quantização comprime; destilação encolhe; trocar de modelo substitui.

Técnica de compressão de redes neurais (Han et al., 2015); popularizada em LLMs por GPTQ, AWQ e os formatos GGUF (2023).

Dettmers et al., QLoRA (2023); Hugging Face, Quantization documentation