Tokenizador

É o componente que converte texto em tokens antes de o modelo processá-lo, e converte tokens de volta em texto na saída. Cada família de modelos tem seu próprio tokenizador, com um vocabulário específico. Por isso, o mesmo texto pode gerar quantidades diferentes de tokens em modelos diferentes. Idiomas menos representados nos dados de treinamento, como o português em comparação ao inglês, tendem a consumir mais tokens por palavra. O tokenizador também influencia como o modelo lida com números, códigos, siglas e nomes próprios, que podem ser divididos em pedaços pouco naturais.

Em Produto, o tokenizador aparece principalmente em duas situações: estimativas de custo e problemas com textos específicos. Ao comparar preços de fornecedores, vale comparar o custo do seu texto real, e não apenas o preço por milhão de tokens. Um modelo pode tokenizar português com 30% mais tokens do que outro, o que anula uma diferença de preço aparente. Também explica alguns erros curiosos: um número de contrato pode virar sete tokens e ser reproduzido com erro pelo modelo. Mudar o formato, com separadores ou espaços, pode ajudar o modelo a copiá-lo corretamente.

Use tokenizador quando estiver investigando estimativas de custo entre fornecedores ou problemas com códigos, números e nomes. Use token para a unidade em si, em conversas sobre custo e limites. Uma forma simples de diferenciar: o tokenizador é a ferramenta que corta o texto; o token é cada pedaço resultante.

Byte-Pair Encoding adaptado para NLP por Sennrich et al. (2016); cada família de modelos tem o seu tokenizador.

OpenAI Platform docs, Tokenizer; Hugging Face, Tokenizers documentation