Token

É a unidade em que um modelo de linguagem lê e escreve texto. Um token pode ser uma palavra inteira, um pedaço de palavra, um número ou um sinal de pontuação. A palavra “inteligência”, por exemplo, pode ser dividida em dois ou três tokens. Em português, um token equivale a cerca de 3 a 4 caracteres, e 100 tokens correspondem a aproximadamente 70 palavras. O número exato varia de acordo com o modelo, porque cada um tem seu próprio vocabulário. O token é a unidade de cobrança dos fornecedores, com preços diferentes para tokens de entrada e de saída, e também a unidade que define o limite de contexto do modelo.

Em Produto, toda conta de custo e toda discussão sobre limites de contexto passa por tokens. Vale aprender a estimar: um prompt de sistema de duas páginas tem cerca de 1.500 tokens, e esse custo se repete em cada chamada. Tokens de saída custam mais do que os de entrada e também demoram mais, porque são gerados um a um. Por isso, controlar o tamanho das respostas é uma alavanca direta de custo e latência. Por exemplo, um prompt de 1.500 tokens multiplicado por 200 mil chamadas por mês resulta em 300 milhões de tokens só de instruções. Técnicas como prompt caching reduzem esse custo ao reaproveitar a parte fixa do prompt.

Use token quando estiver falando de custo, limite de contexto ou capacidade de processamento do modelo. Use palavras ou caracteres ao comunicar limites para o usuário final, que não pensa em tokens. Use parâmetros quando o assunto é o tamanho do modelo, e não o volume de texto processado. Uma forma simples de diferenciar: tokens medem o texto que entra e sai; parâmetros medem o tamanho do modelo.

Termo de linguística computacional; a tokenização por subpalavras (BPE, Sennrich et al., 2016) é o padrão dos LLMs atuais.

OpenAI Platform docs, Tokens; Sennrich et al., Neural Machine Translation of Rare Words with Subword Units (2016)