Token de modelo

Definição

Token de modelo é a unidade usada para representar conteúdo no processamento pelo modelo. O texto enviado e gerado é dividido em unidades usadas pela etapa de inferência, e essa divisão não corresponde sempre a uma palavra.

Como o conteúdo é dividido

O tokenizador do modelo converte o texto em unidades menores. Palavras podem virar um token, vários tokens ou apenas fragmentos, dependendo do idioma e da preparação do modelo. Pontuação e espaços também participam da divisão.

Frase original: configuração do acesso remoto
Divisão ilustrativa: conf | igur | ação | do | acesso | remoto

Token não é palavra e não é credencial

Um token de modelo não equivale sempre a uma palavra e também não é um token de autenticação. São conceitos distintos com propósitos diferentes. A divisão exata varia conforme o tokenizador e não deve ser tratada como uma regra universal de contagem por palavras.

A estimativa que engana

No exemplo da janela medida em tokens, a contagem orienta o que cabe na interação. A falha provável é estimar o tamanho pelo número de palavras, porque um mesmo texto pode render mais ou menos tokens conforme o idioma e o tokenizador. A verificação usa o contador do provedor ou da biblioteca do modelo para medir cada entrada antes do envio. Com a medida real, você ajusta o que entra na janela e confere se o custo e o espaço restante correspondem ao planejado.

Aplicação na formação

Vibe Coding: Do Zero ao MVP

Na Formação Vibe Coding, os tokens definem o custo e o espaço ocupado pelo conteúdo enviado ao assistente.

Conhecer a formação →