Token
The unit a model actually reads and writes — usually a word fragment, not a word.
Modelos não veem letras nem palavras; eles veem tokens, que são blocos de caracteres produzidos por um tokenizador. Em inglês, a média fica em torno de quatro caracteres por token, então 750 palavras dão mais ou menos 1,000 tokens. Tokens também são a unidade de cobrança e a unidade da janela de contexto, o que faz deste o termo mais relevante comercialmente do glossário.
Na prática: ‘unbelievable’ pode se dividir em ‘un’, ‘believ’, ‘able’ — três tokens, uma palavra.