Token
The unit a model actually reads and writes — usually a word fragment, not a word.
Los modelos no ven letras ni palabras; ven tokens, que son trozos de caracteres producidos por un tokenizador. En inglés el promedio es de unos cuatro caracteres por token, así que 750 palabras son cerca de 1,000 tokens. Los tokens son también la unidad de facturación y la unidad de la ventana de contexto, lo que convierte a este en el término comercialmente más relevante del glosario.
En la práctica: ‘unbelievable’ podría dividirse en ‘un’, ‘believ’, ‘able’ — tres tokens, una palabra.