Token
The unit a model actually reads and writes — usually a word fragment, not a word.
I modelli non vedono lettere o parole; vedono token, cioè blocchi di caratteri prodotti da un tokenizer. In inglese la media è di circa quattro caratteri per token, quindi 750 parole sono più o meno 1,000 token. I token sono anche l’unità di fatturazione e l’unità della finestra di contesto, il che rende questo il termine commercialmente più rilevante del glossario.
In pratica: ‘unbelievable’ potrebbe dividersi in ‘un’, ‘believ’, ‘able’ — tre token, una parola.