Generative AI & LLMs beginner

Token

The unit a model actually reads and writes — usually a word fragment, not a word.

I modelli non vedono lettere o parole; vedono token, cioè blocchi di caratteri prodotti da un tokenizer. In inglese la media è di circa quattro caratteri per token, quindi 750 parole sono più o meno 1,000 token. I token sono anche l’unità di fatturazione e l’unità della finestra di contesto, il che rende questo il termine commercialmente più rilevante del glossario.

In pratica: ‘unbelievable’ potrebbe dividersi in ‘un’, ‘believ’, ‘able’ — tre token, una parola.