Token
The unit a model actually reads and writes — usually a word fragment, not a word.
Les modèles ne voient ni lettres ni mots ; ils voient des tokens, des morceaux de caractères produits par un tokenizer. En anglais, on compte environ quatre caractères par token, donc 750 mots font à peu près 1 000 tokens. Les tokens sont aussi l’unité de facturation et l’unité de la fenêtre de contexte, ce qui en fait le terme le plus important commercialement de ce glossaire.
En pratique : ‘unbelievable’ peut se découper en ‘un’, ‘believ’, ‘able’ — trois tokens, un seul mot.