Token
The unit a model actually reads and writes — usually a word fragment, not a word.
Modelle sehen keine Buchstaben und keine Wörter; sie sehen Token, also Zeichenblöcke, die ein Tokenizer erzeugt. Im Englischen kommen im Schnitt etwa vier Zeichen auf ein Token, 750 Wörter sind also rund 1,000 Token. Token sind zugleich die Abrechnungseinheit und die Einheit des Kontextfensters, was diesen Begriff zum kommerziell relevantesten im Glossar macht.
In der Praxis: ‘unbelievable’ zerfällt womöglich in ‘un’, ‘believ’, ‘able’ — drei Token, ein Wort.