Tokenization
Cutting text into the tokens a model can process — and a quiet source of odd model behaviour.
Un tokenizer transforme le texte en entiers à l’aide d’un vocabulaire fixe appris sur des données. Cela explique plusieurs bizarreries célèbres : les modèles comptent mal les lettres parce qu’ils ne voient jamais de lettres, et un texte non anglophone coûte souvent plus de tokens à sens égal, parce que les vocabulaires penchent vers l’anglais.
En pratique : La même phrase en grec peut coûter deux à trois fois plus de tokens qu’en anglais.
Where this comes up
- AI for Marketers Course: Transform Your Marketing Strategy with AI
- Best Apps to Learn AI in 2026: 8 AI Learning Apps Tested on iPhone and Android
- Claude Sonnet 5: Release Date, Pricing, API & Benchmarks
- How Does ChatGPT Work? A Deep Dive into AI Language Models
- How to Start an AI Training Career in 2026: Skills, Roles & Growth Opportunities