Tokenization
Cutting text into the tokens a model can process — and a quiet source of odd model behaviour.
Un tokenizador convierte el texto en números enteros usando un vocabulario fijo aprendido de los datos. Eso explica varias rarezas famosas: los modelos cuentan mal las letras porque nunca ven letras, y el texto que no está en inglés suele costar más tokens para el mismo significado, porque los vocabularios están sesgados hacia el inglés.
En la práctica: La misma oración en griego puede costar dos o tres veces los tokens que cuesta en inglés.
Where this comes up
- AI for Marketers Course: Transform Your Marketing Strategy with AI
- Best Apps to Learn AI in 2026: 8 AI Learning Apps Tested on iPhone and Android
- Claude Sonnet 5: Release Date, Pricing, API & Benchmarks
- How Does ChatGPT Work? A Deep Dive into AI Language Models
- How to Start an AI Training Career in 2026: Skills, Roles & Growth Opportunities