Self-Supervised Learning
Training where the data generates its own labels — the trick that made large language models possible.
L’apprentissage auto-supervisé invente une tâche de prédiction à partir de données non étiquetées, la plus célèbre étant ‘prédire le token suivant’. Comme l’étiquette n’est rien d’autre que le mot suivant, tout l’internet devient donnée d’entraînement sans la moindre annotation humaine. C’est pourquoi les LLM ont pu passer à l’échelle comme les modèles supervisés n’ont jamais pu le faire.
En pratique : Masquer le dernier mot d’une phrase, demander au modèle de le deviner, répéter des milliers de milliards de fois.