Self-Supervised Learning
Training where the data generates its own labels — the trick that made large language models possible.
L’apprendimento auto-supervisionato inventa un compito di previsione a partire da dati non etichettati, il più famoso dei quali è ‘prevedi il token successivo’. Poiché l’etichetta è semplicemente la parola successiva, l’intero internet diventa dato di addestramento senza alcuna annotazione umana. È per questo che gli LLM hanno potuto scalare come i modelli supervisionati non avrebbero mai potuto.
In pratica: Nascondi l’ultima parola di una frase, chiedi al modello di indovinarla, ripeti migliaia di miliardi di volte.