Self-Supervised Learning
Training where the data generates its own labels — the trick that made large language models possible.
Selbstüberwachtes Lernen erfindet aus ungelabelten Daten eine Vorhersageaufgabe, am bekanntesten ‘sag das nächste Token voraus’. Weil das Label einfach das nächste Wort ist, wird das gesamte Internet zu Trainingsdaten ohne menschliche Annotation. Genau deshalb konnten LLMs so skalieren, wie überwachte Modelle es nie konnten.
In der Praxis: Das letzte Wort eines Satzes verdecken, das Modell raten lassen, billionenfach wiederholen.