Self-Supervised Learning
Training where the data generates its own labels — the trick that made large language models possible.
El aprendizaje autosupervisado inventa una tarea de predicción a partir de datos sin etiquetar, la más famosa: ‘predecir el siguiente token’. Como la etiqueta es simplemente la palabra que viene, todo internet se vuelve datos de entrenamiento sin ninguna anotación humana. Por eso los LLM pudieron escalar de una forma que los modelos supervisados nunca lograron.
En la práctica: Ocultar la última palabra de una oración, pedirle al modelo que la adivine, y repetirlo billones de veces.