Self-Supervised Learning
Training where the data generates its own labels — the trick that made large language models possible.
O aprendizado autossupervisionado inventa uma tarefa de previsão a partir de dados sem rótulo, sendo a mais famosa delas ‘prever o próximo token’. Como o rótulo é apenas a palavra seguinte, a internet inteira vira dado de treino sem nenhuma anotação humana. É por isso que os LLMs conseguiram escalar de um jeito que os modelos supervisionados nunca conseguiram.
Na prática: Esconda a última palavra de uma frase, peça ao modelo que a adivinhe, repita trilhões de vezes.