Transformer

Presentado en 2017, el transformer reemplazó el procesamiento secuencial por la atención, lo que le permite al modelo mirar todos los tokens de la entrada a la vez y ponderar qué tan relevantes son entre sí. Ese paralelismo es lo que volvió práctico entrenar con texto a escala de internet. La ‘T’ de GPT viene de transformer.

En la práctica: En ’el trofeo no cabía en la vitrina porque era demasiado grande’, la atención es la forma en que el modelo conecta ’era’ con ’trofeo’.