Transformer

Introdotto nel 2017, il transformer ha sostituito l’elaborazione sequenziale con l’attenzione, permettendo al modello di guardare tutti i token dell’input insieme e di pesarne la rilevanza reciproca. È quel parallelismo ad aver reso pratico l’addestramento su testo su scala internet. La ‘T’ di GPT sta per transformer.

In pratica: In ‘il trofeo non entrava nella teca perché esso era troppo grande’, l’attenzione è il modo in cui il modello collega ’esso’ a ’trofeo’.