Transformer

Introduit en 2017, le transformer a remplacé le traitement séquentiel par l’attention, ce qui permet au modèle de regarder tous les tokens de l’entrée d’un coup et de pondérer leur pertinence les uns par rapport aux autres. C’est ce parallélisme qui a rendu praticable l’entraînement sur du texte à l’échelle d’internet. Le ‘T’ de GPT signifie transformer.

En pratique : Dans ’le trophée n’entrait pas dans la vitrine parce qu’il était trop grand’, l’attention est ce qui permet au modèle de relier ‘il’ à ’trophée’.