Transformer

2017 vorgestellt, ersetzte der Transformer die sequenzielle Verarbeitung durch Attention: Das Modell kann jedes Token der Eingabe auf einmal ansehen und deren Relevanz füreinander gewichten. Diese Parallelität machte das Training auf internetgroßen Textmengen praktikabel. Das ‘T’ in GPT steht für Transformer.

In der Praxis: In ‘die Trophäe passte nicht in den Koffer, weil sie zu groß war’ ist Attention der Mechanismus, über den das Modell ‘sie’ mit ‘Trophäe’ verbindet.