GPU

GPUs erledigen die gewaltigen Matrixmultiplikationen hinter Training und Inferenz tausendfach schneller als eine CPU. Ihre Speicherkapazität setzt die Obergrenze für die Modellgröße, und genau deshalb ist Quantisierung wichtig. Angebot und Preis von GPUs prägen den gesamten Markt.

In der Praxis: Ob ein Modell in 24 GB VRAM passt, entscheidet darüber, ob es auf deinem Schreibtisch läuft.