GPU

GPUs executam as multiplicações de matrizes gigantescas por trás do treinamento e da inferência milhares de vezes mais rápido que uma CPU. A capacidade de memória delas define o teto do tamanho do modelo, e é por isso que a quantização importa. A oferta e o preço das GPUs moldam o mercado inteiro.

Na prática: Se o modelo cabe ou não em 24GB de VRAM decide se ele roda na sua mesa.