GPU

Las GPU realizan las enormes multiplicaciones de matrices detrás del entrenamiento y la inferencia miles de veces más rápido que una CPU. Su capacidad de memoria fija el techo del tamaño del modelo, y por eso importa la cuantización. La oferta y el precio de las GPU moldean todo el mercado.

En la práctica: Que un modelo quepa o no en 24GB de VRAM decide si corre en tu escritorio.