Quantization
Storing model weights at lower numeric precision to cut memory and cost, with a small quality trade-off.
A quantização encolhe cada peso de, digamos, 16 bits para 8 ou 4. O modelo fica drasticamente menor e mais rápido, com degradação em geral modesta, e é isso que permite rodar modelos capazes em um notebook ou em um celular. Quanta qualidade você perde depende do método e de quão agressivo você resolve ser.
Na prática: Um modelo de 70B comprimido para rodar em uma única GPU de consumo.