Quantization
Storing model weights at lower numeric precision to cut memory and cost, with a small quality trade-off.
La quantification fait passer chaque poids de, disons, 16 bits à 8 ou 4. Le modèle devient nettement plus petit et plus rapide, avec une dégradation généralement modeste, et c’est ce qui permet à des modèles performants de tourner sur un ordinateur portable ou un téléphone. La qualité perdue dépend de la méthode employée et du degré d’agressivité.
En pratique : Un modèle de 70B compressé pour tourner sur un seul GPU grand public.