LoRA (Low-Rank Adaptation)
A cheap fine-tuning method that trains a small add-on instead of updating the whole model.
LoRA fige les poids de base et apprend à côté un petit nombre de paramètres supplémentaires. Le résultat est un fichier d’adaptateur léger — des mégaoctets, pas des gigaoctets — qu’on peut échanger selon la tâche et entraîner sur du matériel modeste. C’est ce qui a fait que le fine-tuning a cessé d’être le privilège exclusif des grands laboratoires.
En pratique : Un modèle de base plus cinq adaptateurs LoRA au service de cinq voix de marque.