Generative AI & LLMs advanced

LoRA (Low-Rank Adaptation)

A cheap fine-tuning method that trains a small add-on instead of updating the whole model.

LoRA congela i pesi del modello base e impara un piccolo numero di parametri extra accanto a essi. Il risultato è un file adattatore leggero — megabyte, non gigabyte — che si può scambiare a seconda del compito e addestrare su hardware modesto. È il motivo per cui il fine-tuning ha smesso di essere un privilegio esclusivo dei grandi laboratori.

In pratica: Un solo modello base più cinque adattatori LoRA che servono cinque voci di brand.