LoRA (Low-Rank Adaptation)
A cheap fine-tuning method that trains a small add-on instead of updating the whole model.
LoRA friert die Basisgewichte ein und lernt daneben eine kleine Zahl zusätzlicher Parameter. Heraus kommt eine leichtgewichtige Adapter-Datei — Megabyte statt Gigabyte —, die sich pro Aufgabe austauschen und auf bescheidener Hardware trainieren lässt. Deshalb ist Fine-Tuning kein exklusives Privileg großer Labore mehr.
In der Praxis: Ein Basismodell plus fünf LoRA-Adapter, die fünf Markenstimmen bedienen.