Distillation
Training a small model to imitate a large one, keeping most of the quality at a fraction of the cost.
Nella distillazione un grande modello insegnante genera output che addestrano uno studente più piccolo. Lo studente risulta più economico e più veloce, pur conservando molto del comportamento dell’insegnante sulla distribuzione di riferimento. La maggior parte dei modelli di produzione accessibili è distillata da qualcosa di più grande.
In pratica: Un modello 10× più piccolo e 20× più economico che gestisce il 90% del tuo traffico altrettanto bene.