Distillation
Training a small model to imitate a large one, keeping most of the quality at a fraction of the cost.
Na destilação, um modelo professor grande gera saídas que treinam um modelo aluno menor. O aluno sai mais barato e mais rápido, preservando boa parte do comportamento do professor na distribuição alvo. A maioria dos modelos de produção acessíveis é destilada de algo maior.
Na prática: Um modelo 10× menor e 20× mais barato que dá conta de 90% do seu tráfego igualmente bem.