Distillation
Training a small model to imitate a large one, keeping most of the quality at a fraction of the cost.
En la destilación, un modelo maestro grande genera salidas que entrenan a un modelo estudiante más pequeño. El estudiante termina siendo más barato y más rápido, y retiene buena parte del comportamiento del maestro en la distribución objetivo. La mayoría de los modelos de producción asequibles son destilados de algo más grande.
En la práctica: Un modelo 10× más pequeño y 20× más barato que atiende igual de bien el 90% de tu tráfico.