Distillation
Training a small model to imitate a large one, keeping most of the quality at a fraction of the cost.
Bei der Distillation erzeugt ein großes Lehrer-Modell Ausgaben, mit denen ein kleineres Schüler-Modell trainiert wird. Das Schülermodell ist am Ende günstiger und schneller und behält auf der Zielverteilung viel vom Verhalten des Lehrers. Die meisten bezahlbaren Produktionsmodelle sind aus etwas Größerem destilliert.
In der Praxis: Ein Modell, das 10× kleiner und 20× günstiger ist und 90% deines Traffics genauso gut bedient.