Generative AI & LLMs advanced

Test-Time Compute

Also called: inference-time scaling

Spending more computation at answer time — thinking longer — to get better results without retraining.

Test-Time Compute ist die zweite Skalierungsachse. Statt eines größeren Modells lässt du das vorhandene Modell länger überlegen, mehrere Versuche ziehen oder die eigene Arbeit prüfen. Das gibt dir einen laufenden Regler für Qualität gegen Kosten, der früher zur Trainingszeit festgelegt war.

In der Praxis: Dasselbe Modell, zehnmal so viel Denkbudget, spürbar bessere Mathematik.

Where this comes up