Test-Time Compute
Also called: inference-time scaling
Spending more computation at answer time — thinking longer — to get better results without retraining.
Il test-time compute è il secondo asse di scaling. Invece di un modello più grande, lasci che il modello esistente rifletta più a lungo, provi più tentativi o controlli il proprio lavoro. Ti dà una manopola qualità-costo regolabile dal vivo, che prima era fissata al momento dell’addestramento.
In pratica: Stesso modello, dieci volte il budget di ragionamento, matematica sensibilmente migliore.