Benchmark
A standard test set used to compare models — useful for direction, unreliable as a guarantee.
I benchmark rendono i modelli confrontabili sulla carta. I loro limiti sono strutturali: col tempo filtrano nei dati di addestramento, vengono presi come bersaglio da ottimizzare e raramente somigliano al tuo carico di lavoro. Leggili come un segnale grossolano e poi esegui le tue valutazioni.
In pratica: Un modello in cima a un benchmark di programmazione che continua a fallire sul tuo codice.