Benchmark
A standard test set used to compare models — useful for direction, unreliable as a guarantee.
Les benchmarks rendent les modèles comparables sur le papier. Leurs faiblesses sont structurelles : ils finissent par fuiter dans les données d’entraînement, ils deviennent des cibles que l’on optimise, et ils ressemblent rarement à votre charge de travail. Lisez-les comme un signal grossier, puis faites tourner vos propres évaluations.
En pratique : Un modèle en tête d’un benchmark de code qui échoue quand même sur votre base de code.