Evaluation (Evals)
Also called: evals
Systematic measurement of whether an AI system does what you need — your tests, not the vendor's.
Las evals son la suite de pruebas automatizadas del software probabilístico: un conjunto fijo de casos con resultados esperados, ejecutado en cada cambio. Son la única forma de saber si un ajuste de prompt o una actualización de modelo ayudó o rompió algo en silencio. Los benchmarks públicos te hablan del modelo; las evals te hablan de tu sistema.
En la práctica: 200 tickets reales con las respuestas correctas, ejecutados en cada cambio de prompt.