Generative AI & LLMs beginner

Hallucination

Also called: confabulation

Fluent, confident output that is simply false — the defining failure mode of language models.

Una alucinación es contenido que el modelo genera porque es estadísticamente plausible, no porque sea verdadero. Es una consecuencia estructural de la predicción del siguiente token y no un bug que se pueda parchar: el modelo optimiza por lo plausible, y lo plausible y lo verdadero suelen coincidir, justo hasta que dejan de hacerlo. Anclar en fuentes, la recuperación y la verificación lo reducen; nada lo elimina.

En la práctica: Citas de casos inventadas, DOIs inventados, endpoints de API inventados — todos clásicos, todos con un formato impecable.

Where this comes up