Generative AI & LLMs beginner

Hallucination

Also called: confabulation

Fluent, confident output that is simply false — the defining failure mode of language models.

Eine Halluzination ist Inhalt, den das Modell erzeugt, weil er statistisch plausibel ist, nicht weil er wahr ist. Das ist eine strukturelle Folge der Vorhersage des nächsten Tokens und kein Bug, den man patchen kann: Das Modell optimiert auf plausibel, und plausibel und wahr fallen meistens zusammen — bis sie es eben nicht mehr tun. Grounding, Retrieval und Verifikation verringern das Problem; beseitigen kann es nichts.

In der Praxis: Erfundene Urteilszitate, erfundene DOIs, erfundene API-Endpunkte — alles Klassiker, alle souverän formatiert.

Where this comes up