Generative AI & LLMs beginner

Hallucination

Also called: confabulation

Fluent, confident output that is simply false — the defining failure mode of language models.

Uma alucinação é conteúdo que o modelo gera por ser estatisticamente plausível, não por ser verdadeiro. É uma consequência estrutural da previsão do próximo token, e não um bug a ser corrigido: o modelo otimiza para o plausível, e plausível e verdadeiro costumam coincidir, até o momento em que deixam de coincidir. Ancoragem, recuperação e verificação reduzem o problema; nada o elimina.

Na prática: Citações de processos inventadas, DOIs inventados, endpoints de API inventados — todos clássicos, todos formatados com a maior segurança.

Where this comes up