Generative AI & LLMs advanced

Top-p (Nucleus Sampling)

Also called: nucleus sampling

An alternative randomness control that samples only from the smallest set of tokens covering probability p.

Il top-p tiene i token più probabili finché la loro probabilità cumulata raggiunge p, poi campiona solo tra quelli. A differenza della temperatura, si adatta a quanto il modello è sicuro a ogni passo. Regolare entrambi insieme di solito rende il comportamento più difficile da interpretare — scegline uno.

In pratica: Top-p 0.9 ignora la lunga coda di token improbabili senza appiattire l’intera distribuzione.