Top-p (Nucleus Sampling)
Also called: nucleus sampling
An alternative randomness control that samples only from the smallest set of tokens covering probability p.
Il top-p tiene i token più probabili finché la loro probabilità cumulata raggiunge p, poi campiona solo tra quelli. A differenza della temperatura, si adatta a quanto il modello è sicuro a ogni passo. Regolare entrambi insieme di solito rende il comportamento più difficile da interpretare — scegline uno.
In pratica: Top-p 0.9 ignora la lunga coda di token improbabili senza appiattire l’intera distribuzione.