Top-p (Nucleus Sampling)
Also called: nucleus sampling
An alternative randomness control that samples only from the smallest set of tokens covering probability p.
Le top-p retient les tokens les plus probables jusqu’à ce que leur probabilité cumulée atteigne p, puis échantillonne uniquement parmi ceux-là. Contrairement à la température, il s’adapte au degré de confiance du modèle à chaque étape. Régler les deux en même temps rend en général le comportement plus difficile à raisonner — choisissez-en un.
En pratique : Un top-p de 0,9 ignore la longue traîne des tokens improbables sans aplatir toute la distribution.