Generative AI & LLMs advanced

Top-p (Nucleus Sampling)

Also called: nucleus sampling

An alternative randomness control that samples only from the smallest set of tokens covering probability p.

Top-p se queda con los tokens más probables hasta que su probabilidad acumulada llega a p, y luego muestrea solo entre esos. A diferencia de la temperatura, se adapta a qué tan seguro está el modelo en cada paso. Ajustar los dos a la vez suele volver el comportamiento más difícil de razonar — elige uno.

En la práctica: Top-p 0.9 ignora la cola larga de tokens improbables sin aplanar toda la distribución.