Top-p (Nucleus Sampling)
Also called: nucleus sampling
An alternative randomness control that samples only from the smallest set of tokens covering probability p.
O top-p mantém os tokens mais prováveis até que a probabilidade acumulada chegue a p e, então, amostra só entre eles. Diferente da temperatura, ele se adapta a quão confiante o modelo está em cada passo. Ajustar os dois ao mesmo tempo costuma deixar o comportamento mais difícil de entender — escolha um.
Na prática: Top-p 0.9 ignora a cauda longa de tokens improváveis sem achatar a distribuição inteira.