Generative AI & LLMs advanced

Top-p (Nucleus Sampling)

Also called: nucleus sampling

An alternative randomness control that samples only from the smallest set of tokens covering probability p.

O top-p mantém os tokens mais prováveis até que a probabilidade acumulada chegue a p e, então, amostra só entre eles. Diferente da temperatura, ele se adapta a quão confiante o modelo está em cada passo. Ajustar os dois ao mesmo tempo costuma deixar o comportamento mais difícil de entender — escolha um.

Na prática: Top-p 0.9 ignora a cauda longa de tokens improváveis sem achatar a distribuição inteira.