Top-p (Nucleus Sampling)
Also called: nucleus sampling
An alternative randomness control that samples only from the smallest set of tokens covering probability p.
Top-p behält die wahrscheinlichsten Token, bis ihre kumulierte Wahrscheinlichkeit p erreicht, und zieht dann nur aus diesen. Anders als Temperature passt es sich daran an, wie sicher sich das Modell im jeweiligen Schritt ist. Beides gleichzeitig zu justieren macht das Verhalten meist schwerer nachvollziehbar — entscheide dich für eines.
In der Praxis: Top-p 0.9 ignoriert den langen Schwanz unwahrscheinlicher Token, ohne die ganze Verteilung abzuflachen.