Generative AI & LLMs intermediate

Temperature

The setting that controls randomness in generation — low for consistency, high for variety.

A temperatura remodela a distribuição de probabilidade sobre o próximo token. Perto de zero, o modelo quase sempre escolhe a sua opção preferida, o que dá saídas repetíveis e conservadoras. Valores mais altos achatam a distribuição e deixam passar tokens improváveis, o que soa como criatividade e, passado certo ponto, como besteira.

Na prática: Temperatura 0 para extração de dados; 0.8 para brainstorm de slogans.