AI Glossary

Température

La température remodèle la distribution de probabilité sur le token suivant. Proche de zéro, le modèle choisit presque toujours son option la plus probable, ce qui donne une sortie reproductible et prudente. Des valeurs plus élevées aplatissent la distribution et laissent passer des tokens moins probables, ce qui se lit comme de la créativité et, passé un certain point, comme du n’importe quoi. En pratique : Température 0 pour l’extraction de données ; 0,8 pour du brainstorming de slogans. ...

Template de prompt

Un template fige les parties qui fonctionnent et paramètre les parties qui changent. C’est le moment où le prompting cesse d’être une astuce personnelle pour devenir quelque chose qu’une équipe peut versionner, tester et améliorer. Les templates sont aussi ce qui rend possible l’évaluation des prompts, puisque vous pouvez garder la structure constante. En pratique : ‘Résume {document} pour {audience} en {n} points.’

Test-time compute

Le test-time compute est le second axe de mise à l’échelle. Plutôt qu’un modèle plus gros, vous laissez le modèle existant délibérer plus longtemps, produire plusieurs tentatives ou vérifier son propre travail. Cela vous donne un curseur qualité/coût réglable en direct, là où il était autrefois figé au moment de l’entraînement. En pratique : Même modèle, dix fois plus de budget de réflexion, des maths nettement meilleures.

Text-to-image

Les systèmes text-to-image associent un composant de compréhension du langage à un générateur par diffusion : le prompt oriente le débruitage vers des pixels correspondants. La qualité du résultat dépend fortement de la précision du prompt — sujet, style, composition et lumière doivent tous être dits. L’usage commercial soulève des questions de droits qui varient selon l’outil et la juridiction. En pratique : ‘Illustration isométrique d’un data center, palette sourde, lumière rasante douce.’ ...

Text-to-video

Le text-to-video étend la diffusion dans le temps, ce qui ajoute la contrainte difficile que les images successives restent cohérentes entre elles. La durée des clips, la plausibilité physique et la constance des personnages sont les limites actuelles. Le domaine avance assez vite pour que toute affirmation précise sur les capacités vieillisse en quelques mois. En pratique : Un plan produit de dix secondes généré au lieu d’être tourné.

Token

Les modèles ne voient ni lettres ni mots ; ils voient des tokens, des morceaux de caractères produits par un tokenizer. En anglais, on compte environ quatre caractères par token, donc 750 mots font à peu près 1 000 tokens. Les tokens sont aussi l’unité de facturation et l’unité de la fenêtre de contexte, ce qui en fait le terme le plus important commercialement de ce glossaire. En pratique : ‘unbelievable’ peut se découper en ‘un’, ‘believ’, ‘able’ — trois tokens, un seul mot. ...

Tokenisation

Un tokenizer transforme le texte en entiers à l’aide d’un vocabulaire fixe appris sur des données. Cela explique plusieurs bizarreries célèbres : les modèles comptent mal les lettres parce qu’ils ne voient jamais de lettres, et un texte non anglophone coûte souvent plus de tokens à sens égal, parce que les vocabulaires penchent vers l’anglais. En pratique : La même phrase en grec peut coûter deux à trois fois plus de tokens qu’en anglais. ...

Top-p (échantillonnage par noyau)

Le top-p retient les tokens les plus probables jusqu’à ce que leur probabilité cumulée atteigne p, puis échantillonne uniquement parmi ceux-là. Contrairement à la température, il s’adapte au degré de confiance du modèle à chaque étape. Régler les deux en même temps rend en général le comportement plus difficile à raisonner — choisissez-en un. En pratique : Un top-p de 0,9 ignore la longue traîne des tokens improbables sans aplatir toute la distribution. ...

TPU

Les TPU sont des ASIC conçus spécialement pour les opérations tensorielles des réseaux de neurones, accessibles via Google Cloud plutôt que comme du matériel que l’on achète. Ils illustrent un mouvement plus large vers du silicium dédié à l’IA, à mesure que les GPU génériques cessent d’être la seule option. En pratique : Les gros entraînements sur l’infrastructure Google utilisent typiquement des pods de TPU.

Transformer

Introduit en 2017, le transformer a remplacé le traitement séquentiel par l’attention, ce qui permet au modèle de regarder tous les tokens de l’entrée d’un coup et de pondérer leur pertinence les uns par rapport aux autres. C’est ce parallélisme qui a rendu praticable l’entraînement sur du texte à l’échelle d’internet. Le ‘T’ de GPT signifie transformer. En pratique : Dans ’le trophée n’entrait pas dans la vitrine parce qu’il était trop grand’, l’attention est ce qui permet au modèle de relier ‘il’ à ’trophée’. ...