AI Glossary

Token

I modelli non vedono lettere o parole; vedono token, cioè blocchi di caratteri prodotti da un tokenizer. In inglese la media è di circa quattro caratteri per token, quindi 750 parole sono più o meno 1,000 token. I token sono anche l’unità di fatturazione e l’unità della finestra di contesto, il che rende questo il termine commercialmente più rilevante del glossario. In pratica: ‘unbelievable’ potrebbe dividersi in ‘un’, ‘believ’, ‘able’ — tre token, una parola. ...

Tokenizzazione

Un tokenizer mappa il testo in numeri interi usando un vocabolario fisso appreso dai dati. Spiega diverse stranezze famose: i modelli sbagliano a contare le lettere perché non vedono mai le lettere, e i testi non in inglese costano spesso più token a parità di significato perché i vocabolari pendono verso l’inglese. In pratica: La stessa frase in greco può costare due o tre volte i token che costa in inglese. ...

Tool Use

Il tool use è ciò che permette a un modello di fare cose che da solo non può proprio fare: consultare dati aggiornati, eseguire calcoli esatti, scrivere su un sistema. Il modello sceglie lo strumento e gli argomenti; il tuo codice lo esegue e restituisce il risultato. Gli strumenti sono anche il punto in cui gli errori di un modello diventano azioni nel mondo reale, quindi i permessi contano. In pratica: Invece di indovinare il cambio di oggi, il modello chiama un’API di valute. ...

Top-p (Nucleus Sampling)

Il top-p tiene i token più probabili finché la loro probabilità cumulata raggiunge p, poi campiona solo tra quelli. A differenza della temperatura, si adatta a quanto il modello è sicuro a ogni passo. Regolare entrambi insieme di solito rende il comportamento più difficile da interpretare — scegline uno. In pratica: Top-p 0.9 ignora la lunga coda di token improbabili senza appiattire l’intera distribuzione.

TPU

Le TPU sono ASIC progettati specificamente per le operazioni tensoriali delle reti neurali, disponibili tramite Google Cloud e non come hardware da acquistare. Sono un esempio di un movimento più ampio verso silicio dedicato all’IA, ora che le GPU generiche non sono più l’unica opzione. In pratica: I grandi cicli di addestramento sull’infrastruttura Google usano di solito pod di TPU.

Transformer

Introdotto nel 2017, il transformer ha sostituito l’elaborazione sequenziale con l’attenzione, permettendo al modello di guardare tutti i token dell’input insieme e di pesarne la rilevanza reciproca. È quel parallelismo ad aver reso pratico l’addestramento su testo su scala internet. La ‘T’ di GPT sta per transformer. In pratica: In ‘il trofeo non entrava nella teca perché esso era troppo grande’, l’attenzione è il modo in cui il modello collega ’esso’ a ’trofeo’. ...

Trasparenza

La trasparenza riguarda la divulgazione più che il meccanismo: pubblicare model card, documentare i dati e dire alle persone che stanno parlando con una macchina. L’AI Act dell’UE ne rende obbligatorie diverse forme, tra cui l’etichettatura dei contenuti sintetici e la comunicazione dell’interazione con un chatbot. In pratica: Un banner che dichiara che l’assistente è un’IA e che un umano può subentrare.

Underfitting

L’underfitting è il fallimento opposto all’overfitting: il modello non ha imparato abbastanza. I sintomi sono punteggi scarsi ovunque, e i rimedi sono più capacità, feature migliori, un addestramento più lungo o un regolarizzatore meno aggressivo. In pratica: Adattare una retta a dati che chiaramente descrivono una curva.

Valutazione (eval)

Le eval sono la suite di test automatizzati per il software probabilistico: un insieme fisso di casi con gli esiti attesi, eseguito a ogni modifica. Sono l’unico modo per sapere se una modifica al prompt o un aggiornamento del modello ha migliorato le cose o ha rotto qualcosa in silenzio. I benchmark pubblici ti dicono qualcosa sul modello; le eval ti dicono qualcosa sul tuo sistema. In pratica: 200 ticket reali con le risposte corrette, eseguiti a ogni modifica del prompt. ...

Valutazione della conformità

La valutazione della conformità è il varco di compliance per i sistemi ad alto rischio, svolta dal fornitore stesso oppure tramite un organismo notificato a seconda del caso d’uso. Si conclude con una dichiarazione di conformità, la marcatura CE e la registrazione nella banca dati UE. Una modifica sostanziale può imporre di ripeterla. In pratica: Un fascicolo documentato che mostra la gestione dei rischi, la governance dei dati e i test alla base del sistema. ...