162 articoli
Esplora le guide
LLMOps sposta le preoccupazioni perché di solito il modello non lo stai addestrando tu. Ciò che versioni, testi e monitori sono i prompt, il retrieval, le definizioni degli strumenti, le eval, la latenza, la spesa e la sicurezza dell’output. La disciplina di fondo è la stessa: non va in produzione niente senza un test che ne coglierebbe il fallimento. In pratica: Ogni modifica a un prompt fa girare la suite di eval in CI prima di arrivare in produzione. ...
LoRA congela i pesi del modello base e impara un piccolo numero di parametri extra accanto a essi. Il risultato è un file adattatore leggero — megabyte, non gigabyte — che si può scambiare a seconda del compito e addestrare su hardware modesto. È il motivo per cui il fine-tuning ha smesso di essere un privilegio esclusivo dei grandi laboratori. In pratica: Un solo modello base più cinque adattatori LoRA che servono cinque voci di brand. ...
Nel machine learning mostri a un sistema molti esempi e lui ricava da sé la regola, aggiustando numeri interni finché i suoi output non corrispondono agli esempi. Formalmente il ML è un sottoinsieme dell’IA, anche se nella pratica i due termini si usano in modo intercambiabile. Il cambiamento chiave è che chi sviluppa fornisce dati e un obiettivo invece della logica. In pratica: Invece di elencare ogni parola che segnala una frode, dai in pasto a un modello 100.000 transazioni etichettate e lo lasci trovare i segnali. ...
La marcatura CE è il familiare marchio di conformità UE esteso all’IA. Apporla è una dichiarazione giuridica del fornitore: il sistema soddisfa i requisiti e la documentazione che lo prova esiste. È una dichiarazione, non un certificato che qualcuno ti consegna. In pratica: Lo stesso principio che regola un bollitore ora si applica a un sistema di screening dei CV.
L’attenzione calcola, per ogni token, quanto ogni altro token debba influenzarlo. La self-attention lo fa all’interno di una sola sequenza ed è il cuore del transformer. Il suo costo cresce in modo quadratico con la lunghezza della sequenza, ed è esattamente per questo che le finestre di contesto lunghe sono costose e che tanta ricerca punta a questo collo di bottiglia. In pratica: Leggendo una clausola contrattuale, il modello presta molta attenzione al termine definito tre pagine prima. ...
I modelli non hanno stato, quindi la memoria è qualcosa che si costruisce: uno stato a breve termine all’interno di un’attività e un archivio a lungo termine da cui recuperare ciò che serve. Senza memoria, un agente riapprende gli stessi fatti a ogni sessione. Con la memoria, erediti le domande su accuratezza, obsolescenza e protezione dei dati. In pratica: Ricordare da una sessione all’altra che questo cliente vuole l’inglese britannico e niente elenchi puntati. ...
Il meta-prompting affida al modello stesso il compito di scrivere i prompt: gli chiedi di redigerne uno e poi di trovarne le ambiguità . Funziona perché i modelli sono spesso più bravi a individuare ciò che è sottospecificato di quanto le persone lo siano a evitarlo. Abbinalo a una valutazione vera, altrimenti stai solo producendo prompt che suonano convincenti. In pratica: ‘Ecco il mio prompt e tre output sbagliati. Che cosa c’è di ambiguo?’ ...
Un modello mixture-of-experts contiene molte sotto-reti specializzate e un router che ne sceglie alcune per ogni token. Il numero totale di parametri resta enorme mentre il calcolo per token resta contenuto, il che disaccoppia la capacità dal costo di inferenza. È per questo che alcuni modelli molto grandi sono sorprendentemente economici da servire. In pratica: Un modello da 400B parametri che per ogni token esegue calcolo pari solo a 40B. ...
MLOps applica il pensiero DevOps al ML, con problemi in più: versionamento dei dati, riproducibilità dell’addestramento, monitoraggio del drift e pipeline di ri-addestramento. L’intuizione che racchiude è che un modello dentro un notebook è più o meno il 10% del lavoro. In pratica: Ri-addestramento automatico attivato quando l’accuratezza monitorata scende sotto una soglia.
Una model card registra l’uso previsto, gli usi fuori ambito, i dati di addestramento a grandi linee, i risultati delle valutazioni e i limiti noti. La sezione più preziosa è quella che i team saltano: i limiti. È passata da norma della ricerca ad aspettativa di conformità sia nei framework NIST sia in quelli europei. In pratica: ‘Valutato solo sull’inglese. Non validato per decisioni mediche.’