On-Device AI
Also called: edge AI, local AI
Running a model on a phone or laptop instead of sending data to a server.
L’inferenza on-device tiene i dati in locale, funziona offline e non ha costi per token — davvero interessante per la privacy e per i contesti regolamentati. Il prezzo da pagare è la capacità: i modelli locali sono più piccoli e più lenti delle API di frontiera. Sono la quantizzazione e la distillazione a renderla praticabile.
In pratica: Trascrivere una riunione riservata senza che l’audio esca dal portatile.