On-Device AI
Also called: edge AI, local AI
Running a model on a phone or laptop instead of sending data to a server.
A inferência no dispositivo mantém os dados locais, funciona offline e não tem custo por token — genuinamente atraente para privacidade e para contextos regulados. A troca é capacidade: modelos locais são menores e mais lentos que as APIs de fronteira. Quantização e destilação são o que tornam isso viável.
Na prática: Transcrever uma reunião confidencial sem que o áudio saia do notebook.