On-Device AI
Also called: edge AI, local AI
Running a model on a phone or laptop instead of sending data to a server.
Inferenz auf dem Gerät hält Daten lokal, funktioniert offline und verursacht keine Kosten pro Token — für Datenschutz und regulierte Kontexte wirklich attraktiv. Der Preis dafür ist Leistungsfähigkeit: Lokale Modelle sind kleiner und langsamer als Frontier-APIs. Erst Quantisierung und Distillation machen die Sache überhaupt tragfähig.
In der Praxis: Ein vertrauliches Meeting transkribieren, ohne dass das Audio den Laptop verlässt.