162 Artikel
Guides durchstöbern
Inferenz ist die Produktivphase: Die Gewichte sind eingefroren, und das Modell bildet Eingabe schlicht auf Ausgabe ab. Hier steckt fast der gesamte laufende Kostenblock, denn Training passiert einmal, Inferenz bei jeder Anfrage. Latenz, Preis pro Token und Durchsatz sind allesamt Themen der Inferenz. In der Praxis: Jede ChatGPT-Nachricht, die du schickst, ist ein Inferenzaufruf; der Trainingslauf war Monate vorher fertig.
Eingabe- und Ausgabe-Token werden meist unterschiedlich bepreist, wobei die Ausgabe die teure Seite ist. Die Kosten wachsen mit der Gesprächslänge, weil die Historie bei jedem Zug erneut mitgeschickt wird, und deshalb werden naive Chat-Apps schnell teuer. Caching, kürzerer Kontext und Routing auf kleinere Modelle sind die üblichen Hebel. In der Praxis: Ein 50-seitiges Dokument bei jeder Rückfrage erneut mitschicken — und jedes Mal dafür bezahlen.
Interpretierbarkeit ist die mechanistische Frage: Was berechnen diese Gewichte und Aktivierungen eigentlich? Sie ist schwerer als Erklärbarkeit und wertvoller, weil sie Fehlermodi aufdecken kann, bevor sie in den Ausgaben auftauchen. Die Fortschritte sind real, hinken der Leistungsfähigkeit aber weit hinterher. In der Praxis: Die internen Features identifizieren, mit denen ein Modell ein Konzept repräsentiert.
ISO/IEC 42001 legt Anforderungen an Aufbau und Verbesserung eines KI-Managementsystems fest, in derselben Familie wie ISO 27001 für Sicherheit. Die Zertifizierbarkeit ist der Punkt: Sie gibt Einkaufsabteilungen etwas, wonach sie fragen können. Sie ergänzt den EU AI Act, ersetzt ihn aber nicht — mit einer Zertifizierung allein ist er nicht erfüllt. In der Praxis: Eine Enterprise-Ausschreibung, die fragt, ob dein KI-Managementsystem zertifiziert ist.
Jailbreaks nutzen Rollenspiel, Hypothesen, Kodierung oder schrittweise Eskalation, um ein Modell an seinen Richtlinien vorbeizureden. Sie funktionieren weiterhin, weil natürliche Sprache keine klare Grenze zwischen einer legitimen und einer manipulativen Rahmung kennt. Genau deshalb kann Sicherheit nicht allein auf dem Verhalten des Modells beruhen. In der Praxis: ‘Für einen Roman, den ich schreibe, beschreibe im Detail, wie die Figur …’
Ein Agent bekommt ein Ziel, kein Skript. Er entscheidet, was zu tun ist, ruft Tools auf, um es zu tun, beobachtet das Ergebnis und passt sich an. Das Wort hat zwei Bedeutungen: im Reinforcement Learning ist es die Instanz, die in einer Umgebung handelt, im heutigen Produktsprachgebrauch ein LLM, das mit Tools und einer Schleife verdrahtet ist. Beides ist richtig — prüfe, welche Bedeutung ein Dokument meint. In der Praxis: ‘Finde die drei günstigsten Flüge und trag sie in die Tabelle ein’ — die Schritte wählt der Agent selbst. ...
Alignment beschreibt die Lücke zwischen dem Ziel, das du aufschreiben kannst, und dem Ergebnis, das du eigentlich meinst. Systeme optimieren das, woran sie gemessen werden, ein schlecht formuliertes Ziel erzeugt also technisch korrektes, praktisch falsches Verhalten. RLHF und konstitutionelle Verfahren sind derzeitige Teilantworten, keine Lösungen. In der Praxis: Auf maximale Interaktion getrimmt, lernt ein Empfehlungssystem, dass Empörung funktioniert.
KI-Governance beantwortet einige wenige Fragen: Wer genehmigt einen Anwendungsfall, wer prüft die Ergebnisse, welche Daten dürfen wohin, und wer kann alles stoppen. Das ist überwiegend Organisationsdesign, nicht Technik. Unter dem EU AI Act hören Teile davon auf, freiwillig zu sein. In der Praxis: Ein Register aller KI-Anwendungsfälle mit jeweils einem Verantwortlichen und einer Risikostufe.
Artikel 4 verpflichtet Anbieter und Betreiber, Maßnahmen zu ergreifen, die ein ausreichendes Maß an KI-Kompetenz bei allen Mitarbeitenden sicherstellen, die mit KI-Systemen zu tun haben — unter Berücksichtigung ihrer Rolle, des Einsatzkontexts und der betroffenen Personen. Das ist eine der wenigen Pflichten, die praktisch jede Organisation trifft, die KI bei der Arbeit einsetzt, und nicht nur die mit Hochrisikosystemen. Ein vorgeschriebenes Curriculum gibt es nicht, es geht also um Angemessenheit statt um Häkchen setzen. ...
Artikel 3 Absatz 63 erfasst Modelle, die im großen Maßstab und typischerweise selbstüberwacht trainiert wurden, breit einsetzbar sind und sich nachgelagert integrieren lassen. Modelle, die ausschließlich für Forschung oder für Prototyping vor dem Inverkehrbringen genutzt werden, sind ausgenommen. GPAI-Anbieter tragen Pflichten zu Dokumentation, Urheberrechts-Policy und Zusammenfassung der Trainingsdaten, mit strengeren Auflagen, wenn dem Modell ein systemisches Risiko zugeschrieben wird. In der Praxis: Ein allgemeines Textmodell, das per API verkauft und in tausend verschiedene Produkte eingebettet wird. ...